内容纲要
问题
1、要跑大模型，要多少显存
2、6B如果要自己搭建，显存要多少
回答
1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容
2、6B 2 + 2 = 14GB以上显存可支持
3、历史聊天记录、聊天会话多了、或上下文多了，都会占用显存，除了2倍关系外，富余的显存越多越好，越能支撑更多人同时使用部署的大模型
4、2GB是至少的底线值
结论
1、6B自己搭建，至少16GB GPU显存，能跑起来，测试环境用。
2、生产环境，建议单卡24GB+ —— 单卡40GB（A40 48GB 或 A100 40GB），初期足够用，后续并发量上来再扩容，扩容要求GPU支持NVLink，也就是多卡并行支持，4090不支持nvlink
附录
参考资料
AutoDL-GPU选型
https://www.autodl.com/docs/gpu/
