如果要跑大模型,显卡显存计算
问题 1、要跑大模型,要多少显存 2、6B如果要自己搭建,显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…
目标 路径 时间 结果 信息 定位 闭环 复盘 精力 极限 稳态 框架 邮箱:linqingyang@datagov.top
问题 1、要跑大模型,要多少显存 2、6B如果要自己搭建,显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…