如果要跑大模型，显卡显存计算
问题 1、要跑大模型，要多少显存 2、6B如果要自己搭建，显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…
分类： AutoDL
AutoDL GPU型号简介
附GPU型号简介¶ 型号 显存 单精(FP32) 半精(FP16) 详细参数 说明 Tesla P40 24GB 11.76 T 11.76 T 查看 比较老的Pascal架构GPU，对于cuda11…
目标 路径 时间 结果 信息 定位 闭环 复盘 精力 极限 稳态 框架 邮箱：linqingyang@datagov.top
问题 1、要跑大模型，要多少显存 2、6B如果要自己搭建，显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…
附GPU型号简介¶ 型号 显存 单精(FP32) 半精(FP16) 详细参数 说明 Tesla P40 24GB 11.76 T 11.76 T 查看 比较老的Pascal架构GPU，对于cuda11…