内容纲要
llama3.1 8B
mac M3 Max 64GB,用ollama跑llama3.1 8B,速度飞快,和gpt3.5响应速度差不多
llama3.1 70b
问答前后对比,64GB内存刚好够用,速度 7-10个字/秒。
目标 路径 时间 结果 信息 定位 闭环 复盘 精力 极限 稳态 框架 邮箱:linqingyang@datagov.top
mac M3 Max 64GB,用ollama跑llama3.1 8B,速度飞快,和gpt3.5响应速度差不多
问答前后对比,64GB内存刚好够用,速度 7-10个字/秒。