大模型调用中的上下文长度与 Tokens 管理：从概念到实践
背景：开发Agent时，不知道如何配置max_token变量让输出表现/效果更好，于是问出问题：模型上下文128K和max_tokens的换算关系？ 在当今人工智能应用开发中，大语言模型（LLM）已成…
分类： 大模型
模型蒸馏：用“小学生”记住“博士生”的智慧
标签：模型压缩, 知识蒸馏, 神经网络优化, 模型部署, 深度学习, 模型加速, 小模型, Teacher-Student架构, 边缘AI, 模型优化 一、什么是模型蒸馏？ 模型蒸馏（Knowledg…
下载Meta-Llama-3-8B详细步骤
官网：https://llama.meta.com/llama-downloads/ Huggingface：https://huggingface.co/meta-llama/Meta-Llama-…
如果要跑大模型，显卡显存计算
问题 1、要跑大模型，要多少显存 2、6B如果要自己搭建，显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…
国内近200家大模型总结
国内近200家大模型总结 本文总结了188家国内现有大模型企业，以及各企业开发的模型和所处行业。受公众号排版限制不能使用表格，需要购买表格版的朋友请私信我。 序号 公司 大模型 省市 类别 1 百度 …
北京大学 – 多模态大模型
【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战
OpenBMB携手清华大学自然语言处理实验室，共同推出《大模型交叉研讨课》，意在为对大模型感兴趣的同学提供相关资源，为大模型领域的探索打下基础。本课程将手把手带领同学从深度学习开始快速了解大模型的相关…
讯飞星火大模型指令集
https://xinghuo.xfyun.cn/desk