【AI Agent 知识库】29-模型推理优化
模型推理优化 大模型加速、量化、蒸馏、批处理优化 目录 核心概念 模型量化 模型蒸馏 推理框架 批处理优化 KV Cache优化 Tensor并行 PagedAttention 核心概念 概念 定义 …
目标 路径 时间 结果 信息 定位 闭环 复盘 精力 极限 稳态 框架
模型推理优化 大模型加速、量化、蒸馏、批处理优化 目录 核心概念 模型量化 模型蒸馏 推理框架 批处理优化 KV Cache优化 Tensor并行 PagedAttention 核心概念 概念 定义 …
标签:模型压缩, 知识蒸馏, 神经网络优化, 模型部署, 深度学习, 模型加速, 小模型, Teacher-Student架构, 边缘AI, 模型优化 一、什么是模型蒸馏? 模型蒸馏(Knowledg…