内容纲要
一、模型上下文协议
MCP 就像 AI 应用程序的 USB-C 端口。
正如 USB-C 标准化设备连接一样;MCP 标准化了 AI 应用程序与数据源和工具的连接。
二、LLM 中的转换器与专家混合
Mix of Experts (MoE) 是一种流行的架构,它使用不同的 “experts” 来改进 Transformer 模型。
下面的视觉对象说明了它们与 Transformer 的不同之处。
三、KV 缓存
KV 缓存是一种用于加速 LLM 推理的技术。
四、微调 LLM 的 5 种技术
传统的微调对于 LLM 是不可行的,因为它们有数十亿个参数(大小为 100 GB)。
五、RAG 与 Agentic RAG
Naive RAG 检索一次,生成一次,它无法 动态搜索更多信息,也无法通过复杂的查询进行推理。
Agentic RAG 解决了这个问题。
六、5 种流行的 Agentic AI 设计模式
代理行为允许 LLM 通过结合自我评估、规划和协作来完善他们的输出!
此视觉对象描述了用于构建 AI 代理的 5 种常用设计模式。
七、传统 RAG 与 HyDE
问题在语义上与答案不相似,因此系统可能会检索不相关的上下文。
在 HyDE 中,首先生成一个要查询的假设答案 (H)。然后,使用 (H) 检索相关上下文 (C)。
八、RAG 与 Graph RAG
使用传统 RAG 很难回答需要全局上下文的问题,因为它只检索前 k 个相关的块。
Graph RAG 使 RAG 的图形结构更加健壮。
九、MCP 与 A2A
代理应用程序需要 A2A 和 MCP。
- MCP 为代理提供对工具的访问权限。
- 而 A2A 允许代理与其他代理联系并在团队中协作。