工作流 | 大模型节点 - 林清扬的博客

内容纲要

区别：

工作流用到的大语言模型是用于处理特定的任务的推理模型，比如翻译、关键词分类、内容总结之类的任务。
外部的 BOT 智能体机器人中用到的语言模型，它有两个作用。
- 一个是：识别用户的需求，进行工作流的调用和分配，或者是对 BOT 本身的其他性能调用。
- 另一个是：作为直接与用户对话的模型。

联系：

（备注：上图取自论文 https://arxiv.org/abs/2307.07924v3 ）

添加&删除大模型节点

大语言模型节点的作用是将用户输入的自然语言转换为其他节点所需的输入参数。

调节大模型节点位置

将大模型节点添加到开始节点和结束节点之间。

调整节点位置，使输入内容传递给大模型节点，再由大模型节点输出内容给结束节点（改变输入&输出节点的链接即可）。

大模型节点的处理模式

大模型节点有两个处理方式：单次处理和批处理。

批处理说明

批处理用于前序节点包含数组类型的参数时，对每个数组元素进行处理。

如图所示，当前序结点有数组类型①时，批处理参数能够引用到前序节点的数组参数 ②
- 设置一个变量名，选择前序节点的参数，并设置最大的批处理次数，最大值为 10。
- 批处理次数上限，表示当前批处理流程能够处理的次数（即可以从 Array 参数获取多少次），最大限度为 200 次
- 并行运行数量，表示能够一次性从前序节点获取到的数量（即从 Array 参数中一次性获取的数量），同时执行当前大模型节点，最大限度是 10
图中中模型节点的输入，可选择批处理的后的参数③
- 即批处理了上一个节点变量之后，然后每处理一次都会把这个变量里的一个内容付给 item1。然后这个 item1 就变成一个输入参数

单次处理说明
在单次处理模式下，我们可以选择大语言模型。目前支持云雀语言模型和月之暗面模型、通义千问、MiniMax等。

云雀模型适用于一般情况，而月之暗面模型效果更佳，现在还有通义千问、MiniMax、智谱、百川等模型（按需选择）。

选择模型后，可以设置随机性参数（自定义模型内容），默认值为 0.7，无需修改。

输入输出参考节点的输入输出章节的说明。

提示词
Workflow 中的大模型的提示词，主要用来表示当前节点要处理的任务。
譬如从前序节点的输入进行翻译、关键词分类、内容总结等

通过大模型提取用户输入的网址

配置

提示词

对{{input}}节点获取 URL 链接。

若存在 URL 链接，则output 输出为 URL 链接，并且 {{flag}}置为1，否则 output 为空，且{{flag}}为 0

输出配置
output：String，用于存储 URL 链接
Flag: Interger ，用于存储是否有 URL 的判断结果

测试结果

工作流 | 大模型节点