大型语言模型的分词器解析：从原理到实践
大型语言模型（LLM）所使用的 tokenizer 主要差异来自于子词切分算法（BPE、WordPiece、SentencePiece 等）、多语言支持程度、词表规模及 OOV（未登录词）处理方式。选…
标签： LLM
深入浅出：LLM大语言模型的数据增强方法全解析
引言 数据增强（Data Augmentation, DA）是一种广泛使用的技术。尤其在低资源条件下，数据增强增加了训练数据的规模，这样不仅可以防止模型过拟合，还能够提高深度神经网络的鲁棒性。最初，数…
AutoFlow: LLM Agent 的自动化工作流生成
LLM 在复杂任务解决中显示出巨大潜力，但目前 LLM Agent 通常需要手动设计工作流来指导其操作，这需要大量人力和专业知识。 论文提出了 AutoFlow 框架，可以自动为LLM Agent 生…
Google I/O Extended 会议简要记录总结@20230611
参会位置：北京市海淀区中关村南三街与科翔路交叉口西北120米，谷歌信息技术中国有限公司 Note：为什么会标注这个，因为按软件内提供的活动地址，点击后自动导航，跑到了长春桥…提个醒 活动宣传图 北…
稀土掘金-ChatGPT实践应用和大模型技术解析 会议简要记录总结@20230610
会议日程 1. 《开源揭秘：35k+ Stars ChatGPT 桌面应用》 ✨ 陈鑫（lencx） 8 年前端开发经验，喜欢折腾，热衷开源，业余学习 Rust，Tauri 等。 🎙️ 分享内容：《开…