rag 向量检索的基础
RAG（Retrieval-Augmented Generation，检索增强生成）是当前构建强大问答系统和知识对齐模型的核心范式。它结合了「信息检索」和「生成式模型」的优点，极大提升了 LLM（大语…
标签： 大语言模型
RLHF：让大模型真正“听人话”的关键技术
在人工智能时代快速发展的今天，大语言模型（如GPT系列、Claude、Gemini等）虽强大，但如果没有“对齐”，它们就像一匹脱缰的野马——会跑，但不一定往你希望的方向跑。于是，RLHF（Reinfo…
PEFT微调全解析：原理、方法、超参数与调优策略
一、PEFT常见的超参数 1. 通用超参数（所有PEFT方法常用） 学习率（learning_rate） Batch Size（batch_size） Epoch数量（num_epochs） 优化器类…
深入浅出：LLM大语言模型的数据增强方法全解析
引言 数据增强（Data Augmentation, DA）是一种广泛使用的技术。尤其在低资源条件下，数据增强增加了训练数据的规模，这样不仅可以防止模型过拟合，还能够提高深度神经网络的鲁棒性。最初，数…