分类: AI
检索增强生成(RAG)策略研究报告
本文整理了一份全面深入的RAG策略研究报告,涵盖其演进历程、核心理念、常见技术方案、各类策略对比(包括表格)、应用场景、存在的瓶颈与挑战、以及实际选择策略的建议。重点聚焦通用问答系统以及多模态大模型实…
🎮 高质量提示词:生成美观可控的 HTML + SVG 算法动画(游戏感 UI)
完美了兄弟!这就是我要的设计方向:算法动画 ≈ 游戏体验,学算法不再是“看教学”,而是“在玩游戏”中把原理一口一口吃下去。 来,我给你升级一版更完整、更“美感导向”的提示词,适配 GPT-4、Copi…
Spark-TTS
Spark-TTS 是SparkAudio 团队开源的基于大型语言模型(LLM)的高效文本转语音(TTS)工具,无需额外的生成模型,直接从 LLM 预测的编码中重建音频,实现零样本文本到语音的转换。S…
深入理解 Self-Attention:计算流程与维度解析
在现代自然语言处理(NLP)和计算机视觉(CV)的任务中,Self-Attention(自注意力机制)是不可或缺的核心技术。无论是 Transformer 架构,还是各种基于 Attention 的模…
交叉熵公式
交叉熵(Cross Entropy)常用于分类问题中衡量两个概率分布之间的差异。它的公式如下: 1. 对于二分类问题(Binary Classification): 给定真实标签 y \in \{0,…
rag 向量检索的基础
RAG(Retrieval-Augmented Generation,检索增强生成)是当前构建强大问答系统和知识对齐模型的核心范式。它结合了「信息检索」和「生成式模型」的优点,极大提升了 LLM(大语…
🎯 实战项目:从 Prompt 到 Fine-tune 的完整链路演练
我们接下来进入 实战项目:从 Prompt 到 Fine-tune 的完整链路演练,让我们通过一个实际的例子,完整地体验如何将 Prompt 与 Fine-tuning 结合,优化模型以适应特定任务。…
🧠 阶段四:ChatGPT 的秘密武器全解析
太棒了,现在我们来到了终极阶段! 微调 + RLHF + 多模态 + Agent + RAG 的联合作战 🌐 本阶段内容导航 ChatGPT 背后的训练流程全景图 微调:SFT(Supervised …
🚀 阶段三:GPT 架构 + 自回归训练 + 从零实现最小 GPT 模型
🌐 本阶段目录 GPT 架构简介(vs BERT) 自回归语言建模原理(核心公式 + 图解) GPT-2 模型结构详解(Block-by-Block 拆解) 最小 GPT 模型实现(PyTorch) …
📚 阶段二:BERT 结构 + 预训练任务 + 微调实战
好,既然我们已经打下了 Transformer 的基础,现在进入第二阶段: 🌐 目录规划 BERT 是什么?和 Transformer 有什么关系? BERT 的结构图 + 原理解析 预训练任务详解(…
常见的加密与解密算法概览
随着互联网的迅猛发展和数据共享需求的不断增加,信息安全与隐私保护越发受到关注。加密与解密技术作为保障信息安全的核心手段,在传输与存储过程中扮演着不可或缺的角色。本文将系统地介绍对称加解密和非对称加解密…
统计语言模型 vs 神经语言模型:一场语言理解的进化之战
趁热打铁,继续写语言建模系列第 2 篇文章:《统计语言模型 vs 神经语言模型》。 一、语言模型的起点:让机器理解语言的概率世界 语言模型(Language Model, 简称 LM)本质上是用于计算…
🚀 Transformer → BERT → ChatGPT:一步步走向“语言智能体”
这一篇我们就直接硬刚——从 Transformer 开始,整一份全景图式的进化剖析,理清 BERT 和 ChatGPT 的演化脉络,最后揭开 ChatGPT 背后的秘密武器:预训练 + 微调 + RL…
打造更聪明的语义搜索:融合 RAG、Re-ranking 与 Prompt 增强的实战指南
这篇我们就冲进语义搜索 + 大模型的世界,做一件真正「懂用户」的事:引入 RAG(检索增强生成)、Re-ranking 重排序 和 Prompt 指令增强,打造一个像 ChatGPT 那样“理解+回答…
用句向量构建语义搜索系统:全流程实战与落地指南
这次我们进入实战篇章 🚀——如何用句向量构建一个高性能的语义搜索系统。目标:从用户输入到高相关文本返回,全流程打通,能用能落地! 一、引言 传统的关键词搜索依赖字面匹配,用户输入“不太精确”就很容易搜…
📚 NLP 世界里的“灵魂三问”
“NLP 世界里的灵魂三问”,仿佛打开了一本修炼内功心法的小册子。那我们就以“哲学三问”的方式来写吧,对应“我是谁?我从哪里来?我要到哪里去?”这种调调。 一、我是谁?——NLP 到底在干啥? 自然语…
从词向量到句向量:语义表示技术的演化之路
这一篇讲的是 从词向量到句向量的演化史,这其实是 NLP 中一条“从土路走向高速公路”的演进轨迹,下面正式开始👇 一、引言 在自然语言处理中,词(word)是最小的可处理单位,但句子(sentence…
文本相似度计算方法全景解析:从 TF-IDF 到 BERT
一、引言 “如何判断两段文本是否表达了相同的意思?”这是 NLP 世界里的“灵魂三问”之一,出现在搜索引擎、智能问答、推荐系统、对话系统等大量场景中。为此,研究者们提出了许多计算文本相似度的方法。从最…
Word2Vec 全解析:用词向量建构语言的语义空间
一、引言 我们都知道“苹果”和“香蕉”是水果,“王者荣耀”和“英雄联盟”是游戏,但计算机要理解它们之间的相似性可不容易。TF-IDF 把词当作离散符号,缺乏语义表达能力。而 Word2Vec 则打破了…