统计语言模型 vs 神经语言模型:一场语言理解的进化之战
趁热打铁,继续写语言建模系列第 2 篇文章:《统计语言模型 vs 神经语言模型》。 一、语言模型的起点:让机器理解语言的概率世界 语言模型(Language Model, 简称 LM)本质上是用于计算…
目标 路径 时间 结果 信息 定位 闭环 复盘 精力 极限 稳态 框架 邮箱:linqingyang@datagov.top
趁热打铁,继续写语言建模系列第 2 篇文章:《统计语言模型 vs 神经语言模型》。 一、语言模型的起点:让机器理解语言的概率世界 语言模型(Language Model, 简称 LM)本质上是用于计算…
这一篇我们就直接硬刚——从 Transformer 开始,整一份全景图式的进化剖析,理清 BERT 和 ChatGPT 的演化脉络,最后揭开 ChatGPT 背后的秘密武器:预训练 + 微调 + RL…
这篇我们就冲进语义搜索 + 大模型的世界,做一件真正「懂用户」的事:引入 RAG(检索增强生成)、Re-ranking 重排序 和 Prompt 指令增强,打造一个像 ChatGPT 那样“理解+回答…
这次我们进入实战篇章 🚀——如何用句向量构建一个高性能的语义搜索系统。目标:从用户输入到高相关文本返回,全流程打通,能用能落地! 一、引言 传统的关键词搜索依赖字面匹配,用户输入“不太精确”就很容易搜…
一、引言 “如何判断两段文本是否表达了相同的意思?”这是 NLP 世界里的“灵魂三问”之一,出现在搜索引擎、智能问答、推荐系统、对话系统等大量场景中。为此,研究者们提出了许多计算文本相似度的方法。从最…
一、引言 我们都知道“苹果”和“香蕉”是水果,“王者荣耀”和“英雄联盟”是游戏,但计算机要理解它们之间的相似性可不容易。TF-IDF 把词当作离散符号,缺乏语义表达能力。而 Word2Vec 则打破了…
🚀 本文是自然语言处理中基础又核心的知识之一 —— n-gram 的全景式讲解。无论你是 NLP 新手,还是 AI 应用工程师,这篇文章都能帮你用一句话总结 n-gram,又能带你深入挖掘它在深度学习…
一、引言 在自然语言处理(NLP)和信息检索(IR)领域,我们常常需要对文本进行数字化建模,尤其是在文本分类、相似度计算、关键词提取等任务中。 TF-IDF(Term Frequency-Invers…
一、引言 在文本分析、推荐系统、搜索引擎和图像识别等多个场景中,相似度计算是一项基础而关键的任务。 Jaccard相似度(Jaccard Similarity),也称为Jaccard Index,是一…
前言 2024 年 12 月 20 日 文章来源:Building effective agents 过去的一年里,我们与来自各行各业、构建大型语言模型(LLM)Agent 的数十个团队进行了合作。我…
在构建自然语言处理(NLP)应用时,处理停用词是一个关键步骤,无论是在传统NLP场景还是在大规模模型的数据集制作中。这篇文章将详细介绍停用词的概念、重要性、如何选择停用词列表,以及在不同场景下的应用策…