生成式大模型出现前【文本摘要】的常用方式
一、TF-IDF TF-IDF是一种在信息检索、文本挖掘和自然语言处理中广泛使用的统计方法，用于衡量一个词（或术语）对于一份文档集（或语料库）中某一份特定文档的重要性。 简单来说，TF-IDF 的核心…
标签： NLP
从零开始，在北京“手搓”一个NLP数据集的全记录
最近接了个活儿，要做一个针对北京周边“农家乐”用户评价的情感分析模型。需求不复杂，就是把用户的评论分成积极、消极和中性/建议三类。我心想这不就是个文本分类任务嘛，挺常规的。 第一反应当然是去“军火库”…
统计语言模型 vs 神经语言模型：一场语言理解的进化之战
趁热打铁，继续写语言建模系列第 2 篇文章：《统计语言模型 vs 神经语言模型》。 一、语言模型的起点：让机器理解语言的概率世界 语言模型（Language Model, 简称 LM）本质上是用于计算…
📚 NLP 世界里的“灵魂三问”
“NLP 世界里的灵魂三问”，仿佛打开了一本修炼内功心法的小册子。那我们就以“哲学三问”的方式来写吧，对应“我是谁？我从哪里来？我要到哪里去？”这种调调。 一、我是谁？——NLP 到底在干啥？ 自然语…
深入理解 n-gram：原理、应用与实践
🚀 本文是自然语言处理中基础又核心的知识之一 —— n-gram 的全景式讲解。无论你是 NLP 新手，还是 AI 应用工程师，这篇文章都能帮你用一句话总结 n-gram，又能带你深入挖掘它在深度学习…
大型语言模型的分词器解析：从原理到实践
大型语言模型（LLM）所使用的 tokenizer 主要差异来自于子词切分算法（BPE、WordPiece、SentencePiece 等）、多语言支持程度、词表规模及 OOV（未登录词）处理方式。选…