统计语言模型 vs 神经语言模型：一场语言理解的进化之战
趁热打铁，继续写语言建模系列第 2 篇文章：《统计语言模型 vs 神经语言模型》。 一、语言模型的起点：让机器理解语言的概率世界 语言模型（Language Model, 简称 LM）本质上是用于计算…
标签： NLP
📚 NLP 世界里的“灵魂三问”
“NLP 世界里的灵魂三问”，仿佛打开了一本修炼内功心法的小册子。那我们就以“哲学三问”的方式来写吧，对应“我是谁？我从哪里来？我要到哪里去？”这种调调。 一、我是谁？——NLP 到底在干啥？ 自然语…
深入理解 n-gram：原理、应用与实践
🚀 本文是自然语言处理中基础又核心的知识之一 —— n-gram 的全景式讲解。无论你是 NLP 新手，还是 AI 应用工程师，这篇文章都能帮你用一句话总结 n-gram，又能带你深入挖掘它在深度学习…
大型语言模型的分词器解析：从原理到实践
大型语言模型（LLM）所使用的 tokenizer 主要差异来自于子词切分算法（BPE、WordPiece、SentencePiece 等）、多语言支持程度、词表规模及 OOV（未登录词）处理方式。选…