生成式大模型出现前【文本摘要】的常用方式
一、TF-IDF TF-IDF是一种在信息检索、文本挖掘和自然语言处理中广泛使用的统计方法，用于衡量一个词（或术语）对于一份文档集（或语料库）中某一份特定文档的重要性。 简单来说，TF-IDF 的核心…
标签： TF-IDF
文本相似度计算方法全景解析：从 TF-IDF 到 BERT
一、引言 “如何判断两段文本是否表达了相同的意思？”这是 NLP 世界里的“灵魂三问”之一，出现在搜索引擎、智能问答、推荐系统、对话系统等大量场景中。为此，研究者们提出了许多计算文本相似度的方法。从最…
深入理解 TF-IDF：从原理到实战应用
一、引言 在自然语言处理（NLP）和信息检索（IR）领域，我们常常需要对文本进行数字化建模，尤其是在文本分类、相似度计算、关键词提取等任务中。 TF-IDF（Term Frequency-Invers…