生成式大模型出现前【文本摘要】的常用方式
一、TF-IDF TF-IDF是一种在信息检索、文本挖掘和自然语言处理中广泛使用的统计方法，用于衡量一个词（或术语）对于一份文档集（或语料库）中某一份特定文档的重要性。 简单来说，TF-IDF 的核心…
标签： 文本分析
深入理解 n-gram：原理、应用与实践
🚀 本文是自然语言处理中基础又核心的知识之一 —— n-gram 的全景式讲解。无论你是 NLP 新手，还是 AI 应用工程师，这篇文章都能帮你用一句话总结 n-gram，又能带你深入挖掘它在深度学习…
Elasticsearch 分词器详解与应用场景分析
前言 在文本分析和搜索引擎的构建中，分词是一个关键步骤，它决定了文本如何被拆分、索引和检索。Elasticsearch作为一个强大的分布式搜索和分析引擎，提供了丰富的分词器（Tokenizer）选项，…