中文语料与通用语料的数据去重与脱敏方法综述
在大规模语言模型（LLM）训练的数据集构建过程中，必须对海量的原始语料进行去重（去除重复文本）和脱敏（去除或变形敏感信息）处理。这不仅能提升语料质量，减少模型记忆无用信息，还能避免隐私泄露等风险 📌。…
标签： 数据去重
数据去重：确保数据质量与准确性
数据去重：确保数据质量与准确性 在大数据时代，数据的质量对决策和模型训练的影响至关重要。数据去重作为数据预处理的重要环节之一，对于确保数据的准确性和有效性，尤其是在构建机器学习和人工智能模型时具有重要…
使用 MinHash 算法去重：原理与实现
前言 在大数据和机器学习领域，去除重复数据是一个常见且重要的任务。对于大规模的数据集，逐个比较数据点的相似性往往会消耗大量时间和计算资源。如何高效地识别重复数据，尤其是近似重复数据，成为了一个关键问题…