标签：数据清洗

概述：分布式数据Pipeline的重要性与流程数据Pipeline本质上是一条数据加工流水线，负责将原始数据自动化地收集、处理和转换为可用于模型训练或业务分析的形式。对于大模型训练而言，一个可靠高效…

account_circle 林清杨 schedule2025年8月16日folder_open2025

最近接了个活儿，要做一个针对北京周边“农家乐”用户评价的情感分析模型。需求不复杂，就是把用户的评论分成积极、消极和中性/建议三类。我心想这不就是个文本分类任务嘛，挺常规的。第一反应当然是去“军火库”…

机器学习是一种从数据生成规则、发现模型，来帮助我们预测、判断、分析和解决问题的技术。现在，你是不是跃跃欲试，准备动手开跑机器学习程序了？不要着急，在实战之前你还需要掌握最后一个知识点，也就是机器学习…

account_circle 林清杨 schedule2024年10月16日folder_openDataOps

在一片神秘的技术大陆上，有一门古老而又新兴的技艺，这门技艺被称为“数据炼金术”，其最伟大的追求便是炼制出能够让人工智能模型突破极限的“数据之石”。然而，要炼制这样一颗数据之石，光靠幻想是不行的。故事从…

在数据纷杂的时代，如何将分散的“信息孤岛”转变为推动企业发展的“数据宝藏”？在“数据流转”公司，首席数据官刘明杰带领团队，通过一次彻底的数据治理，打通了各部门之间的数据壁垒，提升了决策效率。本文以生动…

account_circle 林清杨 schedule2024年8月6日folder_openAI, 数据集

在构建自然语言处理（NLP）应用时，处理停用词是一个关键步骤，无论是在传统NLP场景还是在大规模模型的数据集制作中。这篇文章将详细介绍停用词的概念、重要性、如何选择停用词列表，以及在不同场景下的应用策…