标签： Spark

大数据量处理PB级 – 从零到精通课程目标学完这套课程，你将能够：理解大数据处理的核心思想掌握PB级数据处理的架构设计熟练使用大数据技术栈（Hadoop、Spark、Flink等）能够设计…

概述：分布式数据Pipeline的重要性与流程数据Pipeline本质上是一条数据加工流水线，负责将原始数据自动化地收集、处理和转换为可用于模型训练或业务分析的形式。对于大模型训练而言，一个可靠高效…

account_circle 林清杨 schedule2025年6月9日folder_open2025

Part I: 大数据的世界 Chapter 1: 大数据概览定义大数据 “大数据”已成为科技领域的热词，但其内涵远不止于数据量的庞大。大数据指的是无法通过传统数据处理软件在可容忍的时间内进行采集、…

account_circle 林清杨 schedule2023年3月28日folder_openSpark

一、概念 Spark 提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。二、核心架构 Spark Core 包含…