Kafka全栈学习手册：从入门到生产级实践
引言 Apache Kafka 是一个开源的分布式事件流平台，广泛用于构建高性能数据管道、实时流处理和关键业务应用[blog.csdn.net](https://blog.csdn.net/qq_32…
分类： 大数据
MongoDB 与 MySQL：选择适合的数据库系统
在现代应用程序开发中，选择一个合适的数据库系统对保证系统的高效运行至关重要。随着需求的多样化和数据规模的快速增长，MySQL 和 MongoDB 作为两大主流的数据库系统，经常被开发者作为选择的对象。…
Elasticsearch 分词器详解与应用场景分析
前言 在文本分析和搜索引擎的构建中，分词是一个关键步骤，它决定了文本如何被拆分、索引和检索。Elasticsearch作为一个强大的分布式搜索和分析引擎，提供了丰富的分词器（Tokenizer）选项，…
阿里云大数据计算服务MaxCompute 使用教程
阿里云大数据计算服务MaxCompute 使用教程 https://edu.aliyun.com/course/312644 课程介绍 云原生大数据计算服务 MaxCompute是面向分析的企业级 S…
Hologres实时数仓
名称 实时数仓Hologres(原交互式分析)播放视频 帮助文档：Hologres产品帮助文档 开发者社区：Hologres技术分享与实践 视频中心：客户案例，最佳实践分享 实时数仓20讲：Holog…
MaxCompute 基本概念
一、术语表 在开始使用MaxCompute产品前，您可以提前查阅MaxCompute所涉及的术语及其含义，为了解产品及快速上手提供帮助。本文为您介绍MaxCompute涉及的术语及其概念。 A Acc…
MaxCompute 发展历程
一、前言 本文为您介绍了MaxCompute从诞生到成熟的发展历程。 二、关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。 2010年10月，阿里巴巴…
什么是MaxCompute
一、前言 MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统…
MaxCompute 学习路径图
MaxCompute（原 ODPS）是一项大数据计算服务，它能提供快速、完全托管的 PB 级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。Learning Path 带您由浅入深了解 Max…
Kafka
Kafka Quick Start Download Kafka Documentation Book And Papers Use Cases Blog What is Kafka? Apache …
Flink – Task Failure Recovery
一、前言 当发生任务失败时,Flink 需要重启失败的任务和其他受影响的任务,以使作业恢复到正常状态。 重启策略和故障转移策略用于控制任务重启。重启策略决定失败/受影响的任务是否以及何时可以重启。故障…
Flink – Checkpointing under backpressure反压下的检查点
一、前言 正常情况下，对齐检查点的时间主要由检查点过程中的同步部分和异步部分所决定。然而，当Flink任务在严重的反压下运行时，检查点从头到尾的时间的决定性因素可能是将检查点屏障传播到所有算子/子任务…
Flink – Checkpoints
一、概述 检查点通过允许恢复状态和相应的流位置，来使 Flink 中的状态具有容错能力，从而为应用程序提供与无故障执行相同的语义。 请参阅 Checkpointing检查点 以了解如何为程序启用和配置…
Flink
Flink官网 http://flink.apache.org Flink项目理念 Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。Flink 用同…
Kafka消息顺序、重复发送消息和丢失消息问题
一、消息顺序 Kafka保证在单个分区中，消息是按照它们发送的顺序进行存储的。如果需要全局的顺序，那么可能需要将所有消息发送到同一个分区，但这样可能会导致性能问题。如果需要多分区但仍希望保持顺序，那么…
面试题 – YARN
一、概念 YARN 是一个资源管理、任务调度的框架，主要包含三大模块： ResourceManager（RM） NodeManager（NM） ApplicationMaster（AM）。 其中， R…
面试题 – Storm
一、概念 Storm 是一个免费并开源的分布式实时计算系统。利用 Storm 可以很容易做到可靠地处理无限的数据流，像 Hadoop 批量处理大数据一样，Storm 可以实时处理数据。 二、集群架构 …
面试题 – Spark
一、概念 Spark 提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。 二、核心架构 Spark Core 包含…
面试题 – Hadoop
一、概念 就是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn。 hdfs 是提供数据存储的，mapreduc…
面试题 – HBase
一、概念 HBase 是分布式、面向列的开源数据库（其实准确的说是面向列族）。 HDFS 为 Hbase 提供可靠的底层数据存储服务， MapReduce 为 Hbase 提供高性能的计算能力， Zo…