Flink - 等待下一个秋

Flink系列文章第01讲：Flink 的应用场景和架构模型第02讲：Flink 入门程序 WordCount 和 SQL 实现第03讲：Flink 的编程模型与其他框架比较第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Table 编程和案例第06讲：Flink 集群安装部署和 HA 配置第07讲：Flink 常见核心概念分析第08讲：Flink 窗口、时间和水印第09讲：Flink 状态与容错第10讲：Flink Sid…

2024年1月11日 0条评论 873点热度 0人点赞等待下一个秋阅读全文

窗口窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。本文的重心将放在 Flink 如何进行窗口操作以及开发者如何尽可能地利用 Flink 所提供的功能。下面展示了 Flink 窗口在 keyed streams 和 non-keyed streams 上使用的基本结构。我们可以看到，这两者唯一的区别仅在于：keyed streams 要调用 keyBy(...)后再调用 window(...) ，而 non-keyed streams 只用直接调…

2024年1月4日 0条评论 1019点热度 0人点赞等待下一个秋阅读全文

2024年1月4日 0条评论 991点热度 0人点赞等待下一个秋阅读全文

本章教程对 Apache Flink 的基本概念进行了介绍，虽然省略了许多重要细节，但是如果你掌握了本章内容，就足以实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序。 Flink 架构 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。 Client 不是运行时和程序执行的…

2023年12月28日 0条评论 838点热度 0人点赞等待下一个秋阅读全文

2023年2月15日 0条评论 5240点热度 1人点赞等待下一个秋阅读全文

第01讲：Flink 的应用场景和架构模型第02讲：Flink 入门程序 WordCount 和 SQL 实现第03讲：Flink 的编程模型与其他框架比较第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Table 编程和案例第06讲：Flink 集群安装部署和 HA 配置第07讲：Flink 常见核心概念分析第08讲：Flink 窗口、时间和水印第09讲：Flink 状态与容错第10讲：Flink Side OutPut 分…

2022年12月2日 0条评论 3830点热度 1人点赞等待下一个秋阅读全文

2022年11月30日 0条评论 3540点热度 0人点赞等待下一个秋阅读全文

2022年9月16日 0条评论 4577点热度 0人点赞等待下一个秋阅读全文

本文首发于我的个人博客网站等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql hbase flink 1.13.5 on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境…

2022年9月15日 0条评论 3831点热度 0人点赞等待下一个秋阅读全文

2022年9月14日 0条评论 4400点热度 1人点赞等待下一个秋阅读全文

12 3 4

Flink异步IO

Flink窗口与watermark

Flink状态容错savepoint与checkpoint

Flink DataStream API 编程模型

第18讲：如何进行生产环境作业监控

Flink SQL管理平台flink-streaming-platform-web安装搭建

Flink同步Kafka数据到ClickHouse分布式表

flink-cdc同步mysql数据到hive

flink-cdc同步mysql数据到hbase

flink-cdc同步mysql数据到kafka