本章教程对 Apache Flink 的基本概念进行了介绍，虽然省略了许多重要细节，但是如果你掌握了本章内容，就足以实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序。 Flink 架构 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。 Client 不是运行时和程序执行的…
clickhouse系列文章 clickhouse简介 ClickHouse MergeTree引擎 ClickHouse ReplacingMergeTree引擎 ClickHouse数据副本引擎 ClickHouse 自定义分区键 Java和Python操作Clickhouse ClickHouse主键索引（一级稀疏索引）最佳实践 深入理解ClickHouse跳数索引（二级索引） clickhouse使用心得 跳数索引 影响ClickHouse查询性能的因素很多。在大多数场景中，关键因素是ClickHouse在…
在本文中，我们将深入研究ClickHouse索引。我们将对此进行详细说明和讨论： ClickHouse的索引与传统的关系数据库有何不同 ClickHouse是怎样构建和使用主键稀疏索引的 ClickHouse索引的最佳实践 这篇文章主要关注稀疏索引，clickhouse主键使用的就是稀疏索引。 数据集 在本文中，我们将使用一个匿名的web流量数据集。 我们将使用样本数据集中的887万行(事件)的子集。 未压缩的数据大小为887万个事件和大约700mb。当存储在ClickHouse时，压缩为200mb。 在我们的子集…
clickhouse版本：21.8.12.1，Java版本：jdk1.8，Python版本：Python2或者3 Java操作clickhouse 官方文档地址:https://clickhouse.com/docs/zh/interfaces/jdbc 需要的pom依赖： <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId>…
快速注册ChatGPT 最近，大家都被 ChatGPT刷屏了，非常火爆。但是呢，因为不可抗力原因，大部分人无法体验到，下面我分享一下自己的注册之旅，已成功 提前条件 首先能科学上网访问 Google 代理要求是韩国，日本，印度，新加坡，美国这些国家的地址都合适。对其他的我们还不太清楚，反正香港或中国的代理肯定不行。 你得有一个国外手机号，用于接手验证码，国内的不行，如果没有可以找虚拟号码代理商。 如果你没有国外手机号，推荐sms-activate.org 当然也有一些其他免费平台，你可以搜索，但是服务不稳定很浪费时…
Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Table 编程和案例 第06讲：Flink 集群安装部署和 HA 配置 第07讲：Flink 常见核心概念分析 第08讲：Flink 窗口、时间和水印 第09讲：Flink 状态与容错 第10讲：Flink Sid…
ChatGPT，美国“开放人工智能研究中心”研发的聊天机器人程序，于2022年11月30日发布。 是人工智能技术驱动的自然语言处理工具，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。 充当 Linux 终端 我想让你充当 Linux 终端。我将输入命令，您将回复终端应显示的内容。我希望您只在一个唯一的代码块内回复终端输出，而不是其他任何内容。不要写解释。除非我指示您这样做，否则不要键入命令。当我需要用英语告诉你…
MergeTree 系列的表（包括 可复制表 ）可以使用分区。基于 MergeTree 表的 物化视图 也支持分区。 分区是在一个表中通过指定的规则划分而成的逻辑数据集。可以按任意标准进行分区，如按月，按日或按事件类型。为了减少需要操作的数据，每个分区都是分开存储的。访问数据时，ClickHouse 尽量使用这些分区的最小子集，提高查询效率。 分区是在 建表 时通过 PARTITION BY expr 子句指定的。分区键可以是表中列的任意表达式。例如，指定按月分区，表达式为 toYYYYMM(date_column…
只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree ReplicatedReplacingMergeTree ReplicatedAggregatingMergeTree ReplicatedCollapsingMergeTree ReplicatedVersionedCollapsingMergeTree ReplicatedGraphiteMergeTree 副本是表级别的，不是整个服务器级的。所以，服务器里可以同时有复…
该引擎和 MergeTree 的不同之处在于它会删除排序键值相同的重复项。 数据的去重只会在数据合并期间进行。合并会在后台一个不确定的时间进行，因此你无法预先作出计划。有一些数据可能仍未被处理。尽管你可以调用 OPTIMIZE 语句发起计划外的合并，但请不要依靠它，因为 OPTIMIZE 语句会引发对数据的大量读写。 因此，ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。 建表 CREATE TABLE [IF NOT EXISTS] [db.]table…
