2021，我这平凡的一年。 这一年，说它平凡，一点也不为过。似乎从小到大，我所遭遇的一切事物，都是那么的平平常常。没有大起大落，没有日新月异。或许平静的生活只是外表，而内心则是向往大千世界的。 感叹归感叹，还是总结一下这一年的一些平常琐碎，为接下来的一年做好准备铺垫吧。 1. 写作 今年写作不及往年，尤其不及2019年。是的，今年在坚持这条道路上走的不好，我一直以为这是懒惰，直到后来才醒悟过来，自己的拖延症也很严重。 今年主要强化了一些技术知识，并且写了很多文章，写文章的过程，也是不断成长的过程。因为要想写出一篇被…
1 为什么需要二级索引 HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。假设我们相对Hbase里面列族的列列进行一些组合查询，就只能全表扫描了。表如果较大的话，代价是不可接受的，所以要提出二级索引的方案。 二级索引的思想：简单理解就是，根据列族的列的值，查出rowkey，再按照rowkey就能很快从hbase查询出数据，我们需要构建出根据列族的列的值，很快查出rowkey的方案。 2 常见的二级索引方案 MapReduce方案； Coprocessor方案； elasticsearch+h…
关注公众号：大数据技术派，回复资料，领取1024G资料。 [TOC] 时间滑动计算 今天遇到一个需求大致是这样的，我们有一个业务涉及到用户打卡，用户可以一天多次打卡，我们希望计算出7天内打卡8次以上，且打卡时间分布在4天以上的时间，当然这只是个例子，我们具体解释一下这个需求 用户一天可以打卡多次，所以要求打卡必须分布在4天以上； 7天不是一个自然周，而是某一天和接下来的6天，也就是说时间是是滑动的，窗口大小是7步长是1，说白了就是窗口计算； 其实说到这里你就想到了窗口函数，虽然这是一个窗口；但是hive却没有相应的…
数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 关注公众号：大数据技术派，回复资料，领取1024G资料。 指标体系 提起指标这个词，每个人似乎都可以…
其实这篇文章的起源是，我司有数据清洗时将ip转化为类似中国-湖北-武汉地区这种需求。由于ip服务商提供的Demo，只能在本地读取，我需要将ip库上传到HDFS分布式存储，每个计算节点再从HDFS下载到本地。 那么到底能不能直接从HDFS读取呢？跟我强哥讲了这件事后，不服输的他把肝儿都熬黑了，终于给出了解决方案。 关于外部依赖文件找不到的问题 其实我在上一篇的总结中也说过了你需要确定的上传的db 文件在那里，也就是你在hive 中调用add file之后 会出现添加后的文件路径或者使用list 命令来看一下 今天我们…
关注公众号：大数据技术派，回复"资料"，领取1024G资料。 这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 那么 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理…
关注公众号：大数据技术派，回复“资料”，领取1024G资料。 数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 宽表的设计 其实宽表是数仓里面非常重要…
Json 格式的数据处理 Json 数据格式是我们比较常用的的一种数据格式，例如埋点数据、业务端的数据、前后端调用都采用的是这种数据格式，所以我们很有必要学习一下这种数据格式的处理方法 准备数据 cat json.data {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"…
关注公众号：大数据技术派，回复"资料"，领取1024G资料。 2015 年，Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇论文。本文以这篇论文为引导，详细讲讲 Flink 内部是如何设计并实现批流一体的架构。 前言 通常我们在 Flink 中说批流一体指的是这四个方向，其中 Runtime 便是 Flink 运行时的实现。 数据交换模型 Flink 对于流作业和批作业有一个统一的执行模型。 …
因为我工作已经大于3年了，在周五法定摸鱼时间，偶然看到博客园一位同学分享的他自己工作三年的感悟，觉得触动了我，分享出来，与君共勉。 前言 你的未来时刻因你现在的努力而改变！ 在努力不够的时候，永远不要谈天赋！ 工作三年，时不时会和身边的朋友、同学，谈论开发这个岗位的前途性，总觉得事多且累，学不完的新技术。 A同学：放弃了一个更高薪的工作，去了一个外企“躺平”，不怎么加班，几乎大家都是到点就走。 B同学：在互联网工作两年后，开始想要去考公务员，也确实去考了，但是好像没考上。 其实，不管在哪里，都需要努…
