打开朋友圈，很多内容都是在说开工了，估计亲戚都走完了。 我在路边也看到，很多人在等车，乡亲们都开始陆续回去上班了。 今年过的很平淡，一眨眼就过去了，很多亲戚朋友，都没有回家过年，疫情原因。 今年的新年，是最不热闹的一年，写到这里，我脑子里冒出了两个字「乡愁」。 20年是最苦的一年，21年该翻身了，正所谓物极必反，今年一切都会开始好转，万物复苏。 ① 身边有个朋友，上了一年班，以前跟我做过很久项目，想找点事儿干，问我有啥推荐。 我一直都是做公众号，所以对于做公众号，比较熟悉，有着大量的运营经验，就让他做公众号。 但是…
前面文章说过，我突然意识到了，众筹投放买粉，充满了溢价，很容易赚到钱。 风险和收益成正比，虽然有很大的商机，但是也有很大的坑。 当年抖音火的时候，很多公司投产比不高，1：1.5都会疯狂的去投放。 投放公众号买粉，我觉得1：10都能做到，这件事越想越激动。 目前免费流量做的比较慢，大家的免费流量也到瓶颈了，不知道谁说的，今年开始是付费流量的时代，如果想做大自己的粉丝体量，只能走投放的路线了。 钱能解决一切问题，如果解决不了，说明钱不够，得加钱。 但是在这个公众号行业，真是水深，我自己也是知道的，我进的公众号行业微信群…
一、前言 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重。 检查输入流是否符合某个特定的模式，需要将之前流入的元素以状态的形式缓存下来。比如，判断一个温度传感器数据流中的温度是否在持续上升。 对一个时间窗口内的数据进行聚合分析，分析一个小时内某项指标的75分位或99分位的数值。 一个状态…
来吧，这个是传智播客的大数据视频资料，包括每一天的文档和视频。 这个是文档，大部分人应该都是想要文档，除了没有基础的新手，而不想要视频，因为看视频真的太花时间啦。 获取方法：关注公众号：大数据技术派，回复"大数据"，即可获得这份很全的文档。 我自己整理了一份pdf： 链接：https://pan.baidu.com/s/1-aTKicy0Yr9c3-dv0bIExA 提取码：1314 复制这段内容后打开百度网盘手机App，操作更方便哦 视频，这个很大，百度网盘经常封禁这个，我建了个百度网盘群，可…
在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，比如公司组织春游，规定周六早晨8：00 ~ 8:30清查人数，人齐则发车出发，可是总有那么个同学会睡懒觉迟到，这时候通常也会等待20分钟，但是不能一直等下去，如果到了20分钟则认为，想自己在家过周末，不参与春游活动了，不会继续等待了，直接出发。 这种机制跟这里要讲的watermark机制是一个意思。指的是，由于网络延迟等原因，一条数据会迟到计算，比如使用event time来划分窗口，我们知道窗口中的数据是计算一段时间的数据，如果一个数据来晚了，它的时间范围已经…
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 本文首发于我的个人博客：彻底搞清Flink中的Window机制 窗口 在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。 Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎…
TopN的常见应用场景，最热商品购买量，最高人气作者的阅读量等等。 1. 用到的知识点 Flink创建kafka数据源； 基于 EventTime 处理，如何指定 Watermark； Flink中的Window，滚动（tumbling）窗口与滑动（sliding）窗口； State状态的使用； ProcessFunction 实现 TopN 功能； 2. 案例介绍 通过用户访问日志，计算最近一段时间平台最活跃的几位用户topN。 创建kafka生产者，发送测试数据到kafka； 消费kafka数据，使用滑动（sl…
这是今年以来我的基金收益率，不用说，肯定全国都垫底啦，跑输沪深300五个点多，我也是服了。 但是有一个信念，一直在我的脑海里，它也支撑着我开年以来一直加仓，做了一颗最合格的韭菜。这个信念很多人应该都有：长期看好中国未来经济。 确实是这样的，我是去年2020年春节开始玩儿的基金，大部分时间我的基金里面是有10万块的，不多也不少，跟很多平凡的追梦少年一样，试图通过理财来获得额外的收益，中间经历过大起大落，最终还是挣钱了，去年那走势，基金不挣钱，天理不容。 去年过年前几天，市场很猛，我当时是准备离场的，里面只留了3万元过…
explode 和 lateral view 为什么把这两个放一块呢，因为这两个经常放在一起用啊。 explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分），本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与later…
最近在深入了解新媒体这个行业过程中，越发看到行业的黑暗面。 以短视频行业为例，各种数据造假最严重的。 xx直播带货，在线认识显示31万人，实际上在线人数不足一万人，另外30万哪来的，全靠机器刷。 xx直播带货，号称一晚上卖了一个亿，实际上多少，200万，另外9800万的销售数据哪来的，全靠刷，后台退单率98%。 xx直播带货，抖音3000万粉丝大V，一晚上带货多少，不足一万，终于有数据真实的一个良心大V了。 那些花了上百万坑位费的商家怎么办，哭吧，面对各种虚假数据，面对各种高量退款，面对各种黑暗操作，叫天天不应，叫…
