抽样 抽样在Hive 中也是比较常用的一种手段，主要用在下面的几个场景中 一些机器学习的场景中，数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常，这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据，然后进行SQL调优 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随机抽样(rand()函数) 我们一般情况下是使用排序函数和rand…
5月13日，埃隆·马斯克透露，在比特币挖矿变得更加环保之前，特斯拉将不再接受任何比特币支付，这给整个加密货币市场带来了冲击。 马斯克指出，在特斯拉等待比特币转向可再生能源的同时，公司将关注“其他加密货币”，这些加密货币每笔交易的能耗不到比特币的1%。 特斯拉和比特币 ——埃隆·马斯克(@elonmusk) 2021年5月12日 这条推文让许多加密货币社区陷入狂热的猜测，猜测特斯拉还可能探索哪些加密货币。 社交影响者“The Cryptic Poet”告诉他的4.5万名推特粉丝，他预测特斯拉将“使用ETH或XRP”，…
我来个简单粗暴的回答。 如果你经过自己的努力，成功圈了一波粉丝，跟粉丝互动不错，赚钱途径通常是有这些的。 赞赏，如果你文章写的好，读者会给你赞赏，通常赞赏的人很少，毕竟非亲非故的，除非你写的特别好，也可能一千个人，有一个人给你赞赏就算不错了！ 文章后面的广告卡片，这个广告卡片读者点击了会有几毛到几块不等的收益，点击的人也很少，广告卡片的广告类型是可以通过后台调整的，建议每隔一段时间换一下广告类型，读者都看腻了同样类型的广告。这个收益很少，可以忽略不记。 返佣商品，有些公众号会在文章里面插入一些商品卡片，读者点击后产…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 1. 创建表 create table语句遵从sql语法习惯，只不过Hive的语法更灵活。例如，可以定义表的数据文件存储位置，使用…
一直想写一篇介绍设计模式的文章，让读者可以很快看完，而且一看就懂，看懂就会用，同时不会将各个模式搞混。自认为本文还是写得不错的😂😂😂，花了不少心思来写这文章和做图，力求让读者真的能看着简单同时有所收获。 设计模式是对大家实际工作中写的各种代码进行高层次抽象的总结，其中最出名的当属 Gang of Four (GoF) 的分类了，他们将设计模式分类为 23 种经典的模式，根据用途我们又可以分为三大类，分别为创建型模式、结构型模式和行为型模式。 有一些重要的设计原则在开篇和大家分享下，这些原则将贯通全文： 面向接口编程…
row_number 前面我们介绍窗口函数的时候说到了窗口函数的使用场景，我们也给它起了一个名字进行区分，通用窗口函数和特殊窗口函数，今天我们就来看一下排序相关的窗口函数，因为是窗口函数，并且我们说它是用来排序的，我们大概也能猜到它就是用来对窗口内的数据进行排序的 其实关于排序我们前面也介绍过order by,sort by 等排序的方式Hive语法之常见排序方式,为什么还有窗口函数进行排序的，因为前面的order by,sort by 等虽然可以排序但是不能给我们返回排序的值(名次)，如果你用过mysql 的话，…
Hive 中的四种排序 排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。 数据准备 下面我们有一份温度数据,tab 分割 2008 32.0 2008 21.0 2008 31.5 2008 17.0 2013 34.0 2015 32.0 2015 33.0 2015 15.9 2015 31.0 2015 19.9 2015 27.0 2016 23.0 2016 39.9 2016 32.0 建表加载数…
题外话：本来想跟同学去外滩跨年，感受刀子般的凛风带来的肉体上的刺激，可是一个同学说他还在穿秋天的衣服，没有衣服穿不敢出门，怕被冻死。shit，真扫兴，这傻*。所以下班点我坐在座位上，上了会网，突然产生了一个很有价值的想法，我激动的站了起来，结果发现办公室已经没人了，早都下班回家了，我就关了空调和灯，回家了。 本来是不打算做年终总结的，因为一年过的很快，就会有一种经常做年终总结的感觉。看到大佬们都在做总结，我也东施效颦，毕竟生活需要仪式感。预计花费30分钟写完本文。 2020年终于过去了，时间过得很快，一切都在变，不…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 本文大纲 UDF 简介 Hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基…
数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 关注公众号：大数据技术派，回复资料，领取1024G资料。 刀光剑影江湖情，摧枯拉朽浪滔滔。功名利禄拂…
