Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 动态分区调整 动态分区属性：设置为true表示开启动态分区功能（默认为false）hive.exec.dynamic.partit…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 除了使用础的数据类型string等，Hive中的列支持使用struct, map, array集合数据类型。 数据类型 描述 语法…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 先解释一下几个名词： metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书…
Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。 这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。 1 LEAD 与LAG相反，LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 参数1为列名，参数2为往下第n行（可选，默认为1），参数3为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） 场景 用户Peter在浏…
数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 拉链表是针对数据仓库设计中表存储数据的…
在开设传统培训班时，正常的流程是先预订酒店，提前担负几万、十几万的会务开支。之后再在开课之前，招募到足够多的学员，以此保证收支平衡。而我筹备的这次培训完全不一样，因为我不必提前承担不可预知的会务成本。我通过发展种子学员的方式，用最轻松、最简单的方法达到了我预期的效果。 组织一场线下的培训班。在学员招募的过程中，我也是采取了优先发展种子学员的思路。最终，我单枪匹马一个人通过这个培训班，收到了33万的现金。那么，我是怎么组织起这个培训班的呢？ 在培训班宣传文案当中，我提出了这样一个合作主张：前10名种子学员，将能够享受…
数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 发展史 时代的变迁，生死的轮回，历史长…
超链接<a>里面的属性nofollow就是告诉搜索引擎：不要跟踪我。也就是说不让搜索蜘蛛继续追踪，同样，也不传递丝毫的权重。 通俗说，就是一个人推荐你，说你很优秀，跟着偷偷来一句：别当真！所以，友链里面别人给你加了noflollow属于偷奸耍滑的，别和他做友链了，果断删除吧！ 带有nofollow的链接是不传递权重的，这个是所有搜索引擎都公认的，如果是友情链接代了这个，那就没有意义了。果断去掉 他会阻止蜘蛛进行跟踪，同时也阻止了权重的传递。查询的方法也很简单，我们只要直接打开对方站点页面的源文件，查看其…
关注公众号：大数据技术派，回复: 资料，领取1024G资料。 分层建设理论 简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结。 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，JVM 中堆空间的划分(年轻代、老年代、方法区等)，大到…
数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 建模方法论 数仓的建模或者分层，其实都…
