因为前面Hbase2集群出现过一次故障，当时花了一个周末才修好，就去了解整理了一些hbase故障的，事故现场可以看前面写的一篇：Hbase集群挂掉的一次惊险经历 一. HBCK一致性 一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。 二. HBCK2与hbck1 HBCK2是后继hbck，该修复工具，随HBase的-1.x的（AKA hbck1）。使用HBCK2代替 hbck1对 hbase-2.x 集群进行…
我的博客就是用docker容器部署的，确实免去了安装php的痛苦（安装php好多不兼容😄），这里记录下安装过程，以及绑定域名https。 假设docker已经安装好了，如果没有安装，可以照着 5分钟安装docker教程 。 一. 下载镜像 默认下载最新版本，如果想指定对应版本，可以用冒号后加版本，像这样mysql:5.7： docker pull mysql:5.7 docker pull wordpress docker pull nginx 二. 启动container实例 已经下载好了image，接下来启动c…
在 HTTPS 承载的页面上不允许出现 http 请求，一旦出现就是提示或报错： This request has been blocked; the content must be served over HTTPS 解决方案 html： <meta http-equiv="Content-Security-Policy" content="upgrade-insecure-requests"/> php: header("Content-Securi…
关注公众号：大数据技术派，回复资料，领取1024G资料。 Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我…
关注公众号：大数据技术派，回复资料，领取1024G资料。 行存储与列存储 当今的数据处理大致可分为两大类，联机事务处理 OLTP(on-line transaction processing)联机分析处理 OLAP(On-Line Analytical Processing)=，OLTP 是传统关系型数据库的主要应用来执行一些基本的、日常的事务处理比如数据库记录的增、删、改、查等等而OLAP则是分布式数据库的主要应用它对实时性要求不高，但处理的数据量大通常应用于复杂的动态报表系统上 所以一般OLTP 都是使用行式存…
Driver spark.driver.cores driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数，默认为1g，同上。 spark.driver.maxResultSize driver端接收的最大结果大小，默认1GB，最小1MB，设置0为无限。 这个参数不建议设置的太大，如果要做数据可视化，更应该控制在20-30MB以内。过大会导致OOM。 spark.extraL…
关注公众号：大数据技术派，回复“资料”，领取资料，学习大数据技术。 背景 随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高存储利用率已成为当前HDFS面对的主要问题之一。 Hadoop 3.0 引入…
“New York is 3 hours ahead of California, 纽约时间比加州时间早三个小时， but it does not make California slow. 但加州时间并没有变慢。 Someone graduated at the age of 22, 有人22岁就毕业了， but waited 5 years before securing a good job! 但等了五年才找到好的工作！ Someone became a CEO at 25, 有人25岁就当上CEO， and…
一套小象学院机器学习视频教程。 资料详情 1、机器学习数学基础 2、机器学习的数学基础 3、机器学习的哲学 4、机器学习的数学基础 5、经典机器学习模型 6、经典机器学习模型 7、集成学习 8、线性模型 9、线性模型 10、核方法 11、核方法 12、统计学习 13、统计学习 14、统计学习 15、统计学习 16、无监督学习 17、流形学习 18、概念学习 19、神经网络 20、强化学习 获取方法 关注公众号 【大数据技术派】，后台回复：机器学习，即可获得。
一套黑马程序员前端视频教程，第71期。 资料详情 获取方法 关注公众号 【Java大数据与数据仓库】，后台回复：黑马前端，即可获得。
