10大经典排序算法——系列文章 冒泡排序 选择排序 插入排序 希尔排序 归并排序 快速排序 堆排序 计数排序 桶排序 基数排序 选择排序是一种简单直观的排序算法，无论什么数据进去都是 O(n²) 的时间复杂度。所以用到它的时候，数据规模越小越好。唯一的好处可能就是不占用额外的内存空间了吧。 1. 算法步骤 首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置 再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。 重复第二步，直到所有元素均排序完毕。 2. 动图演示 3. JavaScri…
10大经典排序算法——系列文章 冒泡排序 选择排序 插入排序 希尔排序 归并排序 快速排序 堆排序 计数排序 桶排序 基数排序 冒泡排序（Bubble Sort）也是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。 作为最简单的排序算法之一，冒泡排序给我的感觉就像 Abandon 在单词书里出现的感觉一样，每次都在第一…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 公司运营免不了让我们数据做一些临时取数，这些取数有时候是重复的，或者可以做成可配置的。需要开发成界面，供他们选择，自然想到Spri…
SpringBoot连接Hive异常，错误信息如下： Table not found 'DUAL' 通过 jdbc的方式，都是可以的，这里咋就不行了。 原因 dual表的概念来自oracle，数据库建立时即与数据字典一起初始化，该表只有一个varchar2类型名为dummy的字段 解决办法 在hive里面default库创建一个dual表，随便插入一条数据，重新启动SpringBoot程序，就可以连上hive了。 CREATE TABLE `dual`( `dummy` string); 新建一…
目录 ls命令 cd命令 pwd命令 mkdir命令 rm命令 rmdir命令 mv命令 cp命令 cat命令 more命令 less命令 head命令 tail命令 which命令 whereis命令 locate命令 find命令 chmod命令 tar命令 chown命令 df命令 du命令 ln命令 date命令 cal命令 grep命令 wc命令 ps命令 top命令 kill命令 free命令 1、ls命令 就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(…
以mysql为例。 1. count(1) and count(*) 当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count()用时多了！从执行计划来看，count(1)和count()的效果是一样的。但是在表做过分析之后，count(1)会比count(*)的用时少些（1w以内数据量），不过差不了多少。 如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。因为count(),自动会优化指定到那一个字段。所以没必要去count(1)，用count()，sql会帮你完…
读多写少 由于业务场景的需要，我们hbase偏读多写少的，虽然hbase读的速度会慢于写的速度。搭建hbase集群，需要做一些基础的配置，尽量让hbase能有一个不错的表现，其中内存规划工作占了很大的比例。 机器64G内存 序号 步骤 原理 计算公式 计算值 修正值 A 规划RS总内存 在系统内存允许且不影响其他服务的情况下，越多越好。64G内存，预留8G即可 64G - 8G 56G 56G B 规划读缓存 CombinedBlockCache 整个RS内存分为三部分：读缓存、写缓存、其他。基本按照5 : 4 :…
版本信息 cdh-6.0.1 hadoop-3.0 hbase-2.0.0 问题 想在空闲时候重启一下hbase释放一下内存，顺便修改一下yarn的一些配置，结果停掉后，hbase起不来了，错误信息就是hbase:namespace表is not online，master一直初始化，具体错误信息： 15:41:59.313 [ProcExecTimeout] WARN org.apache.hadoop.hbase.master.assignment.AssignmentManager - STUCK Regio…
Windows10总无缘无故是自动切换为繁体？ 答案 通常程序员使用IDE，会有全局搜索的快捷键"Ctrl + Shift + F"，刚好跟Windows 10的简体/繁体切换快捷键一致，我说怎么有时候这个全局搜索快捷键失效呢，原来是冲突了。 由于中文有简体和繁体，建国后大陆统一使用简体，而台湾还是在用繁体字的。Windows 10为了提升用户体验，设置了中文简体和繁体的切换快捷键，我不知道是处于什么考量，反正我觉得一般人不会去频繁切换的，这里我们把这个快捷切换设置关闭掉吧。 在这里将“开”切换…
在cdh 6.0.1版本中，提交spark任务，发现yarn分配的container集中于几台节点，其它节点没有分配。这显然会导致个别机器负载过高，从而影响集群整个性能。 原因 yarn.scheduler.fair.assignmultiple: Whether to allow multiple container assignments in one heartbeat. Defaults to false. 这个配置项决定了是否在一次心跳分配请求中分配多个containe，在CDH中默认为true，在yar…
