1 hiveserver2 不识别udf函数 新写的UDF在hive cli注册以后，无法在hiveserver2远程连接时使用，show functions没有这个函数。 在无法使用UDF的 HiveServer2 上，执行 reload function 命令，将MetaStore中新增的UDF信息同步到HiveServer2内存中，即可。 2 修复大量分区 在复制hive分区表的时候，将数据复制到hive表对应目录后需要修复元数据，如果一次修复的分区数据太大，会报错： hive> MSCK REPAIR TA…
作为一个标准的程序员，应该有一些基本的数学素养，尤其现在很多人在学习人工智能相关知识，想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。 矩阵A(m,n)与矩阵B(n,k)乘积C维度是多少？ 抛一枚硬币，正面表示1，反面表示0，那么取值的数学期望E(x)是多少？ 作为一个傲娇的程序员，应该要掌握这些数学基础知识，才更有可能码出一个伟大的产品。 线性代数 向量 向量（vector）是由一组实数组成的有序数组，同时具有大小和方向。一个n维向量a是由n个有序实数组成，表示为 a = [a1, …
蒙特卡罗方法是一种计算方法。原理是通过大量随机样本，去了解一个系统，进而得到所要计算的值。最经典的莫过于圆周率π的计算了。 圆周率π的计算 单位圆面积为π，并且内切与边长为2的正方形，用随机数，10000个点往下面投，落到圆里面的概率乘以4就是π的值 说明：等式左边，是圆与正方形面积之比；等式右边，是落在单位圆内的点与落在正方形内的点的比值。二者相等。 分析 1、以圆心为原点，建立二维坐标系； 2、随便投一个点，这个记为(x, y)，落在圆内，则到圆心的距离 x*2 + y*2 <= 1； 3、投点10000…
阅读本文需要的知识储备： 高等数学 概率论与数理统计 Python基础 线性回归，其实生活中有很多这样的例子，比如：票价与行车距离、服务质量之间的关系，买房时房价与面积、地域等的关系。给我们一组这样的数据，我们想找出一个数学关系来描述这个问题，从而得到自己想要的结论。那么，怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了。 最小二乘法原理 众所周知，最小二乘法原理就是利用，拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1…
折腾了1天，搭好博客的基本样子，然后会调一些问题，增加一些功能，前前后后，大概折腾了，1天加4个晚上。这里记录一下安装过程中遇到的一些困难，希望对同学们有帮助！ 需要准备的东西 域名一个，腾讯云主机一个，笔记本一台（安装了xshell或者mac笔记本） 安装wordpress过程 自定百度，文章很多，我也是懒得重复写了，注意里面下载的是最新版wordpress，我们需要去官网下载4.x版本的，前面安装nginx,mysql,php都是一样的。只是安装完成后会有php版本太低的问题，我安装的php版本：5.6.40，…
K-Means算法是最基础的聚类算法、也是最常用的机器学习算法之一。 本教程中，我们利用K-Means对图像中的像素点进行聚类，然后用每个像素所在的簇的中心点来代替每个像素的真实值，从而达到图像压缩的目的。 非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种对非负矩阵进行低维近似逼近的常见方法，同样也能达到图像压缩的目的。 预计学习用时：30分钟。 本教程基于Python 3.5。 原创者：SofaSofa TeamM | 修改校对：SofaSofa TeamC | …
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求…
R语言利用rvest包爬虫，主要用到函数：read_html()、html_nodes()、html_text()和html_attrs()。 安装这个包：install.packages('rvest') read_html()：下载网页； html_nodes()：获得指定名称的网页元素、节点； html_text()：获得指定名称的网页元素、节点里面的文本； html_attrs()：获得指定的网址； 以新浪内地新闻为例 下面是新浪内地新闻网址：http://news.sina.com.cn/china/ 我…
实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求. - 每秒钟要输出最新的统计结果； - 程序永远跑着不会停,所以要定期清理内存里的过时数据； - 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制； - 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出； Flink数据…
R语言中的管道%>% ％>％来自dplyr包的管道函数，我们可以将其理解为车间里的流水线，经过前一步加工的产品才能进入后一步进一步加工，其作用是将前一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。 符号%>%，这是管道操作，其意思是将%>%左边的对象传递给右边的函数，作为第一个选项的设置（或剩下唯一一个选项的设置。 简单例子 比如我们要算f(x)=sin((x+1)^2)在x=4的值，可以分为以下三步： 计算a = x+1的值； 计算b = a…
