实时统计pv、uv是再常见不过的大数据统计需求了，前面出过一篇SparkStreaming实时统计pv,uv的案例，这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv，uv情况,并且有如下要求. - 每秒钟要输出最新的统计结果； - 程序永远跑着不会停,所以要定期清理内存里的过时数据； - 收到的消息里的时间字段并不是按照顺序严格递增的,所以要有一定的容错机制； - 访问uv并不一定每秒钟都会变化,重复输出对IO是巨大的浪费,所以要在uv变更时在一秒内输出结果,未变更时不输出； Flink数据…
人，为什么要活着，有人为了生计，有人为了自己的亲人，有人不知道为了什么活着。有人活着，是因为理想。 记得初中学过一篇文章，是美国自由运动的黑人领袖——马丁·路德·金的《我有一个梦想》，他通过自己的努力为一类人争取自由，自己也因此获得了尊重，实现了自己的理想。 我们大部分人都是平凡人，没有除旧革新、造福人类的大理想，但是我们，仍应该有理想。 说到这里，我想打住，澄清自己的清白，我不是来展示我的洋洋洒洒的文采的，因为我压根就没有文采可言，我是个平凡的程序员，我只是想说说心里话：人活着，是因为理想。 所有人都在为理想而努…
Python可以实现强大的数据爬虫功能，并且数据分析与挖掘挺方便，也提供了大量的库，比如numpy, pands,matplotlib等。尤其，使用Python做机器学习也成了近年来的趋势，有人经常会问R语言与Python，该怎么取舍，我觉得都要学习，R语言擅长绘图，Python对于数据采集，各种算法，机器学习可能支持更好。 Python可以做什么 除了生孩子，Python都可以做。 - 数据采集； 数据分析，包括计算与绘图； 数据挖掘，支持多种数据挖掘算法； 机器学习，比如tensorflow； 图形化编程； W…
R语言中的管道%>% ％>％来自dplyr包的管道函数，我们可以将其理解为车间里的流水线，经过前一步加工的产品才能进入后一步进一步加工，其作用是将前一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。 符号%>%，这是管道操作，其意思是将%>%左边的对象传递给右边的函数，作为第一个选项的设置（或剩下唯一一个选项的设置。 简单例子 比如我们要算f(x)=sin((x+1)^2)在x=4的值，可以分为以下三步： 计算a = x+1的值； 计算b = a…
redis大key，这里指的是大的集合数据类型，如（set/hash/list/sorted set），一个key包含很多元素。由于redis是单线程，在删除大key(千万级别的set集合)的时候，或者清理过期大key数据时，主线程忙于删除这个大key，会导致redis阻塞、崩溃，应用程序异常的情况。 一个例子 线上redis作为实时去重的一个工具，里面有6千万的用户guid，这么一个set集合，如果直接使用del删除，会导致redis严重阻塞。 10.1.254.18:6380> info memory #…
R语言读写最灵活的文件——txt文件 R语言可以读取很多文件，其中以txt文本文件最为灵活，为什么呢，txt文件可以以任意符号作为分隔符，比如“，”，“\t”，空格，甚至“……&￥￥%￥”等任意自定义的分隔符号。 读取文件 这里先把工作空间切换到D盘下面，默认的一般是C盘的文档，我们要有分层管理文件的概念，否则我们还是一个合格的程序员吗？ setwd('D:\\') 读取文本文件主要用read.table(filePath,header = ,sep=) filePath就是文件路径，header表示文件是…
作为一门高级的数据分析语言，R语言不仅具有其它高级语言的自带大量内嵌函数的方便特性，而且它的一些函数更侧重于数据统计分析，成为越来越多的数据分析人员首选语言。下面就来列一下R中的一些常用函数。与matlab一样，作为第二个以向量式运算作为主要运算方式的编程语言，R的一些函数主要是针对向量的。 作用于向量 >x <- 1:10 >sum(x) #对x中的元素求和 [1] 55 >length(x) #返回x的长度 [1] 10 >prod(x) #求x中所有元素的连乘积 [1] 3628…
R语言某种程度来说本身就是一个函数库，因为它有大量的函数可供调用，加上函数式编程，使得R语言的功能很强大。但是，有时候，根据实际需要，我们还是需要自己动手编写函数，从而减少代码的缀余与工作量。 与其它语言一样，函数的组成莫过于关键字function、形参、是否返回值。函数的具体用法这里用几个例子说明 调用函数 这里写一个打印函数演示简单的参数传递功能： > a a('hello world!') [1] "hello world!" 写一个函数实现矩阵的乘法： rm(list = ls()) a
都知道R语言是向量式编程，可是有时候确实需要用到循环语句，这里就介绍R语言里面的主要循环——for循环。 与其它语言的for循环一样，R的for循环可以嵌套for循环或者其它循环。 单循环 > a for(i in 1:length(a)){s print(s) [1] 5150 写一个循环嵌套 s
R语言中的因子确实不好理解，很多人都这么觉得。在R语言中，因子（factor）表示的是一个符号、一个编号或者一个等级，即，一个点。例如，人的个数可以是1，2，3，4......那么因子就包括，1，2，3，4.....还有统计量的水平的时候用到的高、中、低，也是因子，因为他是一个点。与之区别的向量，是一个连续性的值，例如，数值中有1，1.1，1.2......可以作为数值来计算，而因子则不可以。如果用我自己的理解，简单通俗来讲：因子是一个点，向量是一个有方向的范围。在R中，如果把数字作为因子，那么在导入数据之后，需要…
