阅读本文需要的知识储备： 高等数学 运筹学 Python基础 1、引出梯度下降 对于，线性回归问题，上一篇我们用的是最小二乘法，很多人听到这个，或许会说：天杀的最小二乘法，因为很多人对它太敏感了。是的，从小到大，天天最小二乘法，能不能来点新花样。这里就用数学算法——梯度下降，来解决，寻优问题。 当然了，我们的目标函数还是： 在开始之前，我还是上大家熟知常见的图片。 梯度下山图片（来源：百度图片） 找了好久，我选了这张图片，因为我觉得这张图片很形象：天气骤变，一个人需要快速下山回家，但是他迷路了，不知道怎么回家，他知…
最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv，可以参见这篇博客:https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程 日志数据从…
Centos安装docker需要操作系统是 CentOS 7 or 8，必须启用centos extras存储库。默认情况下，此存储库处于启用状态，但如果已禁用它，则需要重新启用它。 卸载旧版本 老版本的docker被称作docker 或者 docker-engine，如果有老版本的docker，把它和相关依赖一起卸载。 $ remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-la…
当你看到这篇文章的时候，表明你已经有docker的基础知识了，或者可以看上一篇文章 Docker 入门教程。 传统的使用wordpress搭建网站，意味着你需要搭建以下四个环境： - php； - apache / nginx； - mysql； - wordpress； 这里面主要是php的搭建真心麻烦，各种依赖，版本不兼容，然后还有php跟mysql的插件，我是吃了它很大的苦，寻求让我快乐的方法，知道我发现了它。使用docker容器技术5分钟快速搭建wordpress，相信我，真的是五分钟。 一台linux服务…
作者： 阮一峰 日期： 2018年2月 9日 原文链接：Docker入门教程 2013年发布至今， Docker 一直广受瞩目，被认为可能会改变软件行业。 但是，许多人并不清楚 Docker 到底是什么，要解决什么问题，好处又在哪里？本文就来详细解释，帮助大家理解它，还带有简单易懂的实例，教你如何将它用于日常开发。 一、环境配置的难题 软件开发最大的麻烦事之一，就是环境配置。用户计算机的环境都不相同，你怎么知道自家的软件，能在那些机器跑起来？ 用户必须保证两件事：操作系统的设置，各种库和组件的安装。只有它们都正确，…
经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几个组件至关重要，是基础组件，大部分人都需要会的，其它组件可以用的时候再去查查资料学习。 hadoop Hbase Hive Spark Flink Kafka Hadoop 是大数据的基础组件，很多组件都需要依赖它的分布式存储、计算；主要包括Hdfs、MR、Yarn三部分，这个需要找一些好的资料（我的主页有资料领取方法），好好学学各自的用法，熟练之后，需要了解其背后的原理。 基本的，你得知道had…
1. scala的由来 scala是一门多范式的编程语言，一种类似java的编程语言[2] ，设计初衷是要集成面向对象编程和函数式编程的各种特性。 java和c++的进化速度已经大不如从前，那么乐于使用更现代的语言特性的程序员们正在将眼光移向他处。scala是一个很有吸引力的选择；事实上，在我看来，对于想要突破和超越java或者c++的程序员而言，scala是最具吸引力的一个。scala的语法十分简洁，相比java的样板代码，scala让人耳目一新。scala运行于java虚拟机之上，让我们可以使用现成的海量类库和…
一、前言 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根据已流入过的数据来判断去重。 检查输入流是否符合某个特定的模式，需要将之前流入的元素以状态的形式缓存下来。比如，判断一个温度传感器数据流中的温度是否在持续上升。 对一个时间窗口内的数据进行聚合分析，分析一个小时内某项指标的75分位或99分位的数值。 一个状态…
来吧，这个是传智播客的大数据视频资料，包括每一天的文档和视频。 这个是文档，大部分人应该都是想要文档，除了没有基础的新手，而不想要视频，因为看视频真的太花时间啦。 获取方法：关注公众号：大数据技术派，回复"大数据"，即可获得这份很全的文档。 我自己整理了一份pdf： 链接：https://pan.baidu.com/s/1-aTKicy0Yr9c3-dv0bIExA 提取码：1314 复制这段内容后打开百度网盘手机App，操作更方便哦 视频，这个很大，百度网盘经常封禁这个，我建了个百度网盘群，可…
在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，比如公司组织春游，规定周六早晨8：00 ~ 8:30清查人数，人齐则发车出发，可是总有那么个同学会睡懒觉迟到，这时候通常也会等待20分钟，但是不能一直等下去，如果到了20分钟则认为，想自己在家过周末，不参与春游活动了，不会继续等待了，直接出发。 这种机制跟这里要讲的watermark机制是一个意思。指的是，由于网络延迟等原因，一条数据会迟到计算，比如使用event time来划分窗口，我们知道窗口中的数据是计算一段时间的数据，如果一个数据来晚了，它的时间范围已经…
