当前很多人都很浮躁，能刷头条的10分钟绝不会认真思考一会人生，能刷120分钟抖音的时间，绝不会静下心来去看一部经典电影。碎片化学习、生活变得如此常见，让人们变得过分自负，好挣快钱，渐渐没有了点滴积累、循序渐进做事的那份耐心了。有时候我也意识到了自己的这个问题，面对充满机遇的2021年，我给自己定了一些计划，然后写下来，时刻提醒自己，免得我又被某个热点吸引走了，我要培养自己的执行力，拿出实际行动来，多做尝试，多条腿走路。 暂时列出了这么多，大部分都是这几年的烂尾项目，还有几个新项目，后面如果想到了新的项目，我也会列出…
因为最近在使用Vue和SpringBoot结合开发，异步请求使用axios这个插件，本身在后端已经配置了跨域，前端指定了axios.defaults.baseURL，对于get请求是没有问题的，本来以为可以安心写页面了，结果发现对于后端配置的需要验证authc才能访问的post页面完全不能访问。查询资料才知道，因为前端访问时候没有把cookie放到请求头里面，查阅了一下资料，这里记录下。axios我的配置是这样的： var axios = require('axios') axios.defau…
先来看一下2019年人口普查，也是第七次人口普查的男女性别比例数据，是目前最新的数据了。这里性别比，女性基数是100，例如：20 ~ 24这个区间，性别比是114.61，也就是说，114.6个男性对应100个女性。 可以看出，男女数量差异比较明显，但是在这个人口基数大国中，这个差异得以放大。那么，这个性别数量差异是怎么造成的呢？我们继续探究。 故事一 以前在农村重男轻女现象比较严重，我村里一户人家想要一个男孩，结果接连生了5胎，都是女孩。人生就是这样的倔强，也需要顽强，有时候你不坚持一下，你都不知道什么叫绝望。 故…
关注公众号：大数据技术派，领取资料，学习大数据技术。 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。YARN架构如下: ResourceManager（RM）：负责对各NM上的资源进行统一管理和调度，将AM分配…
Driver spark.driver.cores driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数，默认为1g，同上。 spark.driver.maxResultSize driver端接收的最大结果大小，默认1GB，最小1MB，设置0为无限。 这个参数不建议设置的太大，如果要做数据可视化，更应该控制在20-30MB以内。过大会导致OOM。 spark.extraL…
大学里的三点收获 2001年我考入了南开大学，起初大学的生活是让人有点失落的，但慢慢地从安静朴素的校园和踏实努力的氛围中，我还是找到了自己的节奏。大学期间我主要在做三件事情 ，一是写代码，因为我是搞技术的；二是看书，看了很多很多书；三是修电脑。基于此自己也有三点收获：耐心，知识，伙伴。 第一点收获：耐心。有耐心，能独处，并基于长期思考做判断，而不为短期因素所干扰，耐心地等待你设想和努力的事情逐步发生，这对创业来说是非常重要的事情。事实上，你经常想象的很美好，设计的也很完整，你也很努力，但你所期待的事情，经常需要很长…
Windows微信多开，比如说我有两个微信号，我通常开两个微信进程。 方法 新建wechar.bat文件，里面内容： start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" 里面有两行，是微信的安装目录，保存后，双击这个文件即可双开微信。如果你想开5个，复…
不得不佩服 Spring Boot 的生态如此强大，今天我给大家推荐几款 Gitee 上优秀的后台开源版本的管理系统，小伙伴们再也不用从头到尾撸一个项目了，简直就是接私活，挣钱的利器啊。 SmartAdmin 我们开源一套漂亮的代码和一套整洁的代码规范，让大家在这浮躁的代码世界里感受到一股把代码写好的清流！同时又让开发者节省大量的时间，减少加班，快乐工作，热爱生活。SmartAdmin 让你从认识到忘不了，绝对是你最想要的！ 项目地址： https://gitee.com/lab1024/smart-admin l…
让人焦虑和烦恼的，不是累，更不是忙，而是没有特别感兴趣的事，没有特别爱的人。知道自己该努力了，却不知道努力的方向！ 而大多数人寻找的是又能赚钱，又感兴趣，又能获得满足感，这三者的交集。所以有人终身都找不到，每天处在焦虑和选择之间徘徊不定！
Spark内核概述 Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理。 一、Spark核心组件回顾 Driver Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 1、将用户程序转化为任务（Job）； 2、在Executor之间调度任务（task）； 3、跟踪Executor的执行情况； 4、通过UI…
