关注公众号：大数据技术派，领取资料，学习大数据技术。 理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。YARN架构如下: ResourceManager（RM）：负责对各NM上的资源进行统一管理和调度，将AM分配…
Driver spark.driver.cores driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数，默认为1g，同上。 spark.driver.maxResultSize driver端接收的最大结果大小，默认1GB，最小1MB，设置0为无限。 这个参数不建议设置的太大，如果要做数据可视化，更应该控制在20-30MB以内。过大会导致OOM。 spark.extraL…
大学里的三点收获 2001年我考入了南开大学，起初大学的生活是让人有点失落的，但慢慢地从安静朴素的校园和踏实努力的氛围中，我还是找到了自己的节奏。大学期间我主要在做三件事情 ，一是写代码，因为我是搞技术的；二是看书，看了很多很多书；三是修电脑。基于此自己也有三点收获：耐心，知识，伙伴。 第一点收获：耐心。有耐心，能独处，并基于长期思考做判断，而不为短期因素所干扰，耐心地等待你设想和努力的事情逐步发生，这对创业来说是非常重要的事情。事实上，你经常想象的很美好，设计的也很完整，你也很努力，但你所期待的事情，经常需要很长…
Windows微信多开，比如说我有两个微信号，我通常开两个微信进程。 方法 新建wechar.bat文件，里面内容： start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" 里面有两行，是微信的安装目录，保存后，双击这个文件即可双开微信。如果你想开5个，复…
不得不佩服 Spring Boot 的生态如此强大，今天我给大家推荐几款 Gitee 上优秀的后台开源版本的管理系统，小伙伴们再也不用从头到尾撸一个项目了，简直就是接私活，挣钱的利器啊。 SmartAdmin 我们开源一套漂亮的代码和一套整洁的代码规范，让大家在这浮躁的代码世界里感受到一股把代码写好的清流！同时又让开发者节省大量的时间，减少加班，快乐工作，热爱生活。SmartAdmin 让你从认识到忘不了，绝对是你最想要的！ 项目地址： https://gitee.com/lab1024/smart-admin l…
让人焦虑和烦恼的，不是累，更不是忙，而是没有特别感兴趣的事，没有特别爱的人。知道自己该努力了，却不知道努力的方向！ 而大多数人寻找的是又能赚钱，又感兴趣，又能获得满足感，这三者的交集。所以有人终身都找不到，每天处在焦虑和选择之间徘徊不定！
Spark内核概述 Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理。 一、Spark核心组件回顾 Driver Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 1、将用户程序转化为任务（Job）； 2、在Executor之间调度任务（task）； 3、跟踪Executor的执行情况； 4、通过UI…
抽样 抽样在Hive 中也是比较常用的一种手段，主要用在下面的几个场景中 一些机器学习的场景中，数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常，这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据，然后进行SQL调优 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随机抽样(rand()函数) 我们一般情况下是使用排序函数和rand…
5月13日，埃隆·马斯克透露，在比特币挖矿变得更加环保之前，特斯拉将不再接受任何比特币支付，这给整个加密货币市场带来了冲击。 马斯克指出，在特斯拉等待比特币转向可再生能源的同时，公司将关注“其他加密货币”，这些加密货币每笔交易的能耗不到比特币的1%。 特斯拉和比特币 ——埃隆·马斯克(@elonmusk) 2021年5月12日 这条推文让许多加密货币社区陷入狂热的猜测，猜测特斯拉还可能探索哪些加密货币。 社交影响者“The Cryptic Poet”告诉他的4.5万名推特粉丝，他预测特斯拉将“使用ETH或XRP”，…
我来个简单粗暴的回答。 如果你经过自己的努力，成功圈了一波粉丝，跟粉丝互动不错，赚钱途径通常是有这些的。 赞赏，如果你文章写的好，读者会给你赞赏，通常赞赏的人很少，毕竟非亲非故的，除非你写的特别好，也可能一千个人，有一个人给你赞赏就算不错了！ 文章后面的广告卡片，这个广告卡片读者点击了会有几毛到几块不等的收益，点击的人也很少，广告卡片的广告类型是可以通过后台调整的，建议每隔一段时间换一下广告类型，读者都看腻了同样类型的广告。这个收益很少，可以忽略不记。 返佣商品，有些公众号会在文章里面插入一些商品卡片，读者点击后产…
