场景描述 线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？ 因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。 具体思路是： 每次只删除一天的数据； 删除一天的数据，每次删除50000条； 一天的数据删除完，开始删除下一天…
代码地址：https://github.com/ddxygq/PyCode/tree/master/web/flask/mega_tutorial/chapter3-form 本文翻译自 The Flask Mega-Tutorial Part III: Web Forms 这是Flask Mega-Tutorial系列的第三部分，我将告诉你如何使用Web表单。 在第二章中我为应用主页创建了一个简单的模板，并使用诸如用户和用户动态的模拟对象。在本章中，我将解决这个应用程序中仍然存在的众多遗漏之一，那就是如何通过We…
在介绍Python3爬虫之前，先说一下为什么需要学习Python3，为什么很多人会安装双版本Python，既Python2与Python3都安装，因为Python2与Python3都需要学习！ 只学习Python2，这里有很多理由来反驳： Python 3 才是Python的未来 Python 官方都建议指直接学习Python 3 Python 2 只维护到2020年 Python2在2020年就不维护了，那么就不学习Python2了吗？ 显然不是，windows xp 和 windows 7系统，也照样使用人数占…
记得我是数学系的，大二时候因为参加数学建模，学习Python爬虫，去图书馆借了一本Python基础书，不厚，因为有matlab和C语言基础，这本书一个星期看完了，学完后感觉Python入门很快，然后要开始学爬虫和矩阵计算，学习一下对应的包就行了，感觉很方便，爱上了这门语言，虽然毕业后做了Java，但是平时工作中也会用一些Python。不过初学者有很多基础知识点记不住，因为用得少，这里总结记录一下。更多Python知识，可以前往我的个人博客网站 等待下一个秋-Python 介绍 Python 是一门独特的语言，快速浏…
阅读本文需要的知识储备： 高等数学 概率论与数理统计 Python基础 线性回归，其实生活中有很多这样的例子，比如：票价与行车距离、服务质量之间的关系，买房时房价与面积、地域等的关系。给我们一组这样的数据，我们想找出一个数学关系来描述这个问题，从而得到自己想要的结论。那么，怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了。 最小二乘法原理 众所周知，最小二乘法原理就是利用，拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1…
Python发送邮件代码，Python2/3都可以直接使用。 发送普通邮件 发送文本和html普通邮件如下： from email.header import Header from email.mime.text import MIMEText from email.utils import parseaddr, formataddr import smtplib def _format_addr(s): name, addr = parseaddr(s) return formataddr((Header(na…
Python2里面默认有一个包叫做turtle，别名：乌龟，对于Python初学者很有吸引力，适合学习。这个包，主要是画图用的，这里用它画个图，并提供源码。 源码 import turtle def draw_square(turtle): for i in range(4): turtle.forward(100) turtle.right(90) def draw_flower(turtle): for i in range(36): draw_square(turtle) turtle.right(10) d…
我相信很多人，跟我一样，经常需要生成各种二维码，好在微信中发送，传播，我通常都会用一个几行python代码的脚本快速生成二维码。 想用的时候，随时输入一个命令，就能生成二维码。 废话不多说，直接上脚本(python 2.7 版本) import qrcode import sys def run(url, path): qr_image = qrcode.make(url) qr_image.save(path) if __name__ == '__main__': args = sys.argv if len(a…
Python可以实现强大的数据爬虫功能，并且数据分析与挖掘挺方便，也提供了大量的库，比如numpy, pands,matplotlib等。尤其，使用Python做机器学习也成了近年来的趋势，有人经常会问R语言与Python，该怎么取舍，我觉得都要学习，R语言擅长绘图，Python对于数据采集，各种算法，机器学习可能支持更好。 Python可以做什么 除了生孩子，Python都可以做。 - 数据采集； 数据分析，包括计算与绘图； 数据挖掘，支持多种数据挖掘算法； 机器学习，比如tensorflow； 图形化编程； W…
