202011-05 Pyston v2: 20% faster Python 150 VIEW We’re very excited to release Pyston v2, a faster and highly compatible implementation of the Python programming language. Version 2 is 20% faster tha.... Read More >
202010-14 scrapy配置参数(settings.py) 151 VIEW 主要配置参数 scrapy中的有很多配置,说一下比较常用的几个: CONCURRENT_ITEMS:项目管道最大并发数 CONCURRENT_REQUESTS: scrapy下载器最大并发数 DOWNLOAD_DELAY:访问同一个网站的间隔时间,单位秒。一般默认为0.5*DOWNLOAD_DELAY到1.5 *DOWNLOAD_DELAY之间的随机值。也可以设置为固定值,由RANDOMI.... Read More >
202010-14 scrapy 请求传递 Coookie 信息 80 VIEW COOKIES_ENABLED 默认: True 是否启用cookiesmiddleware。如果关闭,cookies将不会发送给web server。 COOKIES_DEBUG 默认: False 如果启用,Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies(set-cookie接收头) 使用Scrapy的时.... Read More >
202007-03 Scrapyd部署爬虫项目 332 VIEW 1. 准备 pip install scrapyd scrapyd-client scrapydweb 2. 运行scrapyd #新的cmd中 运行 scrapyd 3. 修改scrapy 项目参数 # Automatically created by.... Read More >
202007-03 scrapyd-deploy时遇报错 ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead. 917 VIEW 在执行命令:scrapyd-deploy时遇报错: /usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3.... Read More >
202007-02 python 包发布操作 340 VIEW 1. 编写自己的包项目 自行百度 2. 配置 .pypirc 路径 $HOME.pypirc [distutils] index-servers=pypi [pypi] repository = https://upload.pypi.org/legacy/ username = py.... Read More >
201911-28 数据分析神器 Pandas:如何用 1 行 Python 代码挖掘数据? 298 VIEW 在 30 秒内,完成你全部的标准数据分析,这就是用 Pandas 进行数据分析产生的“奇迹”。Pandas 是 Python 中处理数据的首选库,它使用起来很容易,非常灵活,能够处理不同类型和大小的数据,而且它有大量的函数,这让操作数据简直是小菜一碟。Pandas 基础之旅用 Python 处理过数.... Read More >
201906-12 Linux下使用socks5代理 1361 VIEW 1,安装shadowsockspip install shadowsocks2.创建shadowsocks配置文件vi /etc/shadowsocks.json { "server":"119.28.0.88", "server_port":8388, "local_port":1080, ".... Read More >
201906-05 MySQL利用binlog恢复误操作数据 383 VIEW 在人工手动进行一些数据库写操作的时候(比方说数据订正),尤其是一些不可控的批量更新或删除,通常都建议备份后操作。不过不怕万一,就怕一万,有备无患总是好的。在线上或者测试环境误操作导致数据被删除或者更新后,想要恢复,一般有两种方法。方法一、利用最近的全量备份+增量binlog备份,恢复到误操作之前的状态,但是随着数据量的增大,binlog的增多,恢复起来很费时。方法二、如果binlog的格式为row.... Read More >
201711-21 python 中文语音代码 910 VIEW #-*- coding: UTF-8 -*- import sys import pyttsx reload(sys) sys.setdefaultencoding("utf-8") text = 'python-opencv人脸识别与树莓派摄像头转头跟随' engine = pyttsx.init.... Read More >
201709-28 python 实现图像识别 900 VIEW 之前PHP完成的 图像识别 # -*- coding: utf-8 -*- # 利用python实现多种方法来实现图像识别 import cv2 import numpy as np from matplotlib.... Read More >
201701-11 使用Python+Selenium模拟登录QQ空间 1491 VIEW 使用Python+Selenium模拟登录QQ空间爬QQ空间之类的页面时大多需要进行登录,研究QQ登录规则的话,得分析大量Javascript的加密解密,这绝对能掉好几斤头发。而现在有了selenium工具,麻麻再也不用担心你的QQ登录! Selenium是一个WEB自动化测试工具,它运行时会直接实例化出一个浏览器,完全模拟用户的操作,比如点击链接、输入表单,点击按钮提交等。所以我们使用它可以很.... Read More >