分类目录归档：Python

2020
11-05

Pyston v2: 20% faster Python 150 VIEW

We’re very excited to release Pyston v2, a faster and highly compatible implementation of the Python programming language. Version 2 is 20% faster tha.... Read More >

2020
10-14

scrapy配置参数(settings.py) 151 VIEW

主要配置参数 scrapy中的有很多配置，说一下比较常用的几个： CONCURRENT_ITEMS：项目管道最大并发数 CONCURRENT_REQUESTS： scrapy下载器最大并发数 DOWNLOAD_DELAY：访问同一个网站的间隔时间，单位秒。一般默认为0.5*DOWNLOAD_DELAY到1.5 *DOWNLOAD_DELAY之间的随机值。也可以设置为固定值，由RANDOMI.... Read More >

2020
10-14

scrapy 请求传递 Coookie 信息 80 VIEW

COOKIES_ENABLED 默认： True 是否启用cookiesmiddleware。如果关闭，cookies将不会发送给web server。 COOKIES_DEBUG 默认： False 如果启用，Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies（set-cookie接收头）   使用Scrapy的时.... Read More >

2020
07-03

Scrapyd部署爬虫项目 332 VIEW

1. 准备 pip install scrapyd scrapyd-client scrapydweb   2. 运行scrapyd #新的cmd中 运行 scrapyd   3. 修改scrapy 项目参数 # Automatically created by.... Read More >

2020
07-03

scrapyd-deploy时遇报错 ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead. 917 VIEW

在执行命令：scrapyd-deploy时遇报错： /usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3.... Read More >

2020
07-02

python 包发布操作 340 VIEW

  1. 编写自己的包项目 自行百度 2. 配置 .pypirc 路径 $HOME.pypirc [distutils] index-servers=pypi [pypi] repository = https://upload.pypi.org/legacy/ username = py.... Read More >

2019
11-28

数据分析神器 Pandas：如何用 1 行 Python 代码挖掘数据？ 298 VIEW

在 30 秒内，完成你全部的标准数据分析，这就是用 Pandas 进行数据分析产生的“奇迹”。Pandas 是 Python 中处理数据的首选库，它使用起来很容易，非常灵活，能够处理不同类型和大小的数据，而且它有大量的函数，这让操作数据简直是小菜一碟。Pandas 基础之旅用 Python 处理过数.... Read More >

2019
06-12

Linux下使用socks5代理 1361 VIEW

1,安装shadowsockspip install shadowsocks2.创建shadowsocks配置文件vi /etc/shadowsocks.json { "server":"119.28.0.88", "server_port":8388, "local_port":1080, ".... Read More >

2019
06-05

MySQL利用binlog恢复误操作数据 383 VIEW

在人工手动进行一些数据库写操作的时候（比方说数据订正），尤其是一些不可控的批量更新或删除，通常都建议备份后操作。不过不怕万一，就怕一万，有备无患总是好的。在线上或者测试环境误操作导致数据被删除或者更新后，想要恢复，一般有两种方法。方法一、利用最近的全量备份+增量binlog备份，恢复到误操作之前的状态，但是随着数据量的增大，binlog的增多，恢复起来很费时。方法二、如果binlog的格式为row.... Read More >

2017
11-21

python 中文语音代码 910 VIEW

#-*- coding: UTF-8 -*- import sys import pyttsx reload(sys) sys.setdefaultencoding("utf-8") text = 'python-opencv人脸识别与树莓派摄像头转头跟随' engine = pyttsx.init.... Read More >

2017
09-28

python 实现图像识别 900 VIEW

之前PHP完成的 图像识别         # -*- coding: utf-8 -*- # 利用python实现多种方法来实现图像识别 import cv2 import numpy as np from matplotlib.... Read More >

2017
01-11

使用Python+Selenium模拟登录QQ空间 1491 VIEW

使用Python+Selenium模拟登录QQ空间爬QQ空间之类的页面时大多需要进行登录，研究QQ登录规则的话，得分析大量Javascript的加密解密，这绝对能掉好几斤头发。而现在有了selenium工具，麻麻再也不用担心你的QQ登录！ Selenium是一个WEB自动化测试工具，它运行时会直接实例化出一个浏览器，完全模拟用户的操作，比如点击链接、输入表单，点击按钮提交等。所以我们使用它可以很.... Read More >