分类目录归档：Python

2021
08-24

Grumpy: Go 上运行 Python! 102 VIEW

Google 运行数百万行Python代码用于驱动youtube.com和YouTube API的前端服务器，每秒可以提供数百万的请求！ YouTube的前端运行在CPython 2.7上，所以我们投入了大量的工作来改进运行时，并使我们的应用程序能很好地在其中工作。这些努力多年来取得了很多成果，但有.... Read More >

2021
08-24

gevent和twisted对比 111 VIEW

Twisted在事件驱动版本的程序中，3个任务交错执行，但仍然在一个单独的线程控制中。当处理I/O或者其他昂贵的操作时，注册一个回调到事件循环中，然后当I/O操作完成时继续执行。回调描述了该如何处理某个事件。事件循环轮询所有的事件，当事件到来时将它们分配给等待处理事件的回调函数。这种方式让程序尽可能的得以执行而不需要用到额外的线程。事件驱动型程序比多线程程序更容易推断出行为，因为程序员不需要关心线.... Read More >

2021
08-24

50 种最棒的开源爬虫框架/项目[转] 111 VIEW

Python 编写的开源 Web 爬虫 1. Scrapy · 实现语言：Python · GitHub Star 数：28660 · 官方支持链接 简介： · Scrapy 是一种高速的高层 Web 爬取和 Web 采集框架，可用于爬取网站页面，并从页面中抽取结构化数据。 · Scrapy 的用.... Read More >

2020
11-05

Pyston v2: 20% faster Python 670 VIEW

We’re very excited to release Pyston v2, a faster and highly compatible implementation of the Python programming language. Version 2 is 20% faster tha.... Read More >

2020
10-14

scrapy配置参数(settings.py) 717 VIEW

主要配置参数 scrapy中的有很多配置，说一下比较常用的几个： CONCURRENT_ITEMS：项目管道最大并发数 CONCURRENT_REQUESTS： scrapy下载器最大并发数 DOWNLOAD_DELAY：访问同一个网站的间隔时间，单位秒。一般默认为0.5*DOWNLOAD_DELAY到1.5 *DOWNLOAD_DELAY之间的随机值。也可以设置为固定值，由RANDOMI.... Read More >

2020
10-14

scrapy 请求传递 Coookie 信息 469 VIEW

COOKIES_ENABLED 默认： True 是否启用cookiesmiddleware。如果关闭，cookies将不会发送给web server。 COOKIES_DEBUG 默认： False 如果启用，Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies（set-cookie接收头）   使用Scrapy的时.... Read More >

2020
07-03

Scrapyd部署爬虫项目 955 VIEW

1. 准备 pip install scrapyd scrapyd-client scrapydweb   2. 运行scrapyd #新的cmd中 运行 scrapyd   3. 修改scrapy 项目参数 # Automatically created by.... Read More >

2020
07-03

scrapyd-deploy时遇报错 ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3lib.http` instead. 2180 VIEW

在执行命令：scrapyd-deploy时遇报错： /usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated, Please import from `w3.... Read More >

2020
07-02

python 包发布操作 848 VIEW

  1. 编写自己的包项目 自行百度 2. 配置 .pypirc 路径 $HOME.pypirc [distutils] index-servers=pypi [pypi] repository = https://upload.pypi.org/legacy/ username = py.... Read More >

2019
11-28

数据分析神器 Pandas：如何用 1 行 Python 代码挖掘数据？ 789 VIEW

在 30 秒内，完成你全部的标准数据分析，这就是用 Pandas 进行数据分析产生的“奇迹”。Pandas 是 Python 中处理数据的首选库，它使用起来很容易，非常灵活，能够处理不同类型和大小的数据，而且它有大量的函数，这让操作数据简直是小菜一碟。Pandas 基础之旅用 Python 处理过数.... Read More >

2019
06-12

Linux下使用socks5代理 2749 VIEW

1,安装shadowsockspip install shadowsocks2.创建shadowsocks配置文件vi /etc/shadowsocks.json { "server":"119.28.0.88", "server_port":8388, "local_port":1080, ".... Read More >

2019
06-05

MySQL利用binlog恢复误操作数据 714 VIEW

在人工手动进行一些数据库写操作的时候（比方说数据订正），尤其是一些不可控的批量更新或删除，通常都建议备份后操作。不过不怕万一，就怕一万，有备无患总是好的。在线上或者测试环境误操作导致数据被删除或者更新后，想要恢复，一般有两种方法。方法一、利用最近的全量备份+增量binlog备份，恢复到误操作之前的状态，但是随着数据量的增大，binlog的增多，恢复起来很费时。方法二、如果binlog的格式为row.... Read More >