首页 > Python > scrapy 请求传递 Coookie 信息
2020
10-14

scrapy 请求传递 Coookie 信息

COOKIES_ENABLED

默认: True

是否启用cookiesmiddleware。如果关闭,cookies将不会发送给web server。

COOKIES_DEBUG

默认: False

如果启用,Scrapy将记录所有在request(cookie 请求头)发送的cookies及response接收到的cookies(set-cookie接收头)

 

使用Scrapy的时候需要Cookies,就不能把Cookies放在Headers里面。在Scrapy发起请求的时候,有一个单独的参数来设置Cookies:

yield scrapy.Request(url,
                     callback=self.xxx,
                     headers=headers,
                     cookies={'uid': '123456',
                              'sessionId': '2437917172341832984120934'})

 

并且, cookies参数的值为一个字典,需要把原来Chrome中的字符串Cookies,先按分号分为不同的段,每一段再根据等号拆分为key和value。

最后编辑:
作者:sunny5156
喜欢技术....

留下一个回复