如何通过python Web抓取框架Scrapy利用代理支持?
从Scrapy常见问题解答中,
Scrapy是否可以与HTTP代理一起使用? 是。(自Scrapy 0.8起)通过HTTP代理下载器中间件提供对HTTP代理的支持。请参阅HttpProxyMiddleware。
是。(自Scrapy 0.8起)通过HTTP代理下载器中间件提供对HTTP代理的支持。请参阅HttpProxyMiddleware。
HttpProxyMiddleware
使用代理的最简单方法是设置环境变量http_proxy。如何完成此操作取决于您的外壳。
http_proxy
C:\>设置http_proxy = http:// proxy:port csh%setenv http_proxy http:// proxy:port sh $导出http_proxy = http:// proxy:port
如果您想使用https代理并访问https web,要设置环境变量,http_proxy请遵循以下步骤,
C:\>设置https_proxy = https:// proxy:port csh%setenv https_proxy https://代理:端口 sh $导出https_proxy = https:// proxy:port