小编典典

粗鲁和代理

python

如何通过python Web抓取框架Scrapy利用代理支持?


阅读 159

收藏
2020-12-20

共1个答案

小编典典

Scrapy常见问题解答中

Scrapy是否可以与HTTP代理一起使用?

是。(自Scrapy
0.8起)通过HTTP代理下载器中间件提供对HTTP代理的支持。请参阅HttpProxyMiddleware

使用代理的最简单方法是设置环境变量http_proxy。如何完成此操作取决于您的外壳。

C:\>设置http_proxy = http:// proxy:port
csh%setenv http_proxy http:// proxy:port
sh $导出http_proxy = http:// proxy:port

如果您想使用https代理并访问https web,要设置环境变量,http_proxy请遵循以下步骤,

C:\>设置https_proxy = https:// proxy:port
csh%setenv https_proxy https://代理:端口
sh $导出https_proxy = https:// proxy:port
2020-12-20