小编典典

scrapy中的每个请求之间如何给延迟?

scrapy

我不想同时爬行并被阻止。我想每秒发送一个请求。


阅读 1315

收藏
2020-04-09

共1个答案

小编典典

DOWNLOAD_DELAY

默认: 0

从同一网站下载连续页面之前,下载程序应等待的时间(以秒为单位)。这可以用来限制爬网速度,以避免对服务器造成太大的冲击。

DOWNLOAD_DELAY = 0.25    # 250 ms of delay
2020-04-09