小编典典

使用scrapyd有什么优势?

scrapy

Scrapy附带了一个内置服务,叫做“Scrapyd”,它允许你部署(也就是上传)你的项目并使用JSON web服务控制它们的spider。

使用scrapyd有什么优点吗?


阅读 1080

收藏
2020-04-09

共1个答案

小编典典

通过方便的Web API,Scrapyd允许你在不同于正在使用的计算机上的另一台计算机上运行scrapy,这意味着你可以curl甚至使用网络浏览器上传新项目版本并运行它们。否则,如果你想在某个地方的云中运行Scrapy,则必须scp复制新的spider代码,然后使用登录ssh并生成你的scrapy crawl myspider

如果你要并行运行许多spider,Scrapyd还将为你管理进程。但是,如果你在本地计算机上拥有Scrapy并可以访问命令行或运行Spider的方式,并且只想一次运行一个Spider,那么最好不要手动运行Spider。

如果你正在开发Spider,那么可以肯定的是你不想使用scrapyd快速编译/测试迭代,因为这只会增加一层复杂性。

2020-04-09