是Scrapy是单线程还是多线程？

小编典典

scrapy

Scrapy中很少有并发设置，例如CONCURRENT_REQUESTS。这意味着Scrapy搜寻器是多线程的吗？因此，如果我运行scrapy crawl my_crawler它，将在字面上并行触发多个同时请求？我问是因为，我读过Scrapy是单线程的。

阅读 1966

2020-04-10

共1个答案

小编典典

Scrapy是单线程的，除了交互式外壳程序和一些测试之外，请参见source。

它建立在Twisted的基础上，Twisted也是单线程的，并且利用了它自己的异步并发功能，例如twisted.internet.interfaces.IReactorThreads.callFromThread，参见source。

2020-04-10