小编典典

BeautifulSoup和Scrapy之间的区别?

scrapy

我想制作一个网站,显示亚马逊和电子海湾产品价格之间的比较。其中哪个会更好,为什么?我对BeautifulSoup有点熟悉,但对Scrapy爬虫却不太了解。


阅读 745

收藏
2020-04-09

共1个答案

小编典典

Scrapy是一个Web-spider或Web scraper框架,你为Scrapy提供一个根URL以开始爬网,然后你可以指定要爬网和获取的URL数量的限制。它是用于Web 爬网或爬网的完整框架。

BeautifulSoup是一个解析库,它在从URL提取内容方面也做得很好,并且允许你轻松解析其中的某些部分。它只会获取你提供的URL的内容,然后停止。除非你使用某些条件将其手动放入无限循环内,否则它不会爬网。

简而言之,使用Beautiful Soup,你可以构建类似于Scrapy的东西。Beautiful Soup是一个库,而Scrapy是一个完整的框架。

2020-04-09