Scrapy在解析中获取请求URL

小编典典

scrapy

如何在Scrapy parse()函数中获取请求网址？我有很多网址start_urls，其中一些将我的蜘蛛重定向到主页，结果我有一个空项目。所以我需要一些类似的东西item['start_url'] = request.url来存储这些URL。我正在使用BaseSpider。

阅读 1779

2020-04-10

共1个答案

小编典典

传递给parse（）的’response’变量具有所需的信息。你不需要覆盖任何内容。

例如。（编辑）

def parse(self, response):
    print "URL: " + response.request.url

2020-04-10