Scrapy Item Pipeline


描述

Item Pipeline 是处理报废物料的一种方法。当一个项目被发送到Item Pipeline时,它会被一个蜘蛛抓取并使用多个组件进行处理,这些组件会按顺序执行。

无论何时收到物品,都会决定采取以下任一行动 -

  • 继续处理该项目。
  • 从管道上掉下来。
  • 停止处理该项目。

物品管线通常用于以下目的 -

  • 在数据库中存储刮取的项目。
  • 如果收到的物品重复,则会丢弃重复的物品。
  • 它会检查项目是否与目标字段。
  • 清除HTML数据。

句法

您可以使用以下方法编写项目管道 -

process_item(self, item, spider)

以上方法包含以下参数 -

  • Item (项目对象或字典) - 指定刮取的项目。
  • spider (蜘蛛物体) - 刮掉物品的蜘蛛。

您可以使用下表中给出的其他方法 -

序号 方法和描述 参数
1 open_spider(self, spider) 当蜘蛛被打开时它被选中。 蜘蛛(蜘蛛物体) - 它指的是打开的蜘蛛。
2 close_spider(self, spider) 它在蜘蛛关闭时被选中。 蜘蛛(蜘蛛物体) - 它是指被关闭的蜘蛛。
3 from_crawler(cls, crawler) 在爬虫的帮助下,流水线可以访问Scrapy的信号和设置等核心组件。 抓取工具(抓取工具对象) - 它指的是使用该流水线的抓取工具。

实例

以下是在不同概念中使用的项目管道的示例。

丢弃没有标签的物品

在下面的代码中,管道为那些不包含VAT的项目 _(excludesvat属性) 平衡 (价格) 属性,并忽略那些没有价格标签的项目 - __

from  Scrapy.exceptions import DropItem  
class PricePipeline(object):
   vat = 2.25

   def process_item(self, item, spider):
      if item['price']:
         if item['excludes_vat']:
            item['price'] = item['price'] * self.vat
            return item
         else:
            raise DropItem("Missing price in %s" % item)

将项目写入JSON文件

下面的代码会将所有 抓取的 蜘蛛中的所有项目存储到一个单独的 item.jl 文件中,该文件包含JSON格式的每行一个序列化格式的项目。该 JsonWriterPipeline 类代码用来展示如何编写项目管道-

import json  

class JsonWriterPipeline(object):
   def __init__(self):
      self.file = open('items.jl', 'wb')

   def process_item(self, item, spider):
      line = json.dumps(dict(item)) + "\n"
      self.file.write(line)
      return item

将项目写入MongoDB

您可以在Scrapy设置中指定MongoDB地址和数据库名称,并且可以在项目类别后面命名MongoDB集合。以下代码描述了如何使用 from_crawler() 方法正确收集资源 -

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list'

   def __init__(self, mongo_uri, mongo_db):
      self.mongo_uri = mongo_uri
      self.mongo_db = mongo_db

   @classmethod
   def from_crawler(cls, crawler):
      return cls(
         mongo_uri = crawler.settings.get('MONGO_URI'),
         mongo_db = crawler.settings.get('MONGO_DB', 'lists')
      )

   def open_spider(self, spider):
      self.client = pymongo.MongoClient(self.mongo_uri)
      self.db = self.client[self.mongo_db]

   def close_spider(self, spider):
      self.client.close()

   def process_item(self, item, spider):
      self.db[self.collection_name].insert(dict(item))
      return item

复制过滤器

过滤器将检查重复的项目,它会放弃已处理的项目。在下面的代码中,我们为我们的项目使用了一个唯一的ID,但蜘蛛返回了许多具有相同ID的项目 -

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self):
      self.ids_seen = set()

   def process_item(self, item, spider):
      if item['id'] in self.ids_seen:
         raise DropItem("Repeated items found: %s" % item)
      else:
         self.ids_seen.add(item['id'])
         return item

激活项目管道

您可以通过将其类添加到 _ITEM_PIPELINES_ 设置来激活Item Pipeline组件,如下面的代码所示。您可以按照它们运行的​​顺序将整数值分配给这些类(该顺序可以被赋值为较高值的类),值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}