Scrapy Item Pipeline

描述

Item Pipeline 是处理报废物料的一种方法。当一个项目被发送到Item Pipeline时，它会被一个蜘蛛抓取并使用多个组件进行处理，这些组件会按顺序执行。

无论何时收到物品，都会决定采取以下任一行动 -

继续处理该项目。
从管道上掉下来。
停止处理该项目。

物品管线通常用于以下目的 -

在数据库中存储刮取的项目。
如果收到的物品重复，则会丢弃重复的物品。
它会检查项目是否与目标字段。
清除HTML数据。

句法

您可以使用以下方法编写项目管道 -

process_item(self, item, spider)

以上方法包含以下参数 -

Item （项目对象或字典） - 指定刮取的项目。
spider （蜘蛛物体） - 刮掉物品的蜘蛛。

您可以使用下表中给出的其他方法 -

序号	方法和描述	参数
1	open_spider(self, spider) 当蜘蛛被打开时它被选中。	蜘蛛（蜘蛛物体） - 它指的是打开的蜘蛛。
2	close_spider(self, spider) 它在蜘蛛关闭时被选中。	蜘蛛（蜘蛛物体） - 它是指被关闭的蜘蛛。
3	from_crawler(cls, crawler) 在爬虫的帮助下，流水线可以访问Scrapy的信号和设置等核心组件。	抓取工具（抓取工具对象） - 它指的是使用该流水线的抓取工具。

实例

以下是在不同概念中使用的项目管道的示例。

丢弃没有标签的物品

在下面的代码中，管道为那些不包含VAT的项目 _（excludesvat属性）平衡 （价格） 属性，并忽略那些没有价格标签的项目 - __

from  Scrapy.exceptions import DropItem  
class PricePipeline(object):
   vat = 2.25

   def process_item(self, item, spider):
      if item['price']:
         if item['excludes_vat']:
            item['price'] = item['price'] * self.vat
            return item
         else:
            raise DropItem("Missing price in %s" % item)

将项目写入JSON文件

下面的代码会将所有 抓取的 蜘蛛中的所有项目存储到一个单独的 item.jl 文件中，该文件包含JSON格式的每行一个序列化格式的项目。该 JsonWriterPipeline 类代码用来展示如何编写项目管道-

import json  

class JsonWriterPipeline(object):
   def __init__(self):
      self.file = open('items.jl', 'wb')

   def process_item(self, item, spider):
      line = json.dumps(dict(item)) + "\n"
      self.file.write(line)
      return item

将项目写入MongoDB

您可以在Scrapy设置中指定MongoDB地址和数据库名称，并且可以在项目类别后面命名MongoDB集合。以下代码描述了如何使用 from_crawler（） 方法正确收集资源 -

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list'

   def __init__(self, mongo_uri, mongo_db):
      self.mongo_uri = mongo_uri
      self.mongo_db = mongo_db

   @classmethod
   def from_crawler(cls, crawler):
      return cls(
         mongo_uri = crawler.settings.get('MONGO_URI'),
         mongo_db = crawler.settings.get('MONGO_DB', 'lists')
      )

   def open_spider(self, spider):
      self.client = pymongo.MongoClient(self.mongo_uri)
      self.db = self.client[self.mongo_db]

   def close_spider(self, spider):
      self.client.close()

   def process_item(self, item, spider):
      self.db[self.collection_name].insert(dict(item))
      return item

复制过滤器

过滤器将检查重复的项目，它会放弃已处理的项目。在下面的代码中，我们为我们的项目使用了一个唯一的ID，但蜘蛛返回了许多具有相同ID的项目 -

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self):
      self.ids_seen = set()

   def process_item(self, item, spider):
      if item['id'] in self.ids_seen:
         raise DropItem("Repeated items found: %s" % item)
      else:
         self.ids_seen.add(item['id'])
         return item

激活项目管道

您可以通过将其类添加到 _ITEM_PIPELINES_ 设置来激活Item Pipeline组件，如下面的代码所示。您可以按照它们运行的顺序将整数值分配给这些类（该顺序可以被赋值为较高值的类），值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}