Scrapy Feed exports Scrapy Item Pipeline Scrapy请求和响应 描述 Feed导出是一种存储从站点获取的数据的方法,即生成 “导出文件” 。 序列化格式 使用多个序列化格式和存储后端,Feed Export使用Item导出器并生成一个包含scraped项目的feed。 下表显示了支持的格式 - 序号 格式和说明 1 JSON FEED_FORMAT是 _json_ 使用的导出器是 _类scrapy.exporters.JsonItemExporter_ 2 JSON lines FEED_FROMAT是 _jsonlines_ 使用的导出器是 _类scrapy.exporters.JsonLinesItemExporter_ 3 CSV FEED_FORMAT是 _CSV_ 使用的导出器是 _类scrapy.exporters.CsvItemExporter_ 4 XML FEED_FORMAT是 _xml_ 使用的导出器是 _类scrapy.exporters.XmlItemExporter_ 使用 FEED_EXPORTERS 设置,支持的格式也可以扩展 - 序号 格式和说明 1 Pickle FEED_FORMAT是pickel 使用的出口商是 _类scrapy.exporters.PickleItemExporter_ 2 Marshal FEED_FORMAT是Marshal 使用的出口商是 _类scrapy.exporters.MarshalItemExporter_ 存储后端 存储后端定义了使用URI存储Feed的位置。 下表显示了支持的存储后端 - 序号 存储后端和说明 1 Local filesystem URI方案是 _文件_ ,它用于存储提要。 2 FTP URI方案是 _ftp_ ,它用于存储提要。 3 S3 URI方案是 _S3_ ,并且订阅源存储在Amazon S3上。外部库[botocore](https://github.com/boto/botocore)或[博托](https://github.com/boto/boto)是必需的。 4 标准输出 URI方案是 _stdout_ ,并且提要被存储到标准输出。 存储URI参数 以下是存储URL的参数,在创建Feed时会被替换 - %(时间)s:该参数被时间戳替换。 %(name)s:该参数被spider名称取代。 设置 下表显示了可以配置Feed输出的设置 - 序号 设置和说明 1 FEED_URI 它是用于启用饲料出口的出口饲料的URI。 2 FEED_FORMAT 它是用于馈送的序列化格式。 3 FEED_EXPORT_FIELDS 它用于定义需要导出的字段。 4 FEED_STORE_EMPTY 它定义是否导出没有项目的提要。 5 FEED_STORAGES 这是一个包含额外的Feed存储后端的词典。 6 FEED_STORAGES_BASE 这是一个带有内置后端存储后台的字典。 7 FEED_EXPORTERS 这是一本有额外饲料出口商的字典。 8 FEED_EXPORTERS_BASE 这是一本内置饲料出口商的字典。 Scrapy Item Pipeline Scrapy请求和响应