小编典典

Scrapy:存储数据

scrapy

我是python和scrapy的新手。我打算遵循Scrapy教程,但是我不了解存储步骤的逻辑。

scrapy crawl spidername -o items.json -t json

scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv 

我不了解的含义:

  • -o
  • -t
  • –set

谢谢你的帮助


阅读 522

收藏
2020-04-10

共1个答案

小编典典

你可以通过scrapy crawl -h在项目目录中键入来查看可用命令的列表。

scrapy crawl spidername -o items.json -t json
  • -o 指定转储项目的输出文件名(items.json)
  • -t 指定转储项目的格式(json)
scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv
  • --set 用于设置/覆盖设置
  • FEED_URI用于设置物料转储的存储后端。在这种情况下,将其设置为“ output.csv”,它使用本地文件系统,即简单的输出文件。(对于当前示例-output.csv)
  • FEED_FORMAT 用于设置(输出)提要的序列化格式,即(对于当前示例csv)
2020-04-10