小编典典

在Cron工作中Scrapy

scrapy

想从cron工作中执行我的爬虫。

我创建bash文件getdata.sh,其中scrapy项目位于它的Spiders中

#!/bin/bash
cd /myfolder/crawlers/
scrapy crawl my_spider_name

我的crontab看起来像这样,我想每5分钟执行一次

 */5 * * * * sh /myfolder/crawlers/getdata.sh 

但这没用,怎么了,我的错误在哪里?

当我从终端sh /myfolder/crawlers/getdata.sh执行我的bash文件时,它工作正常


阅读 504

收藏
2020-04-09

共1个答案

小编典典

我解决了这个问题,包括进入bash文件的PATH

#!/bin/bash

cd /myfolder/crawlers/
PATH=$PATH:/usr/local/bin
export PATH
scrapy crawl my_spider_name
2020-04-09