API应该允许任意HTTP get请求包含用户要抓取的URL，然后Flask应该返回抓取的结果。

以下代码适用于第一个http请求，但是在扭曲的反应堆停止后，它将不会重新启动。我什至可能并没有以正确的方式来做这件事，但我只想在Heroku上安装一个RESTful scrapy API，到目前为止，我所能想到的就是全部。

有没有更好的方法来设计此解决方案？或者我如何允许scrape_it在不停止扭曲反应堆的情况下返回（该反应堆无法再次启动）？

from flask import Flask
import os
import sys
import json

from n_grams.spiders.n_gram_spider import NGramsSpider

# scrapy api
from twisted.internet import reactor
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

app = Flask(__name__)


def scrape_it(url):
    items = []
    def add_item(item):
        items.append(item)

    runner = CrawlerRunner()

    d = runner.crawl(NGramsSpider, [url])
    d.addBoth(lambda _: reactor.stop()) # <<< TROUBLES HERE ???

    dispatcher.connect(add_item, signal=signals.item_passed)

    reactor.run(installSignalHandlers=0) # the script will block here until the crawling is finished


    return items

@app.route('/scrape/<path:url>')
def scrape(url):

    ret = scrape_it(url)

    return json.dumps(ret, ensure_ascii=False, encoding='utf8')


if __name__ == '__main__':
    PORT = os.environ['PORT'] if 'PORT' in os.environ else 8080

    app.run(debug=True, host='0.0.0.0', port=int(PORT))