我这样做的方法是创建虚假响应，这样您就可以离线测试解析函数。但是您可以通过使用真实的HTML获得真实的情况。

这种方法的问题是您的本地HTML文件可能无法反映在线的最新状态。因此，如果HTML在线更改，您可能会遇到一个大错误，但是您的测试用例仍会通过。因此，这可能不是测试此方法的最佳方法。

我当前的工作流程是，每当出现错误时，我都会使用url向管理员发送电子邮件。然后针对该特定错误，创建一个HTML文件，其中包含引起错误的内容。然后，我为此创建一个单元测试。

这是我用来创建示例Scrapy http响应以从本地html文件进行测试的代码：

# scrapyproject/tests/responses/__init__.py

import os

from scrapy.http import Response, Request

def fake_response_from_file(file_name, url=None):
    """
    Create a Scrapy fake HTTP response from a HTML file
    @param file_name: The relative filename from the responses directory,
                      but absolute paths are also accepted.
    @param url: The URL of the response.
    returns: A scrapy HTTP response which can be used for unittesting.
    """
    if not url:
        url = 'http://www.example.com'

    request = Request(url=url)
    if not file_name[0] == '/':
        responses_dir = os.path.dirname(os.path.realpath(__file__))
        file_path = os.path.join(responses_dir, file_name)
    else:
        file_path = file_name

    file_content = open(file_path, 'r').read()

    response = Response(url=url,
        request=request,
        body=file_content)
    response.encoding = 'utf-8'
    return response

样本html文件位于scrapyproject / tests / responses / osdir / sample.html中

然后，测试用例可能如下所示：测试用例的位置为scrapyproject / tests / test_osdir.py

import unittest
from scrapyproject.spiders import osdir_spider
from responses import fake_response_from_file

class OsdirSpiderTest(unittest.TestCase):

    def setUp(self):
        self.spider = osdir_spider.DirectorySpider()

    def _test_item_results(self, results, expected_length):
        count = 0
        permalinks = set()
        for item in results:
            self.assertIsNotNone(item['content'])
            self.assertIsNotNone(item['title'])
        self.assertEqual(count, expected_length)

    def test_parse(self):
        results = self.spider.parse(fake_response_from_file('osdir/sample.html'))
        self._test_item_results(results, 10)

基本上，这就是我测试解析方法的方式，但不仅限于解析方法。如果它变得更复杂，我建议看看Mox