Scrapy环境

在本章中，我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。

Scrapy可以通过使用 pip 来安装。要安装，请运行以下命令 -

pip install Scrapy

视窗

注意 - Windows 3不支持Python 3。

第1步 - 从 Python安装Python 2.7通过将以下路径添加到PATH来设置环境变量 -

C:\Python27\;C:\Python27\Scripts\;

您可以使用以下命令检查Python版本 -

python --version

第2步 - 安装 OpenSSL。

在您的环境变量中添加C:\OpenSSL-Win32\bin。

注 - OpenSSL预装在Windows以外的所有操作系统中。

第3步 - 安装 Visual C ++ 2008许可再发行组件。

第4步 - 安装 pywin32。

第5步 - 为Python版本2.7.9以前的版本安装pip。

您可以使用以下命令检查pip版本 -

pip --version

第6步 - 要安装scrapy，请运行以下命令 -

pip install Scrapy

如果您的计算机上安装了anaconda或miniconda，请运行以下命令以使用conda安装Scrapy

conda install -c scrapinghub scrapy

Scrapinghub公司支持适用于Linux，Windows和OS X的官方conda软件包。

注 - 如果您通过pip安装时遇到问题，建议使用上述命令安装Scrapy。

最新版本的Python已预先安装在Ubuntu OS上。使用Scrapinghub提供的Ubuntu软件包aptgettable。要使用包 -

第1步 - 您需要将用于签署Scrapy软件包的GPG密钥导入APT密钥环 -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

第2步 - 接下来，使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件 -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

第3步 - 更新软件包列表并安装scrapy -

sudo apt-get update && sudo apt-get install scrapy

您可以使用以下命令从AUR Scrapy软件包安装Scrapy -

yaourt -S scrapy

使用以下命令安装Xcode命令行工具 -

xcode-select --install

不要使用系统Python，而应安装与系统其余部分不冲突的新更新版本。

第1步 - 安装自制软件。

第2步 - 设置环境PATH变量以指定应该在系统包之前使用自制软件包 -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

第3步 - 要确保更改完成，请使用以下命令重新加载 .bashrc -

source ~/.bashrc

第4步 - 接下来，使用以下命令安装Python -

brew install python

第5步 - 使用以下命令安装Scrapy -

pip install Scrapy