Scrapy安装

发布于 2016-10-29 08:01:47 | 520 次阅读 | 评论: 1 | 来源: 网络整理

在本章中，我们将了解如何安装和设置Scrapy。Scrapy必须与Python一起安装。

Scrapy可以通过使用 pip 进行安装。运行以下命令：

pip install Scrapy

Windows系统上安装(本教程)

在Window系统上安装Scrapy，是一个比较复杂的事项，在写本教程的时候，看到网上有人说用了3天时间才装好，吓我一跳，不过还好，我也算是比较喜欢折腾的那么一个人。需要一点点耐心就好。下载文件地址 - http://pan.baidu.com/s/1nv6ObKt

注：Windows操作系统是不支持Python3 的 Scrapy。

从 Python 安装 Python2.7

添加下面的路径到PATH设置环境变量：
```
C:Python27;C:Python27Scripts;
```
您可以通过使用以下命令来检查Python版本：
```
python --version
```
安装 OpenSSL 或下载地址：http://www.egenix.com/cryptodownload/?file=egenix-pyopenssl-0.13.0_1.0.0g_1.win-amd64-py2.7.msi(重点)
添加 C:OpenSSL-Win64bin 在您的系统环境变量中；

注：OpenSSL预装在所有的操作系统(除了Windows)。
安装 Visual C++ 2008 再发行组件或Visual C++ 2008 Redistributables 和 Win64 OpenSSL v1.0.1f

成功后，界面长这样 -

Python的最新版本是预先安装在Ubuntu操作系统。使用由 Scrapinghub 提供 Ubuntu 的软件包 apt-get。要使用这些软件包：

需要输入用于登录 Scrapy 包 APT 的 GPG密钥：

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

接下来，使用下面的命令来创建 /etc/apt/sources.list.d/scrapy.list 文件：

echo 'deb http://archive.scrapy.org/ubuntu scrapy main'| sudo tee /etc/apt/sources.list.d/scrapy.list

更新软件包列表并安装scrapy：

sudo apt-get update && sudo apt-get install scrapy

可以使用下面的命令从AUR Scrapy 包安装 Scrapy：

yaourt -S scrapy

使用下面的命令来安装 Xcode 命令行工具：

xcode-select--install

而不是使用系统的Python，安装新的更新版本，不与系统的其余部分冲突。

安装homebrew
设置环境变量 PATH 指定 homebrew 包在系统软件包前使用：
```
echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
```
变更完成后，重新加载 .bashrc 使用下面的命令：
```
source ~/.bashrc
```
接下来，使用下面的命令安装 Python：
```
brew install python
```
接下来，安装scrapy：
```
pip install Scrapy
```