安裝 Scrapy
scrapy 安裝的先決條件:
- Python 2.7 或以上 3.3
- pip 和 setuptools Python 包。
- LXML
- OpenSSL 的。
你可以使用 pip 安裝 Scrapy。要使用 pip
執行安裝:
pip install Scrapy
平臺特定安裝
Python
這是安裝 Scrapy 的推薦方法。
如果你已經安裝了 Anaconda 或 Miniconda,Scrapinghub 公司將維護適用於 Linux,Windows 和 OS X 的官方 conda 軟體包。
要使用 conda 安裝 Scrapy,請執行:
conda install -c scrapinghub scrapy
Ubuntu 9.10 或以上
使用官方 Ubuntu 軟體包 ,它已經為你解決了所有依賴項,並不斷更新最新的錯誤修復程式。
如果你更喜歡在本地構建 python 依賴項而不是依賴於系統包,則首先需要安裝所需的非 python 依賴項:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
之後你可以用 pip
安裝 Scrapy:
pip install Scrapy
Archlinux
你可以按照通用說明或從 AUR Scrapy 包安裝 Scrapy:
yaourt -S scrapy
Windows
Windows 上尚不支援使用 Python 3 進行 Scrapy。
按照以下步驟在 Windows 上安裝 scrapy:
-
安裝 Python 2.7
-
調整 PATH 環境變數以包括 Python 可執行檔案和其他指令碼的路徑。需要將以下路徑新增到 PATH:
C:\ Python27; C:\ Python27 \指令碼;
-
從這裡安裝 pywin32
-
讓我們安裝 Scrapy:
pip install Scrapy
Mac OS X.
構建 Scrapy 的依賴項需要存在 C 編譯器和開發頭。在 OS X 上,這通常由 Apple 的 Xcode 開發工具提供。要安裝 Xcode 命令列工具,請開啟終端視窗並執行:
xcode-select --install
有一個已知的問題阻止 pip
更新系統包。必須解決這個問題才能成功安裝 Scrapy 及其依賴項。以下是一些建議的解決方案
-
(推薦)不要使用系統 python,安裝一個不與系統其他部分衝突的新版本。以下是使用自制軟體包管理器的方法:
-
按照 http://brew.sh/中的說明安裝自制軟體
-
更新你的
PATH
變數,說明在系統軟體包之前應該使用自制軟體包(如果你使用 zsh 作為預設 shell,則將.bashrc
改為.zshrc
):echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
-
重新載入
.bashrc
以確保發生了變化:source ~/.bashrc
-
安裝 python:
brew install python
-
最新版本的 python 將
pip
與它們繫結在一起,因此你無需單獨安裝它。如果不是這樣,請升級 python:brew update; brew upgrade python
-
-
(可選)在隔離的 python 環境中安裝 Scrapy。
此方法是上述 OS X 問題的解決方法,但它是管理依賴關係的總體良好實踐,可以補充第一種方法。
virtualenv 是一個可以用來在 python 中建立虛擬環境的工具。我們建議你閱讀 http://docs.python-guide.org/en/latest/dev/virtualenvs/等教程,以便開始使用。
在完成任何這些變通辦法之後,你應該能夠安裝 Scrapy:
pip install Scrapy