安裝 Scrapy

scrapy 安裝的先決條件:

  • Python 2.7 或以上 3.3
  • pip 和 setuptools Python 包。
  • LXML
  • OpenSSL 的。

你可以使用 pip 安裝 Scrapy。要使用 pip 執行安裝:

pip install Scrapy

平臺特定安裝

Python

這是安裝 Scrapy 的推薦方法。

如果你已經安裝了 Anaconda 或 Miniconda,Scrapinghub 公司將維護適用於 Linux,Windows 和 OS X 的官方 conda 軟體包。

要使用 conda 安裝 Scrapy,請執行:

conda install -c scrapinghub scrapy

Ubuntu 9.10 或以上

使用官方 Ubuntu 軟體包 ,它已經為你解決了所有依賴項,並不斷更新最新的錯誤修復程式。

如果你更喜歡在本地構建 python 依賴項而不是依賴於系統包,則首先需要安裝所需的非 python 依賴項:

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

之後你可以用 pip 安裝 Scrapy:

pip install Scrapy

Archlinux

你可以按照通用說明或從 AUR Scrapy 包安裝 Scrapy:

yaourt -S scrapy

Windows

Windows 上尚不支援使用 Python 3 進行 Scrapy。

按照以下步驟在 Windows 上安裝 scrapy:

  • 安裝 Python 2.7

  • 調整 PATH 環境變數以包括 Python 可執行檔案和其他指令碼的路徑。需要將以下路徑新增到 PATH:

    C:\ Python27; C:\ Python27 \指令碼;

  • 這裡安裝 pywin32

  • 讓我們安裝 Scrapy:

     pip install Scrapy
    

Mac OS X.

構建 Scrapy 的依賴項需要存在 C 編譯器和開發頭。在 OS X 上,這通常由 Apple 的 Xcode 開發工具提供。要安裝 Xcode 命令列工具,請開啟終端視窗並執行:

xcode-select --install

有一個已知的問題阻止 pip 更新系統包。必須解決這個問題才能成功安裝 Scrapy 及其依賴項。以下是一些建議的解決方案

  • (推薦)不要使用系統 python,安裝一個不與系統其他部分衝突的新版本。以下是使用自制軟體包管理器的方法:

    • 按照 http://brew.sh/中的說明安裝自制軟體

    • 更新你的 PATH 變數,說明在系統軟體包之前應該使用自制軟體包(如果你使用 zsh 作為預設 shell,則將 .bashrc 改為 .zshrc ):

      echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
      
    • 重新載入 .bashrc 以確保發生了變化:

      source ~/.bashrc
      
    • 安裝 python:

      brew install python
      
    • 最新版本的 python 將 pip 與它們繫結在一起,因此你無需單獨安裝它。如果不是這樣,請升級 python:

      brew update; brew upgrade python
      
  • (可選)在隔離的 python 環境中安裝 Scrapy。

    此方法是上述 OS X 問題的解決方法,但它是管理依賴關係的總體良好實踐,可以補充第一種方法。

    virtualenv 是一個可以用來在 python 中建立虛擬環境的工具。我們建議你閱讀 http://docs.python-guide.org/en/latest/dev/virtualenvs/等教程,以便開始使用。

在完成任何這些變通辦法之後,你應該能夠安裝 Scrapy:

pip install Scrapy