安裝或設定

Sqoop 作為一個二進位制包釋出,但它是來自兩個獨立部分客戶端和伺服器的複合。你需要在群集中的單個節點上安裝伺服器。然後,此節點將用作所有連線 Sqoop 客戶端的入口點。伺服器充當 mapreduce 客戶端,因此必須在託管 Sqoop 伺服器的計算機上安裝和配置 Hadoop。客戶端可以安裝在任意數量的計算機上。客戶端不充當 mapreduce 客戶端,因此你不需要在僅充當 Sqoop 客戶端的節點上安裝 Hadoop。

在要執行 Sqoop 伺服器的計算機上覆制 Sqoop 工件。該機器必須已安裝並配置 Hadoop。你不需要在那裡執行任何 Hadoop 相關服務,但是該機器必須能夠充當 Hadoop 客戶端。

# Extract Sqoop  tar
tar -xf sqoop-<version>-bin-hadoop<hadoop-version>.tar.gz

# Move decompressed content to any location 
  (you can also setup soft links to sqoop directory)
mv sqoop-<version>-bin-hadoop<hadoop version>.tar.gz /opt/apache/sqoop

# Change working directory
cd /opt/apache/sqoop

為 SQOOP 安裝依賴項

你需要將 Hadoop 庫安裝到 Sqoop 伺服器 war 檔案中。Sqoop 提供了方便的指令碼 addtowar.sh 來做到這一點。

如果你在/ usr / lib 中的常規位置安裝了 Hadoop 並且可執行檔案中有 hadoop,則可以使用自動 Hadoop 安裝過程:

./bin/addtowar.sh -hadoop-auto

如果你在不同位置安裝了 Hadoop,則需要手動指定 Hadoop 版本和 Hadoop 庫的路徑。你可以使用引數 -hadoop-version 來指定 Hadoop 主要版本,

./bin/addtowar.sh -hadoop-version 2.0 -hadoop-path /usr/lib/hadoop-common:/usr/lib/hadoop-hdfs:/usr/lib/hadoop-yarn
  • 為 sqoop 安裝所需的 JDBC jar 以連線到資料庫

./bin/addtowar.sh -jars /path/to/jar/mysql-connector-java-*-bin.jar

啟動和停止 Sqoop 伺服器服務

./bin/sqoop.sh server start
./bin/sqoop.sh server stop

Sqoop 客戶端配置步驟

在目標計算機上覆制 Sqoop 分發工件並將其解壓縮到所需位置。你可以使用以下命令啟動客戶端:

bin/sqoop.sh client

Sqoop 2 客戶端能夠像其他命令列工具一樣載入資原始檔。在執行開始時,Sqoop 客戶端將檢查當前登入使用者的主目錄中是否存在檔案 .sqoop2rc。如果存在此類檔案,則在任何其他操作之前將對其進行解釋。此檔案以互動模式和批處理模式載入。它可用於執行任何批量相容的命令。

示例資原始檔:

# Configure our Sqoop 2 server automatically
set server --host sqoop2.company.net

# Run in verbose mode by default
set option --name verbose --value true