將資料載入到 hadoop hdfs 中

第 1 步：在 HDFS 中建立目錄，上傳檔案和列表內容

讓我們通過編寫語法來學習。你將能夠將以下示例命令複製並貼上到終端中：

hadoop fs -mkdir：

將路徑 URI 作為引數並建立目錄或多個目錄。

用法：

    # hadoop fs -mkdir <paths>

例：

    hadoop fs -mkdir /user/hadoop
    hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 /user/hadoop/dir3

hadoop fs -put：

將單個 src 檔案或多個 src 檔案從本地檔案系統複製到 Hadoop 分散式檔案系統。

用法：

    # hadoop fs -put <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -put popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -copyFromLocal：

將單個 src 檔案或多個 src 檔案從本地檔案系統複製到 Hadoop 分散式檔案系統。

用法：

    # hadoop fs -copyFromLocal <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -copyFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

hadoop fs -moveFromLocal：

與 put 命令類似，只是在複製後刪除了源 localsrc。

用法：

    # hadoop fs -moveFromLocal <local-src> ... <HDFS_dest_path>

例：

    hadoop fs -moveFromLocal popularNames.txt /user/hadoop/dir1/popularNames.txt

SQOOP 資料傳輸工具：

我們還可以使用 Sqoop（用於從 RDBMS 到 HDFS 的資料傳輸的命令列工具，反之亦然）直接從關聯式資料庫將資料載入到 HDFS 中。

用法：

$ sqoop import --connect CONNECTION_STRING --username USER_NAME --table TABLE_NAME

例：

$ sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST