在 Linux 上安装或设置

Created: November-22, 2018

伪分布式群集设置过程

先决条件

安装 JDK1.7 并设置 JAVA_HOME 环境变量。
创建一个新用户为 hadoop。

useradd hadoop

设置无密码 SSH 登录到自己的帐户

 su - hadoop
 ssh-keygen
 << Press ENTER for all prompts >>
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 chmod 0600 ~/.ssh/authorized_keys

通过执行 ssh localhost 验证

通过编辑/etc/sysctl.conf 禁用 IPV6，具体如下：

 net.ipv6.conf.all.disable_ipv6 = 1
 net.ipv6.conf.default.disable_ipv6 = 1
 net.ipv6.conf.lo.disable_ipv6 = 1

检查使用 cat /proc/sys/net/ipv6/conf/all/disable_ipv6

（应该返回 1）

安装配置：

使用 wget 命令从 Apache 归档文件下载所需的 Hadoop 版本。

 cd /opt/hadoop/
 wget http:/addresstoarchive/hadoop-2.x.x/xxxxx.gz
 tar -xvf hadoop-2.x.x.gz
 mv hadoop-2.x.x.gz hadoop 
(or)

 ln -s hadoop-2.x.x.gz hadoop
 chown -R hadoop:hadoop hadoop

使用以下环境变量，根据你的 shell 更新 .bashrc / .kshrc

  export HADOOP_PREFIX=/opt/hadoop/hadoop
  export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
  export JAVA_HOME=/java/home/path
  export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$JAVA_HOME/bin

在 $HADOOP_HOME/etc/hadoop 目录下编辑下面的文件

核心的 site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
</configuration>

mapred-site.xml 中

从模板创建 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>

纱的 site.xml

 <configuration>
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>localhost</value> 
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
 </configuration>

HDFS-site.xml 中

 <configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:///home/hadoop/hdfs/namenode</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name> 
         <value>file:///home/hadoop/hdfs/datanode</value> 
     </property>
 </configuration>

创建父文件夹以存储 hadoop 数据

mkdir -p /home/hadoop/hdfs

格式化 NameNode（清理目录并创建必要的元文件）
```
hdfs namenode -format
```

开始所有服务：

start-dfs.sh && start-yarn.sh
mr-jobhistory-server.sh start historyserver

而是使用 start-all.sh（不建议使用）。

检查所有正在运行的 java 进程
```
jps 
```
Namenode Web 界面： http：// localhost：50070 /
资源管理器 Web 界面： http：// localhost：8088 /

要停止守护进程（服务）：

stop-dfs.sh && stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver

而是使用 stop-all.sh（不建议使用）。