Hadoop-2.7.1非分布式/伪分布式/集群安装与配置(CentOS-6.9)

发表于 | 分类于 ，
字数统计: 4.5k 字 | 阅读时长 ≈ 19 分钟

本文讲述了在CentOS-6.9 32bit环境下搭建hadoop-2.7.1的过程。参考文献

创建hadoop用户

在root用户下，执行以下命令，创建hadoop用户，并设定密码。

1
2
useradd -m hadoop -s /bin/bash
passwd hadoop   #根据提示指定密码

执行visudo命令，或直接/etc/sudoers文件，在文件中添加以下内容，增加管理员权限。

1
hadoop ALL=(ALL) ALL

退出root用户，使用hadoop用户登录。

配置网络

进入/etc/sysconfig/network-scripts目录,进入ifcfg-Auto_eth0文件。修改文件为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Auto eth0"
UUID=87d0ac28-25df-496e-9ca3-052e968c825f
ONBOOT=yes
IPADDR=192.168.1.150        #修改！
PREFIX=24                   #修改！
GATEWAY=192.168.1.1         #修改！
HWADDR=00:0C:29:4B:0C:51
DNS1=192.168.1.1            #修改！
LAST_CONNECT=1520822430

也可直接采用图形化界面进行修改。

安装ssh

执行rpm -wq | grep ssh命令，查看是否已经安装ssh-client和ssh-server，如果没有安装，则执行以下命令：

1
2
sudo yum install openssh-clients
sudo yum install openssh-server

执行service sshd start开启ssh。执行以下命令，生成秘钥。

1
2
3
4
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys  # 加入授权
chmod 600 ./authorized_keys    # 修改文件权限

安装java环境

执行以下命令，安装JDK。

1
sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

默认安装位置为 /usr/lib/jvm/java-1.7.0-openjdk（该路径可以通过执行rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'命令确定，执行后会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了）。OpenJDK 安装后就可以直接使用 java、javac 等命令了。

接着配置JAVA_HOME环境变量。执行~/.bashrc命令，在文件最后面添加以下内容。

1
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk

执行source ~/.bashrc命令让环境变量生效。执行以下代码检查设置是否正确。

1
2
3
echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

如果设置正确，两次的输出相同。
注：如果需要安装其他的版本，如java1.8，可使用rpm源安装)。

1
2
sudo yum install java-1.8.0
rpm -ivh java-1.8.0-openjdk-devel-1.8.0.171-8.b10.el6_9.x86_64.rpm

安装hadoop2.7.1

下载文件时，请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。

这里默认下载目录为~/Download,下载完成后，执行以下命令，若两次输出结果差别很大，则需要重新下载。

1
2
head -n 6 ~/Download/hadoop-2.7.1.tar.gz.mds # 2.7.1版本格式变了，可以用这种方式输出
md5sum ~/Download/hadoop-2.7.1.tar.gz | tr "a-z" "A-Z" # 计算md5值，并转化为大写，方便比较

将hadoop安装到/usr/local目录下，故执行以下命令：

1
2
3
4
sudo tar -zxf ~/Download/hadoop-2.7.1.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.1/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

1
2
cd /usr/local/hadoop
./bin/hadoop version

hadoop的配置

非分布式

配置与运行实例

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

1
2
3
4
5
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果

若执行成功的话会输出很多作业的相关信息，最后的输出信息。作业的结果会输出在指定的 output 文件夹中，通过命令cat ./output/*查看结果

！！注意！！，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要执行rm -r ./output命令先将 ./output 删除。

若出现提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable，该 WARN 提示可以忽略，不会影响 Hadoop 正常运行。

若出现提示“INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”，这需要执行sudo vim /etc/hosts命令修改 hosts 文件，为你的主机名增加IP映射,在打开的文件中添加：

1
127.0.0.1 主机名

伪分布式

配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

设置 HADOOP 环境变量，执行命令gedit ~/.bashrc,在该文件的最后添加：

1
2
3
4
5
6
7
8
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，执行source ~/.bashrc使配置生效。这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

因此，先进入上述文件夹后，执行nano ./etc/hadoop/core-site.xml命令，修改配置为：

1
2
3
4
5
6
7
8
9
10
11
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

执行nano ./etc/hadoop/hdfs-site.xml命令，修改配置为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

执行./bin/hdfs namenode -format命令，执行NameNode的格式化。成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

执行./sbin/start-dfs.sh命令，开启 NaneNode 和 DataNode 守护进程。若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。启动时可能会有 WARN 提示 “WARN util.NativeCodeLoader…” 如前面提到的，这个提示不会影响正常使用。

启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

成功启动后，可以访问Web界面http://localhost:50070查看NameNode和Datanode信息，还可以在线查看HDFS中的文件。

运行实例

上面的单机模式，grep例子读取的是本地数据，伪分布式读取的则是HDFS上的数据。要使用HDFS，首先需要在HDFS中创建用户目录：

1
./bin/hdfs dfs -mkdir -p /user/hadoop

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:

1
2
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看 HDFS 中的文件列表：

1
./bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。

1
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

1
./bin/hdfs dfs -cat output/*

结果与之前不同，这是因为刚才我们已经更改了配置文件，所以运行结果不同。我们也可以将运行结果取回到本地：

1
2
3
rm -r ./output    # 先删除本地的 output 文件夹（如果存在）
./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
cat ./output/*

Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:

1
./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

若要关闭 Hadoop，则运行

1
./sbin/stop-dfs.sh

注意：

  1. 下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！
  2. 运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录： 
    1
    2
    3
    4
    5
    Configuration conf = new Configuration();
    Job job = new Job(conf);
    /* 删除输出目录 */
    Path outputPath = new Path(args[1]);
    outputPath.getFileSystem(conf).delete(outputPath, true);

集群

集群的搭建

这里假设我们采用虚拟机建立集群，因此,先完成配置hadoop之前的所有步骤后，关闭 Hadoop(/usr/local/hadoop/sbin/stop-dfs.sh)，克隆虚拟机，这里我们将原先的节点叫做Master,克隆的节点叫做Slave1.
在完成Slave1的克隆后，在各节点上，需要进行以下内容的修改：

  1. 网络配置。网络分配如下所示，修改内容参见上面。

    1
    2
    3
    节点名           IP
    Master      192.168.1.150
    Slave1      192.168.1.151

  2. 修改各个节点的主机名。执行/etc/sysconfig/network命令，将HOSTNAME改为上表的名称。

  3. 修改各主机的节点映射。执行sudo vim /etc/hosts命令，增加以下语句，修改完成后重启各节点。（一般该文件中只有一个 127.0.0.1，其对应名为 localhost，如果有多余的应删除，特别是不能有 “127.0.0.1 Master” 这样的记录）
    1
    2
    192.168.1.150   Master
    192.168.1.151   Slave1
Master节点无密码SSH登录

设置Master节点无密码SSH登录到各Slave上。因此，在 Master 节点上，执行以下命令：

1
2
3
cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

1
cat ./id_rsa.pub >> ./authorized_keys

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave1节点：

1
scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

接着，在 Slave1 节上，将 ssh 公匙加入授权，即执行以下命令：

1
2
3
mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了

这样，在 Master 节点上就可以无密码 SSH 到 Slave 节点了。

配置hadoop

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1, 文件 slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，这里，让 Master 节点仅作为 NameNode 使用。执行nano /usr/local/hadoop/etc/hadoop/slaves命令，将文件修改为：

1
Slave1

2, 修改文件 core-site.xml 配置，执行nano /usr/local/hadoop/etc/hadoop/core-site.xml命令，将文件修改为：

1
2
3
4
5
6
7
8
9
10
11
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

3, 修改文件 hdfs-site.xml 配置，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：执行nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml命令，将文件修改为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4, 修改文件 mapred-site.xml 配置，（可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

5, 文件 yarn-site.xml：

1
2
3
4
5
6
7
8
9
10
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：

1
2
3
4
5
6
cd /usr/local
sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop

在 Slave1 节点上执行：

1
2
3
sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop

同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。

首次启动需要先在 Master 节点执行 NameNode 的格式化，执行以下命令：

1
hdfs namenode -format       # 首次运行需要执行初始化，之后不需要


CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。因此执行以下命令：

1
2
sudo service iptables stop   # 关闭防火墙服务
sudo chkconfig iptables off  # 禁止防火墙开机自启，就不用手动关闭了

接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

1
2
3
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，在 Slave 节点可以看到 DataNode 和 NodeManager 进程。缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 1 个 Datanodes。也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态：http://master:50070/。如果不成功，可以通过启动日志排查原因。

运行实例

执行分布式实例过程与伪分布式模式一样，首先创建 HDFS 上的用户目录：

1
hdfs dfs -mkdir -p /user/hadoop

将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：

1
2
hdfs dfs -mkdir input
hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

通过查看 DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中。接着就可以运行 MapReduce 作业了：

1
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示 Job 的进度。可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。同样可以通过 Web 界面查看任务进度 http://master:8088/cluster，在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息。执行完毕后会输出结果。

关闭 Hadoop 集群也是在 Master 节点上执行的：

1
2
3
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver

注意，如果不启动 YARN，记得改掉 mapred-site.xml 的文件名。

本文标题:Hadoop-2.7.1非分布式/伪分布式/集群安装与配置(CentOS-6.9)

文章作者:Jerry

发布时间:2018年03月16日 - 19:09:03

最后更新:2018年06月01日 - 14:08:55

原始链接:https://jerryma0912.github.io/2018/03/16/12-hadoop-install2/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。