hadoop安装

Hadoop伪分布式环境安装

环境

本教程使用 CentOS 6.9 64位 作为系统环境，基于原生 Hadoop 2，在 Hadoop 2.7.6 (stable) 版本下验证通过。

准备工作

目前安装所需要的文件都放在/home/hadoop/software

拷贝的虚拟机信息

操作系统用户名root密码123456

操作系统用户名hadoop密码123456

mysql数据库用户名root密码root

mysql数据库用户名hive密码hive

创建hadoop用户

如果你安装 CentOS 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。

首先点击左上角的 “应用程序” -> “系统工具” -> “终端”，首先在终端中输入 su ，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop:

1. su              # 上述提到的以 root 用户登录
2. useradd -m -s /bin/bash hadoop  # 创建新用户hadoop

如下图所示，这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。

 

CentOS创建hadoop用户

接着使用如下命令修改密码，按提示输入两次密码，可简单的设为 “hadoop”（密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）:

1. passwd hadoop

如下图所示

 

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：

1. visudo

如下图，找到 root ALL=(ALL) ALL 这行（应该在第91行，可以先按一下键盘上的 ESC 键，然后输入 :91 (按一下冒号，接着输入91，再按回车键)，可以直接跳到第91行 ），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL（当中的间隔为tab），如下图所示：

 

为hadoop增加sudo权限

添加上一行内容后，先按一下键盘上的 ESC 键，然后输入 :wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。

最后注销当前用户(点击屏幕右上角的用户名，选择退出->注销)，在登陆界面使用刚创建的 hadoop 用户进行登陆。（如果已经是 hadoop 用户，且在终端中使用 su 登录了 root 用户，那么需要执行 exit 退出 root 用户状态）

CentOS系统需要关闭防火墙和Selinux

CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。

在 CentOS 6.x 中，可以通过如下命令关闭防火墙：

sudo service iptables stop

sudo chkconfig iptables off

禁用SELinux，修改配置文件/etc/selinux/config，修改成：SELINUX=disabled，重启系统生效

 

安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验：

1. rpm -qa | grep ssh

如果返回的结果如下图所示（openssh-server、openssh-client），包含了 SSH client 跟 SSH server，则不需要再安装。

检查是否安装了SSH

接着执行如下命令测试一下 SSH 是否可用：

1. ssh localhost

 

此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就通过ssh登陆到了本机了。

但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码可以登陆。

首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将节点密钥加入到节点授权文件中：

exit

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

验证节点是否可以无密码登陆：

ssh localhost

 

SSH无密码登录

~的含义

在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。

安装Java环境

Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，我们选择安装Oracle JDK 8，官方下载链接：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，目前最新版8u172，下载jdk-8u172-linux-x64.tar.gz

这里安装所需要的软件下载好放在/home/hadoop/software

 

安装Oracle JDK 8，

cd /home/hadoop/software

sudo mkdir /usr/local/java

sudo tar -xzvf jdk-8u172-linux-x64.tar.gz -C /usr/local/java

sudo mv /usr/local/java/jdk1.8.0_172 /usr/local/java/latest

sudo chown hadoop:hadoop -R /usr/local/java

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置：

1. vim ~/.bashrc

在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：

export JAVA_HOME=/usr/local/java/latest

export JRE_HOME=/usr/local/java/latest/jre

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

如下图所示：

 

设置JAVA_HOME环境变量

接着还需要让该环境变量生效，执行如下代码：

1. source ~/.bashrc    # 使变量设置生效

设置好后我们来检验一下是否设置正确：

1. echo $JAVA_HOME     # 检验变量值
2. java -version
3. $JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样，如下图所示：

 

成功设置JAVA_HOME环境变量

这样，Hadoop 所需的 Java 运行环境就安装好了。

安装 Hadoop 2

Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，本教程选择的是 2.7.6 版本，下载时请下载 hadoop-2.7.6.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

我们选择将 Hadoop 安装至 /usr/local/ 中：

cd /home/hadoop/software

sudo tar -xzvf hadoop-2.7.6.tar.gz -C /usr/local

sudo mv /usr/local/hadoop-2.7.6/ /usr/local/hadoop

sudo chown -R hadoop:hadoop /usr/local/hadoop

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

/usr/local/hadoop/bin/hadoop version

配置Hadoop PATH变量

将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，如果还没有配置的，需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc，加入：

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后执行 source ~/.bashrc 使配置生效。

配置伪分布式环境

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

1、文件hadoop-env.sh，修改JAVA_HOME环境变量值

export JAVA_HOME=/usr/local/java/latest

1, 文件 core-site.xml 改为下面的配置：

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://localhost:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>file:/usr/local/hadoop/tmp</value>

                <description>Abase for other temporary directories.</description>

        </property>

</configuration>

3, 文件 hdfs-site.xml改为下面的配置：

<configuration>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>file:/usr/local/hadoop/tmp/dfs/name</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop/tmp/dfs/data</value>

        </property>

</configuration>

4, 文件 mapred-site.xml （可能先重命名，默认文件名为 mapred-site.xml.template），

重命名

cd /usr/local/hadoop/etc/hadoop

mv mapred-site.xml.template mapred-site.xml

然后配置修改如下：

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

        <property>

                <name>mapreduce.jobhistory.address</name>

                <value>localhost:10020</value>

        </property>

        <property>

                <name>mapreduce.jobhistory.webapp.address</name>

                <value>localhost:19888</value>

        </property>

</configuration>

5, 文件 yarn-site.xml：

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

接着可以启动 hadoop 了：

1. start-dfs.sh
2. start-yarn.sh
3. mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程，如下图所示：

 

通过jps查看Master的Hadoop进程

在 Slave 节点可以看到 DataNode 和 NodeManager 进程，如下图所示：

通过jps查看Slave的Hadoop进程

缺少任一进程都表示出错。另外还需要在 master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 1 个 Datanodes：

 

通过dfsadmin查看DataNode的状态

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状http://127.0.0.1:50070/。如果不成功，可以通过启动日志排查原因。

伪分布式、分布式配置切换时的注意事项

1, 从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
2, 在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

执行分布式实例

执行分布式实例过程与伪分布式模式一样，首先创建 HDFS 上的用户目录：

1. hdfs dfs -mkdir -p /user/hadoop

将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：

1. hdfs dfs -mkdir input
2. hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

通过查看 DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中，如下图所示：

通过Web页面查看DataNode的状态

接着就可以运行 MapReduce 作业了：

1. hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示 Job 的进度。

可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。

显示MapReduce Job的进度

同样可以通过 Web 界面查看任务进度 http://localhost:8088/cluster，在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息，如下图所示：

 

通过Web页面查看集群和MapReduce作业的信息

执行完毕后的输出结果：

 

MapReduce作业的输出结果

关闭 Hadoop 集群也是在 master 节点上执行的：

1. stop-yarn.sh
2. stop-dfs.sh
3. mr-jobhistory-daemon.sh stop historyserver

自此，你就hadoop的基本组件安装就完成了。