hadoop 配置安装

1. 下载hadoop 压缩包，拷贝到 /usr/hadoop目录下 tar -zxvf hadoop-2.7.1.tar.gz,

　　比如：

　　127.0.0.1       localhost

　　192.168.31.129  hadoop2   
　　192.168.31.246  hadoop3
2.   进入  /usr/hadoop/hadoop-2.7.1/etc/hadoop      修改hadoop配置文件    hadoop-env.sh

　　　1) 找到 export JAVA_HOME= ${JAVA_HOME} , 在底行模式输入（带：）, ：echo $JAVA_HOME 或命令模式下输入 echo $JAVA_HOME 查看当前

　　　　　JAVA_HOME变量具体值，然后将查看结果替换成如下：

 export JAVA_HOME= /usr/java/jdk1.7.0_71

　　 2）配置SSH无密码登陆，

1. 在hadoop1中使用root用户输入以下命令设置本地无密码登陆
　　$ ssh-keygen　　一路回车即可
　　$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  这样就可以本机对本机进行ssh时免密了
2. 将公钥拷贝到其他机器上（hadoop2，hadoop3），
　　$ scp id_rsa.pub root@hadoop2:~/.ssh/
3. 在hadoop2中将拷贝过来的公钥追加到 authorized_keys 文件中， 就可以实现 root 免密登录了

　　　$ cat id_rsa.pub >> ~/.ssh/authorized_keys

这样就可以在hadoop1中免密码登陆到hadoop2 和Hadoop3 中了

　　4. 如果要普通用户之间可以进行免密登录，执行一下步骤

　　　　4.1 在hadoop1 中切换成普通用户登录，如cmcc用户登录

　　　　4.2 执行 ssh-keygen 一路回车这样就会在用户根目录中创建一个 .ssh 文件夹，如： /home/cmcc/.ssh

　　　　4.3　进入目录 /home/cmcc/.ssh ，同样将id_rsa.pub 追加到本机 authorized_keys

　　　　　　　$　cat id_rsa.pub >> authorized_keys
　　　4.4 拷贝到其他机器上，  只不过这次不能使用 root 拷贝

　　　　　　　$　scp id_dsa.pub cmcc@hadoop2:/home/cmcc/.ssh
　　　4.5 进入 hadoop2 中，进入目录  /home/cmcc/.ssh
　　　4.6 追加公钥到 authorized_keys 中
　　　　　　$ cat id_rsa.pub >> ~/.ssh/authorized_keys

3. 修改 slaves

hadoop2
hadoop3

3. 如2. 修改core-site.xml文件

<configuration>
　　　　　<property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://127.0.0.1:9000</value>
        </property>
　　　　 <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/usr/hadoop/tmp</value>
        </property>
</configuration>

4. 修SecondaryNameNode 在那台机器上启动

1.  修改 masters 文件（添加主机名列表），  添加 hadoop2  （如果没有这个文件就新建）
2.  修改 hdfs-site.xml 文件  添加：
    <property>
    　　<name>dfs.namenode.secondary.http-address</name>
       <value>hadoop2:50090</value>
    </property>
　  <property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　 </property>

5. 如2. 修改hdfs-site.xml

<configuration>
　　　　　<!-- 配副本的数量，   如果副本是3   那么包括自己共3份 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

6. 如2. 修改 mapred-site.xml , 当前文件夹中没有这个文件但是有 mapred-site.xml.template，所以拷贝一份，进行修改 cp mapred-site.xml.template mapred-site.xml

<configuration>
　　　　　<!-- 告诉 hadoop 以后MR 运行在yarn 上--> 
　　　　 <property> 
　　　　　　　　<name>mapreduce.framework.name</name>
　　　　　　　　<value>yarn</value> 
　　　　</property> 
</configuration>

7. 如2. 修改yarn-site.xml

<configuration>
　　　　  <!-- NodeManger 获取数据的方式是 shuffle 方式 -->
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
　　　　 <!-- 指定（resourcemanager） 的地址--> 
　　　　 <property>
　　　　　　　　　　 <name>yarn.resourcemanager.webapp.address</name> 
　　　　　　　　　　 <value>127.0.0.1</value> 
　　　　 </property>
 </configuration>

8. 将 hadoop 添加到环境变量，运行 vim /etc/profile 添加 HADOOP_HOME 变量，并且将它加入 path 中如下：

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.1

　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9. 运行 source /etc/profile ，使环境变量生效

10. 初始化 HDFS （格式化文件系统），本命令会出现namenode进程无法启动，查询了好多资料也不能启动，最后使用 hadoop namenode -format （已过时）来

　　进行格式化，成功启动！！（进入bin目录下，执行 ./hadoop namenode -format 进行格式化）

hdfs namenode –format

11. 将hadoop1 中的配置文件拷贝到 hadoop2 hadoop3 机器上，（进入 /home/hadoop/hadoop-2.7.1/etc/hadoop ）下，执行　　

scp ./* root@hadoop3:/home/hadoop/hadoop-2.7.1/etc/hadoop

12. 进入 /usr/hadoop/hadoop-2.7.1/sbin 目录中，启动 HDFS和YARN 执行 ./start-all.sh 等待执行完毕，再执行 jps 出现如下结果，说明安装成功（确实启动项，

　　查看 /usr/hadoop/hadoop-2.7.1/logs 中日志）

29162 NodeManager
28845 SecondaryNameNode
29025 ResourceManager
29492 Jps
28581 DataNode
28435 NameNode

13. 但是当前 ./start-all.sh 已经过时，使用 ./start-dfs.sh ./start-yarn.sh 分开启动，

14. 在浏览器中输入如下地址进行验证（192.168.88.128 为本机地址）

http://192.168.88.128:50070  （hdfs 管理界面）   
　　1）如果看不到活着的 datanode，   可以试图关闭防火墙：
　　
　　2)  设置host，   vi /etc/hosts，  将所有主机名和ip地址都写好

http://192.168.88.128:8088  （yarn 管理界面）

15. 修改 hadoop 中 ssh 链接端口 vi hadoop-env.sh

　　export HADOOP_SSH_OPTS="-p 16022"


16.参考： https://segmentfault.com/a/1190000009580427