Hadoop网页监控配置

接之前的内容http://www.cnblogs.com/jourluohua/p/8734406.html

在之前那的内容中，仅实现了Hadoop的安装和运行，距离实际使用还有很远。现在先完成一个小目标，实现Hadoop运行情况的网页监控配置，省的每次都要查log文件。

1. 配置JVM

如果之前没有配置JVM的，请一定要配置好JVM路径，这里修改的是HadoopDir/etc/hadoop/hadoop-env.sh文件(从之前文件来的，可以跳过第一点)

将export JAVA_HOME=

修改成export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75

这里使用绝对路径，类似我的配置，使用你自己的路径

2. 配置core-site.xml文件

这里仅介绍最简单配置，仅保证可以正常运行，非实际生产所用配置

<configuration>
<property>
　　<!--指定namenode的地址-->
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

3. 配置hdfs-site.xml文件

<configuration>
                <property>
                    <name>dfs.nameservices</name>
                    <value>hadoop-cluster</value>
                </property>
                <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:///data/hadoop/hdfs/nn</value>
                </property>
               <!--检查点配置非必须，懒得删除-->
                <property>
                    <name>dfs.namenode.checkpoint.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
                </property>
                 <!--检查点配置非必须，懒得删除-->
                <property>
                   <name>dfs.namenode.checkpoint.edits.dir</name>
                    <value>file:///data/hadoop/hdfs/snn</value>
                </property>
                <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:///data/hadoop/hdfs/dn</value>
                </property>
</configuration>

4. 配置yarn-site.xml文件

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>127.0.0.1</value>
                </property>
                <!-- 指定reducer获取数据的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
                <property>
                    <name>yarn.nodemanager.local-dirs</name>
                    <value>file:///data/hadoop/yarn/nm</value>
                </property>
</configuration>

5. 配置mapred-site.xml

这一步默认是没有的，需要从mapred-site.xml.example复制一个

<configuration>
        <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
        </property>
</configuration>

6. 启动dfs和yarn

这一步如果成功的话，大半功能就实现了

首先格式化namenode ，使用./bin/hadoop namenode -format 命令进行

如果你按照我的配置进行配置，也正确对应了你自己的目录的话，很可能是/data目录没有访问全向造成的，可以先加一个访问权限

使用 sudo chmod 777 /data

然后重新格式化namenode

之后使用./sbin/start-all.sh脚本启动所有的dfs和yarn

7. 查看

使用 jps命令查看是否namenode yarn datanode都正常启动

正常的话，会存在这几个字段的值。如果提示没有jps命令的话，请自行配置Hadoop的相关路径到PATH ，并使其生效

都正常的话，打开http://127.0.0.1:50070/ 和http://127.0.0.1:8088/就可以看到运行状况的网页了