Hadoop1.2.1环境搭建

Linux的java环境搭建：

1.1 解压jdk文件到/usr/local文件夹下

1.2 vi /etc/profile 在文件末尾加入：

       export JAVA_HOME=/usr/local/jdk1.7.0_76
       export JRE_HOME=/usr/local/jdk1.7.0_76/jre
       export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
      export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

1.3 source /etc/profile

1.4 查看安装结果：java 和 javac查看

2. 设置ssh无密码登录：

2.1 进入hadoop的专属用户

2.2 ssh-keygen –t rsa

2.3 一路空格到结束

2.4 cd ~/.ssh

2.5 cat id_rsa.public >> authorized_keys

2.6 chmod 600 authorized_keys

2.7 进行无密码登录测试

注意：本篇博文是关于为分布式环境搭建的，如果是完全分布式环境搭建，需要保证namenode可以ssh无密码登录到每个datanode（需要在每个datanode上面运行第2.2到2.4步，然后通过scp指令将namenode中的authorized_keys复制到所有的datanode对应的目录中：scap authorized_keys hadoop@192.168.0.1:~/.ssh）

3. 修改hadoop的配置文件

3.1 修改hadoop-env.sh文件

      只需要增加java目录即可：

      export JAVA_HOME=/usr/local/jdk1.7.0_76

3.2 修改core-site.xml文件：

    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>

        <property>
        <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
           </property>
    </configuration>

3.3 修改hdfs-site.xml:

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
             <name>dfs.data.dir</name>
            <value>/usr/local/hadoop/dfs/data</value>
        </property>
    </configuration>

3.4 修改mapred-site.xml

    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
         </property>
   </configuration>

3.5 修改masters

    locaohost

3.6 修改slaves

   localhost

注解：需要修改的文件中红色字体为namenode主机名称，绿色字体为datanode主机名称，对应自己的主机名进行修改

4. 启动Hadoop：

4.1 进入Hadoop目录：cd /usr/local/hadoop

4.2 第一次启动时需要格式化namenode ： bin/hadoop namenode –format

4.3 启动Hadoop： bin/start-all.sh

4.4 查看进程：直接输入jps指令，那么出现的进程应该有：TaskTracker , DataNode , NameNode , JobTracker , SecondaryNameNode

4.5 也可以通过查看namenode和datanode的50030和50070端口来判断hadoop是否启动

注释：绿色表示datanode节点该出现的进程，红色表示namenode节点该出现的进程