hadoop--环境配置

1:修改主机名和IP的映射关系   vim /etc/hosts     192.168.1.101 itcast

2:修改主机名:  vi /etc/sysconfig/network     (Master  )

3:关闭防火墙   

#查看防火墙状态      service iptables status

#关闭防火墙    service iptables stop
#查看防火墙开机启动状态  chkconfig iptables --list
#关闭防火墙开机启动  chkconfig iptables off

4:安装jdk   

1):mkdir  /uer/java

2): 将jdk解压至/usr/java    ./jdk-6u45-linux-i586.bin /usr/java/

3):将java添加到环境变量中  vim /etc/profile

#在文件最后添加  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
          export PATH=$PATH:$JAVA_HOME/bin
#刷新配置  source /etc/profile

5:安装hadoop

1):mkdir /home/hadoop

2):将hadoop解压至 /home/hadoop/     tar zxvf  hadoop-2.4.1.tar.gz /home/hadoop/

3): 修改hadoop 配置文件

    第一个:hadoop-env.sh
    vim hadoop-env.sh
    #第27行
    export JAVA_HOME=/usr/java/jdk1.7.0_65
    第二个:core-site.xml

    <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://weekend-1206-01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.4.1/tmp</value>
    </property>
  
    第三个:hdfs-site.xml hdfs-default.xml (3)
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    第五个:yarn-site.xml
    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>weekend-1206-01</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

4): 将hadoop添加到环境变量  vi /etc/profile

    export JAVA_HOME=/usr/java/jdk1.7.0_65
    export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

    source /etc/profile

6:时间同步:

7:修改ip:

原文地址:https://www.cnblogs.com/zqzdong/p/4876849.html