CenterOS下搭建Hadoop环境

检查防火墙状态

service iptables status

关闭防火墙

service iptables stop

查看防火墙开机启动状态

chkconfig iptables --list

关闭防火墙开机启动

chkconfig iptables off

安装JDK

查看目前系统jdk

rpm -qa | grep jdk
结果为：
java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

卸载：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64

下载JDK

下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

使用命令下载
下载完成后，拷贝到指定目录（把jdk-7u79-linux-x64.tar.gz放到CentOS目录/usr/lib/jvm中）

解压JDK

tar xvf jdk-7u79-linux-x64.tar.gz

配置环境

vi /etc/profile

在文件最下边输入：
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_4579
export JRE_HOME=/usr/lib/jvm/jdk1.7.0_4579/jre
export CLASSPATH=.:$JRE_HOME/lib/tr.jar:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

使其立即生效:

source /etc/profile

验证:

java -version

下载hadoop

http://mirror.bit.edu.cn/apache/hadoop/common/

安装

解压： tar xvf jdk-7u79-linux-x64.tar.gz
配置hadoop环境：vi /etc/profile

# set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

伪分布式Hadoop2.6.0配置

etc / hadoop / core-site.xml:
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>
etc / hadoop / hdfs-site.xml:
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
</configuration>

启动Hadoop2.6.0

进入hadoop的bin目录
cd /usr/local/hadoop/bin
格式化Hadoop的文件系统HDFS
hdfs namenode -format
进入hadoop的sbin目录
cd /usr/local/hadoop/sbin
启动所有进程
start-all.sh

hdfs namenode -format（可能出现的问题）

SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx
- 解决方案：http://blog.csdn.net/shirdrn/article/details/6562292
- 修改了hostname发现重启才生效：service network restart

用jps查看启动的进程

Jps
ResourceManager
NameNode
DataNode
SecondaryNameNode
NodeManager

浏览器访问

浏览器访问：http://localhost:50070
hadoop进程管理页面http://localhost:8088

参考资料

hadoop2.6.0版本集群环境搭建: http://blog.csdn.net/stark_summer/article/details/42424279
namenode -format 出现问题：http://blog.csdn.net/shirdrn/article/details/6562292