Hadoop环境搭载
官网安装教程：[http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0/hadoop-project-dist/hadoop-common/SingleCluster.html](http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0/hadoop-project-dist/hadoop-common/SingleCluster.html)
## 环境
本教程使用 CentOS 7 64位 作为系统环境，请自行安装系统。
装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作。
### 创建hadoop用户
如果你安装 CentOS 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。
```
su # 上述提到的以 root 用户登录
useradd -m hadoop -s /bin/bash # 创建新用户hadoop
passwd hadoop # 修改密码，按提示输入两次密码
visudo
# 找到 root ALL=(ALL) ALL 这行
# 然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab）
```
## 免密登录设置
```
sudo yum install ssh
sudo yum install openssh-clients
sudo yum install openssh-server
//免密登录
ssh-keygen -t rsa
//回车回车
ll -a //生成了 .ssh文件夹，文件夹内有id_rsa 和 id_rsa.pub 两个文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
//测试是否成功
ssh localhost // 无需密码则表示设置成功
```
## 关闭防火墙
Centos直接
```
sudo systemctl stop firewalld.service #停止firewall
sudo systemctl disable firewalld.service #禁止firewall开机启动
sudo firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
```
Centos7系统的防火墙放开50070端口
```
步骤：
1.sudo firewall-cmd --zone=public --add-port=50070/tcp --permanent
2.重启防火墙 sudo firewall-cmd --reload
```
## 从本机拷贝文件至远程主机
jdk-9.0.1：
[jdk-9.0.1_linux-x64_bin.tar.gz](http://download.oracle.com/otn-pub/java/jdk/9.0.1+11/jdk-9.0.1_linux-x64_bin.tar.gz)
hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop-2.6.0-cdh5.7.0.tar.gz](http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz)
远程主机（用户名hadoop）：
`[hadoop@localhost ~]$ mkdir -p app/lib`
`[hadoop@localhost ~]$ mkdir package`
本机，将需要的文件远程拷贝到远程主机中
`scp jdk-9.0.1_linux-x64_bin.tar.gz hadoop@hadoop:/home/hadoop/package`
`scp hadoop-2.6.0-cdh5.7.0.tar.gz hadoop@hadoop:/home/hadoop/package`
## 安装Java环境
远程主机 /home/hadoop/package :
`tar -zxvf jdk-9.0.1_linux-x64_bin.tar.gz -C ~/app/lib`
`tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ../app/lib/`
sudo vim /etc/profile 或者 vim ~/.bash_profile
尾部添加
```
export JAVA_HOME=/home/hadoop/app/lib/jdk-9.0.1
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
```
使配置文件生效
`. /etc/profile 或者 source /etc/profile `
`. .~/.bash_profile 或者 source .~/.bash_profile`
验证：
echo $JAVA_HOME
`/home/hadoop/app/lib/jdk-9.0.1`
java -version
```
java version "9.0.1"
Java(TM) SE Runtime Environment (build 9.0.1+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.1+11, mixed mode)
```
## Hadoop配置文件的修改
>如果是linux系统下则可以 rm -rf *.cmd，删除cmd文件
> [hadoop@localhost hadoop-2.6.0-cdh5.7.0]$ `find . -name '*.cmd' -type f -print -exec rm -rf {} ;`
在hadoop_home/etc/hadoop路径下
`$ vim hadoop-env.sh`
找到export JAVA_HOME=${JAVA_HOME}，并且注释掉这一行，添加下面的一行（jdk的根目录）
`export JAVA_HOME=/home/hadoop/app/lib/jdk-9.0.1`
sudo vim /etc/profile 或者 vim ~/.bash_profile
尾部添加
```
export HADOOP_HOME=/home/hadoop/app/lib/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP/bin:$PATH
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
```
使配置文件生效
`. /etc/profile 或者 source /etc/profile `
`. .~/.bash_profile 或者 source .~/.bash_profile`
etc/hadoop/core-site.xml:
```
fs.defaultFS
hdfs://localhost:9000
hadoop.tmp.dir
/home/hadoop/app/tmp
```
etc/hadoop/hdfs-site.xml:
```
dfs.replication
1
```
## 启动hdfs
1. 格式化文件系统（仅第一次执行即可，不要重复执行）：
`./bin/hdfs namenode -format`
2. `./sbin/start-dfs.sh`
>可能会出现需要yes, 输入密码
3. 验证是否成功
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。
$ jps
1425 NameNode
1702 SecondaryNameNode
1546 DataNode
1855 Jps
浏览器方式验证 http://localhost:50070/ （如果是远程主机则将localhost换成远程主机IP）
4. 停止
$ sbin/stop-dfs.sh