Hadoop（二）集群安装

配置Master的hadoop，打包后scp给vmslave1,vmslave2,vmslave3

启动Master的hadoop即可启动hadoop集群。

由于node用于elastic head master，只配主机。

hadoop的路径：/opt/bigdata/hadoop/hadoop260

<<<

压缩：tar -zcf linux-hadoop260.tar.gz hadoop/

scp：scp linux-hadoop260.tar.gz root@vmslave1:/opt/bigdata

解压：tar -zxf linux-hadoop260.tar.gz

>>>

################ 修改目录权限 ####################

[root@vwmaster hadoop]# chown -R root:root hadoop260/

################ JDK ####################

[root@vwmaster hadoop260]# vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/bigdata/java/jdk180

################ hadoop fs 文件系统 ####################
#---- 集群配置时将 IP 改为主机名 ----#

[root@vwmaster hadoop260]# vi etc/hadoop/core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://主机名称:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

################ hadoop replicas 备份 ####################
#---- dfs.replication 备份数量改为2 ----#

[root@vwmaster hadoop260]# vi etc/hadoop/hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

################ hadoop mapreduce 计算框架 ####################

[root@vwmaster hadoop260]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
[root@vwmaster hadoop260]# vi etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

################ hadoop yarn 管理调度 ####################

[root@vwmaster hadoop260]# vi etc/hadoop/yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>主机名字</value>
  </property>
</configuration>

################ hadoop slaves 名 ####################

只配所有的slave，不加master

[root@vwmaster hadoop260]# vi etc/hadoop/slaves
vmslave1
vmslave2
vmslave3

################ hadoop 环境变量 ####################

[root@vwmaster hadoop260]# vi /etc/profile
export JAVA_HOME=/opt/bigdata/java/jdk180
export TOMCAT_HOME=/opt/bigdata/java/tomcat85
export NODE_HOME=/opt/bigdata/elk/node891

export HADOOP_HOME=/opt/bigdata/hadoop/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$NODE_HOME/bin:$JAVA_HOME/bin:$TOMCAT_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@vwmaster hadoop260]# source /etc/profile

################ hadoop 格式化 HDFS ####################

只有master需要格式化！

假如slave不慎格式化，需要删除hadoop260下面的 dfs/ 和 logs/ 两个文件夹！

[root@vwmaster hadoop260]# cd bin
[root@vwmaster bin]# hdfs namenode -format
##见到以下信息说明格式化成功
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at vwmaster/20.0.0.100
************************************************************/
##如果格式化失败：需要去检查之前各项配置

################ hadoop-native库 ####################

[root@vwmaster bin]# cd /opt/install/hadoop
[root@vwmaster hadoop]# tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop260/lib/native/

################ 启动 hadoop ####################

[root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/bin
[root@vwmaster bin]# start-dfs.sh
[root@vwmaster bin]# start-yarn.sh
[root@vwmaster bin]# stop-all.sh

################ 启动 jobhistory ####################

[root@vwmaster bin]# cd ../sbin/
[root@vwmaster sbin]# jps
[root@vwmaster sbin]# ./mr-jobhistory-daemon.sh start historyserver

################ 查看 hadoop 服务状态 ####################

[root@vwmaster sbin]# jps
6800 NodeManager
7329 Jps
6387 DataNode
6548 SecondaryNameNode
6264 NameNode
6697 ResourceManager
7259 JobHistoryServer

http://[IP]: 50070 8088 19888

对从机来说，主机起了之后，jps可看到

6810 DataNode
6911 NodeManager