HDFS linux安装总结(基于hadoop-2.6.0-cdh5.7.0 伪分部安装)
1、jdk安装
1) 直接下载jdk包放到安装目录即可(jdk-8u131-linux-x64.tar.gz解压到安装目录)
2)配置环境变量 直接在 .bash_profile配置
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
2、安装ssh
sudo yum install ssh
3、配置免密码登录
1)ssh-keygen -t rsa (会在.ssh目录生成公钥和私钥)
2)将公钥添加到authorized_keys文件中
4、下载安装包,解压到安装目录(http://archive.cloudera.com/cdh5/cdh/5/)
5、修改相关配置
1)hadoop_home/etc/hadoop/hadoop-env.sh 配置jdk
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
2) hadoop_home/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/tmp</value> </property> </configuration>
3)hadoop_home/etc/hadoop/hdfs-site.xml 设置副本系数
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
5、启动hdfs
1)格式化文件系统:
bin/hdfs namenode -format
2) 启动
sbin/start-dfs.sh
3)验证是否成功
第一种方式:jps命令
[hadoop@hadoop01 sbin]$ jps
7880 DataNode
8060 SecondaryNameNode
8173 Jps
7791 NameNode
第二种方式(浏览器):http://192.168.44.183:50070/
4)、停止hdfs
sbin/stop-dfs.sh