简洁搭建hadoop伪分布式文件系统

Hadoop伪分布式搭建

之前我有发布一篇在腾讯云上搭建hadoop伪分布式文件系统的博客,最后,简化简化再简化,整理出了所有的关键步骤。不能再简化啦->!!<-,希望能够帮到您

1.安装ssh(免登陆)

yum install ssh
ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

2. jdk安装与配置
       下载:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
解压:tar -zxvf jdk-7u80-linux-x64.tar.gz -C /home/softwares
添加到系统环境变量: ~/.bash_profile 或者 vim /etc/profile
export JAVA_HOME=/home/softwares/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
环境变量生效: source ~/.bash_profile 或者/etc/profile
验证java是否配置成功: java -version


3.下载、解压、安装hadoop
下载:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 
解压:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/softwares
继续添加到系统环境变量: ~/.bash_profile 或者 vim /etc/profile
export HADOOP_HOME=/home/softwares/jdk1.7.0_80
export PATH=$HADOOP_HOME/bin:$PATH
环境变量生效: source ~/.bash_profile 或者/etc/profile
验证java是否配置成功:hadoop  version


4.修改hadoop配置文件
目录在:HADOOP_HOME/etc/hadoop
hadoop-env.sh
export JAVA_HOME=/home/softwares/jdk1.7.0_80


core-site.xml
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://local:8020</value>
#配置默认文件系统的地址
    </property>


    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
#临时文件的存储目录
    </property>


hdfs-site.xml
<property>
        <name>dfs.replication</name>
        <value>1</value>
#设置副本系数
    </property>


补充说明一下:slaves 文件里面装所有datanode的名称  

5.启动hdfs
目录在:HADOOP_HOME/sbin
格式化文件系统
hdfs/hadoop namenode -format(仅第一次执行即可,不要重复执行)
启动hdfs: ./start-dfs.sh

验证是否启动成功:jps

    

DataNode
SecondaryNameNode

NameNode

 出现上面的就对啦,一个都不能少哟!

停用防火墙

systemctl stop firewalld.service

开机不启动

systemctl disable firewalld.service

你也可以使用浏览器访问方式: http://localhost:50070

祝你学习愉快!!

原文地址:https://www.cnblogs.com/liuge36/p/12614847.html