大数据学习（3）Hadoop伪分布式配置

Hadoop的解压缩目录结构

bin: 可执行二进制脚本文件

etc/hadoop目录: hadoop系统配置文件所在目录

　　　　hadoop-env.sh 配置环境

　　　　core-site.xml 配置hdfs集群核心配置

　　　　hdfs-site.xml 用来对hdfs文件系统做配置

sbin 可执行二进制脚本文件

share Hadoop的文档和运行核心包

========================================================================

承接上文，进行环境配置，

1.配置Hadoop的环境变量，把 JDK与Hadoop两个环境变量都要配置在 etc/profile ，之前配置了JDK ，此步骤补充Hadoop环境变量即可：

1 export JAVA_HOME=/usr/lib/jdk
2 export HADOOP_HOME=/usr/local/hadoop
3 export PATH=${JAVA_HOME}/bin:$PATH:$PATH:$HADOOP_HOME/bim:$HADOOP_HOME/sbin

6. source /etc/profile #重新加载配置

2.配置Hadoop-envenv.sh 配置环境变量即可，因为Hadoop基于Java环境需要配置JDK

1 vim /usr/loacal/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jdk  #修改为JDK的路径

3. 配置core-site.xml 配置用于对hdfs集群的核心配置

 1 vim /usr/local/hadoop/etc/hadoop/
 2 
 3 <!---配置Namenode全局入口---->
 4 <configuration>
 5     <property>
 6       <name>fs.defaultFS</name>
 7       <!-- 告诉 NN 在那个机器，NN 使用哪个端口号接收客户端和 DN 的RPC请求-->
 8       <value>hdfs://hadoop:9000</value>
 9     </property>
10 
11     <property>
12       <name>hadoop.tmp.dir</name>
13       <value>/opt/zhw/module/hadoop/data/tmp</value>
14       <description>A base for other temporary directories.</description>
15     </property>
16 </configuration>

4.配置hdfs-site.xml 用来对hdfs文件系统做相关配置

 1 <property>
 2          <name>dfs.replication</name>
 3          <value>1</value>
 4     </property>
 5 <!----配置block副本数---->
 6 
 7     <property>
 8          <name>dfs.namenode.name.dir</name>
 9          <value>file:/usr/local/hadoop/tmp/dfs/name</value>
10     </property>
11     <property>
12          <name>dfs.datanode.data.dir</name>
13          <value>file:/usr/local/hadoop/tmp/dfs/data</value>
14     </property>
15     <property>
16           <name>dfs.http.address</name>
17           <value>0.0.0.0:50070</value>
18     </property>

5.配置slaves配置文件按用来决定那些机器为DataNote节点

加入当前机器主机名：Hadoop

vim slaves

6.格式化NameNode 格式化Hadoop可以识别hdfs文件系统仅仅第一次需要格式化

1 #在任意目录下执行
2 
3 hdfs namenode -format
4 
5 #出现这个信息
6 
7 INFO common.Storage: Storage directory /usr/local/hadoop/tmp/dfs/name has been successfully formatted.

7.启动hdfs集群

在任意路径

start-dfs.sh

查看成功启动

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode。同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop-3.2.1/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.8的路径添（export JAVA_HOME=/usr/lib/jvm/java ）加到hadoop-env.sh文件