详细的Hadoop的入门教程-单机模式 Standalone Operation

一、单机模式Standalone Operation

单机模式也叫本地模式,只适用于本地的开发调试，或快速安装体验hadoop，本地模式的安装比较简单，下载完hadoop安装包就可以直接运行。

(1) 一定要下载Oracle的官方jdk版本，这里实验的版本是jdk1.8.0_231，具体看hadoop的版本要求，否则会有不兼容的问题，下载地址：

(2) 将jdk-8u231-linux-x64.tar.gz 解压到 /opt/modules目录下

(3) 解压命令:

$ tar –zxvf jdk-8u231-linux-x64.tar.gz –C /opt/modules

(4) 执行命令vi /etc/profile设置JAVA_HOME环境变量,增加2行内容:

export JAVA_HOME=/opt/modules/jdk1.8.0_231

export PATH=$JAVA_HOME/bin:$PATH

(5) 执行命令，让设置生效

$ source /etc/profile

(6) 验证:

$ java –version

(1) 由于考虑到jdk和hadoop版本的兼容，下载时请看一下相关版本的要求，这里实验是hadoop-3.2.1，下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

(2) 将hadoop-3.2.1.tar.gz 解压到 /opt/modules目录下

(3) 解压命令:

$ tar –zxvf hadoop-3.2.1.tar.gz –C /opt/modules

(4) 执行命令vi /etc/profile设置JAVA_HOME和HADOOP_HOME环境变量,

增加1行内容:

export HADOOP_HOME=/opt/modules/hadoop-3.2.1

修改1行内容:

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(5) 执行命令, 让设置生效

source /etc/profile

(6) 验证：

hadoop version

(7) 执行命令：hadoop，可以查看hadoop下的所有命令用法，和linux下的shell命令一样。

$ hadoop

(1) 统计文件的单词出现频次：

创建一个wc.input文件，将一些单词写入到文件中

$ echo 'hadoop mapreduce hivehbase spark stormsqoop hadoop hivespark hadoop' >> wc.input

用hadoop来统计文件wc.input中的单词频次，输出到output2文件目录

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /opt/data/wc.input  /opt/data/output2

查看一下一下output2文件目录，part-r-00000是结果内容

(2) 统计文件的数量

创建一个目录input3

$ mkdir /opt/data/input3

将hadoop目录下的所有文件拷贝到input3目录中

$ cp /opt/modules/hadoop-3.2.1/etc/hadoop/*  /opt/data/input3

用hadoop来统计目录input3中以dfs开头命名的文件的名称和数量，输出到output3文件目录

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep /opt/data/input3  /opt/data/output3 'dfs[a-z.]+'

查看一下一下output2文件目录，part-r-00000是结果内容