Hadoop搭建总结(一)

从开始知道需要安装Hadoop到现在Hadoop安装成功并可以使用,前前后后花费了好长时间,但是从中也吸取了很多教训,

1.不要永远照抄别人的教程。这一点是我这近两天发现的,比如在所有的网上的教程,基本都是会指导你去安装一个Windows与Linux之间文件传输的工具

起初我也是按照网上的教程,MobaXterm,这个软件就是那个传输工具,又在这个软件使用上花费了很大功夫,但是更具自己的理解,Linux也是一个系统

既然是一个成熟的系统,那么它就肯定也会具备window绝大部分的功能,很快我就发现了,可以在Linux系统上直接去官网下载相应的jdk和Hadoop。

2.更具自己的理解去配置jdk和Hadoop

为什么这样说呢,以前在配置window上上的jdk时,网上的教程也是千奇百怪,作为一个新手去配置,总会显得好多东西很难理解,而对于Linux又是一个完全不一样的

环境,在这个新的系统,就有新的系统的规则,而Linux的规则就是忘了所有的界面,就比如一个新建文件夹,在Windows中右击新建很轻松,而在Linux系统上mkdir 文件名,这并不是Linux不好,二十Linux有它自己的规则,说到这里。就很清楚了,我们需要知道Linux的规则,而规则很容易就可以从网络上获取,为什么要配置环境变量?不就是希望系统可以找到你的jdk和Hadoop吗。到这里,我们就懂了如何去操作了。

我是这样做的

(1)jdk和Hadoop环境变量配置教程

在windows系统上我们需要配置JAVA_HOME,CALSSPATH,PATH在Linux系统中我们也是需要配置的,下面是我的配置(注意文件的路径是不一样的,根据自己的情况定):

export JAVA_HOME=/home/yan/hadoop/jdk1.8.0_261
export HADOOP_HOME=/home/yan/hadoop/hadoop-2.10.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
~                                                                               
~                                                                      

相信这一段代码很容易就可理解,如果这都不能理解这能说你当时安装jdk时,只是照抄网上的教程,基本意思还不知道

在环境配置好了之后,我们就需要去验证,jdk的验证与Windows一样,Hadoop的验证时hadoop version

如果通过了验证就证明你的环境变量都配置好了。

下面就需要对Hadoop集群进行配置,明天写!

原文地址:https://www.cnblogs.com/lianggegege123/p/13829527.html