Hadoop学习笔记

1、在ubuntu环境安装jdk

# javac 若,没有安装jdk,则会提示安装包

# apt-get install <安装包>  一般是 openjdk-7-jdk

安装完之后,要设置环境变量

# vim /etc/profile   (注:该文件是环境配置文件,所有用户都会访问到)

在顶部注释之下添加如下代码:(注意红色的部分是jdk安装目录,在安装过程列表中可以找到)

#java环境变量
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386   
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

然后使用source命令让配置文件立刻生效,而不必重启。

# source /etc/profile

2、获取hadoop并安装

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载之后解压到 /opt/hadoop,进入到/opt/hadoop/conf,里面有三个后缀-site.xml的文件和一个hadoop-env.sh需要配置

首先配置 hadoop-env.sh ,将里面的 export JAVA_HOME 注释去掉,并事先用 echo $JAVA_HOME获取到值,替换这里。

其次,配置 core-site.xml 在configuration标签内添加如下配置代码

<property>
<name>hadoop.tmp.dir</name>    #工作目录
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>       #源数据工作目录
<value>/hadoop/name</value>  
</property>
<property>
<name>fs.default.name</name>   # 文件目录
<value>hdfs://localhost:8080</value>
</property>

再次,配置文件系统的数据存放目录 hdfs-site.xml

<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>

最后,配置任务调度器 mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>

 此时,再次编辑 vim /etc/profile,添加修改hadoop信息 。即如下配置

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

再生效 source /etc/profile

此时 输入hadoop命令就有提示了

对namenode进行格式化操作 # hadoop namenode -format

原文地址:https://www.cnblogs.com/appzhang/p/4985363.html