Hadoop开发环境搭建

1 设置ssh免密码登陆

由于每次启动服务都要输入密码,为了避免以后麻烦,这里首先设置ssh免密码登陆

首先关闭防火墙

setup调出防火墙配置工具,enter进入filewall configuration 按空格关闭。出来service iptables status,如果显示service is not runing 表明配置正确。

(service iptables start/service iptables stop)

设置DNS解析

gedit /etc/hosts 在文末添加“ip 域名”例如:192.168.139.122 hadoop0

接下来真正设置ssh免密码登陆

vi /etc/selinux/config 设置selinux=disabled

然后ssh-keygen -t dsa 生成密钥

一直回车,然后:

cd ~/.ssh

cat id_dsa.pub >>authorized_keys

设置完成。

测试:ssh localhost 不让输密码表明设置成功。

2 安装Hadoop

  • 本地模式
  • 伪分布模式
  • 集群模式

这里先实现伪分布模式

步骤:

  • 关闭防火墙
  • 修改ip
  • 修改hostname
  • 设置ssh免密码登陆
  • 安装jdk
  • 安装hadoop

2.1解压安装包到/usr/local/hadoop

2.2配置环境变量

vi /etc/profile

alias cdha='cd /usr/local/hadoop'  #设置别名

export HADOOP_HOME=/usr/local/hadoop

export PATH =.:$HADOOP_HOME/bin

2.3修改hadoop配置文件

/usr/local/hadoop/etc/hadoop

ls 

vi hadoop-env.sh 修改JAVA_HOME为实际的JDK路径

vi core-site.xml

<configuration>

#内部加入

<property>

  <name>fs.default.name</name>

  <value>hdfs://futurehauHadoop:9000</value> #换为自己的hostname

</property>

<property>

  <name>hadoop.tmp.dir</name> #hadoop临时目录

  <value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

2.4HDFS设置存储份数和权限检查(生产环境下应该为默认的三份,要求权限检查)

vi hdfs-site.xml

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

  <property>

    <name>dfs.premissions</name>

    <value>false</value>

  </property>

</configuration>

 2.5 Map-Reduce 配置

vi mapred-site.xml

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>futurehauHadoop:9001</value> #自己的hostname,端口号是9001

  </property>

</configuration>

3 启动Hadoop

hadoop namenode -format #目录服务器格式化

cd sbin

./start-all.sh

jps # show java progressor

#(jps namenode jobtracker tasktracker datanode secondarynamenode)

#(hdfs :namenode datanode secondarynamenode)

#(map_red:jobtracker tasktracker)

hostname:50070 #browser

hostname:50030 #browser

原文地址:https://www.cnblogs.com/futurehau/p/6020861.html