Hadoop学习笔记Hadoop伪分布式环境建设

建立一个伪分布式Hadoop周围环境

1、主办（Windows）顾客（安装在虚拟机Linux）网络连接。

a) Host-only 主机和独立客户端联网；

好处：网络隔离；

坏处：虚拟机和其他server之间不能通讯；

b) Bridge 桥接宿主机与客户机在同一个局域网中。

优点：窦在同一个局域网，能够互相訪问；

坏处：不全然。

2、Hadoop的为分布式安装步骤

a) 设置静态IP

在centos下左面上右上角图标右键改动；

重新启动网卡service network restart;

验证：运行命令ifconfig

b) 改动主机名(原名称casichadoop) hostname查看当前名称

改动当前会话主机名:设置名称 hostname hadoop

改动配置文件里:hostname vi /etc/sysconfig/network 为hadoop

c) 把hostname和ip绑定

运行命令 vi /etc/hosts添加10.10.10.10

保存退出

验证:ping hadoop

d) 关闭防火墙先查看service iptables status

Service iptables stop

e) 防火墙自己主动启动先查看chkconfig --list | grep iptables

关闭自己主动启动防火墙 chkconfig iptables off

验证：chkconfig --list | grep iptables

f) Ssh(secure shell)的免password登录

<1>运行命令shh-keygen -t rsa 产生秘钥。位于~/.ssh

<2>运行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证：ssh localhost

g) 安装JDK

l 打开文件夹 cd /usr/local

l 然后删除所有文件rm -rf *

l 复制全部的文件到当前文件夹下cp /root/Downloads/* .

l 查看当前文件夹的权限 ls -l

l 赋予权限运行权限chmod u+x jdk-6u24-linux-i586.bin

l 运行安装JDK ./jdk-6u24-linux-i586.bin

l mv jdk1.6.0_24 jdk 重命名

l 环境变量设置vi /etc/profile

n Export JAVA_HOME=/usr/local/jdk

n Export PATH=./$JAVA_HOME/bin:$PATH

n Source /etc/profile

n 验证:java -version

h) 安装HADOOP

i. Tar -zxvf hadoop-1.1.2.tar.zip

ii. Mv hadoop-1.1.2 hadoop

iii. 环境变量设置

n Export HADOOP_HOME=/usr/local/hadoop

n Export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

iv. 改动四个配置文件

1. 改动hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

2. 改动core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?
>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>hadoop</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>

3. 改动hdfs-site.xml

<?xml version="1.0"?>

<?
xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

 

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4. 改动mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>change you own hostname</description>

</property>

</configuration>

v. 运行命令 hadoop namenoe -format 对hdfs格式化

vi. 运行命令 start-all.sh

vii. 运行命令 jps 见过程