Hadoop配置学习

连接xftp需要设置C:WindowsSystem32driversetc 加入虚拟机ip地址主机名

1.准备相关jar包

2.查询现有系统中自带的open jdk

rpm -qa | grep java

--如果有请卸载，nodeps表示强制无依赖

rpm -e --nodeps

3./opt该目录是可选的软件包安装目录，有些软件包我们可以将它安装在该目录中，只有root用户才有权限访问，自己新建opt目录或使用以下命令：

sudo chmod 777 /opt

4.source /etc/profile:重新读取修改的配置profile文件

5.tar zxcf ...

6.配置文件信息

hadoop-evn.sh

mapred-env.sh

yarn-evn.sh

core-site.xml:

hdfs-site.xml:

host

slaves:可不用修改，必须关闭防火墙

hadoop无法访问50070端口解决方法：

 https://www.cnblogs.com/zlslch/p/6604189.html

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException):

       查阅资料发现造成这个问题的原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致，解决方案：

1、停止集群（切换到/sbin目录下）
$./stop-all.sh

2、删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据;
$ rm -rf /home/hadoop/hdpdata/*

3、重新格式化namenode(切换到hadoop目录下的bin目录下)
$ ./hadoop namenode -format

4、重新启动hadoop集群（切换到hadoop目录下的sbin目录下）
$./start-all.sh

 http://blog.csdn.net/weiyongle1996/article/details/74094989

 Hadoop伪分布式环境搭建相关配置文件：

http://blog.csdn.net/u012893747/article/details/52523867

　　　　　　　　　　
课程：分布式集群、PB级别网站性能优化