#onekey_step2 # Rrogram: # 安装hadoop简易集群程序 # 使用说明 # History: # 2017-08-03 luoqi v0.1 release # email: # 916790942@qq.com #第一阶段阶段 准备主机centos7 minimal 系统语系必须是en 约定主机名为server1 server2 server3 其中server1为master机 三台机器都要操作 1.ping通网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet BOOTPROTO=none DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_PEERDNS=yes IPV6_PEERROUTES=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=1fb18314-3606-4735-9f20-65679746085a DEVICE=ens33 ONBOOT=yes IPADDR=192.168.10.41 PREFIX=24 GATEWAY=192.168.10.1 DNS1=61.139.2.69 2.修改主机名 echo "server1" > /etc/hostname echo "NETWORKING=yes" >> /etc/sysconfig/network echo "HOSTNAME=server1" >> /etc/sysconfig/network 3.关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 firewall-cmd --state #查看防火墙状态 4.修改hosts文件 vi /etc/hosts 192.168.10.41 server1 192.168.10.42 server2 192.168.10.43 server3 #如果密码不是hadoop则修改密码,由于修改了主机名所以需要重启之后进行下一阶段的操作 第二阶段 在server1上执行 mkdir -p /apps/soft 将压缩包onekey_step2_v2.tar.gz上传到server1的/apps/soft目录下 解压 chmod g+w onekey_step2 chown -R root:root ../onekey_step2 检查防火墙,确定防火墙是关闭的 第三阶段开始安装, #step1 ./onekey_install.sh 1>onekey1.log 2>&1 #切换hadoop用户 su hadoop #step2 ./onekey_step2_hadoop.sh #中途会需要输入一次yes #安装完成 #以hadoop用户操作 开始使用 首先需要为当前shell加载环境变量 source /etc/profile jps查看进程 server2,sever3 su hadoop source /etc/profile jps查看进程 ################################################################ 安装过程解析 #step1 #单机安装后scp到从机 #初始化安装expect命令 #./onekey_init_root.sh #第一步server1机器上的root用户与server2,server3单向免密 #./onekey_nopasswd.sh #server1创建hadoop用户 #./onekey_createUser.sh hadoop #第二步server1安装java ./hadoop_javainstall_root.sh #第三步server1安装hadoop ./hadoop_install_root.sh #第四步将java hadoop发送到server2 server3 ./hadoop_scp_root.sh #将下载expect的脚本发送到server2,server3 #在server2上创建用户,修改环境变量,修改/opt文件夹的权限 ./hadoop_scpbase_root2.sh #第五步 本机授权 chown -R hadoop:root /opt #第六步 主节点切换到hadoop用户,执行./onekey_step2_hadoop.sh #step2 #主节点配置hadoop用单向server2,sever3 hadoop用户密,只能运行一次 ./onekey_nopasswd.sh #互信,将免密脚本发送到server2,server3,实现互信 执行一次 #发送脚本 scp ./onekey_nopasswd.sh hadoop@server2:/opt/ #执行脚本 ssh hadoop@server2 "sh /opt/onekey_nopasswd.sh" #发送脚本 scp ./onekey_nopasswd.sh hadoop@server2:/opt/ #执行脚本 ssh hadoop@server2 "sh /opt/onekey_nopasswd.sh" #在当前shell中加入环境变量 source /etc/profile #格式化 #可能的修改是要先删除tmp 目录然后再创建 hadoop namenode -format #启动hdfs $HADOOP_HOME/sbin/start-dfs.sh #测试 cd $HADOOP_HOME; hdfs dfs -put README.txt / #启动YARN $HADOOP_HOME/sbin/start-yarn.sh #测试yarn hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /README.txt /onekeytest/out 中途需要输入一次yes The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established. ECDSA key fingerprint is 22:35:14:0b:85:86:4b:a8:0b:5e:68:11:69:6a:f7:fc. Are you sure you want to continue connecting (yes/no)? yes QA 1.日志中报错,可能是某个节点中防火墙没有关闭 2.如果中间卡死检查三台机器是否可以ping通baidu 3.安装之后不能正常运行考虑三台机器时间是否同步 3.如果需要离线安装需要修改文件,将通过网络安装的expect安装改为本地安装 4.安装expect时需要依赖gcc 安装gcc的脚本么有,需要用户二次开发,但是expect的安装脚本已经写好了. 5.如果执行step1时一直卡住,可以去掉后面的日志重定向,观察哪里有问题,可能是语系不对导致,expect不能正确执行下去
链接：https://pan.baidu.com/s/1i5KKewd 密码：gjaj