一.集群规划
| Name | Master | Slave1 | Slave2 |
| IP | 192.168.2.98 | 192.168.2.99 | 192.168.2.100 |
| Jdk版本 | 1.8.0.171 | 1.8.0.171 | 1.8.0.171 |
| Zookeeper版本 | 3.4.10 | 3.4.10 | 3.4.10 |
| Hadoop版本 | 2.7.3 | 2.7.3 | 2.7.3 |
| Hbase版本 | 1.2.4 | 1.2.4 |
1.2.4 |
| Hive版本 | 2.1.1（客户端Y） | 2.1.1（服务端Y） | N |
| Sqoop版本 | 1.4.7(Y) | N | N |
二.搭建Sqoop
在已完成此配置的基础上执行以下。tar包链接: https://pan.baidu.com/s/1hwLPI0eUwkpGmP5ROqM6Lw 提取码: k7m3
安装之前得先搭建Zookeeper全分布式、Hadoop全分布式、Hbase全分布式、Hive远程模式。
主节点Master上执行
# mkdir /usr/sqoop 建立目录 # tar -zxvf /opt/soft/sqoop-1.4.7.bin.tar.gz -C /usr/sqoop/ 解压目录 # cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/sqoop/sqoop-1.4.7.bin/lib/ 拷贝 # vim /etc/profile 添加Sqoop环境变量 – 保存退出 export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7.bin export PATH=$PATH:$SQOOP_HOME/bin # source /etc/profile # sqoop version 验证有sqoop版本则通过 # cd /usr/sqoop/sqoop-1.4.7.bin/conf/ 进入 # cp sqoop-env-template.sh sqoop-env.sh & vim sqoop-env.sh 复制并进入修改hadoop(两项)hbasehivezookepper五个路径 export HADOOP _COMMON_HOME=/usr/hadoop/hadoop-2.7.3 export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.7.3 export HBASE_HOME=/usr/hbase/hbase-1.2.4 export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin export ZOOCFGDIR=/usr/zookeeper/zookeeper-3.4.10 # 测试sqoop连接MySQL有提示则输MySQL之前设置的密码 # sqoop list-databases --connect jdbc:mysql://slave2:3306/ --username root -P 语句
