spark学习3(sqoop1.4.6安装)

sqoop目前有两个版本sqoop1和sqoop2,这里安装的是sqoop1版本

1)将软件上传到spark1节点

2)修改权限

[root@spark1 sqoop]# chmod u+x sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3)解压安装

[root@spark1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

4)重命名

[root@spark1 sqoop]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4

5)配置环境变量

[root@spark1 sqoop]# vi /etc/profile
export SQOOP_HOME=/usr/sqoop/sqoop-1.4
export PATH=$PATH:$SQOOP_HOME/bin
export LOGDIR=$SQOOP_HOME/logs #一定要加上这个

6)使环境变量生效并验证是否配置成功

[root@spark1 sqoop-1.4]# source /etc/profile
[root@spark1 sqoop-1.4]# which sqoop

7)修改配置文件 sqoop-env.sh

[root@spark1 conf]# mv sqoop-env-template.sh sqoop-env.sh
#重命名
[root@spark1 conf]# vi sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.6.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.6.0
#Set the path to where bin/hive is available
export HIVE_HOME=/usr/hive/hive-1.2
暂时没安装hbase和zookeeper就不修改了


8)将所需要的mysql驱动包拷贝到Sqoop/lib下

#先在网上下载驱动包mysql-connector-java-5.1.10.jar
[root@spark1 sqoop]# cp mysql-connector-java-5.1.10.jar /usr/sqoop/sqoop-1.4/lib

9)测试sqoop

显示mysql下所有数据库
[root@spark1 sqoop]# sqoop list-databases --connect jdbc:mysql://spark1:3306 --username root

查看mysql wujiadong数据库中的表
[root@spark1 ~]# sqoop list-tables --connect jdbc:mysql://spark1:3306/wujiadong -username root

注释
1)因为暂时没安装hbase和zookeeper,没修改sqoop中的配置文件内容,运行时出现警示,不过问题不大。
2)命令sqoop list-databases --connect jdbc:mysql://spark1:3306 --username root --password xxx中
username和password使mysql的用户名和密码,我因为没去设置mysql的密码,所以直接无密码登录

image

image

参考资料: Sqoop-1.4.6安装部署及详细使用介绍

原文地址:https://www.cnblogs.com/wujiadong2014/p/6067119.html