sqoop遇到的问题

我使用的是CDH版本的

这是我的sqoop脚本

sudo -u hive sqoop import --connect jdbc:mysql://xxxx/rom3 --username xxx --password xxx --table xxx --hive-import --hive-table xx.xx

需要注意的:

1、mysql表要有主键

2、为什么要sudo -u hive一下呢,因为hdfs中使用的就是hive用户存放的权限,如果使用root权限,你会发现无法写数据。

3、会有这样的错误:

**************Streaming result set com.mysql.jdbc.RowDataDynamic***********

解决是:

cp /usr/share/java/mysql-connector-java-5.1.34-bin.jar /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/sqoop/lib

 4、每次执行前,需要删除sudo -u hive hdfs dfs -rmr /user/hive/adbaseinfo  就是要导入的表

原文地址:https://www.cnblogs.com/hark0623/p/4849599.html