Sqoop增量从MySQL中向hive导入数据

sqoop job --create incretest -- import --connect  jdbc:mysql://10.8.2.19:3306/db  --table table1 --username op_root --password root -m 1  --hive-import --incremental lastmodified --check-column dtTime  --last-value '2015-11-30 16:59:43.1';

注意:
1. – import之间有空格
2. dtTime要和你mysql数据库字段一样,此处区分大小写
3. hive中时间精确到2015-11-30 16:59:43.0跟2015-11-30 16:59:43不同

select * from table1 where dtTime  = '2015-11-30 16:59:43.0';
select * from table1 where dtTime  = '2015-11-30 16:59:43';
结果不同

4.job中自动更新的时间是按你执行命令的时间更新,而不是dtTime最后一个值的时间

参考资料:
http://blog.csdn.net/ryantotti/article/details/14226635
http://shiyanjun.cn/archives/624.html
http://www.linuxidc.com/Linux/2014-09/106281.htm

原文地址:https://www.cnblogs.com/ggzone/p/10121218.html