sqoop job 踩过的坑

sqoop 执行可以以job形式 也可以执行用命令执行,再用sqoopjob时,踩了几个坑,分享一下

1、服务器重启

由于服务器增加硬盘,需要重启后,发现sqoop job 无法执行,报连接数据库IO之类的错误,但是sqoop命令是可以执行的,

这也就奇怪了,刚开始以为是连接不上hadoop元数据库,但是sqoop命令可以执行,这就比较坑了。

通过同不断的查找分析发现,最后竟然是sqoop自带的元数据库没启动。

通过sqoop安装目录bin下的start-metastore.sh 可以重启。

以下是进程,代表启动成功

root     16666     1  0 Nov16 ?        00:02:23 /usr/local/jdk/bin/java -Xmx1000m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/usr/lib/hadoop/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/usr/lib/hadoop -Dhadoop.id.str= -Dhadoop.root.logger=INFO,console -Djava.library.path=/usr/lib/hadoop/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Xmx4096m -Dhadoop.security.logger=INFO,NullAppender org.apache.sqoop.Sqoop metastore

2、修改

修改完脚本,发现不生效,原来sqoop job在执行中会先查找元数据库中的job,如果有就执行,如果没有就会生成一个job。

因为你原来脚本有job,所以还会继续跑原来的脚本,

需要人工找到对应的job,删除jobid即可,

当然这种好处也明显,线上线上分离,如果上线流程规范,那么这种问题就可以避免。

原文地址:https://www.cnblogs.com/wujin/p/6073469.html