datax导数>从一个集群到另外一个集群(hdfs)出现数据缺失

今天通过datax从一个集群同步数据到另外一个集群当中,虽然任务执行成功了,但是一个很大的问题,

数据丢失)这怎么得了

解决思路:

(1)是不是数据分隔符的问题,导致数据变少了。对了一下发现没问题

(2) 是不是因为字段长度不够数据没同步过来,把长度调的足够大,发现也不管用

(3) 突然在网上发现了一个致命的问题,我们这个表的数据很多,是不是因为数据块太大了导致,一看果然

果然数据块超过了,256M的,所有有部分数据丢失,至于为什么只读了一部分还要从datax的源码开始看。

下面这个链接就是具体的原因说的很详细:

https://blog.csdn.net/cclovezbf/article/details/117064747?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-2-117064747.pc_agg_new_rank&utm_term=datax%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5%E8%BF%87%E7%A8%8B%E4%B8%AD%E5%AD%98%E5%9C%A8%E4%B8%A2%E5%A4%B1&spm=1000.2123.3001.4430

其实也就是datax在读取数据的时候,他只读了第一个切片当中的数据,其他的数据都丢了。不要了。

解决方案:对表进行重写,集群设置global参数为256M问题解决。

原文地址:https://www.cnblogs.com/gxgd/p/15603490.html