Kylin -- Dup key found 问题

kylin 构建 cube 时，抛出了如下的错误：

org.apache.kylin.engine.mr.exception.HadoopShellException: java.lang.RuntimeException: Checking snapshot of TableRef[xxx] failed.
    at org.apache.kylin.cube.cli.DictionaryGeneratorCLI.processSegment(DictionaryGeneratorCLI.java:111)
    at org.apache.kylin.cube.cli.DictionaryGeneratorCLI.processSegment(DictionaryGeneratorCLI.java:55)
    at org.apache.kylin.engine.mr.steps.CreateDictionaryJob.run(CreateDictionaryJob.java:73)
    at org.apache.kylin.engine.mr.MRUtil.runMRJob(MRUtil.java:93)
    at org.apache.kylin.engine.mr.common.HadoopShellExecutable.doWork(HadoopShellExecutable.java:63)
    at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:165)
    at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:70)
    at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:165)
    at org.apache.kylin.job.impl.threadpool.DistributedScheduler$JobRunner.run(DistributedScheduler.java:110)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.IllegalStateException: The table: xxx Dup key found, key=[null], value1=[null,null,null,null,null], value2=[null,null,null,null,null]
    at org.apache.kylin.dict.lookup.LookupTable.initRow(LookupTable.java:86)
    at org.apache.kylin.dict.lookup.LookupTable.init(LookupTable.java:69)
    at org.apache.kylin.dict.lookup.LookupStringTable.init(LookupStringTable.java:80)
    at org.apache.kylin.dict.lookup.LookupTable.<init>(LookupTable.java:57)
    at org.apache.kylin.dict.lookup.LookupStringTable.<init>(LookupStringTable.java:66)
    at org.apache.kylin.dict.lookup.LookupProviderFactory.getInMemLookupTable(LookupProviderFactory.java:63)
    at org.apache.kylin.cube.CubeManager.getInMemLookupTable(CubeManager.java:523)
    at org.apache.kylin.cube.CubeManager.getLookupTable(CubeManager.java:509)
    at org.apache.kylin.cube.cli.DictionaryGeneratorCLI.processSegment(DictionaryGeneratorCLI.java:106)
    ... 11 more

其中 xxx 表是维度表，它跟事实表是一对多的关系。抛出的错误很令人费解，怎么会全是 null 的值呢？ xxx 表里没有这样的记录啊。key 是 id，在 Mysql 里是自增长的主键，也不可能是空，所以导入 hive 后，也不可能为空。日志显示是在生成 xxx 表的 snapshot 时产生的，在网上搜了一下，https://juejin.im/post/5bcf370d6fb9a05cff3255dd 这篇文章中有关于此过程的描述，摘录如下：

（1）从原始的hive维度表中顺序得读取每一行每一列的值;
（2）使用 TrieDictionary 方式对这些所有的值进行编码（一个值对应一个 Id）；
（3）再次读取原始表中每一行的值，将每一列的值使用编码之后的 Id 进行替换，得到了一个只有 Id 的新表；
（4）同时保存这个新表和 Dictionary 对象（Id 和值的映射关系）就能够保存整个维度表；
（5）Kylin 将这个数据存储到元数据库中

从中也没看出会出现重复主键的情况。后来又看到说是事实表关联此维度表时，如果对应多个，则会出现此问题。本来就是一对多的关系，肯定会出现多个的啊。也不知道是他没表达清楚，还是我没理解。找了很久，也没发现问题所在，后来一个不经意的发现，才使这一问题得到解决。我在 hive 中查看事实表的记录数时，发现有 6500 多条，但是我的 mysql 里只有 6300 条。不知道为什么，sqoop 导入 hive 后，会多出几百条记录。经过查找才知道，如果原始 mysql 里的字段里的值有换行符的话，导入 hive 后，因为hive中存的是文本，换行符是一条记录，所以会多出记录来。并且这些值并不在真正对应的列了。所以会出现事实表的一些记录关联不到维度表的记录，此时就会出现 key=[null], value1=[null,null,null,null,null] 的情况。

解决办法：在用 sqoop 导入时，多加一个参数： --hive-delims-replacement ' ' ，这会把换行符替换为空格。因为无法确定原始表中会不会有换行符，所以强烈建议不管什么情况都加此参数。

重新导入后，cube 构建成功。问题虽然解决了，但是还是有一处不明白，为什么报的是 Dup key found 的错误，维度表并没有重复主键。

后续：悲催地发现，第二天又出现了这个错误。由于业务的原因，每天晚上都会把 mysql 中的记录用 sqoop 重新导入到 hive 中，导入的时候，我是加了 --hive-overwrite 这个参数的，用 beeline 连接 hive 后，查询出来的记录也是没问题的。用 kylin 重新构建 cube 时，就出现了 Dup key found 的错误，这次 key 是一个确定的值了，我查了一下 xxx 表，确定这个 key 只有一条记录。我在 hive 客户端，直接 drop table XXX 后，再次用 sqoop 导入，再次构建 cube 竟然成功了。有点迷茫了，再用 sqoop 导一次，再构建 cube 的时候又报这个问题了。

看了一下 HDFS 上目录，发现表 xxx 原来的数据目录并没有删除，而是直接新建了一个目录，hive 客户端会使用最新的目录，不知道为什么 kylin 读的却是所有的目录下的数据，这就导致肯定会出现重复的数据了。

这个的 hadoop 环境是用 HDP 搭建的，我用原始的 hadoop 等包，搭建了一个 hadoop 环境，做重复 sqoop 导入的操作，发现跟上面的不一样，真的是删掉原来的目录，再创建一个的，表对应的目录下永远只有一个数据文件。

最后，总结出来，出现这个问题的原因就是：事实表（列：id）与维度表(列：fact_id) 进行关联时，同一个事实表的 id，关联时出现了超过一次。