MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用 ALTER TABLE table_name ADD PARTITION 一个个分区添加十分麻烦。这时候MSCK REPAIR TABLE就派上用场了。只需要运行MSCK REPAIR TABLE命令，hive就会去检测这个表在hdfs上的文件，把没有写入metastore的分区信息写入metastore。
测试一下：
第一步：
CREATE TABLE test (name STRING) PARTITIONED BY (DT STRING); INSERT INTO TABLE test PARTITION(dt="20191206") VALUES ("zhang"); SHOW PARTITIONS test;
第二步：
echo "wang" > test.txt hadoop fs -mkdir -p hdfs://bigdata:8020/user/hive/warehouse/sdata.db/test/dt=20191205 hadoop fs -put -f test.txt hdfs://bigdata:8020/user/hive/warehouse/sdata.db/test/dt=20191205/
hadoop fs -ls -R hdfs://bigdata:8020/user/hive/warehouse/sdata.db/test
这个时候，我们在查看分区：
依旧还是一个分区在，查询表的数据，还是一样的的。
在Hive中执行：
msck repair table test
结果显示：
select * from test;
看来是可以的。增加新分区到表中。
然后，如果我删除20191205的分区在hdfs上：
hadoop fs -rm -r hdfs://bigdata:8020/user/hive/warehouse/sdata.db/test/dt=20191205
执行：
MSCK REPAIR TABLE TEST
SHOW PARTITIONS TEST
查看分区还是有 20191205 20191206两天的分区，但是表里的数据只有一天的了。看来，这个命令只能获取新增的分区信息，针对于删除的分区，无法及时更新。
问题：
分区数据没有，但是分区存在，尚未解决。无法统一。
--眼睛太疼了，难受的不行。。。。。。。。