Invalidate metadata 和 Refresh语句有什么区别？各有什么应用场景？

 

Invalidate metadata 用来清空（重置）元数据，执行完后元数据处于未加载状态。Refresh 用来增量更新元数据，执行完后元数据处于已加载状态。

大部分情况我们推荐用 REFRESH 语句来解决元数据过时的问题，只有以下两种情况需要使用 INVALIDATE METADATA：

• Hive 中创建的新表在 Impala 中找不到，使用 REFRESH 语句会报错。

• HDFS Rebalance 挪动了文件的 block 位置，此时 partition、文件的 mtime 都不变，REFRESH 语句只看 mtime，因此感知不到 block 位置过时了，并不会更新 block 位置。这种情况的后果是查询分片（PlanFragment）会被调度到错误的 Impalad 去执行，导致查询性能变差（Impala以为是本地读，其实变成了远程读）。