Impala官网翻译10-Impala的安装后配置

Impala的安装后配置

本节介绍Impala的强制和推荐配置设置。如果使用群集管理软件安装Impala，其中一些配置可能会自动完成；您仍然必须手动配置短路读取。如果您想自定义环境，请考虑进行本主题中描述的更改。

无论Impala是否安装了群集管理软件，您都必须启用短路读取。此设置在 Impala 配置设置中，而不是 Hadoop 范围的设置中。
您必须启用块位置跟踪，您可以选择启用本地校验和以获得最佳性能。

强制性：短路读数

启用短路读取可以让Impala直接从文件系统读取本地数据。这消除了通过DataNodes进行通信的需要，提高了性能。该设置还可以最大限度地减少数据的额外副本数量。短路读取需要libhadoop.so(Hadoop Native Library)能够被服务器和客户端访问。如果您从tarball安装，libhadoop.so不可用。您必须从 .rpm、.deb 或 parcel 安装才能使用短路本地读取。

为短路读取配置DataNodes

将客户端core-site.xml和hdfs-site.xml配置文件从Hadoop配置目录复制到Impala配置目录。默认的Impala配置位置是/etc/impala/conf。

在所有Impala节点上，在Impala的hdfs-site.xml副本中配置以下属性，如图所示：

<property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
</property>

<property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hdfs-sockets/dn</value>
</property>

<property>
    <name>dfs.client.file-block-storage-locations.timeout.millis</name>
    <value>10000</value>
</property>

如果/var/run/hadoop-hdfs/是可组写的，请确保其组是root。

注意：如果你也要启用块位置跟踪，你可以跳过复制配置文件和重启DataNodes，直接进入 Optional: Block Location Tracking（块位置跟踪）。配置短路读取和块位置跟踪需要相同的复制文件和重启服务的过程，所以当你完成所有配置更改后，你可以一次性完成该过程。无论是现在复制文件和重启服务，还是在配置块位置跟踪期间，在完成这些最后步骤之前，都不会启用短路读取。
应用这些更改后，重新启动所有DataNodes。

强制性的：区块位置跟踪

启用块位置元数据可使 Impala 知道磁盘数据块位于哪个磁盘上，从而更好地利用底层磁盘。除非启用此设置，否则Impala不会启动。

启用区块位置跟踪：

对于每个DataNode，在hdfs-site.xml文件中添加以下内容。

<property>
  <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
  <value>true</value>
</property>

将客户端core-site.xml和hdfs-site.xml配置文件从Hadoop配置目录复制到Impala配置目录。默认的Impala配置位置是/etc/impala/conf。
应用这些更改后，重新启动所有DataNodes。

可选：本地校验和

启用本机校验和会使Impala使用优化的本机库来计算校验和，如果该库可用的话。

启用本地校验和：

如果你从包中安装，那么本地的校验库已经正确安装和设置。在这种情况下，不需要额外的步骤。相反，如果您是通过其他方式安装的，例如使用 tarballs，则可能会因为缺少共享对象而无法使用 native checksumming。在 Impala 日志中发现 "无法为您的平台加载 native-hadoop 库......在适用的情况下使用 builtin-java 类 "的消息，表明 native checksumming 可能不可用。要启用本地校验，您必须构建并安装 libhadoop.so（Hadoop 本地库）。