Impala 安装笔记1一Cloudera CDH4.3.0安装

　　Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

　　Impala依赖CDH，依赖hive，hive依赖mysql做元数据存储数据库，所以需要在安装impala之前要检查环境，先安装他的Cloudera Impala Requirements。

安装环境：

OS：Red Hat Enterprise Linux Server release 6.3 (Santiago)

内存：4G

CPU：要支持SSE3扩展指令集（impala要求）

Cloudera CDH4.3.0安装

　　我部署的是hadoop-2.0.0-cdh4.3.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.3.0.tar.gz。

(在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包)。再准备一个jdk1.6+的java环境，设置好JAVA_HOME。

需要注意的是，window下直接点击链接下载到的包可能无法解压成功，原因是包是放在linux ftp上的，直接下载会有问题。建议在linux机器上用wget命令下载就可以了。

　　基础配置

　　给集群配好 SSH；在hosts里可以准备好自己机器的名字。

　　以下配置文件里就用该名称代替。单机就配置 localhost。

　　配置文件

　　tar包的部署方式只要具备CDH4的包就可以了，其余步骤不需联网，只要配置好几个配置文件即可。我提供一份自己的配置，可以完全拷贝下来使用。进入到目录hadoop-2.0.0-cdh4.3.0/etc/hadoop下面，修改这几个文件：

　　core-site.xml

 1 <configuration>
 2   <property>
 3     <name>fs.defaultFS</name>
 4     <value>hdfs://localhost:9000</value>
 5   </property>
 6   <property>
 7     <name>fs.trash.interval</name>
 8     <value>10080</value>
 9   </property>
10   <property>
11     <name>fs.trash.checkpoint.interval</name>
12     <value>10080</value>
13   </property>
14 </configuration>

　　hdfs-site.xml（后半部分是impala需要的配置）

 1 <configuration>
 2   <property>
 3     <name>dfs.replication</name>
 4     <value>1</value>
 5   </property>
 6   <property>
 7     <name>hadoop.tmp.dir</name>
 8     <value>/home/godp/hadoop-2.0.0-cdh4.3.0/tmp</value>
 9   </property>
10   <property>
11     <name>dfs.namenode.http-address</name>
12     <value>localhost:50070</value>
13   </property>
14   <property>
15     <name>dfs.namenode.secondary.http-address</name>
16     <value>localhost:50090</value>
17   </property>
18   <property>
19     <name>dfs.webhdfs.enabled</name>
20     <value>true</value>
21   </property>
22 <property>
23 <name>dfs.block.local-path-access.user</name>
24 <value>impala</value>
25 </property>
26 
27 <property>
28     <name>dfs.client.read.shortcircuit</name>
29         <value>true</value>
30         </property>
31 
32 <property>
33     <name>dfs.domain.socket.path</name>
34         <value>/var/run/hadoop-hdfs/dn._PORT</value>
35         </property>
36 <property>
37     <name>dfs.client.file-block-storage-locations.timeout</name>
38     <value>3000</value>
39 </property>
40 </configuration>

　　yarn-site.xml

 1 <?xml version="1.0"?>
 2 <configuration>
 3 <!-- Site specific YARN configuration properties -->
 4   <property>
 5     <name>yarn.resourcemanager.resource-tracker.address</name>
 6     <value>localhost:8031</value>
 7   </property>
 8   <property>
 9     <name>yarn.resourcemanager.address</name>
10     <value>localhost:8032</value>
11   </property>
12   <property>
13     <name>yarn.resourcemanager.scheduler.address</name>
14     <value>localhost:8030</value>
15   </property>
16   <property>
17     <name>yarn.resourcemanager.admin.address</name>
18     <value>localhost:8033</value>
19   </property>
20   <property>
21     <name>yarn.resourcemanager.webapp.address</name>
22     <value>localhost:8088</value>
23   </property>
24 <property>
25     <description>Classpath for typical applications.</description>
26     <name>yarn.application.classpath</name>
27     <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,
28     $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
29     $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
30     $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*,
31     $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*
32     </value>
33   </property>
34   <property>
35     <name>yarn.nodemanager.aux-services</name>
36     <value>mapreduce.shuffle</value>
37   </property>
38   <property>
39     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
40     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
41   </property>
42   <property>
43     <name>yarn.nodemanager.local-dirs</name>
44     <value>/home/godp/hadoop-2.0.0-cdh4.3.0/yarn/local</value>
45   </property>
46 <property>
47     <name>yarn.nodemanager.log-dirs</name>
48     <value>/home/godp/hadoop-2.0.0-cdh4.3.0/yarn/logs</value>
49   </property>
50   <property>
51     <description>Where to aggregate logs</description>
52     <name>yarn.nodemanager.remote-app-log-dir</name>
53     <value>/home/godp/hadoop-2.0.0-cdh4.3.0/yarn/logs</value>
54   </property>
55   <property>
56     <name>yarn.app.mapreduce.am.staging-dir</name>
57     <value>/home/godp/hadoop-2.0.0-cdh4.3.0</value>
58 </property>
59 </configuration>

　　mapred-site.xml

 1 <?xml version="1.0"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 
 4 <!-- Put site-specific property overrides in this file. -->
 5 
 6 <configuration>
 7  <property>
 8    <name>mapreduce.framework.name</name>
 9    <value>yarn</value>
10   </property>
11   <property>
12     <name>mapreduce.jobhistory.address</name>
13     <value>localhost:10020</value>
14   </property>
15   <property>
16     <name>mapreduce.jobhistory.webapp.address</name>
17     <value>localhost:19888</value>
18   </property>
19 
20 
21 </configuration>

　　最后在/etc/profile中添加环境变量，添加如下配置：

export JAVA_HOME=/usr/lib/jvm/jdk7
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib:$JRE_HOME/lib/tools.jar
export HADOOP_HOME=/home/godp/hadoop-2.0.0-cdh4.3.0
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin
export HIVE_HOME=/home/godp/hive-0.9.0-cdh4.1.0
export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

　　source之使之生效。如果是分布式环境，然后把这台机器上的hadoop配置 scp到其他各台机器上。

　　启动集群
　　HADOOP_HOME/bin下，第一次格式化namenode

　　hadoop namenode -format

然后在namenode机器上逐个启动

start-dfs.sh

start-yarn.sh

可以使用jps命令在各台机器上查看已经起来的进程和端口，在 namenode:8088/cluster 可以看集群情况。 datanode:8042/node 可以看到节点情况。

启动dfs的时候无论成功或者失败，命令行都会显示输出的日志路径，如果需要查看详细信息或者某个datanode启动失败的时候，就去相应的路径下查看datanode对应的log，那里会有详细的出错信息，可以排错。我就是这么解决错误的。

问题排查

如果某几个节点没有起来，很可能是因为端口占用的问题，比如yarn启动的时候

会使用8080端口，如果被占用，该datanode就起不了了，可以使用

netstat -anp | grep 8080

找到id，然后kill -9 xxx 掉。

8080是默认的tomcat 的端口，所以装有tomcat类似应用web服务器的节点在此端口的占用上需要二者选其一，另一个需要改端口。

另一个头疼一整天的问题，配置检查不出什么错误，但是一直是起不来hdfs，去

日志里边找，提示错误：

　　attempt_1389859916143_0002_m_000001_0, Status : FAILED

　　Container launch failed for container_1389859916143_0002_01_000003 : java.lang.IllegalArgumentException: Does not contain a valid host:port authority: XX-XX-0.95:39561

　　找不到有效的host：port在XXX：XXXX上，本能的以为是配置错了，端口问题，或者主机的配置问题。

　　出错原因及解决办法：

　　Hadoop的主机名不能既有“-”又有“.”，二者不能都在，否则无法解析主机名。

　　修改掉主机名，重启ok。

　　至此，如果没有问题了，可以上传hdfs文件，看hdfs是否成功可用。

　　测试是否成功

　　测试mapreduce任务是否可以被顺利执行，可以采用hadoop自带的example的jar包中的例子，这里有个小技巧：不需要每次测试新的环境都要上传新的wordcount的单词文件，我们只需要跑一个不需要输入文件的计算圆周率PI的例子程序就ok。

　　这样默认采用10个随机点，10个map采用蒙特卡罗算法估算pi，一般可以估算到3.20左右，这个过程就可以验证你的集群环境是否配置成功了。