Centos7.X安装impala(RPM方式)

Centos7.5安装Impala

一、安装包准备
1.1、Impala下载地址

http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/

1.2、impala依赖下载地址

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

1.3、Impala其他依赖

cyrus-sasl-plain lsb

由于lsb依赖过多,需要在内网配置一个本地yum源;且大数据平台需要配置一个统一ntp时间同步服务器;

1.4、将下载好的rpm包上传服务器

二、实施安装
(hadoop,hive集群已安装好,且正常启动状态)

2.1、安装其他依赖

cyrus-sasl-plain lsb ntp服务,如果ntp服务单独在整个大数据平台安装,此处就不需要安装

yum install -y cyrus-sasl-plain lsb (主从节点)

2.2、安装rpm包

主节点:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

从节点:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

三、配置impala
3.1、配置bigtop-utils

vim /etc/default/bigtop-utils(主从节点)

3.2、配置impala

/etc/default/impala(主从节点)

IMPALA_CATALOG_SERVICE_HOST=infobeat-web   #infobeat-web为impala主节点域名

IMPALA_STATE_STORE_HOST=infobeat-web   #infobeat-web为impala主节点域名

3.3、整合hdfs和hive

配置impala的conf文件(主从节点)

把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷贝到/etc/impala/conf.dist/目录下

同时编辑core-site.xml、hdfs-site.xml配置文件,在原有基础上追加如下修改:

#hdfs-site.xml

<!--impala configuration -->

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.block.local-path-access.user</name>

<value>impala</value>

</property>

<property>

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>60000</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>      #hadoop-hdfs手动创

</property>

# core-site.xml

<!--impala configuration -->

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.skip.checksum</name>

<value>false</value>

</property>

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

3.4、重启hadoop集群

stop-all.sh

3.5、设置scoket path

在目录/var/run/目录下新建目录hadoop-hdfs(主从节点)

注意:该文件夹可能已经存在,应当确认用impala是否有权限进行读写。如果已经存在,将用户impala加入该文件所属的组,并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

[root@hadoop]# cd /var/run/ #进入目录/var/run/

[root@hadoop]#mkdir hadoop-hdfs #创建目录hadoop-hdfs文件夹

[root@hadoop]# chown -R 775 hadoop-hdfs/ #设置权限

3.6、权限配置

如果想要impala和yarn合作,需要把impala用户加入hdfs组(主从节点);

impala在执行drop table操作时,需要把文件移到到hdfs的回收站,所以需要创建一个hdfs的目录/user/impala,并将其设置为impala用户可写。

同样,impala需要读取hive数据仓库下的数据,故需要把impala用户加入hive组。

[root@hadoop]#usermod -G hdfs,hadoop impala

[root@hadoop]# groups impala

impala:impala hdfs hadoop

另:创建impala在hdfs上的目录并设置权限

[root@hadoop]$ hadoop fs -mkdir -p /user/impala

[root@hadoop]$ hadoop fs -chown impala /user/impala

3.7、添加mysql驱动

在/var/lib/impala/目录下面添加mysql驱动jar

四、启动impala
4.1、启动主节点

[root@hadoop]# service impala-state-store restart

[root@hadoop]# service impala-catalog restart

[root@hadoop]# service impala-server restart

4.2、启动从节点

[root@hadoop]# service impala-server restart

4.3、服务验证

注意:
1、因为impala安装需要root权限,所以可以给hadoop用户添加sudo权限

gpasswd -a hadoop wheel #root执行


————————————————
版权声明:本文为CSDN博主「火树银花之处」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zcf1319/article/details/106085599/

原文地址:https://www.cnblogs.com/javalinux/p/14902289.html