CentOS7搭建Hive1.2.2+mysql5.7

(关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html)

说明:

#master,表示在master节点上操作;

#master,#slave1,#slave2,表示在三个节点上都要操作;

一、安装Hive1.2.2

1、源码包下载

#master

http://mirror.bit.edu.cn/apache/hive/

可以直接到官网点击下载到本地,然后cp到CentoOS7上;或者使用命令下载:

wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

解压压缩包:

tar zxvf apache-hive-1.2.2-bin.tar.gz

2. 修改Hive配置文件

#Master

cd apache-hive-1.2.2-bin/conf

在/conf文件夹下面,默认是没有hive-site.xml文件,所以要创建一个,然后进入修改内容:

touch hive-site.xml
 
vim hive-site.xml

添加内容:

<?xml version="1.0" encoding="UTF-8" standalone="no" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
        </property>
        <property>
                <name>javax.jdo.option.COnnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
</configuration>

3、配置环境变量:

#Master、Slave1、Slave2

输入命令:

vim ~/.bashrc

追加语句:

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

文件添加了一个HIVE_HOME变量,以及在原先PATH上追加了“:$HIVE_HOME/bin”。

#刷新资源文件,输入命令:

source ~/bashrc

值得注意一点:hadoop原装有个jlines的jar包,版本是0.9.0x,但是hive需要用到2.x的版本,所以:

将当前hive版本的$HIVE_HOME/lib目录下的jline-2.12.jar包拷贝到$HADOOP_HOME/share/hadoop/yarn/lib目录下, 并将旧版本的Hive的Jline包从$HADOOP_HOME/etc/hadoop/yarn/lib目录下删除

二、安装Mysql5.7

1、下载mysql资源安装包

输入命令:

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

2、安装mysql源

输入命令:

yum localinstall mysql57-community-release-el7-8.noarch.rpm

检查mysql源是否安装成功,输入命令:

yum repolist enabled | grep "mysql.*-community.*"

出现上图内容,表示安装成功。

3、安装Mysql-server

        mysql源安装成功后,会有一个配置文件,里面可以设置默认下载的Mysql-server版本,这里是安装Mysql5.7.如果想要安装其他版本的Mysql-server,可以输入命令:

vim /etc/yum.repos.d/mysql-community.repo

比如要安装5.6版本,将5.7源的enabled=1改成enabled=0。然后再将5.6源的enabled=0改成enabled=1即可。

输入命令,安装Mysql-server:

yum install mysql-community-server

4、启动Mysql服务

输入命令:

systemctl start mysqld

查看mysql状态:

systemctl status mysqld

5、设置开机自启

输入命令:

systemctl enable mysqld
systemctl daemon-reload

6、修改root本地登录密码

输入命令:

mysql -uroot -p

对于mysql5.6,直接摁enter。

对于mysql5.7,则在mysql -uroot -p命令之前要查看系统给的默认密码多少,输入命令:

grep 'temporary password' /var/log/mysqld.log

mysql安装完成之后,在/var/log/mysqld.log文件中给root生成了一个默认密码。

获取默认密码后,使用默认密码登录,接着就是修改密码,这是mysql要求修改的。mysql5.7的默认密码策略检测要求包含:大小写字母、数字和特殊符号,并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误。所以,第一次修改密码时,先按这个要求设置,输入修改密码命令:

set password for 'root'@'localhost'=password('MyNewPass4!'); 

为了平时能够方便使用,可以修改密码检测策略,然后将密码修改为简单点,如111111,

修改密码策略,输入命令:

vim /est/my.cnf

添加语句:

validate_password_policy=0

validate_password_policy默认值是MEDIUM,这个参数有三个值,分别是:

0(LOW),1(MEDIUM),2(STRONG)

另外,如果不需要密码策略,可以在文件中添加:

validate_password = off

重新启动MySQL服务,输入命令:

systemctl restart mysqld

7、设置远程登录用户

进入mysql服务里面,进行一波操作:

show databases;
use mysql;
update user set host='%' where user='root' and host='localhost';
delete from user where user<>'root';
flush privileges;

8、配置默认编码utf8

vim /etc/my.cnf

添加语句:

character_set_server=utf8
init_connect='SET NAMES utf8'

三、安装Mysql连接器

        一开始也有写到,本篇是介绍安装mysql5.7的,为什么不建议安装mysql5.6呢?因为mysql5.7与之对应的connector版本为5.1.4x,而mysql5.6对应的connector版本则是5.1.3x,去到官网:http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/,已经没有5.1.3x版本的connector了。

1、下载安装包、解压

wget http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz
tar zxvf mysql-connector-java-5.1.45.tar.gz

复制库文件:

cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /usr/local/src/apache-hive-1.2.2-bin/lib

7、拷贝安装包

#master

scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave1:/usr/local/src/apache-hive-1.2.2-bin
scp -r /usr/local/src/apache-hive-1.2.2-bin root@slave2:/usr/local/src/apache-hive-1.2.2-bin

8、启动Hive服务

#master

输入命令:

hive

最后附上关于启动hive时可能会遇到的坑的解决方法:https://www.jianshu.com/p/d9cb284f842d

原文地址:https://www.cnblogs.com/SysoCjs/p/10835954.html