【otter搭建】在Linux下搭建阿里开源otter数据同步平台

一,准备安装包和配置文件

JDK:https://www.oracle.com/technetwork/java/javase/downloads/index.html

Zookeeper:https://archive.apache.org/dist/zookeeper/

MYSQL:

链接:https://pan.baidu.com/s/1rfkhdWehAQGpzt_cH0zS1w
提取码:isw0

manager和node: https://github.com/alibaba/otter/releases

配置文件:otter.sql

链接:https://pan.baidu.com/s/1dFeL78AgT9nMT9kEuThilw
提取码:fuuy

二,安装,配置,启动

1,jdk:

解压在/usr/local/

配置环境变量:

vi /etc/profile,在最后添加以下4行(如果已经添加了酌情是否修改)

JAVA_HOME=/usr/local/jdk1.8.0_181
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=$CLASSPATH

运行该命令source /etc/profile

调试:

java -version

javac -version

2,安装zk(单一ZK,且省略了配置)

解压:

运行

 

3,安装mysql

先安装一个依赖文件,解决libnuma.so.1()(64bit) 等文件缺失的问题

yum -y install numactl

解压,

运行sh脚本自动安装:

配置文件可以自行修改my.cnf

然后运行install-mysql-test.sh就可以了

仅适用于首次安装,覆盖安装时会有大量报错,到时候需要根据报错提示信息,分析并逐一解决 

可能的报错问题解决:

1,自动修改密码失败:不用管他,直接去mysql的日志中查看初始化的密码

2,其他问题。不用管,直接看Mysql服务器启动没有:

ps -ef | grep mysql。没有启动再分析,具体情况太多,主要有几点:

1,mysql的数据文件不是Mysql用户的。需要chown -R mysql:mysql [data目录]

2,访问的文件没有权限进行修改:chmod 755 [对应文件]

3,其他原因:可以自己百度原因,原因很多啊,参考:https://blog.csdn.net/u010448530/article/details/80456468

调试:

mysql装好后会有很多初始化的问题

1,初始化密码查看

先查看/etc/my.cnf配置文件中的日志地址,发现是/var/log/mysqld.log

然后进入该log,找到图中的这行(如果脚本修改密码失败)

根据图中的密码连接到Mysql,然后重置密码

1,重置密码,

alter user user() identified by "OTTER#515";

修改密码策略:

show variables like 'validate_password%';
set global validate_password_policy=0;
set global validate_password_length=1;
set global validate_password_policy=LOW;

2,需要建立权限,让其他域名的用户能够访问Mysql

新建用户访问:

grant all on *.* to admin@'%' identified by 'OTTER#515' with grant option;
flush privileges;

root用户访问(偷懒就只执行这一条就够了):

grant all privileges on *.* to 'root'@'%' identified by 'OTTER#515' with grant option;
flush privileges;

3,SQL_MODE 运行模式

show variables like 'sql_mode';
set session
>sql_mode='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';

4,执行otter相关的otter.sql文件

本人的otter.sql文件放在了/root/otter安装包  里面(请忽视中文路径带来的不适感)

在mysql命令行执行以下子句:

drop database otter;

create database otter;

use otter;

source /root/otter安装包/otter.sql

然后,插入用户名密码(admin/admin):

INSERT INTO `USER` VALUES ('1', 'admin', '801fc357a5a74743894a', 'ADMIN', 'admin', 'admin', '2019-01-17 15:51:07', '2019-01-17 15:51:07');
INSERT INTO `USER` VALUES ('2', 'guest', '471e02a154a2121dc577', 'OPERATOR', 'guest', 'guest', '2019-01-17 15:51:07', '2019-01-17 15:51:07');

4,安装manager和Node

解压manager和node

 manager:

node:

配置manager和node

 manager配置:vi conf/conf/otter.properties

otter.domainName 修改成搭建otter-manager的服务器地址

otter.database.driver.url 修改成otter自己的数据库地址

otter.database.driver.username 数据库用户名
otter.database.driver.password 数据库密码

otter.zookeeper.cluster.default = 127.0.0.1:2181 zk所在地址,酌情修改

node配置:其他都不用改变,只需要修改otter.manager.address的地址为otter-manager所在地址就行了

然后在node的conf目录下,新增一个nid文件:

touch nid

然后向其中写入1个值1(这个数字和otter中添加的node节点编号必须一致)

本人写的是7,这是因为Manager中,该node节点的编号为7

启动Manager和node

 进入manager的bin目录

sh stop.sh

sh startup.sh

查看启动日志

tail -200f ../logs/manager.log

看到the manager server is running now 说明启动完成了

调试Manager:

如果centos6 执行一下这两个命令:

setenforce 0

service iptables stop

如果是centos7 以上,执行这三个命令

setenforce 0

systemctl iptables stop

systemctl firewalld stop

(命令可能是错的,但是大概意思是对的)

然后就可以通过域名访问otter-manager了。默认端口是8080.。

em....多了一个百度网盘的上传速度Logo,不管了。

 然后点击机器管理-zookeeper管理,添加一个zk

接着添加一个Node,截图见上面,注意添加的node编号。必须与node/conf/nid文件的中一模一样,修改nid值后必须重启Node,并查看日志

然后启动node,在node目录上层执行以下命令

chmod 755 -R node

node/bin/stop.sh

node/bin/startup.sh

tail -200f node/logs/node/node.log

原文地址:https://www.cnblogs.com/stanmao/p/10872660.html