Maxwell官网 http://maxwells-daemon.io/
1.下载解压
cd /usr/local/ mkdir maxwell cd maxwell wget https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz # 有点慢 tar zxvf maxwell-1.27.1.tar.gz
2.编辑配置文件
mkdir /usr/local/maxwell/conf cd /usr/local/maxwell/conf cp ../maxwell-1.27.1/config.properties.example ./prod.maxwell.properties # prod.maxwell.properties是自定义的配置文件名称 vim prod.maxwell.properties # 新增或修改以下内容 producer=kafka kafka.bootstrap.servers=192.168.32.36:9092,192.168.32.37:9092,192.168.32.38:9092 # kafka地址 kafka_topic=prod.%{database}.%{table} host=1.2.3.4 # mysql地址 user=mysqlUser # mysqlUser password=mysqlPassword #mysqlPassword #filter=exclude: *.*, include: databaseA.tableB, include: databaseC.tableD # 可选过滤 只留下databaseA.tableB和databaseC.tableD http_port=9082 # 开启http用于监控 metrics_type=http metrics_jvm=true metrics_prefix=metrics # 自定义指标前缀 默认是MaxwellMetrics太长
3.编辑启动脚本
cd /usr/local/maxwell/ mkdir logs vim prod.maxwell.sh # 添加以下内容 baseDir=/usr/local/maxwell ${baseDir}/maxwell-1.27.1/bin/maxwell --config ${baseDir}/config/prod.maxwell.properties >> ${baseDir}/logs/prod.maxwell.log 2>&1 &
# 给脚本添加可执行权限 chmod +x prod.maxwell.sh
4.如果需要指定Kafka副本数和分区数需要预先创建topic
5.启动服务
./prod.maxwell.sh cat logs/prod.maxwell.log # 另外可通过 http://ServerIP:9082/healthcheck 可以查看服务健康状态 /metrics 以json返回当前运行信息 /ping 返回 pong
6.初始化历史数据 详细可参考 http://maxwells-daemon.io/bootstrapping/
cd /usr/local/maxwell/maxwell-1.27.1 bin/maxwell-bootstrap --host mysql地址 --user mysql用户名 --password mysql密码 --database 数据库名 --table 表名