kettle集群搭建

转载:https://www.cnblogs.com/zk263235046/articles/5601359.html

kettle集群的实现是通过Carte来实现的.

carte的介绍  http://wiki.pentaho.com/display/EAI/Carte+Configuration

carte的配置,通过和大神的交流得知,和hadoop的配置差不多,

1.首先需要配置carte的主服务和子服务文件

  找到kettle的安装目录,顺便找到carte的配置文件  我的是 E:etldata-integrationpwd

  

本机里的carte-config-master-8080.xml是配置主节点的文件,

其中的name是主服务的节点名,hsotname是IP地址,port为相应的端口号, master为是否是主节点的选项.

 其中一个子服务的配置,和主服务的配置类似

 这里我配置的为远程版本.

linux部署注意:该环境将master、slave1、slave2的pwd的三个配置文件都修改了,并且都修改的一样。理论上是master修改carte-config-master-8080.xml、slave1修改carte-config-8081.xml、slave2修改carte-config-8082.xml即可。如果不修改出现了cannotconnet的报错,请三台linux系统中的pwd配置文件都进行修改。

2.配置完以后通过cmd面板启动相应的carte服务, 注意使用管理员权限,不然可能会报错

命令为 : 相应的路径/carte.bat  127.0.0.1 8080  (ip port)

启动成功的标志如上.carte启动成功,其实相当于启动了一个遵从于http协议的server,可以通过浏览器访问,如果调用这个服务的话,可以看到各个服务和相应子服务的状态信息.我要做的也是拿到相应的接口,来实现对job和trans的状态信息监控和修改等等.

linux部署注意:环境启动将master、slave1,slave2,在salve2(192.168.10.103)中,进入到data-integration目录下,运行./carte.sh192.168.10.103 8082。

3.运行spoon.bat文件,进入界面,如下述图中位置添加相应的服务器

将相应的服务添加到这里,并保存

测试用例中,在排序组件中运用kettle集群,运行后可以在monitor all slave server中看到对应的监控信息,也可以在浏览器中看到相应的信息并修改等.

原文地址:https://www.cnblogs.com/zhao907/p/14500231.html