连接kettle(6.1)与vm上的apache hadoop(2.6.1)

由于需求,要把这两个软件进行连接。

SSH服务重启后出现问题

但是重启主机,namenode和重启了奴隶机,datanode之后发现ssh 又出现了问题。

 cat /var/log/secure 后又发现了问题。主要问题是,TMD奴隶机重启以后,/etc/hosts 文件居然有问题。

那些地址出错了,所以改回来后,使用 service sshd restart 之后又好了。

于是运行命令:

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

kettle安装与hadoop安装以及它们的相互连接。

kettle 6.1 下载之后。

会可能需要修改一下,那个kettle里面的 spoon.bat 文件。

貌似把1024 修改变小之后才能运行,spoon.bat的文件。运行成功以后就是连接hadoop了。

(PS 这个kettle 是在windows 环境下,所以估计hadoop也会是windows 环境下的)

关键还得知道,VM虚拟机的地址以及相关HADOOP的端口号。

其实可以知道,但是由于我的WIN10 主机IP 地址和 虚拟机的固定IP 地址不是同一个网段的。

所以我PING不通,另外存在版本问题,我下载的KETTLE 6.1支持的是

这几个版本的HADOOP,然后把hadoop 下面etc/hadoop 的相关xml 文件去替换之后。填上IP 地址和

端口号应该就可以了。但是现在我去改虚拟机的IP,很麻烦,还得改HOSTS。

原文地址:https://www.cnblogs.com/zzzPark/p/7421442.html