Datax环境搭建

  Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。


 一、环境准备

  软件环境:CentOS 6

  系统环境:linux

  jdk环境:1.8及以上

  启动环境:python


二、升级jdk

  需要先使用命令进行查看自己的jdk版本,命令: java -version   如果是1.8的请自行忽略此步骤。

  windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

  使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。

    进入终端,不进入管理员模式,使用命令 rpm -qa | grep java  进行当前jdk安装包的查看,如我的是1.7的版本。

     使用命令rpm -e --nodeps 你的jdk版本  强制删除软件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意这里有多少软件包就删除多少软件包)

  然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。

  解压后如下所示

   将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移动到/opt文件夹下,然后进入到该文件夹下进行查看。

   然后使用命令  sudo vim /etc/profile  进行环境的配置,在末尾添加如下代码。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

  保存退出后使用命令 source /etc/profile 启用配置文件。

  然后使用命令  java -version  进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。


 三、安装python

  python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html  

  在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。

  (1)显示无法建立 SSL 连接。如图所示:

   解决方法:

  将https改为http.因为https会默认认证ssl

  (2)下载速度过慢问题

  wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


 四、安装DataX

  从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下载工具包

   使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local 

  使用命令  tar -zxvf datax.tar.gz  进行解压,解压之后使用命令   cd datax/bin   进入到并目录下,再使用命令 python datax.py ../job/job.json  执行python脚本,如果出现以下内容则安装成功。


  

原文地址:https://www.cnblogs.com/yandashan666/p/12390813.html