datax安装(Windows版)

一、安装datax

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

 将其解压即可。

二、测试安装是否成功

   1,打开cmd界面(同时按下Windows键+R键)

  2,输入CHCP 65001 防止中文乱码

  3,跳转到datax的bin目录下

    命令行:d:

        cd D:BigDataToolsdataxdataxin

  

   4,查看模板

    命令行: python datax.py -r streamreader -w streamwriter

  5,使用datax

   首先我们需要自定义好的json文件(从网上获取的,内容如下),命名为stream2stream.json

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "String",
                "value": "helle DataX"
              },
              {
                "type": "string",
                "value": "你吃完晚饭了吗?"
              },
              {
                "type": "string",
                "value": "不要在写代码了,太累了"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "GBK",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

  输入命令行:python datax.py  +json文件的位置;如:python datax.py ./steam2stream.json

   效果:

三,备注

  如果你的python环境是python3.0以上的话,请到https://github.com/HxYyWw/DatatX_python3/tree/master下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

原文地址:https://www.cnblogs.com/goubb/p/12403944.html