【NIFI】 实现数据库到数据库之间数据同步

  本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

数据同步

  界面如下:

    

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    

  DBCPConnectionPool

    

  ConvertAvroToJSON

    

  ConvertJSONToSQL

    

  PutSQL

    

  SplitJson

    

  EvaluateJsonPath

    

  ReplaceText

    

  PutSQL

    

  连接各个组件,然后启动所有组件,即可运行

各组件的具体说明请参考官方文档:http://nifi.apache.org/docs/nifi-docs/

  

  

原文地址:https://www.cnblogs.com/h--d/p/10102805.html