ETL项目场景

1.基础数据的维护,基本都是人工实现

2.慢慢基于文件进行导入

3.专业的数据交换平台

=================================

Kettle:数据导入不是采取数据库模式,因为数据库要求无逻辑,所以基于逻辑抽取,也就是一个ETL的过程。

所以使用开源的Kettle工具:

  1.完善的UI

  2.优秀的代码组织结构

使用场景:

  BI里面的数据导入,也就是ODS层的数据导入

  

这仅仅是基于医疗BI的一些ETL设计,其实就是从一个数据库抽取到另一个数据库里面的过程,下面是通过Web实现的:

最近接触的一些数据交换平台的实现机制,通过界面可以ETL思想在项目中的使用。

此处达到实时的数据抽取,可以借鉴Oracle的CDC,oracle GG、MySQL的主从复制的思想以及消息服务器

===================================

名词:

  ETL

  抽取

  校验

  映射

  抓取

  调度(定时,手工)

原文地址:https://www.cnblogs.com/gstsyyb/p/3969140.html