ETL 工具和 BI 工具

ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具(Datastage,Informatica,Kettle)!

ETL是什么?

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。(数据仓库结构)通俗的说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节,其设计的好坏影响生成数据的质量,直接关系到BI项目的成败。

为什么要用ETL工具?

▶ 当数据来自不同的物理主机,这时候如使用SQL语句去处理的话,就显得比较吃力且开销也更大。

▶ 数据来源可以是各种不同的数据库或者文件,这时候需要先把他们整理成统一的格式后才可以进行数据的处理,这一过程用代码实现显然有些麻烦。

▶ 在数据库中我们当然可以使用存储过程去处理数据,但是处理海量数据的时候存储过程显然比较吃力,而且会占用较多数据库的资源,这可能会导致数据资源不足,进而影响数据库的性能。

上面所说的问题,我们用ETL工具就可以解决。它的优点有:

支持多种异构数据源的连接。(部分)

● 图形化的界面操作十分方便。

● 处理海量数据速度快、流程更清晰等。

Informatica和Datastage占据国内市场的大部分的份额。

BI 工具

1.Power BI,综合评分:7.00分

Power BI来自大名鼎鼎的微软,其在办公软件领域本就是霸主地位,进入到商业智能行业自然也不遑多让,短短两年,就已经是Gartner魔力象限中最具有竞争力的BI软件了。

Power BI在功能、易用性3项上得分最高,而在安全性、性能、服务上则没有很好的竞争力,主要原因是Power BI目前主推的是个人分析,适合短平快的分析需求,而且在企业级部署和应用上缺少完善的解决方案,所以,Power BI比较适合数据分析师用以锦上添花,而搭建企业级的BI系统就有点力不从心了。

2.Tableau,综合评分:7.50分

Tableau算是国外BI领域最炙手可热的一个产品了,也是Gartner魔力象限中名列前茅的产品。Tableau的功能丰富且强大,主推自助式分析,适合于业务人员和数据分析师使用;其可视化效果上也做的很好,可以实现很酷炫的数据图表。产品的专业度很高,所以在性能、功能和易用性上得分较高。

跟绝大多的国外企业一样,tableau的本土化做的实在称不上好,所以它在国内的应用率远比不上国外,只有少数跨国企业有所应用。究其原因,最主要的是Tableau走国内代理商的渠道,其销售、实施和服务都是通过代理商来完成,并没有建立本土团队,这种代理模式的弊端显而易见,就是项目质量和售后服务容易出问题,得不到保证,如果Tableau想要占领国内市场,应该要在这方面下下功夫了,当然,价格方面也过于昂贵,不太符合国情。

3.FineBI,综合评分:8.33分

FineBI是国产BI软件中的佼佼者,其母公司帆软是做报表起家,目前在国内数据分析行业中首屈一指,可以参考IDC出的《2017年中国BI市场跟踪报告》。FineBI最新的版本是5.0,主打的是超大数据量性能和自助式分析2个特点,最高可以支撑20亿数据的秒级呈现,在功能方面跟Tableau很接近,适用于企业中的技术人员、业务人员和数据分析师,可以完全自主的进行探索式分析,软件在易用性和功能上做的都很不错,说实话,国内的BI行业由于起步较晚,能做到这个程度的确是下了一番功夫。

相较于国外产品而言,FIneIBI最大的优势在于帆软自主搭建的实施团队和服务团队,整个销售、实施和服务的流程都由帆软公司把控,而不是通过代理商或者其他第三方的机构,所以在FineBI在服务上的优势较为明显,再加上其相对合理的售价,能做到国内市场第一,的确是有其原因呐!

4.Smartbi,综合评分:7.17分

Smartbi也是一款国产软件,由广州的思迈特公司开发,这家公司本是做Excel插件起家,得益于其强大的销售能力,到如今也进入到BI领域。Smartbi在功能上相较于前面的3款软件逊色不少,缺少诸如智能图表推荐等先进性的功能支撑,在大数据性能上也表现一般,产品的UI界面比较古老,可能是骨子里的Excel基因导致。另一方面,Smartbi在服务和价格上也不具备太大优势,总的来说,这是一款基础型的中庸软件。

5.永洪BI,综合评分:7.17分

永洪BI由北京的一家创业公司开发,2年前倒是拿过腾讯的投资,盛极一时,但近来声音越来越小,官网首页也还停留在2年前的新闻,产品已经好久没有更新过了,据小道消息,是公司在内部管理上出现问题,导致核心销售和运营岗位人才的离职。话说回来,永洪BI在产品能力上还算不错,特别是大数据性能方面,同样可以支撑亿级数据的抽取和分析,而在服务方面则表现一般,关于产品的介绍和学习资料都比较匮乏,价格上中规中矩,其实整个BI产品线中,价格主要就2个断层,国内软件一个档次,国外软件又是一个档次。

原文地址:https://www.cnblogs.com/hello-wei/p/10283878.html