普元云计算-微服务架构下的数据治理

转载本文需注明出处:EAII企业架构创新研究院,违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复公众号:“EAII企业架构创新研究院”。(微信号:eaworld)

大家好,今天我带来的题目是微服务架构下的数据治理。

大家看到这个题目的名字就知道,今天的分享主题是数据领域应用的方向,是一个全行业的数据领域问题,不再聚焦于一个产品或一个技术的应用。

今天分享的议题包括三个:

 

1.微服务架构需要高质量的数据

2.如何做好微服务下的数据治理

3.各行各业数据治理的最佳实践

咱们先看第一个部分:“微服务架构需要高质量数据”。

之前咱们讲过很多微服务架构,然而大数据微服务的架构现阶段肯定是需要有大量数据支撑,现阶段很多是建立的大数据的平台上,大数据就需要有高质量的数据。

EMC在大数据时代提出“数据湖”的概念就很形象,大数据时代没有高质量的数据,湖泊就会变成数字沼泽,深陷其中,有再多的数据也难发挥价值。

那么如何让企业的大数据“湖水”保持清澈,我们就需要做大数据的数据的治理。

面对微服务与大数据,传统架构的数据治理体系有一定具局限性,主要表现在三方面。

1.传统架构的数据治理应用范围过窄,只是针对某个系统的应用,没有从数据的源头,数据交换,共享,分析全方位去考虑。

2.数据治理难以落地,数据治理往往是咨询先行,需要有详细的数据规划方案与解决方案,制定企业统一的数据标准框架,但是到了落地到系统中,有再好的规划与标准,在落地环节由于管理不统一,往往很难找到与企业现有数据中哪个数据库,表的对应关系。

3.每个行业特点不同,IT发展水平也不同,数据治理需要针对不同行业特点定制,而不能够照搬。

我们来看第二部分,如何做好微服务架构下的数据治理。

如何开展数据治理,有一个前提条件就是给每个企业的数据架构发展定位,处于哪个发展阶段,每个阶段需要有不同的流程与技术支撑。

1. 从人员组织从低到高可分为:临时人员或无人员,兼职,有固定专职人员分工细化,专职组织常态化等。

2. 流程制度可分为:项目方式的临时流程,部门内固化流程,跨部门的固化流程,优化的企业级管理流程等。

3. 技术支撑可分为:分为数据分散存储、文档,系统内数据管理,数据仓库,大数据平台与数据治理平台等。

我们来看一旦我们开始数据治理的事情我们会从几方面入手:包括战略发展,政策,体系架构,数据治理流程技术与架构等等。

做数据治理往往要跟企业的每个部门数据打交道,而不是传统业务应用划分,但是同时还需要理解每个部门的数据业务。

所以企业中一般是由科技IT这边牵头组建一个委员会,但是由于科技对业务了解程度不深,还要从业务部门抽调业务专家组成专业化的团队。

说到数据管控与工具,在海量大数据时代,要想做好数据的治理与管控。需要从数据全生命周期去考虑与分析。

从产生数据的业务需求,到数据交换、加工、共享、分析的各个环节数据治理都需要有相关的管理手段与管理工具。

只有从数据的全生命周期去管理数据,这是我们提出大数据治理的核心思想。

之前我们也分享过,元数据在全生命周期中的应用。元数据作为企业数据的核心导向,从元数据角度去看待整个数据生命周期,是数据治理管理的典型应用场景。

1.在规划阶段提供标准元数据规范微服务,在设计阶段提供连接其他微服务的元数据信息,在开发阶段使用元数据协助开发测试。

2.上线后分析微服务的使用情况,并协助维护微服务的变更。

3.最后微服务下架时将微服务的元数据存档,并确保对目前体系不产生影响。

所以说企业大数据、微服务架构需要大数据治理,大数据治理的核心是提供全方位、全流程的数据管控。那么这些思想和概念如何在各个行业中应用,每个行业的数据特点有什么不同?

我们来看一下最后一个部分,各行业数据治理的最佳实践。

以元数据为基础,传统的数据治理只包含元数据管理、数据质量管理、数据标准管理。在大数据、微服务架构下,大数据治理需要增加四个环节。

大数据交换集成、大数据发布共享、主数据、大数据资产化。

可能有人会问,为什么会特定涉及到这四个领域,而不是其他的。这也是我们在多年各行业的实施经验中总结出来的。我们来看一下得出这一结论的理论依据。

我们知道每个行业的业务特点不同,IT发展水平也不同,同样在金融业做一套体系理论,到了电信或电力行业,有可能完全说不通。

我们就逐一的看一下每个行业数据发展的特点,首先我们来看一下电信行业。

电信行业拥有宝贵的数据财富,用行业内的话说是天生带着重资产,比如在某个商圈高峰期人流量,有多少人在上网等。可以做丰富的用户行为分析。

现阶段电信行业注重把这些能力开放出去,让这些数据变成资产,给企业带来新的价值增长点。

在电信行业做数据治理主要偏于2个方面:

1.在做数据能力开放之前,都会把大量的数据放到大数据平台之上,需要元数据平台管理大数据平台的数据。

2.能力开放平台需要数据资产管理,需要细粒度的梳理每个业务字典与数据关系,这时候可以发挥元数据平台的作用与价值。

我们再来看金融行业,金融行业的IT发展水平很高,尤其是银行

我们每个人去银行开户,贷款,都会填写详细准确的用户信息。这些信息加以其他的用户行为数据,也是巨大的数据财富。

所以银行海量的数据也带来业务系统众多,业务种类繁多等特点。

往往银行会把数据治理的事情单独拿出来做,独立于其他部门的业务体系。

比如单独建立数据治理委员会,从组织架构、管理、技术支撑,项目实施几个环节对全行业务系统的数据质量,数据标准的执行情况进行考核,评价体系等。

再看看一下制造业的数据治理特点。

与金融业形成对比,制造业的IT水平起步相对较晚,而且加工工艺流程众多。而且同样的数据在不同的阶段都有应用,而且应用的角度不同。

比如同样一个“螺丝“,采购时用的是螺丝的价格、名称、厂家。在设计时用到的就是螺丝的规格,国标号。在工艺加工时,用到的是热膨胀的系数等。

所以制造行业把具有相同概念的数据统一管理起来,形成标准化数据。也就是我们常说的主数据管理。

在主数据管理中,会遇到很多数据质量的问题,数据标准化流程梳理问题,这些都会用到我们的数据治理平台。

我们再来看一下政府行业做数据治理的特点。

政府机构所管理的民生相关的数据种类非常庞大,但数据的复杂性其实并没有其他行业明显。这时候我们就需要快速的数据交换与集成架构,如何在种类众多的数据种类中快速找到自己想要的数据?

就好比我们看一本书,需要快速定位定位到书中的内容,那么最快的方法就是去看书的目录。

所以在政府行业数据交换体系中就出现服务目录的概念。对于基于服务目录体系的数据交换应用是政府行业做数据治理的特点。

最后我们再来看一下电力行业数据治理的特点。

电力行业的数字化变革其实我们每个人都可以感受到,家里的数字化智能电表,我们只需要在应用端点击支付就可以实时充值电表的余额。它也同时把我们每时每刻的用电情况回传。这样同时也带来了海量的数据膨胀。数据治理在管理海量数据资产与数据资产运营发面发挥作用。

以上讲解了大数据微服务时代:数据的重要性,如何做数据治理,以及在各行各业怎么去做数据治理。

最后总结一句话“大数据微服务时代需要有高质量、规范的数据做前提条件”。

关于作者:

刘劲廷

EAII-企业架构创新研究院 专家委员

现任普元大数据产品线产品管理部资深架构师,十余年IT工作经验,八年以上数据治理相关领域工作经验。国内最早参与研发元数据产品的人员之一。2014年加入普元,全面帮助普元开展大数据与数据治理领域售前方案和相关工作。曾参与国开行、中信银行、华夏保险等企业数据治理项目。对数据治理领域有着丰富的方案与实施经验。

关于EAII

EAII(Enterprise Architecture Innovation Institute)企业架构创新研究院,致力于软件架构创新与实践,加速企业数字化转型。

eaworld项目(微信号:eaworld,长按二维码关注)

eaworld是EAII的官方微信账号。

原文地址:https://www.cnblogs.com/insideout/p/6112615.html