打造运维大脑：翼支付高速发展背后，甜橙金融的云化智能演进

本文是依据张小虎老师在“数据技术嘉年华”大会演讲整理而来。

（本文 PPT下载，关注公众号回复：2018DTC ，张小虎老师的PPT位于分会场7模块下。

云计算如何改变金融行业？

不久前，在由ACOUG与云和恩墨主办的2018数据技术嘉年华的金融科技实战分论坛上，甜橙金融分享了其云化变革的成功经验。

对于不少读者来说，甜橙金融可能有些陌生，但是如果提起翼支付，相信很多人都是耳熟能详。除了翼支付这一广为熟知的业务之外，甜橙金融还提供了交费易、甜橙理财、甜橙小贷等全面的金融服务业务。

在高速发展的互联网金融业务背后，甜橙金融后端IT基础设施层面经历了怎样的变革？甜橙金融运维技术中心负责人、技术创新中心负责人兼高级总监张小虎向趣味科技分享了甜橙金融云化变革的心路历程。

640?wx_fmt=jpeg

甜橙金融运维技术中心负责人、技术创新中心负责人张小虎

从“人肉运维”中，解救崩溃的DBA

甜橙金融以互联网金融业务为主，已拥有支付、财富管理、消费金融、征信、金融云等互联网金融的核心能力。目前，翼支付在国内第三方支付平台中，牢牢占据了国家队第一支付APP的位置。截止今年7月底，甜橙金融整体交易金额超过8000亿。累计用户数5亿，月活用户4000万。

640?wx_fmt=jpeg

但是，仅仅2年前，甜橙金融的数据管理运维还停留在典型的传统企业模式。张小虎介绍，自己在2015年接手管理公司的数据库团队时，整个技术团队还处在“人肉运维”的痛苦挣扎中。

“人肉运维”是由于自身的自动化运维能力暂时满足不了业务高速发展，管理模式和效率提升乏力，只能依靠人海战术。

一方面，技术人员冗余。当时运维技术团队规模超过100人，仅DBA这一岗位就超过40人。但依然觉得人手不够，所有团队成员的体验非常一致，又苦又累，疲于应付。比如，数据订正、版本发布等流程繁琐耗时，技术人员应付日常运维已经身心俱疲，更没有时间学习行业最新技术与投入自动化研发。

另一方面，即使所有人满负荷运转，当时的IT数据管理和运维能力也不能满足高速发展业务的需求。

在这样的背景下，甜橙金融从可怕的人肉运维转化为零散的工具化运维，最后达到了心情愉悦的运维平台化，Mozis （墨者）平台是甜橙金融和云和恩墨共同打造的智能化运维体系，通过提高生产力的方式，彻底改变了甜橙的运维方式。

640?wx_fmt=jpeg

平台化管理，人更少效率却更高

“现在，运维团队50人左右，DBA人员只有12个。”张小虎自信地介绍，云化改造之后，运维技术中心团队规模极大精简，但运维管理能力和复杂度却是之前的好几倍。

通过对IT基础能力的云化改造，甜橙金融在业务层面构建了以交易、支付、账务为核心的3.0核心平台，甜橙金融所有的信贷、收付、理财、保险、保理等分支业务全部构建在3.0核心平台之上。从平台数据处理能力来看，目前甜橙金融日交易笔数8000万，并发支付处理能力达到每秒1万笔。

这些效果的背后，是甜橙金融打造的以华东主机房和华南副机房组成的异地双活架构，并在自研私有云基础上，进行容器与虚机的混合部署。

640?wx_fmt=jpeg

Mozis平台架构

其中，业务需求架构包含了：

基础元数据层维护了所有的数据库底层元数据，包括存储、主机、数据库等日常使用管理信息；
基础能力层解决日常的基础工作，解放dba的工作压力；
业务拓展层高级数据库工作，慢慢形成智能运维体系。

甜橙金融技术创新中心高级总监张小虎介绍，甜橙金融在云化改造过程中有两大难点，第一，是要在最短的时间内，对甜橙金融成立以来的所有金融业务和应用的大梳理。这项基础工作耗费了将近一年半的时间，但是非做不可，而且非常有价值。大梳理之后，甜橙金融的技术团队开始制定标准技术方案，进行运维层面的技术能力整合统一。

640?wx_fmt=jpeg

Mozis 技术架构

技术方面的设计与实现全部通过开源完成：

前端使用vue架构，前后端完全分离的方式，使得平台扩展性更强，平台结构更加清晰；
后台利用 Django+MySQL完成server端的服务，它提供了一整套web服务方式，使得开发更加快速；
使用celery完成异步任务；
使用redis进行数据缓存；
利用ssh与ansible完成远程主机控制；
使用ANTLR完成SQL审核的词法解析。

这样就为运维、应用、数据的统一管理打下了基础。第二个难点则是在甜橙云的数据迁移和割接期间。这个过程除了对甜橙云的整体技术架构是重大考验外，还需要业务部门的密切配合，才能使得甜橙云整体割接在计划时间内安全完成。

640?wx_fmt=jpeg

Mozis SQL 审核模块

完成了基础设施平台化，管理自动化，随之解决了一系列的问题。现在DBA的工作可以直接对接JIRA，使得SQL流程更加规范化，体系化；也可以清晰的展现各个平台的工单问题。

640?wx_fmt=png

Mozis SQL审核模块

通过优化改进，系统进一步实现了：

流程融合：吧JIRA流程和数据订正流程进行融合；
审核权限下发：把SQL审核的权限下发给开发，利用平台把控风险，实现快速反馈；
高级审核：采用ANTLR进行词法分析，灵活可配置审核规则，实现权限把控。

640?wx_fmt=jpeg

墨者（Mozis）数据库资源概览

在金融云安全方面，甜橙金融对全网主动攻击的识别率已达到99.5%，同时攻击告警也实现了秒级响应。在金融云智能风控方面，甜橙金融则实现了100ms内对实时交易进行风险事件鉴别。

640?wx_fmt=jpeg

分布式数据库集群

甜橙金融在部分业务采用了 TiDB 作为数据存储，TiDB 是真正的引擎级分布式SQL数据库，有如下优点：

无需分库分表中间件；
应用透明的引擎级分布式SQL数据库；
无需业务妥协的分布式事务支持；
传承单机SQL数据库的友好和易用。

实现联机交易和联机分析混合计算负载：

1.强大的联机交易（OLTP）能力；
2.实时分析业务支持能力（TiSpark）；
3.自动化的混合负载和调度管理；
4.ETL“free”。

便捷的部署运维管理能力：

一键，多场景部署；
在线数据库集群摇摆升级；
便捷的扩容和伸缩；
集成监控告警；
K8s解决方案提供与云平台管理对接能力。

不断向前，甜橙金融开始全面打造『运维大脑』，通过建立基础设施层、运维样本层，完成基础环境构建、基础数据采集，进一步向上，通过不断的算法迭代，构建智能决策中心，对运维进行不断改进，顶层则建立最终的应用级呈现 - 甜橙运维大脑应用层，通过各种应用将运维数据呈现出来，并最终演进到自动运维、智能运维的目标上来。 640?wx_fmt=jpeg