来到fsb的第24天

背景:数据分析想看数据,就必须去各个平台把数据找出来放在EXCEL表中,然后通过透视表去进行统计,非常的耗时。

大概清楚自己要做什么了

将各个平台的数据存储到自己的数据库当中,

然后搭建自己公司的CRM(后台管理平台),对数据进行进一步的处理,比如各渠道获取的人数(微信、微博等)能展现出一个图表,之前是靠人工去各个平台一个个去找,然后放入EXCEL中,然后进行统计,如果全在自己数据库中,汇总数据就可以不用人工了。

所以我要做的是:

1.通过各平台的API,然后自己创建相对应的表,添加必要的字段

2.通过kettle将json格式的数据导入进去(每天开发会生成json格式的文件给我)

3.各个平台都做好之后,在进行进一步的汇总统计,需要建新的表,将所有平台的数据汇总到这里,用于CRM的展示。

为什么要用kettle而不让开发直接入库?

因为会有重复数据(开发也可以去重~这不算问题),主要是便于管理,通过kettle可以很好的输出日志,知道本次入库了多少条数据,知道入库的成功或失败。

原文地址:https://www.cnblogs.com/tangbinghaochi/p/7656680.html