关于 大数据+实时计算 的题外话

下午本来想整理代码来着,临时接到通知,说是要与甲方科技进行技术交流,对方希望我们公司,协助建设大数据平台;

我本就在家远程办公,时间也富裕,所谓的技术交流大多都是吹吹牛,互相摸摸底而已;

交流中间,甲方的一个科技,说是要我们帮他们做一个实时或准实时应用,能从2亿条数据中做实时或准实时报表查询;

我一听就来了“火”了,我勒个去,心里有无数个那个什么在奔腾;

(1)你一个中型企业,成立不到10年,1小时不到60条记录,节假日还不交易,撑死到天,交易表不过千万条数据级别,客户表上几十万条罢了,Oracle对付你们足够;

(2)你们现已经有数据仓库,仓库中又建了报表集市,你们不好好把集市逻辑梳理清楚,搞啥大数据平台哈?

(3)行规,交易表到仓库要1天,你要搞准实时,那行,你们公司内部同意把交易数据及时接入到大数据平台来!到时核心数据能回滚,你大数据平台也同步回滚?!数据不一致,我看你们咋玩?!
(4)内部管理混乱,上班大多玩手机,前后台数据不一致,一张报表手工做一周都核对不上,老板不催就刷手机,老板一催就立刻对干活的发飙。

(5)明明一个报表查询,一个月用个一两次,汇报时用下,隔一天出结果也可以,你非要搞准实时!有意思吗?

好,技术上当然可以实现,我想请问:准实时的时效是多少?2秒?3秒?还是5秒?交易数据同步不需要时间?大数据平台计算不需要时间,回传展示要不要时间?

说实在的你若真能同步到大数据平台,得,我干脆给你直接放数据集市里,立马调用存储过程,运行出结果,不见得比你们想象的大数据平台慢;

真心没必要,不要为了实时而实时!实时不是效率低下的解药!

-------------------------------------------------------------------心情整理线----------------------------------------------------------------------------------------------

这哥们会不会是还有其他想法?不是技术需求面的那种想法??这样的国企有这那的需求很正常啊;

-------------------------------------------------------------------心情整理线----------------------------------------------------------------------------------------------

最后,听完他的描述,假装附和,平静着心情,再次确认了他们的数据量,然后平静的告诉他,技术上实现没有任何问题。

对方没吭声,商务当然要鼓噪一番,两边领导们都打着哈哈,双方一团和气。

故事尾声:

会后,我告诉商务,找适合的时机,提示他们,那个实时准实时的时效,我不能确定一定能在5秒内,这种所谓的准实时方案不叫准实时。如果一定要给理由,就告诉他们与数据量、大数据平台整体计算节点、网络速度、计算逻辑等等相关,目前无法确定;

商务会后告诉我,大数据平台的方案是对方早就规划了的,那个实时方案也就是锦上添花而已,就是为了上大数据平台而上大数据平台,具体干嘛以后慢慢规划和投入。

我想,既然于人于己都是好事,那就与我无关,到时再说吧;

小结:

各位开发者们,现实工作中,很多企业脱离实际,不顾企业成本,为了面子、业绩而上项目,为了大数据而大数据,为了实时而实时,

也有很多开发者,为了写实时例子而写实时的例子,拿一个WordCount就开始吹牛逼说自己会用Flink,不胜枚举。

做人做事,要务实!

虽然用大炮打蚊子,能养活乙方公司,可毕竟也是一种浪费;

明明花时间研究Spring源码就能大大提高跟人能力,你非要哗众取宠吹嘘自己会基于WordCount的实时计算,有必要吗?

原文地址:https://www.cnblogs.com/alexgl2008/p/12399499.html