20190425 看数据统计和数据挖掘让我写了一篇杂文

最开始做数据的时候,你认为你是一个做数据的,你只是写写SQL,其实这有很多的方向和发展,不要空了就玩手机,很多人的区别就在于你有没有去不断努力,太多的人认为上年纪了学不快,学不进去了,他们只是精力不在此,我倒是很欣赏那些哪怕60岁依旧在进步的人,无论什么方式,什么速度,什么内容都值得尊敬,值得钦佩,人贵早闻夕死,吾愿足以,也许我能力有限,学习能力也有限,甚至理解力也低于很多人,但我只做我自己,只愿自己今天知道的会的比昨天多,每天总结今天做了什么。

也许每个人起点不同、知识结构不同、方向不同、但你是否真的执着于你的选择并且坚持下去,坚持源于热爱,源于也许没有结果但你并不害怕

1.SQL --- > 统计数据,自带聚集函数,数学公式---> 然而你得到的技能是SQL-->你可以思考的是不再是记忆这些表和数据栏位---> 你应该看一下这些表的构成它关系到一个业务模型,无论应用系统模型,还是分析系统---> 应用系统模式是产生和收集这些数据的地方---> 分析系统是统计分析数据的地方

2.那么在分析系统中 ---> 很多问题都是由于时差导致的,那就是从应用系统到分析系统的中间ETL 数据同步或者接口平台同步,方式不一,由于数据量太多所以往往不是全量同步(会有性能问题),往往是增量同步(会出现遗漏补漏问题),再有就是再生成数据,数据在某个点某个时间的状态不同,生产的数据也不同(会出现数据不同)

3.在分析系统对应的数据仓库中做数据加工 ---> 这里提高的是你对仓库的理解和构想以及对数据的应用,除了用SQL 去加工那么可以用Python pandas去处理,除报表呈现外

应该对比的是它们的区别功效意义,性能

4.那么统计和挖掘的区别

统计大多数用于分析系统

挖掘更多的时候用于推荐系统

这两个,我总感觉没有特别明显的界线

统计是为了得到行业趋势,统计分析是为了从数据中得到知识,统计更多的是体现现有的数据的状态,反应异常原因和情况,为的的避免一些不必要问题的出现降低后期损失,提高产能(规避风险,作为未来发展的参考)

挖掘也是如此,挖掘是为了得到更多用户的喜好,更好的服务于客户而不是去暴露客户的隐私,更需要注意的区别在于产品和产品之间可能产生的隐藏关系

(从电商来看,更多的是发现,通过算法去计算可能性)

总得来说,统计和挖掘针对的问题不太相同,但有相辅相成的作用,无论上面那种都是比拼数学能力!

有些人很成功,因为他们总是像一个方向努力,从初级程序员-->到中级-->到高级-->再到项目经理,但很多人都会停留在项目经理很多年很多年,为什么呢,因为他们走管理层,一个完整的项目他们已经知道如何去完成,并能很好的管控和指点下面的人去完成,计划好项目工时

有人说觉得自己做不到项目经理,原因有两种,一种没有自信,一种没有容人之量,做技术的人大多恃才傲物,更有的脾气古怪,不够谦和,也许会被理解为谦和的人没什么能力不敢高傲,除非你能在技术上折服对方,能谦虚而不断进步的少有,能不安于现状的也少,所谓的舒适区,就像温水煮青蛙。时不时的问一下自己有没有被煮熟

很多人喜欢讲述自己过去的种种能力种种成就,能把很小的事情讲得很厉害,当然我也很佩服这种表达能力,比如当对现状不满时,总会还念过去的公司,过去自己已经得到的认同,这会阻碍进步的心,空杯的心态很少有人能做到,会逐渐失去重新开始的勇气,当然在新的公司新的人群中要得到认同确实实属不易,这也是为什么很多人不轻易更换工作的原因,因为你要去符合别人的规则。而不是别人适应你的规则

也许并不是你需要的内容,这只是我人生的一些痕迹. -- soar.pang
原文地址:https://www.cnblogs.com/Soar-Pang/p/10766436.html