《图解大数据》--(日)大河原克行

书中的记录:

1.大数据有标准的定义吗?

数据:处理数据,并发现新的内容,然后应用?

2.结构化信息:

顾客信息与新手数据这样有强的连接关系的。不如我们通常的可以制作成数据表格的形式,我们使用数据库的表示建立在有关联规则

3.非结构化数据

看起来杂乱无章的数据,比如我们在网上的搜索记录。总觉的没有任何意义的数据或信息

非结构化数据是指地啊你邮件,图像,影像等信息

在我们的生活中非结构化数据会随着人们使用软件,发布言论的增加而增加,而关键的问题就是 我们如何使得这些非结构化数据得到应用?

4.议题:生活中80%的数据是非结构化,而我们怎样去收集这些数据??怎样去关联???怎样去使用??

比如:在网上我们每天都会有大量的留言数据,怎样巧妙的收集数据??以及建立合适的数据库?、

5.日本的IBM公司认为数据中的4个v

Variable  多样化

Velocity  高频化

Volume  海量化

Veracity  精确化

6.点击流:

人们在;浏览器记录,也就是通过什么途径进入网络,浏览了什么网页,浏览的时间等等

GPS(Global Positioning  System):是一种利用卫星确定所在位置的系统,

7.Why 会进入大数据时代???

1)物联网的终端越来越多

2)社交媒体

3)云计算--存在于网络中的无限的资源

4)传感器持续的收集海量数据日志

8.分散处理海量数据的开源技术---Hadoop

可以将大量的工作拆分为给多台电脑同时处理的技术

9.统计处理大数据的技术

1)定期总结并处理交易数据等诗句的大批量处理技术

2)实时处理基于价格变动,股票交易的等数据的流式数据处理技术

10.划重点:

大数据时代并不单意味着信息的膨胀,迄今为止的计算手法变得不再有效也是大数据的本质

11.大数据的应用

1)推荐商品

长尾商品(Long Tail)即使销售不佳的商品,只要将他们大量聚集起来,他们共同占据的市场份额就会等于甚至超过位数不多的热卖商品,进而大大提高公司的整体销售额

2)用传感器数据预测天气情况

1:日本富士通公司是通过将国土保全局的数据将25平方米为单位划分为n个网状区域,每5分钟处理1亿条降雨量数据的方式,在现降雨区域的移动

2:可以通过雨刷的数据预测,降雨的趋势

3)掌握路况,实时的避免拥挤堵塞

4)信用卡公司可以防止不正当的行为带来的损失

使用Hadoop快速尽力良好的信用行为模型,若是行为不符合模型则进行警告

5)使用推文预测股价

6)在农业领域应用

可是根据每天测量土壤的状况决定是否需要进行相应的施肥,浇水等工作

7)医疗领域的应用

预测疾病

富士通公司的‘肌肤记忆’,推荐使用化妆品等等

每天进步一点点;不为琐事困扰,每日岁月静好。
原文地址:https://www.cnblogs.com/Adaisme/p/8192031.html