大数据学习01

数据:可以获取和存储的信息 实际上:人类的一切语言,图画图形,音像记录,所有感官可以察觉的事物,只要能够被记下来,能够查询到,就都是数据。

数据的单位:

1B(Byte 字节)=8bit
1KB (Kilobyte 千字节)=1024B,
1MB (Mega byte 兆字节 简称“兆”)=1024KB,
1GB (Giga byte 吉字节 又称“千兆”)=1024MB,
1TB (Tera byte 万亿字节 太字节)=1024GB,
1PB(Peta byte 千万亿字节 拍字节)=1024TB,
1EB(Exa byte 百亿亿字节 艾字节 )=1024PB,
1ZB (Zetta byte 十万亿亿字节 泽字节)= 1024 EB,
1YB (Yotta byte 一亿亿亿字节 尧字节)= 1024 ZB,
1BB (Bronto byte 一千亿亿亿字节 布字节)= 1024 YB
1NB(Nona byte 诺字节)= 1024BB
1DB(Dogga byte 刀字节)= 1024NB
大数据:(big data), 是指无法在一定时间范围内用常规的软件工具进行不做,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产。
解决主要问题: 海量数据的存储和海量数据的计算问题。
特点:大,多,值,快,信
 
大数据应用场景:
电商方面: 后台服务
例如: 猜你喜欢:推送与你购买的物品相关的商品或者买与你一样的商品的用户购买的其他商品(智能推荐)
 
传媒方面:
例如:今日头条:根据浏览习惯推送新闻  抖音:根据爱好习惯推送视频(宝妈推送孩子相关 )
 
金融领域:
理财投资,通过对个人的信用评估,风险承担能力评估,集合众多理财产品,推荐响应的投资理财产品
 
交通方面:
智能调度红绿灯,智慧交通,实时交通
 
电信方面:
智慧营业厅,通过对用户当前的行为习惯,偏好,节假日的相应数据变化,调节自身业务结构,做到按需分配。
 
安防方面:
人脸识别,大数据监控,拍摄面部,协助查案。
 
医疗方面:
智慧医疗,通过对海量大数据的存储,匹配,检索,结合用户的饮食,行为等习惯,搭建智慧医疗体系
 
数据分析:  ETL 
1.明确分析目的和思路
2.数据收集
3.数据处理(数据清洗,数据转化,数据提取,数据计算)
4.数据分析(分布式相关存储方式:MySQL HIve Hbase kudu redis)
5.数据展现
6.报告撰写
 
大数据部门组织结构:
平台组: 大数据平台环境搭建 集群性能监控 集群性能调优  数据运维师
数据仓库组: ETL工程师 Hive工程师-数仓建模和数据分析
数据挖掘组: 算法工程师 推荐系统工程师 用户画像工程师
数据开发组:Java EE 工程师
 
原文地址:https://www.cnblogs.com/cxy0210/p/13477968.html