大数据课程笔记 1

大数据技术

  分布式存储 = 集群分布式存储(谷歌技术为代表)

    分布式数据库(BigTable) 分布式文件系统(GFS)

  分布式处理

    分布式并行处理技术(MapReduce)

计算模式

  1. 批处理:大规模数据的批量处理 MapReduce >> Spark 不满足实时性

  2. 流计算:处理源源不断数据流的实时计算

  3. 图计算:大规模图数据

  4. 查询分析计算:大数据交互式查询分析软件

云计算? 解决海量数据的分布式存储和分布式处理 = 虚拟化 + 多租户

    企业租用云端资源 (购买百度云服务。。。

    公有云:百度云

    私有云:面向企业内部 电信

    混合云

    IaaS 基础设施即服务 出租计算资源与设施

    PaaS 平台即服务 应用开发者租用开发平台

    SaaS 软件即服务 申请云软件,在任何浏览器上访问,不用安装

    虚拟化:Hadoop >> Linux>>windows

    云计算数据中心:刀片服务器 建设在地质稳定 能稳定供电 气温低易于设备降温,减少耗电

物联网? IoT the Internet Of Things

    感知层(摄像头 、 传感器)收集大量数据

    网络层 (电信网、互联网、专用网)

    处理层(网络管理平台 数据处理平台)

    应用层 (各类应用)

    关键技术 识别与感知

    

原文地址:https://www.cnblogs.com/luiyuying/p/12245138.html