大数据总览

Hadoop

Hadoop 主要用来存储和计算,但其计算能力相对较弱

Hadoop一般用两种数据库:

1.hive (sql)

2.hbase(no sql)

Hadoop组成

1.hdfs存储

特点:容量可变,数据冗余,存储分割

2.MapReduce计算

3.yarn 资源调度(cgroup)

每一部分是独立模块,可以独立运行

scala

编程语言

spark

计算引擎

计算分两种:

1.离线计算

2.流式计算

云计算——多台电脑同时运算

反向代理服务器 日志数据

计算机做了几件事?

1.存储数据

2.处理数据

3.传输数据

原文地址:https://www.cnblogs.com/xiaoaofengyue/p/8109153.html