Hadoop技术内幕1——源代码环境准备

Hadoop核心

1.HDFS:高容错性、高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统

2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开发并行、分步的应用程序。充分利用大规模的计算资源,解决传统高性能单机无法解决的大数据用户

应用:分析海量数据

优势:

  1.方便。可运行在一般商业机器构成的大型集群上||亚马逊弹性计算云Amazon EC2……云计算服务上

  2.弹性:通过增加集群结点,可线性地扩展,以处理更大的数据集;在集群负载下降时,可以减少结点,高效使用计算资源

  3.健壮。故障检测、自动恢复。可以从容处理通用计算平台上出现的硬件失效情况

  4.简单。快速、高效的编写并行分布代码

原文地址:https://www.cnblogs.com/panpanwelcome/p/7841099.html