关于大数据方向

在大二分专业的时候,选择了数据库这个方向。现在的课程主要在倾向大数据方向。近几年,大数据作为继云计算、物联网之后的IT行业又一颠覆性的技术,备受人们关注。大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、财政、医疗、体育、等在内的各行各业,都融入了大数据的印记,大数据对人类的社会生产和生活必将产生重大而深远的影响。

大数据处理框架Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台,他实现了MapReduce计算模型和分布式文件系统HDFS等功能,在业内得到了广泛应用。Hadoop是一个能对大量数据进行分布式处理的软件框架,并且是以一种高效、可靠、可伸缩的方式进行处理的,它具有高可靠性、高效性、高扩展性、高容错性、成本低、运行在Linux平台上,支持多种语言汇编。Hadoop的生态系统在不断完善,除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括Zookeeper、HBASE、Hive、Pig、Mshout、Sqoop、 flume、Ambari等功能组件。

Hadoop分布式文件系统是针对GFS的开源实现,它是Hadoop的两大核心组件之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。HDFS具有很好的容错能力,并且兼容廉价的硬件设备,因此可以以较低的成本利用机器实现大流量和大数据良的读写。分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类,一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点”(DataNode)。

原文地址:https://www.cnblogs.com/hxyn/p/9979459.html