2021年暑假周总结1

本周学习了hadoop的前三个短视频,

笔记如下:

存储框架:

HDFS(分布式文件存储系统),HBASE(分布式数据库系统),KAFKA(分布式消息缓存系统)
运算框架:(帮助用户把逻辑在多机器上运行)
mapreduce,离线批处理,
spark,离线批处理/实时流式计算,
storm 只能做实时流式计算。
辅助类的工具:
HIVE 数据仓库工具(不是数据库,可以接收sql翻译成mapreduce或者spark运行)
FLUME 数据采集
SQOOP 数据迁移
ELASTIC SEARCH 分布式搜索引擎


HDFS:对用户提供一个统一个目录树,
存储用户的文件时:会切成若干文件块分布式存储在多台DATA NODE的服务器中,
datanode记在内存中;
用户的文件块可以存储多个副本,以增强数据的安全性

原文地址:https://www.cnblogs.com/sakura-xxg/p/15007969.html