寒假学习总结

1.2016 年1月31日——2016年2月24日
2. 寒假学习总结

(1)在学习map-reduce的基础上,运行demo实例,并测试其它功能的小例子,熟悉map-reduce的开发过程。能够在demo实例上,修改功能,满足其它程序需要。

(2)对flume、kafka、storm进一步学习,深入理解工作原理。能够应对个性化的项目需求,配置部署参数。

(3)学习Hive和Hbase,hive主要用来大数据计算,提供hql查询(类似sql),实现简单的MapReduce统计,Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(包含 * 的查询,比如 select * from table 不会生成 MapRedcue 任务)。HBase是Google 的BigTable 架构的一个开源实现,目前是Apache Hadoop中的一个子项目。存储:基于HDFS。查询:不基于Mapreduce,而是通过文件索引。

Hbase是快速读写,做不了分析类需求。

3. 所遇到的问题

无问题
5. 与上周计划的偏差及原因

无偏差
6. 下周计划

(1)对规则进行重新录入

(2)设备日志进行分析

(3)离线项目效率优化

(4)学习java基础知识

原文地址:https://www.cnblogs.com/bob-wzb/p/5216224.html