新的一年开始新的学习，寒假老师布置了很多作业，包括每日总结的发布，spark基础实验报告，完成钉钉群的两个项目。今天主要观看了钉钉群的课程回访，第一个视频主要介绍了大数据实验平台的功能和使用，但是学校的实验平台只有大四的才能使用，与我们没关系，所以只是大致浏览的一遍，主要看了第二个视频，项目理论。
首先老师提了一下CM框架，从来没听说过，先了解一下，将来学习。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
老师从企业开始，讲了企业开发常用的hadoop三大发行版本，这里简单介绍一下。Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。
老师大致解说了公司总项目的开发流程。老师举了自己的亲身例子，他们10个人开发离线分析平台花了九个月，其中编码1个月，重要的是需求调研。下面是公司软件开发的基本流程。
项目开发流程
项目调研
从零开始
需求调研
流行的大数据框架
项目需求分析
有什么需求。需求分析得到什么样的结果
项目设计
概要设计
大方向，框架级别
详细设计
具体的模块设计、表的设计
项目编码 30%时间
编码
需要不断测试
项目测试
单元测试
联调测试
项目上线运行
试运行阶段
正式运行
项目的运维
项目的优化