摘要
作为一个本科主修统计学的学渣，毕业时为了图一时安逸，选择了入职本省的某制造业企业。本以为在这根本没我半点容身之处，却意外赶上了公司的大数据项目。转眼参加项目开发及后期运维有10个月了，本帖就是回顾一下我在项目中接触到的方方面面，整理成文，加深自己对这个项目的认识。
项目架构
本次项目是由乙方公司进行实施，借鉴他们之前的成熟的架构，搭建我们自己的大数据平台。目前就我接触到的东西罗列一下：
一、开发工具
- 报表工具：永洪
- ETL工具：kettle
- 数据仓库：Hive、Impala
- 代码版本控制：SVN
二、平台组件
- 调度平台
- 补录平台
- 用户权限管理平台
- 数据质量平台
- 元数据管理平台
三、平台组件图示
