1.dmp-data mabagement platform数据管理平台
数据赋能，营销智变
2.定义
把分散的第一，第三方异构、多源数据进行整合，然后纳入统一技术平台中，并对这些数据进行标准化和细分处理，用户可以把细分结果推向现有的各类应用环境中。
3.功能
数据清洗
数据管理
数据挖掘
4.用途
发展自身业务
卖数据模型
给别人提供接口访问
5.dsp和dmp
dsp是为广告主服务的，优化广告投放策略
dmp在dsp基础上可以做更多事情
6.dmp数据工程步骤
目标和问题：
- 业务流程和模型的清晰理解
- 业务目标、问题和数据源映射方法
数据源梳理：第一、二、三方数据
- 第一方是指自己拥有的数据
- 第二方是指从合作伙伴来的数据
- 第三方是指从非直接合作关系来的数据
数据源内容和质量分析：
- 一致性
- 实效性
- 完整性等
数据标签的设计和定义：
- 属性类，如性别，年龄
- 行为类，如购买
- 模型类，如VIP
标签体系梳理：
- 业务口径
- 技术口径
数据接口设计：
- hdfs目录设计，ods和dw分层设计
- 按数据来源进行划分
- 数据接口定义，etl和elt（抽取，转换，加载）
- 数据来源
- 存放方式
- 存放目录
- scheme模型信息
- 数据更新频次
- 增量存放
- 全量存放
数据流data stream设计：
- 控制流和数据流
存储和服务器设计：
数据模型data scheme设计：
数据仓库模型设计：
数据处理链条和各模块设计：设计注意事项
- 数据流设计
- 数据处理逻辑设计
- 中间过程表设计
- 时间变量设计
- 依赖关系设计
结果和质量验证设计：
可靠性 etl开发：
运维：
- 需求变更处理
- 调度问题处理
- 系统故障诊断
7.DMP数据工程步骤
a.数据源梳理
- 客户主营业务是什么
- 支撑业务系统有哪些
- 各系统能产生哪些数据
- 业务系统的数据库设计及数据字典能否获取
- 数据质量如何
- 是否已有数据仓库系统
b.标签体系及其口径梳理
- 需要创建哪些标签
- 需要引入哪些日志数据
- 标签的业务口径如何梳理
- 标签的技术口径如何梳理
c.接口定义
- 搬运哪些数据到DMP平台
- 以何种频率或周期进行搬运
- 增量还是全量搬运
- 搬运过来后如何存放
d.数据模型设计
- 需要定义哪些数据集
- 数据集在HDFS上如何组织
- 每个数据集存放哪些属性
- 数据集中属性的命名及数据类型如何设计
- 数据集的更新频次如何设计
- 数据集的更新方式(增量/全量)如何设计
- 数据集是否需要时间分区
- ID打通如何设计
e.ETL设计
- 设计生成每一个目标数据集的流程
- 设计流程中每一个环节的处理逻辑
- 设计一批中间结果数据集,供后续的若干流程使用
- 设计时间变量控制数据处理的时间周期
- 识别各流程之间的依赖关系
f.ETL开发
- 编写代码(SQL,Python,Scala等)
- 调试代码
- 部署代码
- 调度代码
g.运维
- 需求变更处理
- 调度失败问题处理
- 数据质量问题处理
- 项目的导入导出管理