SSIS ETL BEST PRACTICE

PackageRunLog(ExecutionGuid,PackageName,SourceTableName,DestinationTableName,StartTimeUTC,EndTimeUTC,NumberOfRowsMoved,Status,MaxUpdateTime)

记录SSIS包每次的运行信息,何时开始,何时结束,运行状态,从哪个表输送多少条数据到某个表。

PQOUNITS : 一个测试框架,存储测试用例,根据要求执行,可以生成测试结果的报告,如果出现错误,及时发现错误。

例如写一些tsql来检验SSIS包运行的结果是否有问题。还有对OLAP进行测试的时候,使用MDX和等值的TSQL进行比对。

Email notification:

1.根据packagerunlog,检测其中状态失败的信息,发送邮件。

2.在SSIS包的onpostExecute事件处事中添加发送邮件的任务,格式化邮件,发送详细的错误信息。

事实表分区 :对行数比较大的事实表进行分区,然后再使用SSIS包进行动态修改分区函数,检查在合适的时候split分区,更新分区方案。

增量加载: 使用 Max Rowversion,Max Updatetime 存储到元数据表中,根据这些信息进行更新。

更新统计在执行ETL packages之前。

DATA MODEL: 设计维度表和事实表的时候,需要注意除了要添加PK外,一般必须要添加一个UK或AK。通过这个键区分重复数据,也可以进行

增量加载

对于Execute SQL task, 可以使用索引视图,CTE和临时表(加索引)来提高执行的性能。

Looking for a job working at Home about MSBI
原文地址:https://www.cnblogs.com/huaxiaoyao/p/3426022.html