北京地区出售数据平台ODS系统

tianjian

第1章        背景和目的
数据平台ODS，是一个大型的数据历史存储平台，为企业存储其全部业务数据，采用不同的存储方式，实现不同性质数据的整理，是大型企业单位存储、维护其日常业务数据的核心平台，为数据仓库、数据集市储备海量数据，为重点单位内、外报送类数据的集中管理系统 。
第2章        进程日志设计
2.1.系统简要说明
如下图所示，目前数据平台分为四个数据层：

图2.1   ODS抽取和处理流程总图
（1）        源系统数据被抽取至数据平台STAT层
（2）        全量数据经增量处理后加载到STA层
（3）        增量数据加载到ODS层，并关闭时间窗口
（4）        当日全量数据加载至PDS层作为备份
2.2.系统详细介绍

（1）        STAT层：加载源系统每日全量和增量数据到STAT层
（2）        STA层：对STAT层数据进行加工，增量数据直接进入STA层，全量数据分为两种：
a.无历史变化的全量数据直接进入STA层。
b.有历史变化性质的全量数据，通过STAT与PDS层前一日全量数据进行比较，将变化的数据放入STA层。
（3）        ODS层：
获取STA层增、全量数据，并对增量数据赋予时间戳；对历史变化性数据进行关闭时间窗口的操作，对当天的失效数据进行失效性处理（即将数据的有效期更新，截止到变化时的前一天）,最后将STA层存储的新数据存储到ODS层。
（4）        PDS层：
这次主要针对PDS进行改造。从图中可以看出，PDS的主要工作是对历史数据进行备份，同时PDS的前期数据用在处理STA层。

第3章         成功案例
3.1.某公司ODS的广泛应用

上图F06即为ODS平台，可以看出它是业务系统和管理分析系统的桥梁，是大型企业为其业务规划分析的数据基础，是数据仓库、数据集市的基础，集中管理、存储公司全业务数据。


有意者请联系879844565,注明数据平台或ODS