1 数据仓库总体设计概述
1.1 数据仓库层次结构图
ODS:操作数据存储(Operational Data Store),指从业务系统抽取数据并经过标准化转换的统一的数据存储层。
ER模型:是数据仓库核心层数据模型之一,用于存放完整详细历史数据,目前基本按照第三范式设计。其设计目标是为后续的DW层提供灵活性和扩展性的基础,同时可以在DW层无法支持需求时直接为应用层提供数据。 ER层以ODS层为基础,按照业务关系进行实体关系的抽象,为数据仓库层提供稳定数据基础。
DW模型:存放详细历史数据的数据仓库层,目前按照混合模式(关系模型与维度模型)设计。数据仓库层是核心层,设计目标是为数据集市层提供足够的灵活性和扩展性的基础。同时,由于它包含了整个数据仓库的大部分数据,是数据仓库项目的基础,所以保证该层数据长期的稳定性是首要的。
数据集市(Data Mart):建立于ER/DW层之上,由ER模型或多维分析模型为基础构成,每个数据集市包括来自数据仓库的历史数据的子集,用以满足特定部门、团队、客户或应用程序分析和报告需求。
1.2 数据仓库逻辑设计特点
1.2.1 业务设计特点
按照目前证券公司对数据仓库数据分析、应用报表的需求,数据仓库建设以当事人(客户、经纪人等)、内部组织、产品、协议等为中心,建立对事件、客户资产等主题的分析模型。
1.2.2 技术设计特点
为了支持业务系统数据的可扩展性和灵活性,在设计中增加了ER层数据,本层数据是接近于ODS层的数据,是遵循一定的DW层建设需求,按照标准化、粒度最小化原则,按照不同业务主题域划分的数据,这样做可以为数据仓库提供完整的数据平台,为将来的可扩展数据提供了灵活的接口。
支持缓慢变化维(Slow Change Dimension)设计:可以在维中反映历史的变化情况,支持所谓的从历史角度看历史,数据根据需要在需要保存历史变化的维表中增加了开始时间,结束时间。
支持灵活的连续数值划分层次设计:在所有分等级的维度中,增加了分段的粒度,例如:年龄分段,可以按三个等级进行分段,等级之间有包含关系;这样,连续数值划分的层次维发生动态调整,基本可以处理。
1.3 命名规范及说明
1.3.1 EDW模型命名规范及说明
1.3.1.1 主题(Topics)划分
当事人(Party):包含客户、经纪人、员工等。
内部组织(Internal Organization):包含证券的内部组织和业务单元,如营业部、服务部、部门、销售团队等。
产品(Product):指证券公司为拓展市场占有率,满足客户更广泛需求而制定的可营销的交易品种集合,如股票、基金、理财产品等。
协议(Agreement):指证券公司与当事人之间针对某种特定产品或服务而签立的契约关系,如资金账户、股东账户等。
资产(Asset):指客户或证券公司的各种资产,如客户资金余额、客户股份余额等。
事件(Event):指记录各种与证券公司相关的活动的详细情况,如交易流水,资金的转入转出等。
地址(Location):包括传统类型的地址信息(如国家、地区、城市、区县、街道等),又包括如电话信息、电子地址、邮箱、黄页等信息。
渠道(Channel):指证券公司与客户发生各种事件的通道,如交易委托渠道、客户营销渠道等。
营销(Campaign):包含证券公司为了获取、维护、增强与客户的关系,或为了将某些产品推向市场而做的有组织的营销活动,如客户营销、电视营销等。
财务(Finance):包含证券公司财务系统的帐套、科目、余额等。
资讯(Information):指与证券相关的各种资讯信息,如股票指数、上市公司股本结构等。
公共(Common):包括跨主题、公共部分的信息。
扫码关注