欢迎,游客
首页 > 案例 > 金融 > 农发行综合报表平台 —农发行数据分析应用基础技术架构建设

税务

财政

金融

保险

电力

司法

卫生

通信

教育

企业

药监

制造

其他

农发行综合报表平台 —农发行数据分析应用基础技术架构建设

方案概述

到2009年中,中国农业发展银行已经完成了以综合业务系统、CM2006信贷管理系统、国际结算系统为主体的业务处理系统,实现了会计业务核算处理和信贷过程管理的电子化和标准化;同时,建设了统计数据集中管理系统、债券核算系统、人力资源管理系统等为主体的信息管理系统。这些项目的建设和部署,实现了以“大集中”为基本特征的整体应用模式,实现了业务处理的集约控制和规范化管理,并为建立高效、统一的业务分析系统提供了基础。

根据中国农业发展银行信息化建设“十二五”规划,在“十二五”期间,要对业务经营数据进行梳理,以保证数据的一致性和准确性为目的,实施数据质量工程;以数据交换平台为基础,建设数据仓库;到2015年末,实现经营和管理数据在全行范围的共享,以数据仓库为基础,推动建立面向主题、面向市场、面向决策、满足内部管理和外部政策要求的智能应用,力争形成全行完整统一、各有侧重的决策支持平台,为经营管理和客户服务提供基础信息和决策依据。

近年来,随着内部管理和外部监管要求的不断提高,面向数据分析的管理应用需求日益增加。农发行当前在用的几个报表系统分别实现了对应业务领域的管理分析,但农发行报表应用的整体建设存在以下主要问题:

1.各报表系统的数据来源不一,缺乏统一的数据标准和规范,跨系统进行业务综合分析难以实现;

2.同一口径的统计指标需要在不同系统内重复补录获取,而数据结果却可能不一致;

3.随着内部管理和外部监管要求的不断提高,面向数据分析的管理应用和数据采集补录应用需求日益增加;

4.各类报表应用系统的数据获取流程和报送流程基本相同,却需要单独开发不同的报表系统;

5.采集报表应用存在业务人员补录数据工作量大,数据质量无法保证、报送流程不易管控和采集数据无法有效进行分析等问题,因监管部门制定了一些新的监管报表或者改变监管报表的统计口径等,报表格式也需经常进行调整;

为将不同的业务报表集中到一个统一的系统框架下来,并为将来的简单业务报表提供快捷的定制和实现手段,农发行在2009-2011年间,完成通用综合报表平台的建设和省行推广,初步实现经营管理数据的集成和共享。

到2012年初,综合报表平台已经上线使用近三年时间,系统完成了初步建设目标后,随着报表应用、使用用户、数据量的迅速增长,系统也暴露出了一些问题,主要有:

1.ETL性能不理想,数据抽取转换加载时间过长;

2.各个业务部门使用平台制作报表难,主要表现在难以理解数据模型上;

3.数据量增长过快,在第一次优化前,数据已呈现爆炸式增长的趋势;

4.仍然存在综合业务系统与信贷管理系统数据不同步的问题;

5.数据及时性不能保证,导致有些时效性要求高的业务部门无法放心使用报表平台。

项目建设概况

为了解决以上问题,保障系统的科学性、先进性、高效性、易用性,更为了全面夯实农发行数据分析应用侧的技术架构,从2012年中到2014年初,于行内发起了更大规模的综合报表平台升级改造项目。

经过历时五年,总共两期项目的建设,农发行数据应用体现形成了一个较为完整的技术体系,囊括了数据仓库、分析应用、数据管理、数据治理、数据外围服务等范畴。

项目建设概况:

1、根据金融行业数据建模模型,建成了一个囊括会计核心系统(CBS),信贷系统(CM2006),外汇系统(EE)和债券系统(BOND)四大主要业务系统所有业务分析数据,并完全记录其历史变化信息的数据仓库,包括ODS层、整合层、汇总层、应用集市层;

2、综合报表平台以数据仓库为主要数据源,实现了各报表应用的数据同源、同构,统一数据口径;逐渐将行内的主要指标数据统一到一个平台内,实现指标共享,解决各报表系统的数据来源不一,缺乏统一的数据标准和规范,跨系统进行业务综合分析难以实现的问题;

3、建立了一个包括“数据采集模块、展现分析模块”两大模块的分析应用综合报表平台,“数据采集模块”由i@Report实现、“展现分析模块”由BI@Report实现,通过这两个产品的功能快速定制,实现各类业务报表需求,能够降低报表开发的成本和难度,缩短报表开发周期,规范报表使用的操作流程,降低管理与维护的复杂度,灵活实现日益增加的各类报表需求;

4、优化ETL性能,引入调度平台和优化各ETL作业,对数据仓库中飞速增长的业务数据进行有效的生命周期管理,大大优化了ETL性能,解决数据抽取转换加载时间过长的问题。

5、建设各面向业务应用的数据集市,数据集市中的数据主要是概括级面向业务主题的数据,属业务人员容易理解和使用的主题模型,便于业务人员使用综合报表平台自定义制作报表和进行各类报表展现分析;

6、综合报表平台中对会计报表专门设计了"会计指标库",通过定义会计指标所包含的科目、科目的属性、条件以及会计指标的启用和停用时间来满足会计相关报表的设计;

7、BI@Report可与i@Report无缝对接,不仅能够通过i@Report从BI@Report取数,实现采集数据的初始化,还可以将i@Report采集的数据在BI@Report进行展现分析,前者能够大大减少业务人员的补录工作量,后者通过i@Report上报的数据不需要做任何ETL处理,即可通过BI@Report进行丰富多样的统计分析;

8、i@Report提供了从报表设计、报表发布、数据填报、数据审核、汇总上报和审批流程一整套解决方案,从报表定义到数据应用这一系列工作流程都是通过该平台完成,无需人工逐级传递,减少了许多中间环节,从而帮助农发行提高数据采集的效率,缩短数据采集周期。

项目成果

截止2015年,农发行综合报表平台已经完成以下几方面工作:

建成了一个囊括主要业务系统所有业务分析数据,并完全记录其历史变化信息的数据仓库,包括ODS层、整合层、汇总层、应用集市层;

建成了一个包括“数据采集模块、展现分析模块”两大模块的分析应用综合平台,并在此基础上,完成了多个业务部门共十四套报表应用的建设,解决内部管理和外部监管要求;

完成了数据抽取、转换、加载的基础技术体系建设、夯实,实现了数据处理效率的数量级优化,实现了智能调度、均衡负载/灾备的建设;

完善了数据治理体系建设,完成了元数据、数据生命周期、数据标准、数据质量体系的建设;

完成了30个区域数据/应用中心建设,实现了数据中心对外数据服务建设,完成了数据动态传输、应用版本同步等辅助系统建设。

报表应用层面,在整体架构的基础上,实现了面向9个业务部门的14套报表用,并且应用的数量仍将快速增长,形式将更丰富。