数据仓库技术研析

数据仓库技术研析：数据仓库技术研析

编者按：数据仓库是一种基于数据管理和运用的综合性技术和解决方案，可用于在海量数据中筛选有用信息。在商业银行领域，数据仓库技术常被用于客户盈利分析、银行产品分析和市场趋势预测。本文主要介绍数据仓库的若干概念以及商业银行实施数据仓库的步骤等。

数据仓库技术研析：一.问题提出背景

随着社会主义市场经济改革的深化，传统的计划金融模式逐渐瓦解，市场金融模式逐渐形成。在这个变革过程中，由于体制、市场、企业、个体等经济要素变化和发展的不平衡性，带来了银行对各种金融变量控制的随机性和模糊性。如何防范银行的经营风险、实现现代化管理以及进行科学决策，成为当今金融研究的一个重要课题。

利用数据仓库的强大功能，银行可以建立企业客户群、个人客户群的数据库，并对企业的结构、经营、财务、市场竞争等多个数据源进行统一的组织，形成一个—’体化的存储结构，为决策分析奠定基础。通过先进的信息加工、分析、处理软件，加上银行的经营决策、信贷营销人员的个人经验，对每一个投资方向、每一笔贷款作出科学的判断，可以有效控制投资、信贷风险。

数据仓库技术研析：二、数据仓库及数据挖掘技术

数据仓库概念始于上世纪80年代中期，首次出现是在号称“数据仓库之父”WilliamH·Inmon的《建立数据仓库》一书中。随着人们对大型数据系统研究、管理、维护等方面的深刻认识和不断完善，在总结、丰富、集中多种企业信息的经验之后，为数据仓库给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题、集成、与时间相关、不可修改的数据集合”。

银行数据仓库的建设，足以现有银行业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是—‘个工程，也是一个过程。整个数据仓库系统是一个包含四个层次的体系结构，如图1所示。

数据仓库是银行进行数据分析的基础，它的主要工作是将数据库和文件系统中的原始数据进行归纳整理，聚集成一个可供高层次使用的数据集合。在数据仓库的基础上有两类分析工具，一类是做分析型工作的联机分析处理，它侧重于对所有事务进行多角度的展现和分析；另一类是做预测型工作的数据挖掘，侧重于对事务中蕴涵的未知规律进行发现。 数据挖掘又称数据开采，足从大量数据中提取出可信的、新颖的、有效的并最终能被人理解的模式的处理过程。

它是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问，进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了—‘个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。

数据仓库技术研析：三、数据仓库建设的基本步骤

银行业最需要数据仓库技术，也最应该大力发展数据仓库技术。在数据仓库建设过程中，应借鉴国内外的经验、教训，少走弯路，快见实效，因此，要特别注意系统的定位。数据仓库的建设是一个系统工程，是一个不断建立、发展、完善的过程，通常需要较长的时间。这就要求对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图，将整个项目的实施分成若干个阶段，以“总体规划、分步实施、步步见效”为原则，不仅可迅速从当前投资中获得收益，而且可以在已有的基础上，结合其他已有的业务系统，逐步构建起完整、健壮的数据仓库系统。

数据仓库的建设通常按照快速原型法予以实施，主要包括：确定需求、环境评估、分析、设计、开发、测试和运行等几个阶段。同时，数据仓库又是—个在原型的基础上进行不断迭代的过程。

1．确定需求

确定需求的主要任务包括了解方向性分析处理需求，确定信息需求和数据覆盖范围。方向性需求包括：决策类型、决策者感兴趣的问题(或对象)等。在确定需求时应该重视用户驱动和数据驱动相结合，同时可以借鉴国内外已有的成功经验。

2．环境评估

环境评估是对银行数据仓库系统建设的硬件环境和软件环境进行选型和淮备。 在硬件平台选择中需要选择与数据仓库系统规模相适应的核心服务器，同时数据仓库系统平台与业务处理平台应该相分离。 软件平台的选择主要包括数据仓库引擎、OLAP引擎、前端分析展现工具的选择。产品进行测试是软件选型的一种有效方法，各个银行可以根据自身的数据状况对各类产品进行测试。

3．分析

分析阶段的任务是深入了解数据源和分析数据仓库系统所包含的主题域及其相互之间的关系。分析阶段必须坚持用户参与，并且与原有系统开发或维护人员进行深入地沟通。

4．设计

数据仓库设计的主要任务包括与操作型系统接口的设计和数据仓库本身的设计等部分的内容。 其中与操作型系统接口的设计主要是指数据抽取、清理、转换和刷新策略的设计。从多个不同的数据源中抽取数据，需要解决数据的不一致性，保证数据的质量。 数据仓库本身的设计包括数据仓库逻辑数据模型的设计、数据仓库物理数据模型的设计。由于目前数据仓库产品尚未形成一套统一的标准，因此在数据仓库设计阶段必须要有数据仓库专家和数据仓库系统产品提供商的参与。

5．开发

开发阶段所要完成的主要内容包括数据仓库建模、数据抽取和加载模块、数据访问模块以及开发实际应用系统等。实际应用开发建议从急需的业务开始进行，应该重视行业专家的参与，同时必须有数据仓库专家的参与。

6．测试

测试是保证系统可靠性的重要手段。数据仓库测试与一般软件系统测试不同的是，数据仓库的测试不仅包括对软件系统的测试，同时包括对数据的测试。在测试阶段必须保证测试的充分性，同时注意测试数据的覆盖范围等。

7．运行

系统运行主要包括用户培训、数据加载、数据访问及应用等。在数据仓库系统的运行过程中，不断收集用户新的需求，以进一步对系统进行完善。

数据仓库系统的建设不可能一燃而就，它是一个不断建立、完善、健全的过程。这个过程是随着业务量、业务范围和客户的不断发展而发展的，其成长的速度非常之快，同时随着业务的发展，数据仓库的价值也将随之增长。

数据仓库技术研析：四、国内外银行业数据仓库现状及前景

信息是知识经济时代最基本的要素。美国著名未来学家托夫勒有一句名言：“谁掌握了信息，控制了网络，谁就将拥有整个世界。”银行由于其行业的特殊性，是一个具有信息优势的部门，它每时每刻都在搜集和处理大量的信息。随着社会经济的发展，各类信息量正以几何级数增加。如何把这些信息管理好、利用好、经营好，发挥这些宝贵的无形资产的作用，是我国银行业迎接加入WTO的挑战，加快现代化银行建设中的一个重大课题。因此银行采用数据仓库技术有着重要的战略和现实意义。

国际金融界十分重视数据仓库技术，全球前100家大银行几乎都建有自己的数据仓库，1999年全球金融机构在数据仓库建设上的投资超过54亿美元，并且基于数据仓库的应用也呈级数增长。美国花旗银行采用数据仓库和数据挖掘技术进行风险分析及管理，取得了显著的效果，数据量高达几个TB(1TB＝1024GB)。

我国金融机构也十分关注数据仓库的发展。前两年中国银行业谈论的热门话题是数据集中和电子商务。从2001年开始，采用集中数据处理模式来体现一级企业法人治理结构已经成为各家银行一个不争的实现目标。到现在银行数据大集中将成为完成时。

但数据集中只是银行加强管理、提高利润的手段，要想真正挖掘数据则又涉及到数据仓库和数据挖掘的技术问题。对商业银行来说，多年积累下来的海量数据无疑是一笔宝贵的财富，迫切需要充分开发和利用。借助数据仓库技术对这些数据进行挖掘，必将是大集中之后电子政务、电子金融和管理信息系统的建设重点。利用数据仓库技术，可以使原本分散、孤立的信息相互之间建立良好的联系。可以预言，面对加入wTO的挑战和机遇，在加快改革和发展的脚步声中，——个数据仓库建设的新高潮即将呈现在中国企业特别是金融业面前。

数据仓库技术研析：五、小结

数据仓库是一项基于数据管理和运用的综合性技术和解决方案。数据仓库的成功实施将对培育知识共享文化产生重大影响。目前，基于数据仓库的决策支持系统还主要应用于银行业和证券业。随着各种技术的成熟，数据仓库将会在政务、金融、铁路、航空、零售、食品、电信、邮政、医疗等多个行业中得到更加广泛的应用。