下一代数据仓库

摘要：数据商场(Data Mall)：一个混合型的数据仓库/数据集市解决方案，可以满足企业的集中调整及控制需求，也可满足各部门的分布式授权及运作需求，并在两者间进行平衡。

数据商场(Data Mall)：一个混合型的数据仓库/数据集市解决方案，可以满足企业的集中调整及控制需求，也可满足各部门的分布式授权及运作需求，并在两者间进行平衡。

导言

随着21世纪的迅速来临，企业必须为领导及中层管理人员提供及时的、高质量的和动态变化的信息，这不仅对占据竞争有利地位极其关键，也是企业生存的一个必要条件。最近几年，许多企业已经意识到这个问题并采取大量措施开始建立“企业范围”的数据仓库，不幸的是，有一些企业发现“第一代”数据仓库项目的范围比预期的大了许多，同时成本也非常高。那些多年以来一直采用这种数据仓库技术的企业发现，用户们经常对响应速度表示不满，由于数据仓库跟不上业务需求的变化，使用户们在业务中遇到很多挫折。

这种现象导致了“数据集市”的发展，这主要是针对不同的或各部门的信息需求提供一个更快、更省钱的信息访问解决方案。企业要想在行业中名列前茅，就必须具有独到的方法以增强自己的“信息能力”，而下一代数据仓库或说“数据商场”就是使企业取得或保持领先优势的关键。数据商场是对前一代数据仓库中许多方面的补充和增强，但主要的目的还是为了排除前一代数据仓库的问题和局限。数据商场将原先为各种专门用户提供信息的多个数据集市合并到一块，并且用数据仓库来存放数量庞大的一般性数据。有一点很重要，实施一个数据商场的过程与实施“第一代”数据仓库是不一样的，因此应作好规划。

下一代数据仓库：数据商场——下一代数据仓库

数据商场并不是什么复杂的或令人困惑的理论，只是一种现代化的方法而已，用来平衡和支持各种业务用户和IT职员的特殊需求。实施数据商场，首先应知到，在建立一个“可行的数据仓库体系结构”时以下的特殊需求是很重要的：

基于这些需求，最终目标是建立一个混合型的数据仓库/数据集市解决方案，其具有集成、可控规模、可管理、快速传递以及能支持最终用户和公司需求等特点。

下一代数据仓库：数据商场解决方案

一旦企业决定采用数据商场以在2000年后取得战略优势，他们也许会问这样的问题：“我们应该怎样实施企业范围的数据商场？”，图一说明了实施数据商场的一个主要规划。

图一

下一代数据仓库：1、技术体系结构规划项目

描述：

这个项目帮助决定用以实施数据商场（即所有的数据集市和数据仓库）的整个技术体系结构和框架，下列技术要点是进行引导项目前必须解决的问题：

数据库——数据集市或数据仓库存贮在什么数据库中？

数据操作工具——用什么来抽取、转换、清理数据？

中间件——用什么中间件来连接数据源和数据仓库（数据集市）？

图形用户工具——用户怎样查找数据，怎样以有意义的格式来提交信息？

应用程序开发工具——用什么工具来为信息传递及EIS、DSS等开发应用程序？

流程管理工具——用什么来管理流程？

系统管理工具——用什么来管理系统？

目标：

这个项目将决定什么样的技术体系结构最适合组织（即数据商场）的短期和长期需求，同时也为用于实施各种特殊数据集市的技术构件指明了一个总体方向。这个项目的主要目标是：

确定最好的技术诀择

建立一个可用的体系结构框架

主要任务：

这个项目中的大多数时间主要用于分析和研究数据商场体系结构的众多技术构件，为达到项目的目标，下列主要任务必须完成：

研究技术构件

分析并选择技术构件

设计并建立体系结构框架

决定先行项目的技术测试内容

为什么要进行这个项目？

这个项目有很多长期利益，如果忽略不做或是盲目进行的话，极有可能在数据商场生命周期的后面阶段中引发大问题，这个项目将给组织带来以下好处：

减少长期技术成本

尽快开始数据集市项目

减少数据集市启动成本

提供更好的IT支持

下一代数据仓库：2、数据集市战略规划项目

描述：

数据集市是否是组织、管理和利用数据的最方便、最可行的解决方案？当企业考虑这个问题时，他们经常会问许多与数据集市相关的问题：

“什么是数据集市？其范围包括什么？”

“这将给企业带来什么影响或是价值源泉？”

“什么是首先应该做的、然后应该做的？什么是不需要做的？”

这个项目的主要目的就是回答这些问题并帮助设定一个高水平的战略方向，并得到业务部门和IT部门的共同参与。

目标：

这里的主要使命是决定在建立每个数据集市时“做什么，为什么，以及何时”的问题，为完成这个主要使命，必须达到以下目标：

区分数据市场并安排好优先次序

使参与者达成共识

为先行项目确定最好的数据集市

建立蓝图以设定战略方向

主要任务：

在这个项目中，首先要以战略眼光了解组织的如何开始初步行动，然后确定实施数据商场的目的和目标，一旦确定下来后，再针对战略目标来考虑和权衡各部门的信息需求，然后排定优先次序。设计这个战略规划要求：

具有高度责任心的项目人员来鉴定和定义项目

分析业务影响

对数据集市项目安排优先次序并进行规划

确定先行应用程序

为什么要进行这个项目？

虽然将快速解决方案应用到企业中是很重要的，但是不能在缺乏思考和策略的情况下仓促开始，在数据商场生命周期的早期进行明智和策略的思考将提供以下好处：

对第一个数据集市最高的“增值”

总的战略规划图以驱动决策

项目人员的积极参与

最好的应用程序以测试技术构件

下一代数据仓库：3、先行项目

描述：

这个先行项目是一块试验田，可用来测试在技术体系结构规划项目中选定的技术构件，这对于数据商场生命周期来说是很重要的，因为这只是一个试点，主要的技术性决策还可以进行修改而只造成很小影响或不会造成影响。这个先行项目也可以看作数据仓库项目的一个大试验田，而数据仓库项目将负责建立合理的和有用的数据商场标准和例程。

目标：

这个项目必须证明，所有在技术体系结构规划项目中选定的技术构件都能很好的协同工作，并能满足业务需求，基本的目标有：

证明技术构件运转正常并能满足企业需求

为数据商场最后确定技术决策

驱动有用的、及时的和可实现的数据商场标准/例程

主要任务：

为了证明技术构件和确定任何最终技术决策，这个项目将建立一个技术体系结构的工作模型和样本业务应用程序，同时建立关于性能、生产力和容量等方面的衡量标准，通过对“原型构造、建立基准和测试”开发过程的多次反复进行，下列任务将为达到先行项目的目标提供“活生生”的例子：

开发业务案例和构思

实施数据仓库

实施数据集市

打包并提交项目成果

开展先行项目的同时，下面的事情也应该在数据仓库项目中同步进行：

参与和驱动数据商场标准/例程的建立

为什么要进行这个项目？

在建立数据商场之前进行“试验”将从时间、成本及失败风险等方面为企业带来巨大利益，为数据商场建立一个先行项目就象是在制造价值数百万的新型轰炸机之前先为其建立一个工作模型，在正式建造之前，先证明你将要建造的东西的工作性能，这将给企业带来下列回报：

证明技术能力的唯一方法

加快数据集市的实施

较早进行数据商场标准/例程的建立

下一代数据仓库：4、数据仓库项目

描述：

这个项目有两个主要阶段，并且与其他项目紧密联系。在早期，这个项目将与先行项目紧密合作，以建立标准和例程，这些将在所有项目中起作用。紧接着，这个项目将监视并为数据集市提供质量保证，以确保标准和例程的执行。这个项目的另一个重点是成为“只停一次数据商店”以便为数据集市提供数据源。这个项目的长期目标是建立一个信息量递增的数据仓库，如果正确实施的话，这个数据仓库服务可以为数据集市迅速提供信息。下面的图二表示了数据商场的体系结构。

图二

目标：

这个项目的目标是要具有管理数据商场的能力，成为企业唯一的信息源，逐步建成“企业范围”的数据仓库，达到这些主要目标包括：

早期阶段：

建立有用的、可实现的数据商场标准

建立及时的、合理的数据商场例程

发展阶段：

成为数据集市的唯一信息源

确保数据集市的质量保证

逐步建立“企业范围”的数据仓库

主要任务：

建立总的规则和指导方针，以便于所有数据商场参与者遵照执行，这是本项目的首要任务。先行项目将会受到影响以协同进行数据商场标准/例程的建立。在数据商场生命周期的后期，当数据仓库成功建立后，重点将转向支持数据集市项目。为了支持这些主要任务，这个项目需要：

建立递增的数据仓库（原数据和合格数据均递增）

收集和转换数据

清理和合格化数据

将数据分配给数据集市

为数据集市项目提供质量保证

为什么要进行这个项目？

这个项目使得在同一个体系结构中可以建立多层次的数据策略，这样既可以使企业尽快开始应用，同时仍然允许IT部门调整和控制企业数据的基础设施，整个企业将从以下各方面受益：

为数据集市提供唯一的数据源

使数据商场参与者可以对标准进行补充

循序渐进地建立数据仓库

确保项目间的一致性

下一代数据仓库：5、数据集市协作项目

描述：

由于强大的业务压力如发展新的业务透视能力、开发新市场、当前流程再造及提高客户服务质量等等，数据集市正迅速发展成为一种划算的、及时的和可行的解决方案，数据集市将使企业用户进入一种发掘模式，当用户想找出业务问题或机会时可以进行多种方式的查询。

目标：

任何一个数据集市的目标都是为企业提供更快的解决方案，更多的控制，更好的性能，以及随着动态业务情况随机应变的能力，为了给用户提供一个可用的增值业务解决方案，建立数据集市时应努力做到：

更快的传递业务解决方案

通过缩小范围（减少区域数和用户数）来最小化风险

提供更好的性能

支持迅速变化的业务需求

主要任务：

数据集市的实施首先要开发业务案例，确定诸如“我们要解决的是什么业务问题？”、“这样做有什么好处？可以证实吗？”、以及“项目的范围是什么？”之类的问题，对这些问题的回答将为项目提供一个基本框架并设定总体方向。接下来的关键步骤是确定数据需求，设计数据库以解决业务中预期问题。一个可靠的数据库设计为建立和装载数据集市设定了框架，同时也为用户的前端设定了框架。

开发业务案例，设定业务环境

确定数据需求并设计数据库

建立并装载数据集市

开发图形用户接口（GUI）

为什么要进行这个项目？

数据集市的产生主要是因为第一代数据仓库不能适应业务需求和处理意外事件，基于这些经验教训，数据集市将：

提供可用的、高效的发掘工具

提供低风险的和更快的业务解决方案

提供分布式授权和执行