商务智能与数据挖掘概述

商务智能(BI)是目前在国外企业界和软件开发界受到广泛关注的一个研究方向，它把先进的信息技术应用到整个企业、不仅为其提供信息获取能力，而且通过对信息的开发，将其转变为企业的竞争优势。因此，越来越多的企业提出他们对BI的需求，把BI作为一种帮助企业达到经营目标的一种有效手段；另一方面，计算机界很多著名公司已经认识到BI巨大的发展潜力，纷纷加入列从事BI研究和软件开发的行列、比如；IBM建立了专门从事BI方案设计的研究中心．Oracle、Microsoft等著名的软件厂商纷纷推出支持BI开发与应用的软件系统。可以看出，BI无论对于企业界还是对于计算机界，都是一个非常具有吸引力的方向。

到目前为止，还没有BI的一个权威的定义。下面引用企业界IBM和学术界的两个定义。IBM认为商务智能是指一种能力：通过智能的使用你的数据财产来制定更好的商务决策。它的意思是说各种企业的决策人员以企业中的数据仓库(Data Warehouse) 为本，经由各式各样的查询分析工具(Query/Report Tools)、联机分析处理(Online Analytical Processing 简称 OLAP)工具、或是数据挖掘(Data Mining)工具加上决策规划人员的行业知识(Industry Knowledge)，从数据仓储中获得有利的信息，进而帮助企业提高获利，增加生产力与竞争力。

学术界的观点是：BI实际上是帮助企业提高决策能力和运营能力的概念、方法、过程以及软件的集合，其主要目标是将企业所掌握的信息转换成竞争优势，提高企业决策能力、决策效率、决策准确性。（谢炜等：商务智能：新一代决策支持领域，计算机科学2001 Vol.28 NO.4, P9-16）

根据国际数据公司（IDC）的一个关于65个公司的案例研究显示，在过去2、3年里，商务智能投资的平均回报超过了400%。根据商务智能的当前应用情况，发现商务智能广泛应用在零售、电信和保险、银行等行业。这些行业一般具有以下特征：

（1）大量的顾客；这样才能产生足够多的可供分析的数据。

（2）非常激烈的竞争并有差异化的需要；这些行业一般提供的都是差异化很小的产品，同时行业内的竞争又非常激烈，从而使差异化的服务成为企业必然选择。

（3）能容易地收集到大量的电子数据。这些行业一般都有较完善的电子交易记录系统，可以很方便的收集到大量的电子交易数据。

商务智能与数据挖掘概述: 下图是IBM提出的一个BI的体系架构图：

（来源：IBM商务智能软件解决方案，1999年1月）

从这个体系架构里，我们可以看到数据挖掘是BI的一个重要的过程。而数据挖掘也是当今计算机领域发展最快的一个分支。数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘与传统的数据分析(如查询、报表、联机应用分析OLAP)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知，有效和可实用三个特征。

商务智能与数据挖掘概述: 下图数据挖掘的环境框图：

从上图可以看出数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息。

数据挖掘横向上可以分为在直销、争取客户、保留客户、交叉销售和趋势分析、欺诈甄别等。在纵向上可以分为以下几个领域的应用：

（1） 天文学上的应用：数据挖掘在天文学上有一个非常著名的应用系统:SKICAT(Sky Image Catalogingan d Analysis Tool)。它是美国加州理工学院喷气推进实验室(即设计火星探测器漫游者号的实验室)与天文科学家合作开发的用于帮助天文学家发现遥远的类星体的一个工具。S KICAT既是第一个获得相当成功的数据挖掘应用,也是人工智能技术在天文学和空间科学上第一批成功应用之一。利用SKICAT,天文学家已发现了16个新的极其遥远的类星体,该项发现能帮助天文工作者更好地研究类星体的形成以及早期宇宙的结构。

（2） 在生物学上的应用：数据挖掘在生物学上的应用主要集中于分子生物学特别是基因工程的研究上。基因研究中,有一个著名的国际性研究课题——人类基因组计划。据报道,1997年3月,科学家宣布已完成第一步计划:绘制人类染色体基因图。然而这仅仅是第一步,更重要的是对基因图进行解释从而发现各种蛋白质(有10,000多种不同功能的蛋白质)和RNA分子的结构和功能。近几年,通过用计算生物分子系列分析方法,尤其是基因数据库搜索技术已在基因研究上作出了很多重大发现。

（3） 零售业的应用：利用数据挖掘技术通过对用户数据的分析,可以得到关于顾客购买取向和兴趣的信息,从而为商业决策提供了可靠的依据。

（4） 欺诈甄别：电信业、保险业和银行信用卡部门或经常发生诈骗行为,如恶性透支等,这些给银行和商业单位带来了巨大的损失。对这类诈骗行为进行预测,哪怕正确率很低的预测,都会减少发生诈骗的机会,从而减少损失。进行诈骗甄别主要是通过总结正常行为和诈骗行为之间的关系,得到诈骗行为的一些特性,这样当某项业务符合这些特征时,可以向决策人员提出警告。

这方面应用非常成功的系统有:FALCON系统和FAIS系统。FALCON是HNC公司开发的信用卡欺诈估测系统,它已被相当数量的零售银行用于探测可疑的信用卡交易;FALCON的数据格式主要针对一些流行的信用卡公司,如VISA,MASTER等,因此它的应用面很大。FAIS则是一个用于识别与洗钱有关的金融交易的系统,它使用的是一般的政府数据表单。

（5）金融投资预测：典型的金融分析领域有投资评估和股票交易市场预测,分析方法一般采用模型预测法 (如神经网络或统计回归技术)。由于金融投资的风险很大,在进行投资决策时,更需要通过对各种投资方向的有关数据进行分析,以选择最佳的投资方向。目前国内有很多进行股票分析的软件,并且定期有专家进行股票交易预测,这些人工的预测一般是根据自己的经验再通过对已有的股票数据的分析而得到的,由于是人工处理,很难对更大量的股市数据进行分析。

无论是投资评估还是股票市场预测,都是对事物发展的一种预测,而且是建立在对数据的分析基础之上的。数据挖掘可以通过对已有数据的处理,找到数据对象之间的关系,然后利用学习得到的模式进行合理的预测。这方面的系统有Fidelity Stock Sele ctor,LBS Capital Management。前者的任务是使用神经网络模型选择投资,后者则使用了专家系统、神经网络和基因算法技术来辅助管理多达6亿美元的有价证券。

商务智能与数据挖掘概述: 数据挖掘的过程可以分成以下5个步骤：

（1）问题定义：了解相关领域的有关情况，熟悉背景知识，弄清用户要求。定义要挖掘的目标。

（2）数据提取：根据要求从数据库中提取相关的数据。

（3）数据预处理：主要对前一阶段产生的数据进行再加工，检查数据的完整性及数据的一致性，对其中的噪音数据进行处理，对丢失的数据进行填补．

（4） 知识提取：运用选定的数据挖掘的算法，从数据中提取用户所需要的知识，这些知识可以用一种特定的方式表示或使用一些常用的表示方式。

（5） 评估：将发现的知识以用户能理解的方式呈现，如某种规则，再根据实际执行情况对知识发现过程中的具体处理阶段进行优化，直到满足用户要求．

商务智能与数据挖掘概述: 数据挖掘的方法主要有如下6种：

（1） 关联分析：如果客户购买了产品A，在x%的情况下，他也可能购买产品B。P（B│A）＝P（AB）/P(A)

两个关键的阈值指标分别是支持度：P（AB）和置信度：P（B│A）。

商务智能与数据挖掘概述: 这种分析方法的不足：

(a)支持度仅以出现次数为评价对象，可能忽略销售额大而次数很少的项目。

商务智能与数据挖掘概述: (b)分析出来的关系可能是随机的。

(c)置信度低的数据可能反映很重要的市场信息。可能是替代品或竞争产品。

商务智能与数据挖掘概述: (2) 分类分析

分类其目的是建立一个分类函数或分类模型(也称作分类器)，该模型能把数据 库的数据项映射到给定类别中的某一个。分类是有指导的学习。根据设定的分组，将不同的数据分配到不同的分组，然后研究每个组的特点。如客户跳槽分析。

商务智能与数据挖掘概述: (3) 聚类分析

Clustering 是将数据分为几组，其目的是要将组与组之间的差异找出来，同时也要将一个组之中的成员的相似性找出来。Clustering 与 Classification 不同的是，你不晓得它会以何种方式或根据什么来分类。所以你必须要有一个分析师来解读这些分类的意义。聚类分析帮助我们决定将哪些组合更有意义。聚类是把一组个体按照相似性归成若干类别， 即" 物 以 类 聚"。它的目的是 使属于同一类别的个体之间的距离尽可能地小，而不同类别的个体间的距离尽 可能地大。

商务智能与数据挖掘概述: (4) 决策树

分析不同的影响因素对分析目标的影响，找到关键的影响因素。决策树法的优点是直观，但随着数据复杂性的提高，其分支树也会增多，管理困难。

商务智能与数据挖掘概述: (5) 遗传算法

遗传算法是一种基于生物进化过程的组合优化方法。其基本思想是：随着时间的更替，只有适合的物种才得以进化。将这种思想用于数据挖掘就是根据遗传算法获得最适合的模型，并据此对数据模型进行优化。

商务智能与数据挖掘概述: (6) 神经网络

神经网络从经验中学习，常用于发现一组输入数据和一个结果之间的未知联系。

BI的未来发展趋势是BI与企业内其它的信息系统的很好地集成、企业的外部网智能和电子商务智能等。

DM的未来发展趋势是异质的数据的挖掘（如多媒体信息、文本信息等）、Web挖掘、超大数据库的快速高效挖掘、多维关联分析的数据挖掘等。