信息化应用 营销管理 企业管理 业界消息 站内搜索 标签
首页 » 文档中心 » 信息化软件应用 » BI 商务智能 » 智能存储综述

智能存储综述

2003-04-17

摘要:随着时代的不断发展,传统存贮策略越来越难以满足需求,新的解决方案应运而生。多数企业需要进行管理的数据每年都成倍地增长着,陈旧的存贮基础设施在这种数据爆炸的形势前已显得束手无策。

随着时代的不断发展,传统存贮策略越来越难以满足需求,新的解决方案应运而生。多数企业需要进行管理的数据每年都成倍地增长着,陈旧的存贮基础设施在这种数据爆炸的形势前已显得束手无策,新的技术诸如NAS(网络附加存储)、SAN(存储区域网络)、Fibre Channel(FC,光纤通道)、InfiniBand、iSCSI和虚拟化等相继诞生,为企业更好的管理数据以及对将来不断扩大的存储需求提供了强大的后盾。

以前存储问题很少引起人们注意,存储数据的设备仅有一个磁盘驱动器,需要进行认真策划的是应用程序服务器,那是系统核心,一旦决定了服务器卖主,同时也就跟服务器一起购买了存储设备。现在情况已经大不相同了,存储问题成了主要问题,首先考虑的是采用什么厂商的存储设备,然后才决定应用程序开发商,最后考虑服务器的挑选。产生这种转变的原因是多方面的,其中最基本的有下述几点:

存储成本:作为总IT预算的一部分,其所占比重不停的攀升,现在已变成了其中最大的一块。在90年代早期,企业中服务器与存储设备的费用比例是70:30,而现今这个比率已反过来了,同时,数据对于企业的意义,以前是一个重要组成部分,而如今已成为了企业的生命脉搏。企业的竞争力纯粹依赖于收集到的客户和市场相关数据的多寡,以及对这些数据进行信息提炼和决策分析的能力高低,显然,存储基础设施的类型和质量比以前任何时候都更为重要。

Internet:这直接导致了数据的爆炸,给企业带来了不可预测的巨额数据增量。可以从一个数据来体会这种增长:仅2001年中企业新增的数据就达到400~500PB,而这个数仅比企业以前的所有历史数据数量少一点点。另外,出于业务或法律方面的考虑,企业还得维护更多的在线数据。

数据类型:已发生了显著改变,不再是绝对的文本或数字,用户希望得到图形、声音及视频等新型信息,一个简单的声音文件随便也要占用1MB空间,视频文件对空间的需求就更多了,两分钟的视频文件大概需要10MB存储空间。

百分之百的正常运行要求:在全球化的经济环境中,你的网站的必须做到这点,必须总是对商务处于开放状态。以此相比,仅在几年前厂商们认为能有99%的正常运行时间就很不错了。过去,厂商和IT机构对有计划的和非计划的停工期加以区别,有计划的停工是可以被接受的,或者至少被最终用户认为是可以宽恕的;如今,最终用户们对这种已不再考虑这种区别,无论何种停工对他们来说都是不可忍耐的,不管是什么原因,一旦发生这种情况他们就选择离开并投向其它厂商的怀抱。

营销时间:在互联网经济的环境中,这对企业来说是个生死攸关的问题,如果你的企业能提前一刻钟推出新产品,这可能就意味着数百万元的收益增加以及其它由于提前行动优势而带来的间接利润。

鉴于上述原因,进行高效的数据收集、传递和存贮对企业是至关重要的,作为IT执行官,如果不对存贮进行战略规划的话,势必将危及到整个IT基础设施。不幸的是,现今的许多存贮体系架构实际上对管理巨量数据没多大效果,反而使情况更加复杂。那么,IT执行官应该怎么办呢?在提供如何取得成功的指导方针之前,先让我们了解一下当今的存贮基础设施状况,再看看有些什么前沿技术和发现。

智能存储综述:基础设施现状

当今占据主导地位的存贮基础设施是DAS(直接附属存贮),基本上,这种基础设施是指应用程序服务器、数据库服务器以及文件服务器都共存于一个网络中,通常是基于TCP/IP的以太网,并且用路由器和交换机等将这些服务器通过SCSI总线互联起来,而其中的存贮设备是直接附属于各个服务器的。客房机通常是PC机、MAC机或Unix工作站,也连接到网络之中,每个客户机通常也都有自己的本地磁盘存贮器。在这种环境中,由于每个服务器都有最大容量的限制,一旦达到此极限,就得另外增加服务器,而此时也许CPU的处理能力还没有得以充分发挥(参见图一)。

图一:一个直接附属存贮(DAS)的例子

同样,如果服务器处理能力已达到极限,就算仍有剩余存贮空间,也不得不再添置服务器。对于当今经济发展的数据存储需求来说,这种服务器与存贮设备的一对一关系是造成可扩展性和可管理性问题的根源所在。由于某一存贮单元的数据是“属于”其所依附的某个服务器的,因此同时从多个存贮单元获取就牵涉到相关的多个服务器,这使数据库和许多电子商务应用程序的处理效率相当低下。

另外,如果其中一台服务器“当机”,与此服务器有关的数据都将不能得到。这种服务器存贮之间的联系,造成了对单个服务器的分散管理,如果要在整个企业范围内对数百乃至数千台服务器进行全面管理,这简直就是一个恶梦。这样来看,对于IT部门不断抱怨缺少预算和集中化存贮人才,并焦急地寻求帮助和展开补救行动,就不会感到难以理解了。

智能存储综述:新型基础设施

近来,两种新型存贮基础设施已逐渐进入人们视野:NAS(网络附加存贮)和SAN(存储区域网络)。

NAS(Network attached storage)。可以把NAS想象为一个专门的文件服务器,其附属于一个网络(通常是以太网),并为网络中众多的客户提供文件服务。NAS用共同的存贮设备来存贮所需文件,并允许多种不同类别的用户进行访问,其中使用的最普遍的访问协议是NFS(一般是Unix用户)和CIFS(Windows用户)。在1980年代中期,Unix服务器除了执行其他任务(如应用程序和数据库管理等)之外,一般还充当文件服务器的角色;到1980年代晚期,Network Appliance公司推出一种新方案,服务器专门被设计用来执行某一种特定功能,在这种文件服务模式下,其性能和管理都比通用服务器得到显著改善。

这样的存贮设备就是后来的NAS,其通过以太网进行连接,并具有强大的可扩容性,由于几乎不用或根本不用进行设置,可以在几分钟内就投入服务。随着数据量的疯狂增长,NAS的地位也在稳步攀升,目前的市场份额已达到约20亿美元,估计在接下去的几年中还将以每年70%的速率递增。NAS目前的主要生产厂商是Network Appliance公司和EMC公司,其他服务器厂商(康柏、戴尔、惠普、Sun Microsystems等)也已逐渐加入竞争行列。

除了优越的性能和方便的管理之外,NAS最引人注意的是文件级独占处理方式,而不仅是块级数据的独占处理方式。

SAN(Storage Area Network)。SAN的主要目的是在计算机系统与存储单元间,或存储单元与存储单元间进行数据转换。SAN和FC(光纤通道)协议曾经并没什么理论上的实质区别,实际上在很多场合中使用这两个术语时都可以互相进行替换。随着InfiniBand和iSCSI协议的诞生,这种关系已发生变化了。

图二:一个存储区域网络(SAN)的例子

图二显示了一个基于FC协议的简单的SAN示例。从图中可看出,所有的存储单元服务器已不存在了,同时构建了一个基于TCP/IP以太网的FC网络,并通过高速的100M连接方式将所有的服务器连接到FC交换机上,另一方面将FC磁盘阵列和磁带数据库通过FC-SCSI桥也连接到FC交换机上。这样的架构使我们可以对存贮进行整合,并可根据需要独立对存贮设备和服务器进行维护或升级,而不受体系结构方面的制约。你可以根据需要通过简单的拖拽方式为指定服务器分配或重分配存贮份额。

所有的存贮设备都是作为一个共享池来进行管理的,可以轻易地增加5~10倍的存储容量;可以将交换机通过光纤互连起来,几乎具有无限的扩展能力,从而根据需要提供渐增的带宽。这种网络架构使带宽、性能和容量可独立进行扩展,应用程序服务器就去掉了存贮管理方面的负担,从而不断提高应用程序处理性能。由于运行在高速的SAN之中,TCP/IP网络的拥挤得以大大缓解,就可以共享磁带资源并提高备份和恢复效率。这些方面综合起来,就能带来巨大的利益。

SAN的另一个重要方面是其块级数据处理方式,要了解这个性质得先了解一下SCSI——一种用于计算机与存储设备之间对话的协议,数据在这些设备中的传输是以块(block)的方式进行的,某些应用程序,特别是数据库应用程序,为了达到最优性能而采取这种方式与磁盘进行通信,因此,一些早期的SAN的实施都是用于数据库应用程序方面(财务、电子商务、CRM、ERP等等)。

鉴于上述原因,SAN市场份额已达到了50亿美元的水平,并预计在接下去的几年中将以每年50%或更多的速率递增。

图三:一个基于Web的SAN和NAS的联合应用

NAS vs. SAN。两种技术孰优孰劣的一直是市场上争论不休的热点问题,但实际上这种争论完全没有意义。两种技术都是用来解决存贮的增长和管理问题的,如图三所示,多数解决方案的关键所在就是速度问题,包括将所有数据存贮到公共存贮池中,然后根据应用程序或用户需要以块或文件的方式进行访问。图三显示了一个Internet应用的例子,其中将NAS和SAN结合起来运用,请记住,就算前端是通过以太网连接的NAS设备,其后端也往往通过SAN与磁盘阵列进行连接。

所有这些解决方案都说明一个结论:不管厂商如何宣传,两者都是必需的。存贮网络的概念只有同时包括了NAS和SAN时,才具备了存贮和网络集中化的全部精华。具体哪种方法是最合适的要由应用程序决定,例如,处理交易事务的财务应用程序(OLTP,在线交易处理)将从SAN的应用中受益菲浅,因为其后台数据库一般是按块级数据处理方式来设计的。而与此相对,电子邮件应用程序是文件级的处理方式,因此NAS设备更为适用。对于具有跨越NAS和SAN边界应用程序的企业来说,要快速建立存贮系统必须对存贮策略进行通盘考虑,以便将这两种技术无缝地进行组合运用。(参见表一)

NAS

SAN

智能存储综述:数据类型

文件

协议

以太网,TCP/IP

光纤通道(FC)

网络

传统

新型

智能存储综述:实施难易程序

非常容易

比较困难

性能

优越

优越

智能存储综述:典型应用

Email, CAD, Web 主机

OLTP, 财务,数据仓库, ERP

智能存储综述:存贮设备

单一厂商

可选择多厂商

价格

中等

* 电子商务可以同时运用NAS和SAN两种技术

表一 NAS和SAN的对比

智能存储综述:结束语

存贮需求每年都在成倍增长,存贮管理成本一再超出预算,存贮经验非常缺乏,传统的存贮基础设施正处于转换点上。SAN和NAS都是很好的新技术并有希望成为新一代标准,但是对于具体的实施技术选择并不容易,是立即采用已有的FC技术,还是等待更先进的iSCSI或InfiniBand?明智的做法应该是立即行动,首先可采用现有的FC技术,因为企业有迫切需要;同时要注意能满足那些尚未完善技术的需要。

许多厂商正在研制从FC到iSCSI或是InfiniBand间的桥梁产品,因此在FC方面的投资并不会浪费。立即行动,就可以获得SAN和NAS应用方面的经验,不管将来哪一种技术主导潮流,都可以应对自如,对于没有这些经验的企业来说,则必将在存贮的“海啸”中坐以待毙。

相关链接
实时数据管理:填平数据仓库与实时系...2003-04-17 推动“知”“行”合一--Teradata华...2003-04-26
出色的竞争情报等于光辉的未来2003-05-05 数据挖掘:扩充信息仓库框架_12003-05-05
为“仓库”提供优良原料2003-05-10 Oracle Business Intelligence介绍2003-05-11
信息时代的组织智商2003-03-21 ROI不是数据仓库的梦想2003-03-20
是的,你的确需要数字神经系统-以及为...2003-03-18 数据挖掘系列讲座之二:数据挖掘与数...2003-06-09
信息化软件应用目录
OA 办公自动化系统 CRM 客户关系管理系统 PM 项目管理系统 SCM 供应链管理系统 CC 协同商务系统 BPM 业务流程管理 BI 商务智能 CMS 内容管理系统 KM/KBS 知识管理系统 电子商务系统 HRM 人力资源管理系统 ERP 企业资源计划 EAM 企业资产管理系统
升蓝首页 | 文档首页 | 产品首页 | 服务首页 | English Version | Big5 Version | 联系我们
Copyright © 1999-2008 深圳市升蓝软件开发有限公司  URL: http://www.hi-blue.com