数据仓库概述(1).doc

数据仓库数据仓库概述随着计算机技术的飞速发展和企业界不断提出新的需求，数据仓库技术应运而生。传统的数据库技术是单一的数据资源，即数据库为中心，进行从事事务处理、批处理到决策分析等各种类型的数据处理工作。近年来，随着计算机应用，,网络计算，开始向两个不同的方向拓展，一是广度计算，一是深度计算，广度计算的含义是把计算机的应用范围尽量扩大，同时实现广泛的数据交流，互联网就是广度计算的特征，另一方面就是人们对以往计算机的简单数据操作，提出了更高的要求，希望计算机能够更多的参与数据分析与决策的制定等领域。特别是数据库处理可以大致地划分为两大类：操作型处理和分析型处理（或信息型处理）。这种分离，划清了数据处理的分析型环境与操作型环境之间的界限，从而由原来的以单一数据库为中心的数据环境发展为一种新环境：体系化环境。数据库系统作为数据管理手段，从它的诞生开始，就主要用于事务处理。经过数十年的发展，在这些数据库中已经保存了大量的日常业务数据。传统的业务系统一般是直接建立在这种事务处理环境上的。随着技术的进步，人们试图让计算机担任更多的工作，而数据库技术也一直力图使自己能胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。后来人们逐渐认识到，在目前的计算机处理能力上，根本无法实现这种功能，而且，另一方面，事物处理和分析处理具有极不相同的性质，直接使用事务处理环境来支持决策是行不通的。事务处理环境不适宜DSS应用的原因主要有以下五条：（1）事务处理和分析处理的性能特性不同。在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短；在分析处理环境中，用户的行为模式与此完全不同，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。（2）数据集成问题。DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得月完整，得到的结果就越可靠。当前绝大多数企业内数据的真正状况是分散而非集成的。造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。（3）数据动态集成问题。静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些 变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。（4）历史数据问题。事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，切不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用。但对于决策分析而言，历史数据是相当重要的，许多分析方法必须一大量的历史数据为依托。没有历史数据的详细分析，是难以把握企业的发展趋势的。DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。（5）数据的综合问题。在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。数据仓库应用概述当今世界充满了剧烈竞争，正确及时的决策是企业生存和发展的最重要环节。现在，愈来愈多的企业认识到，企业要想在竞争中取胜，获得更大的收益，至关重要的是，必须利用计算机和网络技术、数据仓库技术，深层次地挖掘、分析当前和历史的生产业务数据，以及相关环境的相关数据，自动快速获取其中有用的决策信息，为企业提供快速、准确和方便的决策支持。通过对企业生产和计划的完成情况及相关环境数据进行多角度多层次的分析，以使企业的决策者及时掌握企业的运行情况和发展趋势，并对制定生产计划和长远规划提供理论指导，提高企业的管理水平和竞争优势。以下就对数据仓库的应用、技术、市场、前景等几方面进行简述。第一篇 数据仓库技术在各行业的应用与实例一在证券业的应用关键字：数据仓库、证券数据仓库技术在证券业的应用十分广泛，它可处理客户分析、帐户分析、证券交易数据分析、非资金交易分析等多个业界关心的主题，这是证券业扩大经营、防范风险的预警行动。证券公司利用客户行为分析系统数据仓库技术将所有客户的操作记录进行归类和整理，并结合行情走势、上市公司资料、宏观微观经济数据等，在掌握大量数据的情况下，对客户的行为和市场各因素的关联、客户的操作习惯、客户的持仓情况、客户的盈亏情况、公司的利润分布等进行统计和分析。从而获得以往一直想获得但却无法获取的关于客户在本公司的行为、盈亏、习惯等关键信息。证券商在获得这些信息后，就有能力为客户提供针对其个人习惯、投资组合的投资建议，从而真正作到对客户的贴心服务。（/caijinghot/cjhot/19990609070135.htm）实例：深圳国信证券建立数据仓库1999年4月，深圳国信证券的数据仓库系统(由Sybase公司提供解决方案)一期工程完成，该项首期投资近200万元数据仓库系统建设的出发点是为当前公司的决策者提供快速有效的各种报表和分析方式，提高公司的市场反应速度和竞争力水平。更有效地发挥OLTP系统的效益，在此基础上“多快好省”地建设DataWarehouse/DSS。同时，考虑到公司业务系统的不断完善和决策支持的更高要求，对不断增长的企业数据具有无限的可扩展性并提供可控的快速查询响应时间。该系统包括了客户分析、账户分析、证券汇总分析、资金交易分析、非资金交易分析等多个业界关心的主题。公司用户可以通过固定灵活报表、多维分析等多种形式实现多个层面的数据访问，数据访问的手段包括访问授权的内部Web站点、通过自动EMail邮件转发、直接Client/Server连接等多种方式。该系统的完成是国内开放平台数据仓库系统建设的一个成功案例。（/computer/0615-05.htm）二在银行领域的应用：关键字：数据仓库、银行随着社会主义市场经济改革的深化，传统的计划金融模式逐渐瓦解，市场金融模式逐渐形成。在这个变革过程中，由于体制、市场、企业、个体等经济要素变化、发展的不平衡性，带来了银行对各种金融变量控制的随机性和模糊性，如何防范银行的经营风险、实现科学管理以及进行决策，成为当今金融研究的一个重要课题。90年代出现的数据仓库、OLAP（联机分析）、数据采掘、多媒体、高带宽网络技术，使银行的科学管理有了一个新的技术支持。利用数据仓库的强大功能，银行可以建立企业客户群、个人客户群的数据库，并对企业的结构、经营、财务、市场竞争等多个数据源进行统一的组织，形成一个一体化的存储结构，为决策分析奠定基础。通过先进的信息加工、分析、处理软件，加上银行的经营决策、信贷营销人员的个人经验，对每一个投资方向、每一笔贷款作出科学的判断，可以有效控制投资、信贷风险。（/9905/990505.htm）银行决策支持系统是建立在银行管理信息系统基础之上的、以银行数据库和数据仓库为基础，包括各种辅助制定货币政策、开拓金融业务等的模型库、方法库和知识库。 目前，在国外运用非常成功的有决策支持系统。例如有许多著名的金融机构从基于大型主机信息管理的多个系统，转向一种客户/服务器结构下的数据仓库解决方案。惠普开放数据仓库是被用在金融服务中增加决策支持的框架，这个金融业后台管理的工具更类似于传统的“仓库”旦它的数据项被下载，在一个集中的存储单元以一种有序的方式登录及存储，能对数据进行检索、求合，以各种格式装入多个地址。可以给决策支持一个共同的信息源，消除很多金融服务机构的“数据混乱”的现象。（/eao/magazine/newchance.html）实例1：南京市利用数据仓库技术实施贷款证制度1997年5月，南京分行开始着手进行南京市贷款证管理网络系统的研制与开发。该系统采用客户/服务器的数据平台结构、数据仓库技术和软件构件技术。1997年7月1日，该系统的一期工程完成并正式投入使用。该系统覆盖南京市区及市辖5县的省、市、县三级一千余家金融机构的贷款证管理业务,大大提高了贷款证系统的工作质量与效率，同时也提高了南京市信贷业务的决策管理水平。从实际运行情况来看，该系统功能齐全、操作方便、结构合理、运行稳定。（开发过程详见：Http://9906/9906-05.htm）实例2：中国银行省、市两级金融管理信息系统采用数据仓库技术中国银行省、市两级金融管理信息系统是中国银行广东省分行承担开发的国家“八五”科技攻关项目（子专题编号：85-712-14-9-9）。该系统在工程组织和总体方案设计上采用数据仓库（DATAWAREHOUSE）及联机分析处理（OLAP）理论。系统重点围绕中国银行资产负债管理的要求，建立覆盖全省22家分行的数据采集网络，初步实现了计算机业务系统数据和手工报表数据采集、存储的自动化。同时面向各级经营管理人员，开发出财务分析、业务管理、动态报表和金融资讯计50余项管理分析应用。1996年3月，系统在本行投入使用，至97年7月，系统已在广东省22家分行全面推广使用，成为中国银行省、市分行实行科学管理的有力工具。中国银行省、市两级FMIS系统在利用和规范现有网络资源、系统资源的基础上，构造出数据采集、数据仓库、数据呈现三个分系统框架。与中国银行收付清算网络、中国银行办公自动化网络、香港德励财经资讯网络，以及ES/9000、AS/400主机业务系统均实现了连接和集成。（/jiangli/6_bank.htm）附例：明日银行的展示ATM（自动柜员机）或自助终端提供商NCR，其新近在英国苏格兰生产厂开发生产了视网膜识别ATM系统，该系统结合数据仓库技术模拟了未来银行的运作过程：步入这家银行，该客户便被作为特殊的个人对待。通过终端擦过其银行卡，便会给出一个特别编号的排队票，该票直接与银行的数据仓库连接，瞬时识别用户，并送出一条是谁在等待的信息。此后代表用户的就是一个号码。柜员机顶上的视频屏幕显示出按照用户剪裁的广告。比如在数据仓库储存的交易表明，用户已申请一项抵押，屏幕上就可能出现一个家庭保险的广告。在柜台旁边这是一对一的关系，而柜员机随时拥有同一用户的信息，并可提供特殊顾问的帮助。整个过程不用纸和笔，用户在电子键盘上与银行达成协议。传统银行潜力有限，运营成本太高。“明日银行”告别了烦琐的手续和规定，如果一项贷款需要资深经理审批，银行的网络系统便会自动将电子文件和一条电文发送给这位经理，让其对此发出指示。挪威联合银行估计，仅表格一项每年就可节省1000万美元。银行员工也不再需要在每天结束工作前，花费一两个小时填各种报表、跟踪贷款请求以及其他管理业务。NCR已帮助挪威联合银行设计并实施一种新型总体“银行平台”，包括用户与银行打交道时用到的所有信息、规则和过程，从银行到ATM、电话和Internet。NCR在几周内帮助这家银行建立了一家“Internet”银行。实现从银行到数据仓库，再到每个交付渠道的经营业务新模式。（/98/week/9809/980928a_04.html）三在税务领域的应用：关键字：数据仓库、税务增加税收、提高效率、改善执法的一致性与公平性、降低对纳税人的负担和干扰，是税务稽征部门的重要目标。然而这些目标往往又是相互冲突的，要在其间找到最适当的平衡点非常困难。通过应用数据仓库技术，对税收部门的内部和外部数据进行综合分析处理，可以解决三个方面的问题：一是查出应税未报者和瞒税漏税者，并对其进行跟踪；二是对不同行业、产品和市场中纳税人的行为特性进行描述，找出普遍规律，谋求因势利导的税务征稽策略；三是对不同行业、产品和市场应收税款进行预测，制定最有效的征收计划。数据仓库技术之所以能够查出漏税者，其基本思想是通过对大量数据资料的分析来掌握各行各业、各种产品和各类市场的从业人员以及企业的纳税能力，并与其实际纳税金额进行对比，从而查出可能的偷漏税者。数据资料获取和匹配技术是这一功能的基础，数据挖掘技术（DataMining）也必不可少。这些技术所面临的一大挑战就是数据来源的多样性。数据量非常大，而且以不同的形式来自不同的地方和部门。有效利用这些数据就是NCR推出可伸缩数据仓库（ScalableDataWarehouse）的目的。可伸缩数据仓库是由纳税人特征描述系统对纳税人过去的行为进行分析，由市场划分系统将具有相似特征的纳税人归入同一类，进而对这一类纳税人的普遍行为做出预测，设计出适合这类纳税人的税务征稽方案。数据仓库技术在政府税收部门的应用带来的效益是可观的。澳大利亚政府税务部门将数据仓库技术用于支持税收业务。系统经过3年的运行，投入回报率达到115。美国德克萨斯州政府税务部门采用数据仓库技术半年，而且工程尚未结束，每月已可带来600万美元的收益，预计每年的收益将超过8000万美元。（/99/week/9905/9905a21b.asp）实例：深圳市国税局与深圳奥尊电脑公司合作开发新一代税务信息化系统 近日，深圳市国税局与深圳奥尊电脑公司合作，以蛇口国税为试点，开发了新一代税务信息化系统，目前已投入运行。该税务信息系统以办公自动化为核心，实现跨平台、跨区域、多功能的智能办公系统全面融合电话报税系统、网上税局技术，使纳税人通过电话或Internet进行纳税申报以及企业报表填报，提供税务系统的业务数据统计分析功能及数据仓库系统决策支持功能。这种税务电子一体化的技术既方便了纳税人，实现了多渠道报税，又减轻了税务人员的工作负担，实现了业务处理上的申报自动化；同时通过企业填报各种发票清单和财务报表，使税务稽查变得有据可依，而且在这些丰富的数据基础上利用数据仓库技术，实现决策支持，提供有用的统计分析结果。（/sunboroot/044/308/h12.htm）四在保险业的应用与实例：关键字：数据仓库、保险业随着商业保险公司业务系统日趋完善，数据交换和处理中心的建立，如何满足保险行业日益增长的各种查询、统计、报表以及分析的需求，如何提高防范和化解经营风险的能力，如何有效利用这些数据来实现经营目标，预测保险业的发展趋势，甚至如何利用这些数据来设计保险企业的发展宏图，在激烈的竞争中赢得先机是保险决策支持系统需要解决的问题，也是目前保险企业在信息技术应用上的首要难题。数据仓库技术、联机分析处理技术的日趋成熟和Internet的普及加速了决策支持的实用化过程。实例：菲奈特与深圳华安保险公司的合作6月菲奈特与深圳华安保险公司合作联合开发财产险主业务系统（ SPS ）和保险决策支持系统（ IDSS ）。(IDSS详细资料在/IDSS/index.html) 这是金融业决策支持系统在华南地区的首例商业应用，也是数据仓库在保险业的成功应用。该系统是以数据仓库（DataWarehouse）技术为基础，联机分析处理（OLAP）和数据挖掘（Data Mining）工具为手段（DW+OLAP+DM=DSS）的一整套可操作、可实施的整体解决方案，适用于UNIX和Windows NT平台，可以使用SQL Server、Platinum 、Sybase IQ、Informix MetaCube等OLAP服务 器，可连接多个业务系统的异构数据源（如：Informix、Oracle、DB2、Sybase、SQL Server)，并同时提供Client/Server与Web两个操作版本。该系统充分利用了数据仓库的先进技术以及联机分析处理机制对数据的多维动态查询、分析和钻取功能，建成了保险决策支持系统。该系统能进一步挖掘保险公司现有的各种数据的潜力，提供了关键业务指标分析、 业绩分析、财务分析、市场分析、重要险种分析、重大事件分析、即席分析、风险评估、业务预测、风险告警和风险预测等功能，为保险公司领导层及时掌握经营管理的真实动态，作出科学决策提供多方位、多层次、多视觉的信息服务和重要的数据依据。（/main.htm）五控制金融风险的应用：关键字：数据仓库、金融控制金融领域的风险是当前全球经济界最关注的问题之一，去年开始的东南亚金融危机不但没有缓和，反而有波及全球的趋势，其中一个重要原因就是各金融机构缺乏风险管理。中国也面临着类似的问题。从金融业务角度来讲，在70年代，金融业务大多运行在主机系统上，系统庞大而且复杂，由IT部门来掌管，业务人员几乎100地听从IT技术人员的安排。在这一阶段，几乎可以说是金融机构中的IT部门带动金融业务的发展；到了80年代末期，PC机大规模普及，金融机构的业务人员自己就可以购买到小巧、实用的应用软件，在此基础上开展了很多新的应用，不再受制于IT部门。这一方面丰富了业务种类，另一方面也形成了很多“信息孤岛”，使金融机构很难将各种各样的应用统一起来，领导决策层也很难搞清楚机构的整体运作情况，存在风险的可能性更大。从技术角度来讲，在这种情况下，数据仓库是使这些信息集成起来的最有力的方式，数据仓库技术以及与其他软件有机集成，可以有效地进行金融运作中的风险管理。这也是数据仓库技术和产品近年来十分流行的原因。防范金融风险的关键是强化中央银行的金融监管能力。特别是一旦人民币可自由兑换，我国的金融业将直接面临国际金融市场的冲击，中央银行的金融监管作用就愈加重要。为加强金融监管和调控能力，从80年代中期开始，人民银行就在加快金融电子化建设，建立了金融卫星通信网，运行全国电子联行系统等多项业务系统，1993年还开通了金融信息快速采集传输系统工程。在此基础上，应不失时机地建立相应的基于数据仓库上的金融预警系统和智能化的金融监控系统。一旦这些系统建成，并能实现互动操作，就将组成完整的中央银行的支付体系和金融监控体系，将为有效地履行中央银行的职能提供强有力的保证，才能使我国的金融监控体系建立在可靠的基础之上，才能实时地监控着整个国民经济的运行情况，防范各种金融风险于未然。（/9905/990503.htm）实例：多家证券、银行机构采用数据仓库技术目前，华尔街62的银行、保险、证券等机构采用数据仓库技术进行风险管理，其中包括著名的摩根斯坦利、花旗银行、加拿大蒙特利尔银行、加皇银行等。数据仓库服务器SybaseIQ、复制服务器ReplicationServer，以及其他相关软件，帮助金融机构进行风险的评估、预测以及防范等工作，从而使风险控制到最小。（/98/week/9809/980928_09.html）六在客户服务及营销方面的应用：关键字：数据仓库、客户、营销1）在客户服务方面数据仓库是以数据库技术为基础但又与传统的数据库应用有着本质区别的新技术，CRM就是基于数据仓库技术的一种新应用。但是，从商业运作的角度来讲，CRM其实应该算是一个古老的应用了。比如，酒店对客人信息的管理，酒店很自然地会知道常客的某些习惯和喜好，当客人再次光临时，不用客人自己提出来，酒店就会提供客人所喜欢的服务。这就是一种CRM，只是它并没有采用高科技手段，而是通过古老的诸如记在卡片上等方式来实现的。CRM是一个新兴的客户服务市场，据GartnerGroup的Dataquest的市场研究表明，美国的CRM市场开发利用尚不到20，而在欧洲和亚太地区，该市场还是一片空白。预计CRM市场到2002年将以44的年复合增长率迅猛发展，如果Internet商务(1-commerce)的发展速度比预期的更快，这个数字会更高。适合CRM市场的软件主要是把现有传统系统和多年来收集的客户数据进行集成的产品。（/sunboroot/044/308/f17.HTM）现代商业竞争越来越激烈，客户群体越来越庞大，客户对服务的要求也越来越高，因此CRM远远超过了上述简单的内容，仅靠手工是难以完成的。但是，由于不同企业的客户群各不相同，客户管理的内容也千差万别，所以开发出放之四海而皆准的万能CRM产品也是不现实的，而是需要针对不同行业提供不同的CRM产品。目前，Sybase可以提供面向4个行业领域的CRM产品，即：电信、金融、保险、医疗保健。在这4个产品中，有80的功能是共性的，有20的功能需要Sybase和合作伙伴共同针对不同客户的不同需求进行开发。其中80共性功能包括7个模块：客户概况分析（Profiling）包括客户的层次、风险、爱好、习惯等；客户忠诚度分析（Persistency）指客户对某个产品或商业机构的忠实程度、持久性、变动情况等；客户利润分析（Profitability）指不同客户所消费的产品的边缘利润、总利润额、净利润等；客户性能分析（Performance）指不同客户所消费的产品按种类、渠道、销售地点等指标划分的销售额；客户未来分析（Prospecting）包括客户数量、类别等情况的未来发展趋势、争取客户的手段等；客户产品分析（Product）包括产品设计、关联性、供应链等；客户促销分析（Promotion）包括广告、宣传等促销活动的管理。-这就是CRM中所谓的7P。（/99/week/9921/9921c19.asp）2）在营销方面市场信息数据仓库有一个新的挑战：保持用户。这需要找到一种方法,运用收集到的数据来预测用户未来的购买行为,这就是数据库营销法的所在。数据库营销就是把数据库采掘与预测模型以及台式显示工具结合起来,以帮助市场营销人员对客户行为作深入的洞察分析。最终的目标是预测用户的忠诚度,也就是哪些用户对该品牌依然衷情,哪些用户甘愿转向其他。如果能够预测到这些行为,就能够有更大的机会来留住客户。减少用户的转向，保持原有的用户市场比开发许多市场要廉价得多,尤其是在电信和无线通信领域更是如此。电信和家电领域的管制撤销意味着用户有了更多的选择,用户的多种选择对于公司来说又意味着用户流失的风险和更高的市场营销费用。成功实现数据库营销系统的关键在于3方面组件的集成：(1)存储在数据仓库或数据处理机中的事实数据大都来自于帐目系统;(2)统计技术或使用预测模型的工具;(3)功能强大的展示工具。目标是实现一个能产生精确描述客户群的程序。一旦数据采掘引擎从数据仓库中挑出一组客户,下一步是进一步推测分析精确的客户特征,这些特征反应哪些用户最有可能转向一项竞争产品或服务,对每一轮新产生的客户数据,都产生一组新的统计模型来分析客户群。理解预测模型和他们如何实现并不是很容易的事,事实是大多数IS商家都没有独立进行这种项目的准备。在这个领域, 大多数的IS经理们认为他们组件建立不了预测模型，而必须结合数据仓库技术和数据采掘技术理解预测模型。（/dx/dx701/701023.html）实例：南加利福尼亚石油公司实施数据库营销计划在南加利福尼亚石油公司,管制撤销是启动数据库营销计划的推动力,这家公司利用它的大型机和DB2数据库,并完善了它现有的数据分析工具来聚焦它的营销目标。在过去两年里,该公司使用数据采掘技术来预测用户行为,使其直接营销费用节省了大约40万美元。使用数据库营销技术、市场部能够详细描述最可能继续合作的用户群。运用SAS来推测哪些用户需要石油,便可集中注意力于这些用户,给予他们最优厚的夏冬季差价。然后,建立一个模型用来分析每一位用户,把最可能的客户选出,于是就把市场注意力转向他们。这样做对于直接营销来说，在7%到11%之间回应率是很可观。（/dx/dx701/701023.html）七在保健领域的应用：关键字：数据仓库、保健实例1：美国Columbia/HCA保健公司使用3COM信息技术提供保健保证在保健方面,美国Columbia/HCA保健公司, 美国一家赢利性医院系统，使用一项3COM信息技术来帮助它在这个不断变化的时代提供保健保证。在3COM技术中就成功地用到数据仓库,它用来跟踪结果和制订连续性保健协议。Columbia/HCA是个庞大企业，该公司的信息系统机构有3万名雇员、约350家医院（平均拥有大约200张床位）、150个流动手术中心、180个技术熟练的护理中心和100多个精神病保健单位。该公司每天接待10多万名病人，而每年就要给病人做190万个手术。数据仓库利用3COM技术较好地解决了公司机构的复杂性。（/SOLUTIONS/healthcare/990210_12_02_05.asp）实例2：美国健康服务公司AetnaHealthcare建立数据仓库美国一家大型的健康服务公司AetnaHealthcare为了实现以较低费用获取较高质量的治疗效果,制订出适当而可靠的标准，建立了一个独立完整的数据仓库,它依据医疗诊断、门诊、药房到实验室数据资料，揭示出如何以较低费用获取较高质量的治疗策略趋势和模式，从而实现低成本高效益。（/sunboroot/044/308/f60.htm）八在其它领域的应用关键字：数据仓库实例1：NCR联合太平洋铁路公司，将几百个数据库合并转换成数据仓库应用系统，能准确识别豁免税购买，一年能节省100万美元营业税。通过在部分铁轨上提速，每月节省30万美元。应用系统在可支付帐目、设备维护、市场营销以及汽车和火车头调动等方面提高了操作效率，改进了服务质量。实例2：Sears服装集团公司建立的数据仓库应用系统能够监视每个分店的销售情况，并使他们实现具有本地市场特点的战略目标。如零售商可以在竞争对手的商店中适当安排电子类产品，扩大营销范围。在地区与少数民族市场上，为顾客提供他们所需的花色齐全的服装。实例3：比利时国家电信经纪人使用数据仓库建立的顾客信息系统，其中数据仓库拥有超过1万亿字节的数据，包括四个多月的电话通信记录。通过欺骗检测功能，能够很快发现反常电话以及欺骗性的打电话方式，并能在造成重大经济损失之前终止这种欺骗行为。实例4：美国东北部农场主所有的最大联营公司之一Agway公司，在被竞争对手抢走了一些市场份额后，建立了数据仓库应用系统，将焦点对准市场机遇，扩大了销售额，提高了利润，使市场情况得到好转。（/98/week/9806/980615_08.html）此外，英国电信采用数据仓库应用系统保证了关键性业务的处理，福特汽车公司、Motorola、GE总部、AT&T等在高端信息系统中也应用到数据仓库技术。上海集装箱码头的项目、深圳华为、上海强生、上海日立、广东省长话计费系统、新飞集团、浙江省移动通讯计费系统等也成功采用了数据仓库技术。（/eao/n9.html）第二篇 数据仓库有关技术一技术上获取信息存在的问题数据仓库作为决策支持系统和联机分析应用数据源的结构化数据环境所要研究和解决的问题就是从数据库中获取信息。将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法，但在实际的操作中，要获得有用的信息并非如想像的那么容易：1. 所有联机事务处理强调的是密集的数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同，同一个数据库在理论上都难以做到两全。2. 业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设。3. 业务数据的模式针对事务处理系统而设计，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。（/99/9909/0921.asp）二数据仓库系统的三个工具层关键字：数据仓库、工具OLAP的查询分析型工具、DSS的分析预测型工具、数据挖掘的挖掘型工具一起构成了数据仓库系统的工具层，它们各自的侧重点不同，适用范围和针对的用户也不相同。具备了这三种工具的数据仓库系统，才能真正高效地利用数据仓库中蕴藏的大量宝贵的信息。1）联机分析处理（OLAP）联机分析处理(OnLine Analytical Processing，OLAP)主要通过多维的方式来对数据进行分析、查询和报表。它不同于传统的联机事物处理(Online Transaction Processing, OLTP)应用。OLTP应用主要是用来完成用户的事务处理，如民航订票系统、银行储蓄系统等等，通常要进行大量的更新操作，同时对响应时间要求比较高。而OLAP应用主要是对用户当前及历史数据进行分析，辅助领导决策。其典型的应用有对银行信用卡风险的分析与预测、公司市场营销策略的制定等，主要是进行大量的查询操作，对时间的要求不太严格。目前常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP。在数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。（/99/9904/0431a.asp）2）决策支持系统(DSS)决策支持系统(DSS)和数据仓库的目标用户相同，都是面向企业的中高层领导，它们执行的都是决策和趋势分析类的应用，DSS中的一些技术可以很好地集成到数据仓库中，并使数据仓库的分析能力更加强大。例如：DSS中的传统统计分析模型可以帮助用户对数据仓库中的数据进行更加有效、更加深入的分析，从而更好地掌握和利用信息。而一些智能决策技术，如人工神经网络在发现顾客行为模式、预测金融市场行为等方面显示了强大的功能。这些DSS的核心技术在数据仓库中的应用不但会大大提高数据仓库的决策支持能力，同时也使DSS的应用范围更加广泛。3）数据挖掘数据挖掘是当前业界的热门技术，已经在多个应用领域产生了巨大的效益。数据挖掘不一定需要建立在数据仓库的基础上，但是如果将数据挖掘和数据仓库协同工作，则可以简化数据挖掘过程的某些步骤，从而大大提高数据挖掘的工作效率。并且因为数据仓库的数据来源于整个企业，保证了数据挖掘中数据来源的广泛性和完整性。数据挖掘技术是数据仓库应用中比较重要也是相对独立的部分。目前，数据挖掘技术正处在发展当中。数据挖掘涉及到数理统计、模糊理论、神经网络和人工智能等多种技术，技术含量比较高，实现难度较大。此外，数据挖掘技术还会同可视化技术、地理信息系统、统计分析系统相结合，丰富数据挖掘技术及工具的功能与性能。（/99/9904/0431a.asp）二数据仓库的关键技术与关系数据库不同，数据仓库并没有严格的数学理论基础，它更偏向于工程。由于数据仓库的这种工程性，因而在技术上可以根据它的工作过程分为：数据的抽取、存储和管理、数据的表现以及数据仓库设计的技术咨询四个方面。（详细资料见：/99/9909/0921.asp）三几家公司的数据仓库解决方案：关键字：数据仓库、解决方案1）Sybase的数据仓库解决方案Sybase的数据仓库解决方案uick Start DataMart，包括Sybase IQ、Caleton PASSPOR、Brio Query、Cognos Powerplay等一系列软件，支持DB2、MS、VSAM、Sybase、Oracle、Informix等关系型数据库，还有文本格式的数据。它能够同时处理几十个即席查询，其BitWise技术和垂直数据存储技术使系统只访问特定的少量数据，使得查询速度比传统的关系型数据库管理系统快100倍。2）Platinum technology公司解决方案Platinum technology公司的数据仓库解决方案为企业提供完整、一致的数据,以保持商业决策的及时、正确性。Platinum technology的数据仓库解决方案包括数据抽取和提炼、数据分布、元数据管理、数据存取和分析(OLAP、EIS、报表)、保险、销售和营销决策支持等几个方面。它提供的数据仓库工具包括异构数据库之间数据双向复制的应用系统开发工具Info Pump和功能强大灵活的关系型OLAP工具Info Beacon等；提供的数据仓库前端业务智能解决方案工具包括使用户能够快速建立和使用的图形化企业信息系统应用的基于Windows的查询和报表工具ForestTrees，可以利用多个大型数据库在桌面机或服务器上生成报表的企业级报表的工具Info Reports，使用户在服务器上生成在用户端制作的企业报表的工具Info Reports Server。这些工具使用户不需编程即可查询关系数据库、数据仓库或数据文件的数据。（/sunboroot/044/306/c63.htm）3）HP公司解决方案HP公司是在HP9000高端解决方案之上提出的各应用数据仓库解决方案。惠普公司的开放式数据仓库是基于简洁(Simplicity)标准(Standards)技巧(Skills)三点原则而设计的。它向用户提供从关系型数据库到基于Internet的报告/查询工具以及数据采集等多种多样的数据仓库工具。HP所提供的咨询与项目服务涵盖了从数据处理设计，到网络架构、硬件设计、备份、灾难恢复、客户访问、培训、帮助、管理等各个方面。此外，它的数据仓库计划包含了HP智能数据仓库(Intelligent Warehouse)，简化了数据仓库的管理，提高了异构数据仓库的性能，并能运行于多种平台。（/eao/4-4.html）4）IBM解决方案IBM的商业智能解决方案融汇了众多合作伙伴和第三方开发商的产品，例如，在查询工具中有Cognos的Impromptu、Business Objects的Business Objects、Lotus的Approach和IBM的Query Management Facility，多维分析OLAP工具有Arbor software的Essbase、IBM的DB2OLAP服务器（与Arbor联合开发），统计分析工具有SAS公司的SAS系统，数据挖掘工具有IBM的智能挖掘机（Intelligent Miner）。许多这种应用软件和工具都具有内置的Web浏览器支持和Lotus Notes，使用户能够在熟悉的桌面环境内获得所需的信息。（/news/news1998/1998-06-05-1.html）5）Informix公司解决方案Informix公司日前发布了一个集成的、可伸缩的Fast Start数据仓库解决方案，以使用户能快速而便捷地设计开发具有可伸缩性的数据仓库或数据集市。Fast Start数据仓库解决方案内含实现数据仓库所需的所有基本部件，其中包括基于Informix的动态可伸缩架构（DSA）、Informix在线动态服务器（IODS）、Informix在线工作组服务器（IOWS），同时集成了具有关系型联机分析处理（ROLAP）技术的Informix-MetaCube3.0软件。此外，通过可靠地集成Netscape 的FastTrack服务器和Netscape企业服务器，该方案还可实现强大的Web驱动技术。同时，该方案还提供来自Informix专业服务部门的优先咨询服务、培训和技术支持。（/news/9704news/970426_8.html）（informix快速开发数据仓库实例详见/99/week/9911/9911c32.asp）6）Oracle数据仓库解决方案Oracle数据仓库解决方案在定义、建立和使用数据仓库的过程中存在以下三部曲：a)对最终用户的商业需求建立模型。数据仓库的设计者必须从各种最终用户中了解信息需求，然后将这些信息需求转变为数据模型。设计得必须以严密、精确的方法确保模型的完整性b）为元数据建立模型。在为最终用户需求建立模型的同时，数据仓库设计者还必须为元数据(关于数据的数据)建立模型。该信息确定了进入数据仓库的数据范围，以及与数据有关的规定。由于数据仓库是面向主题的，元数据的建模可能跨越数个功能性商业区域c）最后应该选择满足用户需要的工具，用户将使用这些工具访问数据仓库中存储信息。关于数据仓库，详细参见“Oracle数据仓库白皮书”。（/production/dec_support/express/express_solution.htm）（oracle数据仓库有关资料下载： /freedownload/default.htm）四一些工具软件：关键字：数据仓库、技术、工具、SAS、SPSS、data warehousingu IBM数据仓库提供的相关软件Visual Warehouse、BD2OLAPServer、Intelligent Miner等（/99/week/9913/9913a07.asp）u 可视数据仓库Vicual Warohouse。针对特定行业用户使用环境的解决方案包括专门为金融行业设计的Decision Edge for Finance、端到端的保险业解决方案DecisionEdge for Insurance、为满足银行业保留客户需求而设计的应用程序套件IBM Discovery Series for Banking、为电讯行业提供完美的客户服务的应用程序套件IBM Discovery Series for telecommunications、在JDEdwards事务处理系统环境下建立数据仓库的解决方案Business Analvsis Suite for JDEdwards、在SAP事务交易处理系统基础上建立数据仓库的套件Business Analys Suite for SAP、用于分析Web站点利用率的数据采集应用程序Surf-Aid，以及帮助企业向客户提供有独特个性行销资料的套件Infor Print Business Intelligence Solution。(/news/news1998/1998-06-05-1.html)u BusinessObjects是集查询、报表和OLAP技术为一身的智能决策支持系统，它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种平台和多种数据库，同时它还支持Internet/Intranet，可以通过WWW进行查询、报表和分析决策。(/sunboroot/044/306/c63.htm)u Oracle DiscovererTM工具（/production/dec_support/discoverer/discoverer_features2.htm）u Oracle最新推出的oracle8i是一个面向Internet计算环境的数据库，它改变了信息管理和访问的方式，将强大的新型功能引入到了联机事务处理(OLTP)和数据仓库应用之中。Oracle8i还对Oracle数据服务器的几乎所有方面都给予了增强，全面改进了质量、可用性、性能、可管理性、多媒体数据类型支持和复制功能。Oracle的决策支持产品包括数据仓库和OLAP商业智能工具。商业智能要求今天的机构能够生成企业报表，能够查询分析和进行在线访问处理。通过OracleReports,OracleDiscoverer和OracleExpress，Oracle是唯一的厂商提供低成本解决方案，为各种复杂问题提供快速解答，满足接连不断的商业智能系统需求。（/zazhi/n1/26.html）u ORACLE公司的新产品和技术：-OracleRDBMSV7-Oracle Express Server-Oracle Express Object-Oracle Express Analyzer等。（/success/finance/finacial1.htm）u Sybase与Ardent软件公司合作开发的Power Stage，是为使用客户/服务器数据源进行项目建立而提供的，这些数据源包括运行于Windows NT和UNIX平台上的业务系统。有了Power Stage，数据仓库开发者可以使用产品的虚拟设计应用，直接对数据的移动和处理进行建模。开发者不再需要进行编码，也不必使已有的转换程序成为一个重用组件。Sybase的适应性服务器，一旦数据被抽取和转换后，它必须在数据仓库或者数据集市中进行分布和存储。当数据仓库环境中出现不同的负载时，Sybase提供的适应性服务器产品系列使用优化的数据存储技术。（http:/www.chinaspeedr