CA数据仓库.doc

CA数据仓库产品目 录1 数据库建模 CA ERwin介绍11.1 ERwin 确立了建模和设计效率的标准11.2 自动生成数据库21.3 用完全比较支持迭代式设计41.4 使用维建模规则设计数据仓库51.5 ERwin 加快了数据库/数据仓库应用的开发进程51.6 使用ModelMart扩展到企业级62 数据采集及元数据管理 - CA DecisionBase介绍72.1 DecisionBase 解决思路82.2 利用先进的元数据管理技术，实现无比灵活的数据转换，移动，更新92.3 功能强大的图形映射工具（Mapper）,帮你迅捷地建立数据转移应用92.4 通过数据转移执行工具InfoPump，获得无以伦比的数据访问和控制102.5 功能强大而先进的元数据管理技术122.6 DecisionBase特性和功能简述133 OLAP服务器 CA InfoBeacon介绍143.1 把开放的OLAP带到关系型数据仓库143.2 先进的ROLAP技术让用户得到真正的商务智能能力153.3 高性能、可伸缩、中心管理能力153.4 让ProactiveAgents工作在你的数据上173.5 用鼠标拖拽方式创建快速应用17附录1 CA公司简介18附录2 CA数据仓库成功故事19附录3 美国银行信用卡业务数据仓库案例分析20数据仓库设计21数据仓库必须提供对客户完整统一的分析21数据仓库必须满足不同的分析需求21数据仓库必须提供基本的客户利润率分析功能22数据仓库必须能够加速整个企业范围的信息交付22数据仓库必须包含外部数据源23数据仓库必须能够在保留历史数据的基础上正确反映业务的变化23数据仓库有时必须将目前未具备的数据加入设计中23数据仓库必须有强大的WEB支持能力23使用数据仓库24客户关系管理24市场营销目标化25特约商户的拓展和管理25客户多元投资管理26反欺诈26自动化报表26结论26 II 1 数据库建模 CA ERwin介绍 CA ERwin 是功能强大、易于使用的数据库/数据仓库设计工具。它为设计、生成、维护高水平的数据库/数据仓库应用提供了非凡的工作效率。从描述信息需求和商务规则的逻辑模型，到针对特定目标数据库优化的物理模型，ERwin 帮助您可视化地确定合理的结构、关键元素，并优化数据库。 ERwin能为所有主流的数据库自动生成数据库表和成千上万条存储过程和触发器代码。其突破性的完全比较技术，允许迭代开发，随时把模型与您的数据库同步。把数据库与领先的开发环境集成在一起，ERwin 同样能加速以数据为中心的应用开发。 为了满足企业建模的需求，ERwin也能与CA的Model Mart集成。Model Mart是强大的模型管理系统，它使数据库设计者、应用程序开发者和最终用户共享ERwin的模型信息。除此之外，不同的开发人员共享并重用设计成果，使建模的工作效率最大化，并能够建立共同的标准。CA ERwin 提供一个中心蓝图，以确保公司的数据一致性，可重用性和完整性。1.1 ERwin 确立了建模和设计效率的标准 ERwin 使得设计数据仓库非常地容易，简单到只需通过点击的方式，为数据需求生成图形化的E-R（实体关系）模型，同时在逻辑模型中标明业务规则，显示所有的实体、属性、关系和键。而且，你可以使用它独特的用户定义属性在模型当中直接抓取对于你的业务十分重要的附加信息。 专业的建模特性，帮助您设计出更好的数据库。例如：处理属性时，仅需通过拖拉的方式，把属性从一个实体拖到另一个实体，快速地进行修改和规范化。图上编辑功能，可在图上修改模型，不需打开对话框。关系导航系统使您在大型模型中能快速移动，精确找到某实体的父实体和子实体。而且，模型确认报表使你便于检查你的设计。 ERwin不仅仅是画图工具，它以智能化方法把整个设计过程自动化。比如，ERwin允许对可重用属性创建一个字典，以确保在你的数据仓库设计当中始终使用一致的名称和定义。自动的键迁移，确保了数据库的参照完整性。 ERwin 允许你将大型企业模型拆分为若干小的更易于管理的子集，使得建模人员把精力集中在特定的主题领域。存储显示允许你存储同一主题领域的多个视图，易于与不同的使用者交流。 ERwin 数据模型能以不同方式进行编辑、显示和打印。ERwin与RPTwin 结合，RPTwin 是一种易于使用的图形化的报表书写器，带有预定义或由用户定义选项的报表浏览器，可全面控制报表的内容和外观。另外，独特的模板接口，使您可以把设计标准和显示要求用于其它模型。Erwin的独立属性浏览器使你在你的模型中重用属性1.2 自动生成数据库 ERwin 不仅是最好的数据库/数据仓库设计工具，同时它也是建立数据库最快速的方法。ERwin的设计针对不同目标数据库的物理特性进行优化。与其它工具不同的是，ERwin 自动保持逻辑模型和物理模型同步，并可方便地把逻辑结构，如多对多关系，转化到物理模型的实现。 ERwin 在数据库设计和数据库之间建立起强大的native连接，支持正向工程和逆向工程。使用该连接，能自动生成表、视图、索引、参照完整性规则（主键，外键）、缺省值、域/列约束。ERwin 包括一整套优化的参照完整性触发器模板，和丰富的宏语言，用于定制触发器和存储过程。成千上万条代码能自动生成-使基于模型的应用开发的效率达到令人难以置信程度。 数据库容量计算功能帮助你精确估计数据库或数据仓库的初始大小和增量，使你能高效地分配系统资源和完成容量规划。 无须写SQL CREATE TABLE 或 INDEX 语句来生成表和索引，就可以设计并生成数据库，又因物理设计是靠描述完整的逻辑结构来驱动的，因此您的应用从一开始就文档化了。ERwin 能对现有的数据库进行逆向工程，直接依据系统表画出数据模型。用这种方法很容易了解现有应用的结构和内容。ERwin支持所有领先的关系型SQL和桌面数据库，其中包括： Oracle, Microsoft SQL Server, Sybase, DB2, 和INFORMIX。 同样的模型能够生成多个数据库，或将应用从一个数据库平台移植到另一个数据库平台。1.3 用完全比较支持迭代式设计 完全比较是CA的具有突破性的技术，它改变了建模工具和数据库之间的交互方法。无论模型还是数据库有任何改变，完全比较支持各种差别的比较细节。通过突出差别，变化均可从数据模型到数据库，或从数据库到数据模型。ERwin 同样能自动生成修改脚本，在保持现有数据时更新数据库，完全比较使得数据模型与数据库随时保持同步。1.4 使用维建模规则设计数据仓库 数据仓库的执行性能和可用性是由它的设计质量确定的，Erwin支持星型结构和雪花结构的维建模规则，允许你在一个集成环境中无缝地设计你所有的业务系统，数据集市和数据仓库。使用Erwin的维建模规则设计事实表，维表和支架表。该模型能捕获丰富的与数据仓库相关的信息集并为该信息集提供详细的文档，它包括数据来源，转换逻辑和数据管理规则。Erwin支持维建模规则，帮助你设计高性能的数据仓库1.5 ERwin 加快了数据库/数据仓库应用的开发进程ERwin 还可以把数据库集成到应用开发过程中。通过与先进的client/server和Web开发工具连接，ERwin 让后端的数据库和前端的表格同步起来，高水平的应用也就得以更快生成。ERwin 还有一个重要特征是支持多client,使得client/server开发环境中的开发人员工作效率大为提高。ERwin 可以从数据模型直接自动生成PowerBuilder, Visual Basic 或VisualAge本身的数据存取组件，节省了开发步骤。 1.6 使用ModelMart扩展到企业级ERwin 与模型管理系统 CA ModelMart 集成，使得公司中每一个人能访问、共享、并重用ERwin 对象与模型。ModelMart为 ERwin 提供一个活动的数据字典,使得跨多模型的属性可以集中管理。ModelMart有内容广泛的模型管理功能，包括：建立子模型、版本控制、模型合并、影响分析和安全性等。ModelMart独立于平台和网络，可以方便地集成到现有环境中。 ERwin与CA Paradigm Plus集成使组织更容易地重用，共享数据和应用部件，确保数据模型与部件模型和生成的应用相吻合。2 数据采集及元数据管理 - CA DecisionBase介绍由于数据仓库的结构和传统数据库的结构有很大差别，存在于传统业务系统中的数据是不完全和不一致的。建立数据仓库的过程就是将原始存在于不同业务系统中的原始数据按照一定的规则进行重组和再加工，将其转换成更适用于决策支持的数据模型。将OLTP系统数据进行面向数据仓库的加载、清洗和转换以及整个数据仓库构造过程中的元数据管理是构造成功数据仓库的关键步骤，因为它关系到数据仓库系统的合理性、正确性、可管理性和可扩展性，因此以元数据为核心的数据仓库构造已经成为建立数据仓库的核心。CA technology 的DecisionBase就是这样一个能够满足上述需求的基于先进的元数据技术之上的数据转移和转换工具，它无须使你在复杂的数据转移实现和易于使用之间作出选择。它使用一种图形化的映射工具（Mapper），只需简单地拖拽鼠标并结合其内嵌的数据库接口，就能完成复杂的数据转移，生成脚本程序。它提供业界领先的元数据管理工具(Repository)，可确保跨越多个组织或部门的数据保持一致性。DecisionBase中还集成了CA公司的另一产品InfoPump,它采用标准的客户/服务器结构，通过API或者SQL语句可提供对所有主流数据库 （Oracle, Sybase, Informix, SQL Server, DB2 UDB, DB2 AS400, Infohub, Red Brick, Paradox, Lotus Notes, SAP, COBOL, Access, Excel, Foxpro, dBASE等）的访问。它提供一套通用的通讯函数，使你不必顾及后台数据库的类型而透明地访问它们。InfoPump还支持从一种数据库的数据类型自动转化到另一种数据库的相应数据类型。此外，它提供的时间调度机制允许你定义某一天或每隔几天运行某个任务（如定期更新）。通过一种类BASIC的脚本语言（script），可以从多个异构数据源中提取，清洗，合成，集成和同步数据, 而这种脚本语言是可以通过定义InfoPump对象data transfer自动生成的。还有值得一提的是，DecisionBase的元数据管理库（Repository）可以通过标准的浏览器（Internet Explorer或Netscape）在 Internet/Intranet 环境下访问，使得整个企业的信息系统结构一目了然并且能够方便，快捷地进行集中式的管理和维护，而不用顾及企业的各个部门分布在何地或是跨越了多长的时间范围。2.1 DecisionBase 解决思路 在对DecisionBase的特性作更为详细的介绍之前，有必要搞清楚DecisionBase的解决思路： 首先，我们要将待转移的数据库表的结构通过一个称为Scan Manager的工具 扫描到元数据库（Repository）中。扫描之后，在Repository中就会生成与被扫描对象结构一致的对象，如表，触发器，视图，存储过程等，之后定义的转移规则和对象描述都建立在这些对象上。接着，利用图形映射工具Mapper，定义好源表和目标表间各列的对应关系和转移规则。然后，Mapper 会根据这些信息，自动生成组件中数据转移执行工具InfoPump使用的脚本程序（Script）。我们可以在InfoPump中根据需要再作适当的修改或者直接运行它们即可。至此，数据转移过程就算结束了。所有在数据转移过程中使用的规则，关系，对象和程序等都作为元数据被记录在Repository中，我们可以通过Repository Editor对他们进行分类，归纳及修改，使它既能反映出企业的整体信息系统构建框架，又能深入到每个业务部门甚至每个操作的具体细节。最后，使用标准浏览器，就能访问到这些信息。2.2 利用先进的元数据管理技术，实现无比灵活的数据转换，移动，更新所谓元数据，简单地说，就是有关数据的数据（data about data），它记录了数据的产生，数据的定义以及数据之间关系等种种数据的属性。DecisionBase 的 Repository就是这样的一个元数据管理库，它在安装时已经内置了许多与数据转移相关的系统表，参数表和存贮过程。所有被扫描进来的对象及其相互之间的逻辑和约束关系（引用完整性和参照完整性）都作为元数据存贮起来。这就相当于在物理数据库和元数据库之间建立了一种映射关系。你实际上是对元数据库中的表定义转移规则。但由于有了这种映射关系，在作转移时，DecisionBase会自动连到相应的源和目标数据库中实现你所定义的转移过程。这也就是为什么DecisionBase可以作到迅速无缝地在异构数据环境下进行数据传输，而不管这些不同数量的数据是以各种格式存在于完全不同的平台上，因为它们都可以透过元数据这个相同的接口格式来交互地访问彼此，从而也使得跨越多个平台和部门的数据管理成为可能。 DecisionBase除提供主流数据库和支持ODBC数据源的扫描接口外，还提供了大量的应用开发工具接口，如Visual C+, Visual Basic, Java, PowerBuilder , ActiveX/COM等等，使它的适用性得到了极大的扩展。2.3 功能强大的图形映射工具（Mapper）,帮你迅捷地建立数据转移应用 用Mapper来建立转移规则和生成程序是再方便不过的了。在它里面，你可以浏览所有的数据库对象和建立新表，而后将要转移的表拖至工作区并定义相应的规则，这种规则既可以手写，也可以通过Wizard自动生成，它们实际上是InfoPump Script中的内置函数和流控制结构的组合。某些转移规则如果需要执行多次或有一定的通用性，则可将它们提升为一个可重用部件（Reusable Transformation）以方便将来调用。它有入口参数和出口参数（Input/output），完成定制的功能。此外，Mapper还可以生成数据仓库建模中使用最多的星型结构模型（Star Schema），你只需按照Star Schema Wizard一步步地走下去，就会生成最终你要求的模型，其中维表和事实表中的主键，外部键的约束关系都会被保留下来，并严格地遵循数据库中的定义。最为有用的是，Mapper可以生成事实表中的聚合（Aggregation）记录，它会自动地对每个维表中的Stored Level作排列，得到相应的统计指标值。这一点，对于把数据仓库的开发人员从烦琐复杂的SQL操作中解放出来具有极大的意义和实用性。 以上这些操作，可以通过Workflow Manager将它们作成一个工作流（Package）来依次执行，对要经过很多步骤，规则复杂的转移应用来说，它的方便性和精确性是显而易见的。2.4 通过数据转移执行工具InfoPump，获得无以伦比的数据访问和控制 InfoPump是一个数据转移和转换工具，它的完全开放的解决方案实现了数据库平台的独立。实际上，它支持25个以上不同业界标准的数据源，正如前所述。因为InfoPump具有内置的数据库接口，所以没必要去学习数据库专用的API， 从而减少了用在转移不同类型的数据上的时间和精力。InfoPump能自动处理和集成不同类型的数据，它内置了非常丰富的函数，帮助你最大限度地控制数据，提供了大量的数据操纵功能，包括自动变换数据类型，提供设置适用于逻辑工作单元的检测断点以及同时读取和集成多个数据源的能力。InfoPump 连接所有需要的图表或对数据进行非标准化处理以得到一个更完整的结果。 InfoPump使你充分享受双向数据更新功能的好处，它可以将来自不同数据源的数据储存在任何一个平台的数据集市上，以后任何变化都可以回传到源数据库中。 InfoPump提供的一种类似BASIC的脚本语言(Script)，可以使你更具效率地开发数据路由应用包括数据移动，加工和同步。经常重复使用的逻辑(Transformation)可以被封装在可调用的脚本中以便调用。此外，可伸缩的体系结构支持多开发者使用，并提供多任务执行功能和接近实时的响应。 InfoPump同时提供手工和自动调度执行请求，这将帮助自动卸载数据，减少夜间进行数据提取工作的需要。当向目的数据库移动数据时，可在数据库中记录所有的活动和任何错误处理情况，这就提供了一个追踪每一个数据表中添加，修改和删除记录情况的方法。2.5 功能强大而先进的元数据管理技术 DecisionBase业界领先的元数据管理技术，提供一个通用存储区来存放整个企业范围的元数据。这将确保跨越整个组织的数据保持一致性，DecisionBase的元数据管理器完全可扩充到整个企业。它将系统结构以树形目录的方式显示出来，每一层次上的部门都有相应的多种属性供查询，如相关文档和程序，业务表结构，业务规则，转移规则，逻辑实体，数据库模型结构等等。你可以构建一个企业级的Intranet或是一个对外的Externet，分配给不同的用户以不同的权限，使它们能浏览到全部或是其中的一部分。然后，用任何标准的Internet浏览器（IE , Netscape）即可完成对元数据的访问，随时随地地掌握企业信息状况，方便地管理强大的元数据库。2.6 DecisionBase特性和功能简述 节省时间的代码自动生成功能可以使企业把更多的精力集中到更重要的业务需求上； 只需简单的drag-and-drop操作就能使得你完成复杂的转移和转换工作； 通过Web提供对数据仓库的访问，使你能够方便地管理强大的元数据库。 可以快速地建立部门级的数据集市或是企业级的数据仓库，并能保持它们之间的同步，可以很灵活地改变以适应业务需求； 可以使得企业决策者更快，更容易地获取分布的范围广阔的数据源数据，以便作出更准确，更迅速的响应；3 OLAP服务器 CA InfoBeacon介绍 CA的InfoBeacon是对数据仓库进行OLAP分析的超级工具。它具有真正的三层体系结构，保证了数据仓库规模的可伸缩性和访问的高效率；它采用先进的ROLAP技术，突破了传统MOLAP技术对数据量的限制，可以对几乎无限量的关系数据库中数据进行分析和数据挖掘，并且基于的维数没有限制；InfoBeacon支持分布式数据仓库，可以从多个异构的数据库或数据仓库数据库中获取分析的数据；独有的ProactiveAgent技术，为用户提供了交互式工作流机制，可以自动、定时或由事件触发完成指定的分析过程，并能把分析结果自动用于下次分析过程。 InfoBeacon具有先进的体系结构和设计思想，可以满足不断增长的业务数据量和不断变化的用户需求的需要。3.1 把开放的OLAP带到关系型数据仓库 CA的InfoBeacon提供了完全的决策支持解决方案，它把商业分析或OLAP(联机分析处理)能力带给企业。应用InfoBeacon，不仅能够管理大量的有用信息，而且可以从数据仓库中产生对数据新的洞察力。全部的分析过程可以由InfoBeacon的ProactiveAgent技术自动完成。InfoBeacon可以被容易地定制，用来创建满足特殊决策支持需求的方案。并且，InfoBeacon具有独特的三层体系结构，可以和业界标准的关系型数据库共同使用，处理多线索的以服务器为中心的Internet,Intranet 和Extranet的应用分析。3.2 先进的ROLAP技术让用户得到真正的商务智能能力 现在有许多厂商都提供OLAP工具，OLAP技术分为MOLAP(Multi-DimensionOLAP)技术和ROLAP(RelationalOLAP)技术。传统的MOLAP要求在做分析之前把数据仓库的数据装载到他们提供的特殊多维数据库中。这不仅会导致管理上的高度复杂、高代价和有限的工具选择，在可分析的数据量和维数上也受到许多限制。InfoBeacon采用的是先进的ROLAP技术，通过它的Vcube技术，为多维视图和分析处理提供了直接访问关系数据库的“虚拟立方体”。这种方法通过用关系数据库系统的功能来管理数据仓库的存储，从而确保开放性和高性能。使用InfoBeacon，你可以得到更好的信息资产回报。InfoBeacon带领数据仓库用户远远超越了信息访问和报表 它提供全方位的业务智能和决策支持。3.3 高性能、可伸缩、中心管理能力 InfoBeacon是第二代三层Client/Server体系结构，具有高性能、可伸缩和中心管理能力。第一代OLAP结构是“胖客户综合症“，所有的业务逻辑运行在客户端，导致了系统性能的下降和难以管理的应用环境。InfoBeacon是真正的分布式三层次体系结构，通过简单增加中间层的配置就能达到处理性能的优化。 InfoBeacon的应用服务器作为关系数据库的OLAP计算引擎，它从客户端接收请求，处理关系和维之间的转换，然后把正确的SQL语句传递给数据库服务器。InfoBeacon把客户端的命令打包成并行查询请求交给单一或分布的数据仓库，这样可以充分利用SMP和多线索结构的特性。 InfoBeacon可以满足用户快速响应的要求，并且具有很好的可伸缩性和可管理性：对可访问的数据仓库大小没有限制；汇总信息和详细信息可以存储在统一的数据仓库中；数据的业务视图可以方便地从一个地方进行维护和分布；物理数据库的改变对应用和用户是透明的。 InfoBeacon的Web功能模块可以把Web浏览器作为客户端工具实现全部的OLAP功能。你可以运行和修改任何的分析应用，从浏览器上动态Drilldown/up，并且可以创建和运行能够自动完成分析过程的基于服务器端的代理机制。3.4 让ProactiveAgents工作在你的数据上 ProactiveAgents的触发功能，可以对数据仓库进行动态监控。用户可以自己设定对某一关键指标的临界值，随着数据的变化，可能会到达临界值。此时若不能及时分析，找到原因，可能导致极大的风险。ProactiveAgents可以利用触发功能通知决策者，通过E-mail、Fax、网络、WWW把分析结果及时、准确传递到指定位置。 ProactiveAgents可以提供决策支持工作流来实现自动的完整分析处理过程。基于某一个分析的结果，ProactiveAgents可以触发一系列指定的分析过程和动作，而这一系列的分析过程和动作是符合企业的工作流程的，并且通过鼠标拖曳就可以进行交互式修改以满足实际工作流程的变化。3.5 用鼠标拖拽方式创建快速应用 大多数OLAP产品忽视了不同类型用户有不同需求的事实，它们只能支持有限的工具集成。一些产品甚至需要很大的编程工作量才能得到决策支持的应用。InfoBeacon包含一个完整的工具集为交互式分析和决策支持应用服务，包括面向业务分析的配置工具、开发工具和管理工具。 InfoBeacon的InfoSynergy技术，增强了快速、简单定制应用的能力。InfoSynergy采用虚拟鼠标拖拽方式，直观简便。InfoBeacon的开放API允许使用标准开发工具创建用户特殊需求的应用，比如：用CA的Aion可以为用户设计复杂的专家系统；用PowerBuilder、VB、C、C+和CA Forest & Trees可以针对用户的需求进行模型设计。附录1 CA公司简介美籍华裔王嘉廉先生于1976年在美国纽约长岛创建CA有限公司(Computer Associates Inc.)，自20年前成立之日起，CA的使命始终如一：致力于提供使企业运作如飞的企业级关键性软件。今天，CA成为IT业界领先的全球第二大软件公司，提供多达500多种软件产品，可用于包括企业系统管理软件和信息管理软件等商业领域。全球的前500大企业中的95%以及无数中小型企业都选择CA有限公司作为其软件供应商。99财政年CA公司总营业额达53亿美金。CA自1995年进入中国以来，便致力将CA的解决方案介绍给中国用户分享，使用户利用CA先进的信息技术获得在市场竞争中的领先地位。现在北京、广州、上海、成都均设有办事处，技术代表占公司人员60%，这体现了CA公司对技术投资的重视和对中国业务的信心，致力于建立全球范围的大规模客户服务体系。在短短的两年时间中，CA在中国的业务发展很快，CA产品已在航空、银行、金融、证券、邮电、政府、电力等各行业中得到用户的广泛认可。CA今年4月宣布合并Platinum Technology公司，更加丰富了CA的产品线，并获得Platinum的数据仓库项目的宝贵的Consultant力量和领先的数据仓库产品线。CA是世界上最大的数据仓库和业务智能完整解决方案提供商之一。在各行各业，CA都已经成功实施了许多数据仓库和业务智能系统。在国外，美国国民银行、美国再保险公司、加拿大皇家银行、台湾电信、新加坡航空公司、美国航空公司、瑞士航空公司等都是CA成功的数据仓库客户；在国内，也成功地实施包括航空业在内的许多行业的数据仓库项目，我们先后为中国国际航空公司、中美合资上海施贵宝制药有限公司、上海集装箱码头、浙江省农业银行、浙江省邮电、福建省移动通信公司等重大客户，成功地建立了数据仓库系统，现代的竞争就是信息业的竞争，真正为客户的业务提供迎接竞争挑战的信息服务，提高决策能力应用，这些数据仓库系统均是完全实际成功实施运行的系统。 CA不仅能提供全面的数据仓库的解决方案，CA中国公司的技术顾问还具有十分丰富的金融业数据仓库实施经验，建立的数据仓库系统，结合了国际先进的决策管理模式和针对我国情况的企业实际需求的系统。CA在数据仓库项目中顾问的实施经验起着十分重要的作用，CA有强大的技术支持队伍和顾问力量，能全面保证数据仓库项目的成功实施。附录2 CA数据仓库成功故事CA 公司在提供建立数据仓库全过程的多种工具的同时，还能够向用户提供建立数据仓库各个阶段的咨询服务。CA 在全球、亚太、中国都有完整的技术支持队伍，有完整的数据仓库咨询服务程序，可以调动各方面人员来提供产品、行业经验、数据仓库经验的服务。在亚太地区，CA有一支专门为各个国家服务的咨询服务队伍，其成员都是从事数据仓库8年以上的专家，他们曾在印度、马来西亚、台湾、新加坡、香港、印度尼西亚等地区从事过数据仓库建立的全过程，其中有三个专家是专为中国地区服务的，在语言上完全没有任何沟通的障碍。以下是在亚太地区最近完成的数据仓库项目：(1) ExcelcomIndo (Mobile Phone)(2) Telekom Malaysia (Land Line)(3) Maxis - Binnariang (Mobile Phone)(4) SingTel (Customer Service)(5) Hongkong Telecom (Business Broadband) 在中国国内，我们也有一支10人的数据仓库咨询服务队伍，已经成功实施完成了以下数据仓库项目，并获得了用户的一致好评：浙江省农业银行数据仓库项目 建立了基于Intranet的灵活报表和动态经营分析系统，对整个浙江省分行的经营情况进行综合统一的分析和预测。数据来源于AS/400业务系统和其它类型文件。中国国际航空公司数据仓库项目 建立了航线、航班、机型、效益综合分析系统。数据来源于AS/400、Oracle、Foxpro、Excel和文本文件。上海施贵宝制药有限公司数据仓库项目 建立了基于销售、市场、财务、库存、生产等数据的市场经营分析系统。数据来源于AS/400业务系统和Excel、Oracle等。附录3 美国银行信用卡业务数据仓库案例分析信用卡业务数据仓库的设计和使用简介 美国是世界上信用卡的发源地，经过几十年的发展，目前美国的信用卡行业已经达到了相当饱和的状态，调查表明美国各类信用卡发卡总数已超过10亿张，成年人人均持卡9张。对美国信用卡市场的分析和了解能为我们构造先进的信用卡分析管理系统提供颇有参考价值的经验和帮助。 首先，激烈的市场竞争造成了多个发行商纷争的局面，尽管威士与万事达两大发卡集团在信用卡市场始终处于领先地位，但是仍有众多的中小型发卡商在争夺市场份额，他们通过为客户提供更独特新颖的服务项目来吸引客户，如： 为特定商户发行的零售卡、酒店连锁卡、医疗卡、娱乐俱乐部卡或其他服务行业卡等等。其中有些卡是为某类特别类型的客户而设计的，如被一些主要发卡商拒绝的风险相对较高的客户。 其次, 为在激烈的竞争环境中生存发展，信用卡发卡商越来越意识到了解客户的重要性。他们构造功能强大的数据库和数据仓库系统，采用先进的工具对大量的数据进行分析，最大限度地增加新客户，保留老客户，刺激客户消费并创造更多的交叉销售的机会。 第三，我们不难发现，针对不同档次持卡人的利润率，发卡商提供不同的服务和优惠政策。 信用卡发行商不再是为所有的客户提供相同的单一的服务，相反，他们采用一系列分析手段对为企业带来利润的客户进行分析和评估，了解他们的消费模式，并为这些客户提供最需要的服务。 最后，Internet 技术的飞速发展使得WEB成为客户、商户、发行商之间信息交流的主要场所。客户和商户通过WEB进行帐户访问、交易查询，而发卡行的管理人员、业务分析人员则通过WEB访问报表、构造分析，并将准确的信息在恰当的时间交付给相应的决策人员。 我们的客户，全美零售银行业的佼佼者，在如此快速变化的市场环境下面临着严峻的挑战。为保障对其500万客户的优质服务，卡部多年来在构造IT基础设施，建立先进的OLTP应用系统方面投入了大量的资金和人力。为了能够充分利用这些多年来积累的大量的业务数据，让这些数据发挥应有的价值，卡部决定采用CA公司的数据仓库解决方案，并由CA公司的资深专家担任顾问，为整个数据仓库的规划、设计、构造和实施提供咨询服务。本文分析并总结了该数据仓库设计实施过程当中遇到的重要问题，发卡银行按照这样的思路进行数据仓库设计必然能够获得成功。在本文的第二个部分我们还讨论了如何使用数据仓库来促进业务的发展以及该数据仓库为银行所带来的效益。数据仓库设计 在项目初期，我们同该行的业务人员，尤其是信用卡部、市场部、结算部和客户服务部的人员进行了多次的联合应用开发JAD (Joint Application Development)会谈，收集了大量的业务需求，通过深入的需求分析我们列出了以下各项设计原则：数据仓库必须提供对客户完整统一的分析 信用卡业务仅仅是银行为客户提供的众多金融服务之一，其他金融产品如存款（活期、定期、支票等）、贷款（房屋贷款、汽车贷款、个人消费贷款等）以及多种多样的投资咨询服务。信用卡业务通常有独立的交易处理系统，与其他业务子系统相对分离，客户信息以及客户的定义也有所不同。尽管目前的信用卡业务处理系统仅仅涉及信用卡交易，保持数据仓库系统中与其他业务处理系统中对客户的完整统一的定义是至关重要的。例如，市场部经理希望将一些存款余额高但尚未有本行信用卡的客户作为市场推广的目标客户，但是只有储蓄系统与信用卡系统对客户的定义一致时我们才能找到答案。另外如某持卡人的交易金额超过透支限额进行授权申请时，授权部门可以通过对该客户以往行为的综合评估来进行判断 是否授权，如该客户储蓄帐户和支票帐户中的存款余额，投资的种类和金额，贷款总额以及还款历史情况等。更为重要的是，银行的其他业务部门也将构造数据仓库，有了对客户的统一定义，信用卡数据仓库能够同其他数据仓库无缝集成，最终成为真正的企业级数据仓库，避免了很多数据仓库项目中出现的“烟囱式” 数据仓库问题。为保障客户定义的一致性，我们采用了CA公司的基于元数据管理的先进的数据清洗、加工、转换工具，对客户数据进行清洗整理，并通过Repository来维护客户元数据与其他业务系统的一致性。数据仓库必须满足不同的分析需求 银行中存在两种不同的数据仓库分析需求，一方面，高层管理人员希望从数据仓库中得到业务问题的快速回答，如“今年与去年业务运作的比较”、“我们的持卡人增加了多少？他们的用卡情况如何？”。回答这些问题，通常需要一些汇总数据。另一方面，市场部主管需要根据不同客户的行为特点推出不同的金融卡产品，而业务分析人员希望通过数据挖掘来发现哪些客户有潜在的欺诈倾向。这些分析需要收集大量详细的交易信息才能完成。为满足这两种不同的分析需求，我们设计了多个分析模型，其中的一个模型通过客户的汇总信息支持每个月对客户情况的分析，另外的模型通过记录每一笔交易信息支持对客户的更进一步的分析。通过这两类分析模型，均能对诸如“信用卡使用状况”、“持卡人消费行为”、“ 卡业务发展情况”等问题进行分析。我们还设计了一个用于进行特约商户分布情况分析的模型，来进行诸如某月在某个地区有多少持卡人的分析。采用全球领先的数据库/数据仓库建模工具 ERwin，我们的模型设计和维护工作变得简单而轻松。同时，为满足不同用户对信息访问的不同需求，我们向客户提供了两种访问方式：针对业务分析人员的OLAP（联机分析处理）系统和针对高层管理人员的主管信息系统。业务分析人员通过DecisionBase OLAP Server先进的ROLAP特性使业务分析人员能够对超大量的客户交易信息进行分析。而采用Forest & Trees 构造的主管信息系统是专为高级主管或行长设计的，通过构造一些定制化的分析流程，Forest & Trees 为用户提供表现力极强的图形分析界面。数据仓库必须提供基本的客户利润率分析功能 哪些是有价值的客户？这些客户为银行创造了多少利润？ 找到这类问题的答案非常困难，主要原因有两个：首先，对客户利润率的分析必须建立在全面的客户分析之上，因为某个信用卡客户可能在信用卡方面为银行创造的利润不多，但他有可能拥有大量的储蓄存款或还款状况良好的抵押贷款，对于银行而言，他或许不失为一个利润率较高的客户。其次，准确地计算利润率必须建立在准确衡量银行费用的基础上，同其他任何企业一样，银行拥有各种各样的费用，且这些数据分散在不同的业务系统中，将这些费用数据集中整合到数据仓库中是一项非常艰难的工作。作为一个折中的方案，客户决定在数据仓库的第一阶段采用基本的利润率分析方法 。为此，我们在数据仓库模型中设计了一个特殊的维 客户分类维（Profile Dimension）。在美国, 信用卡业务采用真正的“透支消费”运作模式，即持卡人无须在银行存款即可进行消费并拥有多种还款方式的选择。因此，发行商可以从两个主要途径从持卡人的消费行为中获取利润：持卡人消费时特约商户付给银行的佣金以及持卡人未能及时补交透支额时银行收取的利息费用（一些特殊种类的信用卡还收取会员费用，但这部分费用只占总收入的一小部分）。通过对客户6个月交易数据的处理，我们将客户分为四大类： 高交易高透支客户（Revolver） 这类客户频繁使用信用卡并有相应的透支余额，这类客户既为银行带来佣金收入又带来利息收入，是为银行带来最多利润的客户群，也是银行最需要关注和服务的客户类型； 低交易高透支客户（Borrower） 这类客户很快就将银行授予的透支限额用尽以至于不能再消费，且并不及时还清透支额，对于这类客户而言， 信用卡如同一种贷款，银行可以从这类客户获得利息收入，但亦需考虑风险因素制订相应的策略。 高交易低透支客户（Transactor） 这类客户消费很多但通常会及时将透支金额补齐，这类客户是银行进行营销推广、交叉销售的目标客户。 低交易低透支客户（Dormant） 这类客户既不持卡消费也不透支，银行需要对这些客户进行更多的分析，发现其中的原因并找到刺激其消费的办法。这个维对于信用卡分析而言是非常有效并至关重要的，银行可以通过这个维对每个客户的贡献度有一个较为清晰的认识，在这个基础上进行更深入的分析。数据仓库必须能够加速整个企业范围的信息交付 知识的发现和运用过程是一个将数据转化为信息，并利用信息获得竞争优势的过程。不具备任何业务含义和内容的数据是没有任何商业价值的。当今，大多数企业并不缺乏数据，而是受阻于过量的冗余数据和数据的不一致；而且它们变得越来越难于访问、管理和用于决策支持。采用功能强大的分析工具把大量的数据转化为可靠的、商用的信息是充分发挥和利用这些信息资源的最佳途径。然而，只有构造分析的人员才能充分理解这些信息，而他们却往往不是真正的决策人员。因此，数据仓库系统必须具备完全的信息交付能力，即将正确的信息在准确的时间以恰当的形式传递给需要的用户。CA数据仓库解决方案中的工作流控制功能InfoSynergy为企业提供了极大的方便。通过InfoSynergy ，用户可以灵活定义报表的生成、格式以及目标用户和传递时间，真正实现信息交付的自动化。 数据仓库必须包含外部数据源 外部数据源有很多种类，如人口普查数据、消费者信用等级评估数据等对于信用卡业务而言是非常重要的。这些数据有些能够从调查统计部门获得，有些可以从第三方购买。在数据仓库的设计过程当中，为能将这些极有价值的外部数据融入数据仓库，我们投入了很多的精力，实践证明这些外部数据确实为数据仓库 增加了巨大的价值。数据仓库必须能够在保留历史数据的基础上正确反映业务的变化 在数据仓库的设计、构造、管理和维护过程当中，通常不可避免地会出现这样一种问题，我们称之为 “缓慢变化维”(slowly changing dimension)。客户的基本信息通常会发生改变：结婚、离婚、也许再婚，收入水平，教育程度，家庭住址等都可能发生改变，因此我们说客户维即是一种“缓慢变化维”，变化虽然不很频繁，但不可避免。缓慢变化维是数据仓库中普遍存在的问题，并不仅仅局限于客户维：如机构调整或人员重组同样会导致问题的出现，某销售人员从原来的部门A调换到部门B； 制药公司的产品改变了配方但仍沿用原有的产品代码；甚至包括国家名称的改变，澳门曾是独立的，而现在已成为中国的一部分，所有这些都具备“缓慢变化维”的特征。我们必须保障数据仓库中的数据能够及时地反映这些变化，同时更为重要的是，能够精确保留历史真相。假如某客户于2000年1月1日结婚，如果我们对该客户今年的消费情况进行分析时，他应属于“已婚”类，而对他去年的情况进行分析时，他应属于“单身”类。在我们的数据仓库设计中，我们采用一种特殊的解决方案，我们称之为Type 2 Slowly Changing Dimensions。数据仓库有时必须将目前未具备的数据加入设计中 通常，数据仓库的设计是以现有数据为基础的，然而如果未具备的数据对于企业的决策很重要，且这些数据能在日后获得时，我们必须将这些未具备的数据加入数据仓库的设计中。比如客户的收入情况对于信用卡的分析管理而言极具价值，起初，虽然我们从业务系统中无法获得这些数据，但我们仍将该项要素加入了数据仓库的设计中。当管理人员进行分析时，会发现“客户收入状况”项是空值，管理人员会推动业务部门进行数据采集，当数据具备时，我们更新数据仓库中的相应数据，用户立即能从数据仓库中获得更多的价值。数据仓库必须有强大的WEB支持能力 客户、特约商户、管理人员以及业务分析人员也许都需要通过WEB对数据仓库中的数据进行访问分析，以获得他们所需要的信息。基于WEB的访问必须具备完善的安全控制机制。我们构造的数据仓库都是基于WEB的，无论是面向分析人员的OLAP应用，还是面向高层管理人员的EIS应用，都能在传统的Client/Server环境下进行开发，无须做任何修改即可发布到WEB上去。同时DecisionBase OLAP Server强大的WEB支持能力可以支持用户完成与Client端同样丰富的基于报表、图形的多维分析和深层钻取功能。使用数据仓库 数据仓库为与信用卡业务相关的各部门提供了强大的分析能力。这些分析能够对信用卡的业务发展产生巨大的影响和推动，下面我们针对在信用卡数据仓库中经常应用的分析，以及这些分析对银行决策带来的效益进行讨论。客户关系管理通过数据仓库，银行能够对客户进行及时、全面、深入的分析，从而加强客户关系管理，实践证明，数据仓库能在以下方面推动业务的发展： 客户保持 调查表明争取新客户要比保持原有客户多花5-15倍的成本，由此我们不难理解为什么几乎所有的企业都在想方设法地保持现有客户，尽可能地减少与客户发生摩擦，因为客户的流失意味着成本的增加。数据仓库能在以下三个方面增加客户保持率：首先，通过对客户消费模式的分析，银行可以为客户提供更能满足该客户需求的服务，从而增加客户满意度和保持率。例如：某客户总是很快将透支限额用尽并及时补齐透支款项，通过进一步的分析，银行得到结论：该种信用卡的透支限额未能满足该客户的消费需求，从而为该客户办理第二张卡，这样做能够及时防止该客户办理竞争对手的卡或转为其他银行的客户。当客户的收入水平、婚姻状况或有了孩子的时候，他们的消费模式会发生改变，对信用卡的需求也会与以往有所不同， 及时发现这些变化并提供与之相应的服务，能够使银行有效增加客户保持率和客户满意度。第二：对客户利润率的分析能够使银行将资金集中在