建设数据仓库的八个步骤精编版

1、建设数据仓库的八个步骤摘要：建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。关键词：数据仓库元数据建设数据仓库建立 数据仓库 是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库 ，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库 的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库 。开发 数据仓库 的过程包括以下几个步骤。1. 系统分析，确定主题建立 数据仓库 的第一个步

2、骤就是通过与业务部门的充分交流，了解建立数据仓库 所要解决的问题的真正含义，确定各个主题下的查询分析要求。业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总， 确定 数据仓库 所实现的业务功能。 一旦确定问题以后， 信息部门的人员还需要确定一下几个因素：·操作出现的频率，即业务部门每隔多长时间做一次查询分析。·在系统中需要保存多久的数据，是一年、两年还是五年、十年。·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。·用户所能接受的响应时间是多长、是几秒钟，还是几小时。由于双方在理解上的差异，确定问题和了解问题可

3、能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。2. 选择满足数据仓库系统要求的软件平台在数据仓库 所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准：·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。·数据库对大数据量（TB 级）的支持能力。·数据库是否支持并行操作。·能否提供 数据仓库 的建模工具，是否支持对元数据 的管理。&

4、#183;能否提供支持大数据量的数据加载、转换、传输工具（ETT）。·能否提供完整的决策支持工具集，满足数据仓库 中各类用户的需要。3. 建立数据仓库的逻辑模型具体步骤如下：1（ 1）确定建立 数据仓库 逻辑模型的基本方法。（ 2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。（ 3）识别主题之间的关系。（ 4）分解多对多的关系。（ 5）用范式理论检验逻辑数据模型。（ 6）由用户审核逻辑数据模型。4. 逻辑数据模型转化为数据仓库数据模型具体步骤如下：（ 1）删除非战略性数据： 数据仓库 模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作处理的数据项要删除。（ 2）增加

5、时间主键： 数据仓库 中的数据一定是时间的快照， 因此必须增加时间主键。（ 3）增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。（ 4）加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是 数据仓库 设计的一个重要因素， 它直接影响到驻留在 数据仓库 中的数据量和可以执行的查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。对数据操作的效率与能得到数据的详细程度是一对矛盾，通常，人们希望建成的系统既有较高的效率， 又能得到所需的详细资料。 实施数据仓库 的一个重要原则就是不要试图包括所有详细数据， 因为

6、 90%的分析需求是在汇总数据上进行的。 试图将粒度细化到最低层，只会增加系统的开销，降低系统的性能。5. 数据仓库数据模型优化数据仓库 设计时， 性能是一项主要考虑因素。在数据仓库 建成后， 也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。优化 数据仓库 设计的主要方法是：·合并不同的数据表。·通过增加汇总表避免数据的动态汇总。·通过冗余字段减少表连接的数量，不要超过35 个。·用 ID 代码而不是描述信息作为键值。·对数据表做分区。6. 数据清洗转换和传输由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载

7、到数据仓库 之前，必须进行数据的清洗和转换，保证数据仓库 中数据的一致性。在设计 数据仓库 的数据加载方案时，必须考虑以下几项要求：·加载方案必须能够支持访问不同的数据库和文件系统。2·数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。·支持各种转换方法，各种转换方法可以构成一个工作流。·支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库 。7. 开发数据仓库的分析应用建立 数据仓库 的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对 数据仓库 中的数据进行分析的要求。信息部门所选择的开发工具必须能够：

8、·满足用户的全部分析功能要求。数据仓库 中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预测和趋势分析。·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。使用方式上，可以是客户机/ 服务器方式，也可以是浏览器方式。事实上，没有一种工具能够满足数据仓库 的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。8. 数据仓库的管理只重视 数据仓库 的建立，而忽视 数据仓库 的管理必然

9、导致 数据仓库 项目的失败。 数据仓库 管理主要包括数据库管理和 元数据 管理。数据库管理需要考以下几个方面：·安全性管理。 数据仓库 中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略。·数据仓库 的备份和恢复。数据仓库 的大小和备份的频率直接影响到备份策略。·如何保证 数据仓库 系统的可用性，硬件还是软件方法。·数据老化。设计 数据仓库 中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存详细记录。然而， 元数据 管理贯穿于整个系统的建设过程中， 元数据 是描述数据的数据。在数据采集阶段， 元数据 主要包括下列信息：·源数据的描述定义：类型、位置、结构。·数据转换规则：编码规则、行业标准。·目标 数据仓库 的模型描述：星型/ 雪花模型定义，维/ 事实结构定义。·源数据到目标数据仓库 的映射关系：函数/ 表达式定义。·代码：生成转换程序、自动加载程序等。在数据管理阶段，元数据 主要包括下列信息：·汇总数据的描述：汇总/ 聚合层次、物化视图结构定义。·历史数据存储规则：位置、存储粒度。3·多维数据结