数据仓库实施方法论.ppt

knight数据仓库实施方法，实施部门2005，本手册是knight公司实施部门实施项目的参考手册。收到本手册的唯利是图的员工必须确保本手册不会被任何第三方复制、分发或使用。当你离开公司时，你必须归还这份文件。主题，Venet数据仓库方法概述Venet数据仓库体系结构Venet数据仓库实施方法，Venet的“一种方法和两种模型”，Venet作为商业智能解决方案的领导者，一直致力于商业智能领域的创新，并创建了最佳的数据仓库实施系统“一种方法和两种模型”和“一种方法”。Venet数据仓库方法是Venet通过多年的数据仓库实施积累的最佳实践经验。-两种型号是指双面模型和双面模型。数据模型是一种用于企业数据集成的数据模型。它是企业数据集成和组织的工具，描述了数据仓库各主题领域的实现。是一个用于企业数据分析的数据模型。它是技术人员与业务人员交流的载体和工具，反映了业务分析要求、指标体系和行业最佳实践经验。-数据仓库的建设必须统一规划，分步实施。建议企业在数据集成和业务分析方面对EDW蓝图进行统一规划。方法论是实现蓝图的路线图。建议企业逐步建立企业级数据仓库。什么是费尼特的数据仓库方法？菲涅特的数据仓库方法：-是菲涅特多年来在实施数据仓库系统过程中积累的最佳经验。-是一套构建企业数据仓库解决方案的方法。帮助定义灵活和可扩展的数据仓库体系结构；使用结构化方法，详细定义了为满足客户需求而构建数据仓库系统的必要任务和步骤。-能提高工作效率，保证项目实施质量；降低项目实施风险，确保项目在预算内按时完成，满足用户需求。-它可以解决棘手的高风险问题，如：确定正确的系统范围和需求，建立灵活的系统架构以满足不断变化的分析和决策需求。贝内特数据仓库方法论体系，贝内特数据仓库方法论的内容：1。系统架构。帮助构建灵活且可扩展的EDW架构。第二，数据模型。包括德国之声和德国之声。第三，实施方法。使用结构化方法，定义了构建数据仓库所涉及的详细任务和步骤。4.项目管理。降低项目实施风险，确保项目在预算内按时完成，满足用户需求。过程管理委员会审查并指导项目。主题，feenett数据仓库的方法论概述，feenett数据仓库的实现方法，feenett数据仓库的数据处理流程，名词解释-dw，数据仓库是一个面向主题的、稳定的、历史的数据集，它与操作系统分离，基于企业模型集成。数据仓库的数据模型是独立于应用程序的，换句话说，数据仓库是一个为各种查询提供数据支持的数据平台，但最终用户查询并不直接在数据仓库中执行。数据仓库的物理设计也不需要针对用户查询和分析的需求进行优化。数据仓库数据模型是集成和组织企业数据的工具。首先，对企业的概念模型进行抽象，然后将其转化为数据仓库。企业概念模型将现实世界抽象成信息世界。概念模型是主观和客观之间的桥梁。概念模型是设计系统和收集信息的概念工具。概念模型用电流变图描述，形式简单，便于交流。在系统设计阶段，概要模型被转换成描述数据仓库中每个主题域的逻辑实现的DWMDWM，即对应于每个主题的关系表的关系模型的定义。数据仓库是当前和未来数据集成的蓝图，用于指导企业数据仓库的建设。数据仓库主题域确保数据组织独立于数据处理逻辑定义主题域采用结构化的逐步细化方法，以确保主题域的独立性和完整性。数据集市，所有用户的数据需求都是通过访问数据集市来满足的，数据集市可以分为：1。数据集市(RDBMS)面向业务需求；存储在关系数据库中；通常采用反规范化设计方法，包括详细数据或聚集冗余数据。2.OLAP OLAP根据存储方式可分为三类：1 .ROLAP。数据通过星型模式存储在关系数据库中。2.MOLAP:数据在被加载到OLAP之前以星型模式存储在关系数据库中。3.你好，把以上两种方法结合起来。业务模板是业务分析需求、指标体系、行业最佳实践经验等。用于指导数据集市建模(BAM)和前端开发。BAM是数据集市的数据模型。它根据分析要求组织数据，并通过数据冗余和数据库优化满足数据访问的快速响应要求。BAM设计必须与行业经验相结合，并采用结构化的渐进细化方法。BAM是用反规范化和星型模式设计的。术语“操作存储”是指包括面向主题的、集成的、可变的、当前的(或最新的)和详细的操作信息的系统。正式文件系统的优点：正式文件系统为访问数据库提供了一种改进的方式。通过ODS，企业可以在客户交易过程中获得客户的完整视图。ODS可以提供实时或接近实时地查询产品和服务所需数据的能力。与传统系统相比，ODS可以生成性能更高的运行报告。正式文件系统有助于整合现有的新系统。根据英曼的公式，臭氧消耗物质根据数据更新的频率分为三类。后来，随着业务的发展，出现了第四类正式文件系统：正式文件系统：实时或准实时，数据集成少而简单。ODSII:每1小时或半小时更新一次，数据集成更加复杂。ODSIII:每天或每周更新一次。ODSIV:将数据仓库分析结果存储在ODS上，确保在2-3秒内可以获得对这些数据的事务访问。名词解释-暂存区，暂存区由一些ETL处理辅助表组成，辅助ETL工具完成复杂的转换和计算，暂存区通常是一些临时表。StagingArea的功能和实现：1 .减少数据源的压力，并帮助集成不同的数据源。2.当应用于增量处理时，它可以减少处理的记录数量，使增量处理更加容易。3.转换数据格式，如日期格式、数据类型转换等。4.时间安排的灵活性。通过建立暂存区并将数据存储在临时空间，ETL调度更加灵活。5.作为ETL后续处理的统一接口，将StagingArea作为ETL处理各个阶段的接口，对系统的灵活性和可扩展性非常有帮助。主题，Venet数据仓库方法概述，Venet数据仓库体系结构，Venet数据仓库实施方法，系统测试，系统建立，系统设计，需求分析，业务驱动和清晰的需求，用户培训，试运行，部署，在线操作，监控，业务增长，业务分析，管理关注，以及积极的业务参与。循序渐进，螺旋式发展.数据质量控制、成熟的实施方法、风险控制、灵活的体系结构和数据模型、最佳实践经验、数据仓库实施评估，表中的百分比以一个中型项目为例来说明每个流程的每个实施阶段的工作量比例，这是多个项目的平均值，仅供参考。项目组织结构图、实施团队模型和实施团队模型定义了相互协作并具有相同角色关系的工作模型。每个小组的成员在项目中都有明确的角色，并专注于特定的任务。每个人的工作都同等重要和有价值。每个人都必须对自己交付成果的质量负责。团队模型不是组织结构图。，费尼特数据仓库实施流程，方案评估系统定义系统分析系统设计系统开发系统测试系统在线系统维护，方案评估-概述，这一阶段是售前阶段，根据客户的战略业务需求和目标，提供解决方案并完成系统目标和企业数据仓库基础设施的定义。评估客户的组织结构、关键成功因素、主要限制、问题、风险以及数据仓库系统带来的好处。此外，应定义高级技术实现结构和高级数据仓库结构，以确保方案的可行性和可扩展性。项目团队目前还没有正式进入现场。根据业务合同文本及其附件，明确了迭代过程的目标和范围，收集了关于用户目标和分析需求的信息，并在确定的解决方案实施范围内确定了总体技术方案。在这一阶段，还必须制定需求范围控制、数据采集、数据质量控制、数据仓库管理、元数据管理、数据访问和培训等方面的战略计划。必要时，项目经理可以与客户的相关人员沟通。这个阶段决定了项目团队的成员、项目的范围、分工、每个阶段的主要提交以及项目预算。通过内部动员会确认资源安排、计划和预算。系统定义-实施过程、系统定义-主要任务、主要任务n确定项目范围和主要目标；确定项目的阶段验收和总体验收标准；熟悉系统解决方案建议和工作说明书；在合同的附录中；确认项目实施的初步计划；成立一个项目小组，确定每个项目小组的成员及其各自的工作职责；确定每个项目团队的阶段性工作目标；确定最重要的最终用户；系统的；工具选择和评估。交付品n项目组织架构和人员组成n 项目实施初步计划n 项目实施成本预算knight数据仓库的实施过程、方案评估系统的定义、系统分析系统、设计系统、系统开发系统、测试系统、在线系统维护、系统分析-概述，在此阶段开始之前，将在客户现场召开项目启动会议，重申项目目标、优先事项和需求访谈模式等。在此阶段，在确定的解决方案实施范围内，进行当前情况分析，以定义详细的业务需求。项目团队专注于收集详细的分析需求，设计数据仓库框架，以及收集最终用户对数据的访问需求。该阶段的结果将提交给详细的需求分析报告，该报告将用于数据仓库设计和项目的其他阶段。在系统分析阶段，确定数据采集方案，包括从源系统提取什么数据；确定业务数据处理周期、更新周期和ETL周期；完成源系统的初步分析和源系统与目标系统的差异分析。系统分析-实施过程，系统分析-主要任务，主要任务n用户需求研究和确认；数据源确认和分析；用户需求和数据源的筛选和分析；NETL处理规则确认；系统安全设计；系统命名标准设计；设计并演示演示演示。交付品n需求说明书SRL(SystemRequirementList)n 系统命名规范说明书n 数据质量初步分析N ETL处理规则说明书和脏数据处理规则。n 总体设计说明书交付系统原型(演示)。系统分析-需求定义，不清楚需求的早期阶段，用户：“你先告诉我这个系统能提供什么功能，然后我知道我需要什么”。解决方案是设计和演示演示，引导用户体验，并引导用户提出需求。系统分析-业务驱动，业务驱动，收集客户需求并形成需求文档。分析方法结构化分析和逐步细化(Finette的五步法):系统分析是数据驱动和数据驱动的，以完成对企业概念模型的分析。概念模型是企业模型的更高层次的抽象，用er图来描述。企业概念模型分析的任务是分析现有业务系统的数据，并理解现有数据库系统是如何“组织”的本文分析了企业的管理过程，并将企业的信息结构抽象为一个概念模型。企业概念模型分析要完成的工作是确定系统的边界和数据仓库需要哪些数据。确定主要的主题领域、内容以及实体之间的关系。系统分析“携手并进”，数据驱动的系统分析和业务驱动的系统分析同时进行。业务驱动分析是主线，数据驱动分析是辅助。定义初步的逻辑数据：数据仓库管理-集成-分析的数据仓库管理，系统分析-数据质量分析方法。高质量数据是指满足业务需求并反映客观事实的数据。数据质量的测量可以从以下几个方面进行：系统分析-数据质量优化方案。一旦测试中出现数据质量问题，将采用以下可选方案来优化数据质量。Funet数据仓库实施过程，方案评估系统定义系统分析系统设计系统开发系统测试系统在线系统维护，系统设计-概述，该阶段的目标是利用系统分析阶段确定的信息建立满足要求的详细技术定义。包括系统详细设计、ETL设计、数据元素和数据粒度的确认、数据一致性检查、数据访问和查询的详细定义、报表的编制等部分。逻辑模型的详细定义，数据查询需求，系统分析阶段的数据映射，以及数据仓库和数据仓库管理的物理设计。逻辑数据模型是发现、记录和传达业务需求的载体和成果。数据仓库来自企业数据模型(操作数据模型)，业务模型充分反映了业务需求。在设计和开发阶段，ETL占据了超过50%的工作量，这需要足够的重视。在系统设计阶段，还完成了系统配置计划，制定了初步测试计划，制定了初步用户培训计划，制定了系统在线策略。系统设计-实施过程，系统设计-主要任务，主要任务n定义了数据仓库成功的关键因素和数据仓库的实施原则；设计可扩展和灵活的系统结构；确定数据的规模和粒度；元数据管理方法、数据质量管理策略、ETL策略；备份系统和系统安全策略；设计逻辑数据模型和物理数据模型；数据提取、转换、清理和加载策略设计；数据提取失败的恢复策略；实施严格的数据质量评估方法来审核、监控和保证数据质量。交付品编号系统体系结构与ETL流程说明书和ETL详细设计说明书。N 逻辑数据模型说明书和物理数据模型设计说明书。n 前端应用设计说明书n 系统管理说明书 .系统设计-数据仓库设计，数据仓库逻辑设计：分析主题领域。确定此阶段包括哪些主题。粒度划分。确定是采用单粒度还是多粒度。关系模式的定义。确定每个主题的主键和属性以及主题之间的关系。数据仓库的物理设计：确定数据的存储结构，考虑访问时间、存储空间利用率和维护成本。确定索引策略，创建适当的索引并采用适当的索引类型。确定数据存储位置，例如，将更多数据的频率和重要性分别存储在不同的存储设备上。空间分配。调整数据块大小、缓冲区大小和其他优化参数。采取一些技术来提高性能，如数据库分区等。实例-Fanet银行DWM10主题域，系统设计-bam设计，bam逻辑设计(OLAP):设计多维模型。分析报表需求和决策分析需求，找到多维模型的需求和维度之间的对应关系，最小化