毕业设计（论文）-基于数据仓库的商场租赁报表系统.doc

基于数据仓库的商场租赁报表系统本科生毕业设计（论文）开题报告1、目的及意义（含国内外的研究现状分析）（1）目的随着90年代后期Internet 的兴起与飞速发展，我们进入了一个新的时代，大量的信息和数据，迎面而来，用科学的方法去整理数据，从而从不同视角对企业经营各方面信息的精确分析、准确判断，比以往更为迫切,实施商业行为的有效性也比以往更受关注。使用这些技术建设的信息系统我们称为数据仓库系统。随着数据仓库技术应用的不断深入，近几年数据仓库技术得到长足的发展。典型的数据仓库系统，比如：经营分析系统，决策支持系统等等。也随着数据仓库系统带来的良好效果，各行各业的单位，已经能很好的接受“整合数据，从数据中找知识，运用数据知识、用数据说话”等新的关系到改良生产活动各环节、提高生产效率、发展生产力的理念。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具。数据仓库技术也是一种达成“数据整合、知识管理”的有效手段。它是面向主题的、集成的、与时间相关的、不可修改的数据集合。企业把大量的数据，年复一年的存入数据库中，浩如烟海的历史数据在之后的检索和利用的时候变得无比困难，而数据仓库便是把这些数据分门别类得存储起来，让提取历史数据变得清晰而简单，而决策层也可以根据历史数据来做出恰当的决策。随着社会越来越进步，我们将要面临的数据只会越来越多，越来越复杂，而对数据有效管理的需求，也将会越来越迫切。同时在查询方面，各种时段各种维度的查询要求以及数据处理的粒度需求也会越来越多样化，而数据仓库正是实现这一目标的手段。所以我想利用此次毕业设计的机会，学习并制作一个基于数据仓库的商场租赁报表系统，通过对几乎毫无知识价值的源数据提取到数据仓库中，并通过一些固定的逻辑，进行抽取，清洗，转移，装载以后。生成不同粒度的报表，此报表对历史的数据进行了综合和提炼，决策层便可以通过报表掌握商场的即时信息，并依据次信息做出准确的决策。（2）意义商场租赁报表系统是基于数据仓库对数据进行多角度的挖掘和分析的系统，其中积累了商场从实施现代化管理以后所有的数据，对数据按主题进行划分和存储，并通过SSIS组件对数据报表进行展示，数据仓库属于联机分析处理（OLAP）系统，它是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。它通过对信息的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。决策数据是多维数据，多维数据就是决策的主要内容。OLAP专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。它并不将异常信息标记出来，是一种知识证实的方法。所以通过此系统，管理人员可以迅速的对合同情况，商铺的租赁情况，商铺的面积情况，租金情况，保证金情况进行概要和详细的了解，后期还计划实现数据的分析处理，这样就可以给决策人员提供支持（3）国内外研究现状分析数据仓库的概念自出现后，首先被应用于金融、电信、保险等传统数据处理密集的行业。国外许多大型的数据仓库在1996-1997年建立。随着工业竞争的加剧，数据仓库已成为管理和营销的必备武器一种通过更多地了解客户需求而保住客户的途径。在信息技术上国外尤其是美国一直处在领先的位置，而我国目前很多商业银行都尝试构建了应用于某一方面的数据仓库系统，数据仓库的构建几乎都足基于ROLAP来实现的，绝大多数是用Microsoft SQL Server完成的。对于汇总数据和历史数据的访问及访问速度的要求，还是有些欠缺。2、基本内容和技术方案（1）基本内容 通过SSIS流程包对存储过程进行控制和执行，通过存储过程对源数据进行加工，计划通过staging层（存储增量数据），ods层（存储一定量的历史数据），dimension层（维度层，将数据划分为各个主题存储），datamart层（数据集市层，处理后的各个维度数据已经之前沉淀的所有历史数据），到最后的report层（报表层，用于生成报表）。而最后通过SSRS从report层提取数据，并对数据进行必要的处理，得到各种粒度以及各种维度的报表。（2）技术方案目前关于ETL和数据仓库的工具有非常多种，如Informatica，微软的SSIS，SSAS，Teradata等等，报表工具也有诸如BO，Cognos以微软的SSRS。但是我们这次以SQLserver为平台，建立数据仓库，因为数据仓库不在于技术有多么先进多么华丽，而在于它实实在在的解决了问题，我们准备通过SSIS流程包执行存储在数据库中的存储过程，通过加载ETL逻辑，对数据进行多方位的处理，其中会包含有数据流的控制，数据的处理，数据质量的控制等等，而最后在报表层生成报表，并可以对报表进行上钻下钻取得需要数据的操作。（3）设计需要重点解决的问题1）存储过程 需要撰写存储过程加载数据处理逻辑，而其中对于商铺和合同的处理控制较为复杂。在确保数据的质量和完整性的同时，需要尽可能的节省时间 2）报表展示用SSRS展示报表，通过对报表进行多维度，多粒度的处理，展示出想要的数据。3、进度安排第4周：查阅相关文献资料，明确研究内容，了解研究所需图书管理系统和相关需求、结构和功能。确定方案，完成开题报告，并拟定论文提纲。第56周：系统分析和拟出方案。第710周：系统设计和实现，撰写系统设计说明书。第1011周：系统评价和维护。第1213周：完成并修改毕业论文。第1415周：准备论文答辩，准备参加论文答辩。4、指导教师意见指导教师签名：年 月 日注：1开题报告应根据教师下发的毕业设计（论文）任务书，在教师的指导下由学生独立撰写，在毕业设计开始后三周内完成。2“设计的目的及意义”至少800字，“基本内容和技术方案”至少400字。进度安排应尽可能详细。3指导教师意见：学生的调研是否充分？基本内容和技术方案是否已明确？是否已经具备开始设计（论文）的条件？能否达到预期的目标？是否同意进入设计（论文）阶段。目 录1绪论11.1 系统背景11.2 现状及前景分析11.3 系统开发目标和现实意义21.4 系统开发环境32系统分析52.1 系统分析概述52.2 需求分析52.3 可行性分析62.4 ETL分析与设计82.5 表间层次关系图102.6 ER图112.7 报表发布流程132.8 数据字典133系统设计153.1 维度表的设计153.2 事实表的设计153.3 数据加载逻辑163.4 SSIS数据流设计253.5 报表发布设计283.6 关键代码304系统调试345总结与展望35参考文献36摘 要随着信息化时代的到来，信息资源的经济价值和社会价值越来越受到人们的关注。准确及时的信息已成为各行各业乃至整个社会的迫切需求之一，对信息技术的研究也随之越来越热。数据仓库的发展给企业对信息的需求提供了很大的帮助。 现在普遍接受的数据仓库定义由Bill Inmon于1980年代提出：“面向主题的、集成的、非易失的，随时间变化的，用来支持战略决策的数据集合”。数据仓库是数据集成的中心点，是数据转化为信息的第一步，关注于企业，为以下目标服务：首先，数据仓库给整个企业提供统一的视图，而不管怎么使用它，这为对数据仓库中数据的解释（分析）提供了灵活性。数据仓库提供使用者一个稳定的数据源，包括前后一致的历史数据、各部门一致的可靠数据。其次，企业作为一个整体，对历史信息有巨大的需求，数据仓库会增长到非常庞大（20100TB），在一开始设计时，就必须考虑以有效的方式使用企业业务规则，使适应信息的增长。最后，数据仓库用于支持企业内各种形式的分析技术，也就是说，在数据仓库上可以建立很多数据集市，而不是每个数据集市各自提取及使用各自的数据。关键字：数据仓库；数据集市，ETLAbstract:Along with the information time arrival, information resources economic value and the social value receive more and more peoples attention. The accurate prompt information has become urgent demands of one of the various trades and occupations and even entire society, it is also getting more and more hot in information technologys research. Data warehouses development has provided the very big help to the enterprise in the information demand. The universally accepted definition of a data warehouse developed by Bill Inmon in the 1980s is “a subject-oriented, integrated, time variant and nonvolatile collection of data used in strategic decision making”1. The data warehouse acts as the central point of data integrationthe first step toward turning data into information. Due to this enterprise focus, it serves the following purposes:First, it delivers a common view of enterprise data, regardless of how it may later be used by the consumers. Since it is the common view of data for the business consumers, it supports the flexibility in how the data is later interpreted (analyzed). The data warehouse produces a stable source of historical information that is constant, consistent, and reliable for any consumer.Second, because the enterprise as a whole has an enormous need for historical information, the data warehouse can grow to huge proportions (20 to 100 terabytes or more!). The design is set up from the beginning to accommodate the growth of this information in the most efficient manner using the enterprises business rules for use throughout the enterprise.Finally, the data warehouse is set up to supply data for any form of analytical technology within the business community. That is, many data marts can be created from the data contained in the data warehouse rather than each data mart serving as its own producer and consumer of data.Key words: Data Warehouse; Date Mart; ETLII1 绪论目前，定制化的企业级数据库服务越来越有市场，因为随着企业数据的成几何指数增加，数据存储、管理和在线分析能力要求越来越高。尤其是面对激烈的市场上，企业只有更好的使用数据才能面对更好的竞争。构建新一代的数据仓库平台和云平台就成了企业的最佳选择，也是数据库厂商的新机会。1.1 系统背景随着信息化时代的到来，信息资源的经济价值和社会价值越来越受到人们的关注。在激烈的市场竞争中，无论哪个行业，只有“知己知彼”才能“百战不殆”，即信息是决策者做出正确决策的关键因素，准确及时的信息已成为各行各业乃至整个社会的迫切需求之一，对信息技术的研究也随之越来越热。一般而言，数据是指用来表示数量、行动和目标的非随机的可鉴别的物理符号，信息是经过加工后的数据，能反映客观事物的物理状态，能对接受者的行为和决策产生影响。数据和信息是密切相关的，数据是载荷信息的物理符号，信息是用数据来表示的。在特定的应用环境中，二者之间又可相互转化，这时就要用到处理数据和信息的技术。作为管理数据的传统技术数据库技术主要实现了对数据的存贮、修改和对其进行简单的分析汇总即进行一般的操作性处理，而对于提供科学决策所必须的事物发展趋势信息、各种事物潜在关系分析却显示出了严重的局限性，因而时代的发展对信息技术提出了新的需求。另一方面，由于最近几年计算机技术，尤其是网络技术的发展，为快捷地获取大量各方面数据提供了方便，为更高层次的数据分析、信息提取奠定了基础。因此，数据库系统本身的局限性带来的推动力和各行业对信息的需求及计算机技术的发展带来的拉动力，共同促成了新型数据处理系统数据仓库(Data Warehouse)的诞生。数据仓库概念的提出是对数据处理和信息收集概念新的升华，是从数据库处理数据的不同角度对历史数据和实时数据进行了多角度的解释，实现了信息系统中由数据积累到信息应用的飞跃。本次的设计任务也是在这个基础上，对数据仓库的设计做出一些尝试。本文作者认为，数据仓库经历了这些年的初步发展，已经慢慢变得成熟起来，而在未来云计算的大环境下，对海量数据的分析和存储显得尤为重要，所以数据仓库将做为一个朝阳性行业得到不断发展。1.2 现状及前景分析当前，国内外学术界对数据仓库的基本理论、构建方法进行了较多的研究，对其投资回报率、实施可能性也进行了广泛探讨。并于1999年4月在上海和北京两地举办了数据仓库技术大型国际研讨会，各方面专家纷纷发表意见，讨论数据仓库系统进一步发展的方向。在信息行业，数据库技术已经达到了成熟时期，数据库市场基本处于几家大的数据库厂商的控制之下，而数据仓库及其相关技术的市场是正在兴起和各厂商大力竞争的领域，各著名软件厂商如Oracle, Informix, Microsoft等公司都推出了自己的数据仓库产品，这些产品虽种类繁多，但标准不同，功能各异。随着数据仓库产品的推出，它的特点和功能吸引了许多行业的管理者和信息技术工作人员的注意，各部门尤其是企业、金融业正大力引进这一技术，在欧美国家，已有部分行业应用了数据仓库技术，并取得了立竿见影的效益。在我国，1990年中国人民银行广东分行开发的“金融信息服务系统(FISS )”部分地引入了数据仓库技术，是我国对数据仓库应用的较早尝试。未来的发展将使数据库厂商明确推出数据仓库引擎，作为服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，同时与Internet/Web技术紧密结合，推出适用于Intranet、终端免维护的数据仓库访问前端。在这个方面，按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备。1.3 系统开发目标和现实意义1.3.1目标随着90年代后期Internet 的兴起与飞速发展，我们进入了一个新的时代，大量的信息和数据，迎面而来，用科学的方法去整理数据，从而从不同视角对企业经营各方面信息的精确分析、准确判断，比以往更为迫切,实施商业行为的有效性也比以往更受关注。使用这些技术建设的信息系统我们称为数据仓库系统。随着数据仓库技术应用的不断深入，近几年数据仓库技术得到长足的发展。典型的数据仓库系统，比如：经营分析系统，决策支持系统等等。也随着数据仓库系统带来的良好效果，各行各业的单位，已经能很好的接受“整合数据，从数据中找知识，运用数据知识、用数据说话”等新的关系到改良生产活动各环节、提高生产效率、发展生产力的理念。数据仓库技术就是基于数学及统计学严谨逻辑思维的并达成“科学的判断、有效的行为”的一个工具。数据仓库技术也是一种达成“数据整合、知识管理”的有效手段。它是面向主题的、集成的、与时间相关的、不可修改的数据集合。企业把大量的数据，年复一年的存入数据库中，浩如烟海的历史数据在之后的检索和利用的时候变得无比困难，而数据仓库便是把这些数据分门别类得存储起来，让提取历史数据变得清晰而简单，而决策层也可以根据历史数据来做出恰当的决策。随着社会越来越进步，我们将要面临的数据只会越来越多，越来越复杂，而对数据有效管理的需求，也将会越来越迫切。同时在查询方面，各种时段各种维度的查询要求以及数据处理的粒度需求也会越来越多样化，而数据仓库正是实现这一目标的手段。所以我想利用此次毕业设计的机会，学习并制作一个基于数据仓库的商场租赁报表系统，通过对几乎毫无知识价值的源数据提取到数据仓库中，并通过一些固定的逻辑，进行抽取，清洗，转移，装载以后。生成不同粒度的报表，此报表对历史的数据进行了综合和提炼，决策层便可以通过报表掌握商场的即时信息，并依据次信息做出准确的决策。1.3.2 意义商场租赁报表系统计划基于数据仓库对数据进行多角度的挖掘和分析，系统内积累了商场从实施现代化管理以后所有的数据，将数据按主题进行划分和存储，并通过SSIS控制数据流，对每月的增量数据进行ETL之后存入数据仓库，方便决策层进行数据的查询和分析，前台通过SSRS组件对数据报表进行展示。决策数据是多维数据，多维数据就是决策的主要内容。OLAP专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。联机分析处理系统面对的受众比较小，大部分是企业决策层，它具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，其结果是以图形或者表格的形式来表示的对信息的总结。它并不将异常信息标记出来，是一种知识证实的方法。所以通过此系统，管理人员可以迅速的对合同情况，商铺的租赁情况，商铺的面积情况，租金情况，保证金情况进行概要和详细的了解，后期还计划实现数据的分析处理，这样就可以给决策人员提供支持1.4 系统开发环境本系统面向Windows操作系统，以Microsoft SQL server 2008作为后台数据仓库的基础设施，计划通过中的SQL Server Integration Services流实现存储过程的控制和执行，并通过SQL Server Reporting Services来控制和展示报表，同时考虑了兼容性和数据量的问题。1) Microsoft SQL server 2008（1）Microsoft SQL server 2008简介SQL Server 2008是Microsoft公司推出的大型数据库管理系统，它建立在成熟而强大的关系模型基础上，可以很好地支持客户机/服务器网络模式，能够满足各种类型的企事业单位对构建网络数据库的需求，并且在易用性、可扩展性、可靠性以及数据仓库等方面确立了世界领先的地位。（2）SQL server 2008具有以下特点： 图形化用户界面，使系统管理和数据库管理更加直观、简单。 真正的客户机/服务器体系结构。 对Web技术的支持，使用户能够很容易地将数据库中的数据发布到Web页面上。 具有很好的伸缩性，可跨越从运行Windows 95/98的膝上型电脑到运行Windows 2000的大型多处理器等多种平台使用。 丰富的编程接口工具，为用户进行程序设计提供了更大的选择余地。 SQL Server提供数据仓库功能，这个功能只在Oracle和其他更昂贵的DBMS中才有。 SQL server 2008在以前版本的基础上又增加了一些新特性如下：支持XML(Extensive Markup Language，扩展标记语言)，强大的基于Web的分析，支持OLE DB和多种查询，支持分布式的分区视图。 SQL Server与Windows NT完全集成，利用了NT的许多功能，如发送和接受消息，管理登录安全性等。SQL Server也可以很好地与Microsoft BackOffice产品集成。SQL Server 2008包括了新增加的执行计数器，它使得可以更细粒度的对数据库管理系统(Database Management Syste，DBMS)日志记录的不同阶段所耗费的时间进行计时。SQL Server 2008包括动态管理视图(Dynamic Management View)和对现有的视图的扩展，以此来显示镜像会话的更多信息。2)SQL Server Integration ServicesSSIS是Microsoft SQL Server 2005 Integration Services的简称，是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载 (ETL) 包）的平台。包括用于生成和调试包的图形工具和向导；用于执行工作流函数（如 FTP 操作）、执行 SQL 语句或发送电子邮件的任务；用于提取和加载数据的数据源和目标；用于清理、聚合、合并和复制数据的转换；用于管理 Integration Services 的管理服务 Integration Services 服务；以及用于对 Integration Services 对象模型编程的应用程序编程接口 (API)。3)SQL Server Reporting ServicesReporting Services 是基于服务器的报表平台，为各种数据源提供了完善的报表功能。Reporting Services 包含一整套可用于创建、管理和传送报表的工具以及允许开发人员在自定义应用程序中集成或扩展数据和报表处理的 API。Reporting Services 工具在 MicrosoftVisual Studio 环境中工作，并与 SQL Server 工具和组件完全集成。使用 Reporting Services，可以从关系数据源、多维数据源和基于 XML 的数据源创建交互式、表格式、图形式或自由格式的报表。可以按需发布报表、计划报表处理或者评估报表。Reporting Services 还允许用户选择多种查看格式、将报表导出到其他应用程序以及订阅已发布的报表。您创建的报表可以通过基于 Web 的连接进行查看，也可以作为 Microsoft Windows 应用程序或 SharePoint 站点的一部分进行查看。2 系统分析2.1 系统分析概述商场租赁报表系统分为两个部分：1) 后台通过SSIS流程包执行存储过程。后台通过SSIS流程包对存储过程进行控制和执行，通过存储过程对源数据进行加工，计划通过staging层（存储增量数据），ods层（存储一定量的历史数据），dimension层（维度层，将数据划分为各个主题存储），datamart层（数据集市层，处理后的各个维度数据已经之前沉淀的所有历史数据），到最后的report层（报表层，用于生成报表）。2) 报表展示。通过SSRS从report层提取数据，并对数据进行上钻下钻的处理，得到各种粒度以及各种维度的报表并展示。2.2 需求分析目前，很多企业要面临海量数据的存储和计算，而数据量大，数据来源多样化，将是很多企业在构建信息管理系统时，不可避免的遇到的问题，如何管理这些浩如烟海的数据以及如何从中提取有用的信息呢？以前，很多企业会将历史数据从业务数据库中转移到备份系统中，导致无法深入分析数据，难以做出有竞争性的决策。而数据仓库的最大优点在于它能把企业网络中不同信息岛上的商业数据集中到一起，存储在一个单一的集成的数据库中，并提供各种手段对数据进行统计、分析，并且允许企业的各个部门共享数据，为企业更快、更好地做出商业决策提供更加准确、完整的信息。利用数据仓库技术，可以使原本分散、孤立的信息相互之间建立良好的联系。而我们拟解决的便是这样一个数据处理的问题：假设有一个名为阳光的房地产公司，此房地产公司通过修建商场并出租商铺获取主要的商业利润，因此，在阳光房地产公司拥有的地产中，很大一部分是大型的商场，分布在全国各地。众所周知，大型商场中有数以千计的商铺，关于商铺的面积，位置用途，租金必须有所记录。这里就需要用到数据库。并且，有商铺意味着会有租户，而租户的公司名，租户的品牌，销售额，同样需要记录。试想，全国几十个商场，每个商场数以千记的商铺，每个商铺每天的销售额、租金是多么庞大的一组数据，况且，商铺的主人也在不停的在变动中，如果这些变动不加以记录，如何对公司的产品进行管理，如何通过市场的需求做出合理的决策？ 所以，仅仅拥有数据库是不够的，数据库面对如此庞大的录入会显得力不从心，况且决策人员面对浩如烟海的数据根本无法做出决策。所以，数据仓库将是一个最明智的选择。按以上内容为背景，我们拟设置出下列需求：1) 分析汇总商场的相关租赁信息。商场的主要行为就是租赁行为，租赁行为将对商铺进行影响，比如重新测量商铺面积，商铺的状态转换，商铺的承租人，商铺的业态，商铺属于哪个商场等等。而管理层的需求就是通过报表汇总统计出个个商场中商铺的状态信息和出租情况2) 分析汇总出商场的相关合同信息。每一个商铺的出租都会涉及到一个合同，对于合同而言有诸多的属性，包括合同起止日，交房日，承租人，承租期限，保证金，担保模式，合同涉及的商铺数等等，而管理层的需求便是通过一张报表展示各种相关的合同信息。3) 分析汇总出商场有关收费的信息。对于商铺的收费类型是十分复杂的，包括基本租金，物管费，提成租金，pos机收费等等，关于收费信息的需求便是计算出哪些商铺需要那些收费并将其展示出来。4) 存储保证金已经业态信息保证金是商铺通过缴纳一定的费用来为其预留商铺。保证金根据租户的不同，商铺的位置，大小，面积的不同有不同的计算方式，所以需要对保证金信息进行统计并一并展示。而业态是统计商场经营范围的指标，我们将业态分为24个标准业态（时装/服饰，餐饮，书籍及文具，超市百货商场，玩具及个人嗜好，礼品及纪念品，教育，家用及家具，运动器材及运动装，电器，休闲及娱乐，办公室，各类服务，货仓，资讯，儿童，珠宝及钟表及钢笔，鞋子及包包，工艺品，音乐及影视，美容/保健，生活特性店，特卖店/折扣店）要对每个商铺的业态进行分类存入标准业态，方便统计地域内消费者得消费倾向。2.3 可行性分析可行性分析是系统规划的关键一步,以评定项目在技术上、经济上、操作上和进度上的可行性。可行性分析的任务是明确应用项目开发的必要性和可行性。必要性来自实现开发任务的迫切性，而可行性则取决于实现应用系统的资源和条件。这项工作需建立在初步调查的基础上。2.3.1 管理可行性管理层面也许不是一项很重要的因素，对预选方案的评估结果也许不致有决定性的影响力，但毕竟也是一项不容忽视的因素，须予以注意。本系统的以公司的需求为导向，抽象相关人员，工作原理，系统亦涉及到权限的管理，开发途中突出对范围管理，时间管理，质量管理，风险管理。其后为了实现项目的目标，需要对项目的工作具体内容进行控制，包括范围的界定，范围的规划，范围的调整等。综上所述，本系统管理成本较低，具有较强的可操作性2.3.2 经济可行性本系统的开发，需要以计算机作为软件运行的平台，对于计算机的配置要求中等即可，而计算机上只需安装相应的开发和运行软件，如SQLserver2008，Visio studio2008，SSIS，Report Builder2.0用于支持开发即可。项目中需要数据导入和导出时，需要从商场提取数据源。本系统开发完成后可以节省人力，节约时间，从而大大降低成本。其次，系统对于输入输出进行规范化要求，也提高了数据可用性，增强了数据安全系数，能够更方便、简单、快速地进行查询、修改数据。多维报表展示，系统决策支持。另外，但是在系统的维护和管理上可能需要一定的精力，需要定时地检查和运行ETL并进行数据质量的控制，从而保证系统正常和高效的运行。总体上讲，本系统的开发成本较低，经济可行性较强。2.3.3技术可行性数据仓库以及决策支持技术的发展，使得原本对历史数据的低效率抽取和转换变得高效起来，也使对于知识的管理在此基础上得以发展。以数据仓库为基础，建立开发一套完善的数据处理系统，对于大型的，多数据处理公司而言无疑是一个天大的喜讯，况且，大量的事实证明了此举的高效性和必要性，因此本系统的设计和开发具有很强的可行性。另外，随着信息处理的加速和开发语言的不断更新，基于SQL的T-SQL语言，其丰富的功能和函数无疑为我们的开发又添加了一个利器。本系统以Windows作为操作系统，以SQLserver2008作为后台数据库支持，通过Visio studio2008作为控制执行SSIS工作包的工具台，加载ETL逻辑，最终通过SSRS生成报表，并通过Report Builder2.0发布，整个链路一气呵成，并且全套微软的BI工具具有很强的兼容性，避免了不同数据库和软件之间数据转换的麻烦。作为一名开发者，作者通过一段时间对数据仓库的学习和理解，通过大量的资料，已经初步具备了设计数据仓库的基本理论知识和实施数据仓库的基本方法，并且通过学习对SSIS控制流也有一定了解，对于SSRS报表服务以及Report Builder2.0，因为之前从未接触，所以迅速掌握有一定的困难，但是相信通过学习，掌握基本的报表发布方法和途径不成问题。所以综上所述，建立一个基于数据仓库的数据处理系统所遇到的问题都是可以解决的，这使得我们可以相信它在技术上具有较强的可操作行。2.3.4 操作可行性本系统采用基于数据仓库技术对于商场数据处理和报表展示，其中会涉及到数据仓库技术，并且会涉及到一些数据库相关，以及报表相关的专业性工具，比如SQLserver2008，Visio studio2008，SSIS，SSRS，Report Builder2.0等等，这些工具都需要经过一段时间的学习才能达到熟练应用的地步，所以本系统对于非专业人士，可操作性较差。2.3.5 进度可行性该系统共有两个星期左右的时间进行设计和实施：第4周：查阅相关文献资料，明确设计内容，了解研究包括数据仓库设计和实施相关、SSIS相关，报表设计和展示相关内容。确定方案后，完成开题报告，并拟定论文的基本提纲；第56周：对系统进行初步的分析并拟出基本实施方案；第710周：对系统的设计和实现，并配置报表发布文件；第1011周：系统的debug并同时对于系统进行评价和维护；第1213周：撰写完成毕业论文，并修改直至合格；第1415周：继续完善系统和论文，并准备参加论文答辩。总之，通过大约12周的时间来完成一个简单的数据处理和报表展示系统是合理、有序、科学并且可行的。2.4 ETL分析与设计2.4.1 ETL数据流向图 此图标识整个了ETL的执行过程中，数据经过的几个层次和其中的处理逻辑。数据经过这几个层次以后，转换为有价值的，包含维度的知识型数据，从报表出口导出形成报表，整个流程通过SSIS流进行控制。图2-1 ETL流程图2.4.2 ETL数据层1) STG（Staging）层主要是为了保证数据移动的顺序进行而开设的增量性的数据存储空间，它是源系统业务数据进入数据仓库的缓存区。从业务系统到Staging的数据传输，应该避免复杂的数据处理，以保证数据的快速导入而尽量减少对业务系统的压力。需要进入数据仓库主题系统的数据首先快速传输到Staging Area，通过Staging Area再转移到目标数据仓库中。如业务系统（如ERP，PSP,NOTES）到Staging Area的数据传输，应该避免复杂的数据处理，以保证数据的快速导入而尽量避免对业务系统的压力。一般，可以创建与OLTP交易系统结构相同的属性，同时在Staging区域需要增加两个属性。Source Code 用来表示源系统。Last Modification Date 用来获得数据处理的时间。如果原来的数据中已有上述两个属性，则需要在新属性中增加DW后缀进行标识。数据成功导入数据仓库之后，应清空Staging Area中的数据。Staging区域只是为了简化或者使ETL过程，结构更合理，更利于管理等设置的中间存储层，Staging层里的数据理论上是可以对用户不可见的，或者说更像一个技术策略，所以Staging层只是数据仓库中的一个很小的技术模块。在本系统中，STG表加载数据库中更新的源数据，包括插入，更新，逻辑删除的数据。STG表结构除了具有源表表结构所有字段外，还添加三个字段，用于标识数据库来源，STG加载日期，记录是否被删除。2) ODS（Operational Data Store）层ODS的数据作为数据仓库系统数据存储。ODS区域可以从系统上分为两个部分：（1）存放OLTP系统的历史数据这部分数据需要考虑是否需要对OLTP中的数据进行LIFE CYCLE的记录（包括交易数据 fact data和基础数据 dimension data，即缓慢变化的处理 SCD）（2）存放数据仓库部分加工信息即通过ODS历史数据经过整合后的信息，这些信息更加全面的反映出主题中某件事务的全貌。ODS一般可以讲是大型数据仓库中一个独立的系统或环境，是否需要ODS取决于业务需求，通常情况下，如果建立了ODS，那个ODS就要承担较大的数据整合的任务，一边数据仓库主要集中于解决数据应用层面的需求，另外一般如果有ODS的话，ODS也会向外提供一定的应用，所以ODS是对用户可见的，而不死附属于数据仓库的。数据模型的建立要看系统更侧重于解决什么样的业务问题，ODS理论上是一个兼具生产系统和分析系统特性的系统，所以要看建设ODS到底是为了解决分析系统多一些，还是为了解决生产系统问题多一些如果两者兼顾，那么对数据模型要求多层设计，分别满足不同需求。本系统的ODS层表，加载报表所需的源数据。其报表当月的源数据在ODS表里保存3个月。ODS表的数据源由STG表提供，并且两者数据表的表结构完全相同。3）DWH（data warehouse）层它是真正具有星型结构的多维数据存储区，这个部分包括两种实体（FACT ENTITY和DIMENSION ENTITY）。DWH部分需要支持最细粒度级别，保证可以在最细粒度级别实现多维的分析。即能够支持汇总数据以及明细数据的多维查询。FACT ENTITY:它是对某个事物（可能是某一笔交易，某一个项目，如一笔到货明细，某一个任务令）的各方面信息的描述，描述行的属性包括：该事物各方面的度量信息，相关度量信息的维度信息。DIMENSION ENTITY:此处的维度信息是与FACT ENTITY相关的维信息，包括很多FACT ENTITY共有的维度信息，比如时间维度等。以及某个FACT ENTITY需要的专有的维信息。DWH部分需要能否支持最细粒度级别，可以保证最细粒度级别实现多维的分析。本系统的DWH层利用维表和事实表存储用于生成报表的数据源。这是报表分析数据的核心，采用的是星型模型架构方式，利用事实表保存历史数据。4）DM（Data Mart）层它是某个主题领域的专业的多维数据区。实现某一特定主题领域的多维查询需求。这个部分也包括两个实体（FACT ENTITY和DIMENSION ENTITY）两部分，但是与DWH不同的是这部分的FACT ENTITY和DIMENSION ENTITY都是为某一主题服务的。本系统的DM层存放从DWH层进行聚集和计算之后的结果，主要用于为报表快速提供数据，并方便跨主题分析。5）RPT层RPT层是完全按照报表需要展现的格式进行数据存储的。这里保留了发布后报表的历史数据，方便日后查询。2.4.3 历史数据保留策略根据系统各层的取数规则和职能，现设计各层的历史数据保留策略如下图所示：表2-1 历史数据保留策略表数据层保留数据STG只存放最近一次加载的增量数据ODS只存放从STG来的累积增量数据，保存周期为3个月DQ存放和业务系统一致的数据，不保留历史DWH事实表，保留所有的历史；维表，根据业务应用的要求不保留历史DM不保留历史，仅保存根据最新的事实表数据进行聚集后的结果RPT保留历史，保存每次发布后的报表结果，按月保存2.5 表间层次关系图根据设计，商场租赁报表系统需要加载关于商场的租赁信息，收费信息以及合同信息。此图反映了各个相关表通过上述数据仓库的各个层次时，相关物理表之间的逻辑关系图。图2-2 标间层次关系图2.6 ER图基于数据库中所涉及的表，设计出如下局部以及整体E-R图图2-3 实体属性图图2-4 实体属性图图2-5 整体ER图2.8 数据字典根据数据仓库的设计，我们利用数据字典来规范化本系统数据具体内容，作为数据汇总、分析的一个总结，其中包括staging层有关数据对象的数据流字典、数据存储字典和数据处理字典，并详细说明如下。1）数据流名称：商铺信息表简述：有关商铺信息录入 数据流来源：商场助理录入数据流去向：添加信息数据流组成：商铺号商铺租赁状态商场维度代理键ID商铺类型标记租户名称公司名称商铺可租面积商铺生效时间商铺失效时间商铺状态业态2）数据流名称：合同信息表简述：关于合同的信息数据流来源：商场租赁助理数据流去向：添加信息数据流组成：合同维度代理键ID合同业务ID合同涉及商铺个数合同开始时间合同结束时间交房日装修时间合同期保证金金额意向书签署日期合同签署日期3）数据流名称：收费信息表简述：收费类型描述数据流来源：系统管理员数据流去向：添加信息数据流组成：基本租金物管费POS租金免租GTO租金租赁保证金 POS机保证金4）数据流名称：业态信息表简述：业态信息描述数据流来源：商场租赁助理数据流去向：添加信息数据流组成：数据源业态ID目标库业态ID源业态名目标业态名5）数据流名称：收费类型表简述：收费类型描述数据流来源：商场租赁助理数据流去向：添加信息数据流组成：收费类型ID收费类型描述更新人更新日期6）数据流名称：保证金类型表简述：保证金类型描述数据流来源：商场租赁助理数据流去向：添加信息数据流组成：保证金类型ID保证金类型描述更新人更新日期3 系统设计3.1 维度表的设计维度表行数往往比事实表少得多，但却包含对多维空间中维的详尽描述，而且这种描述往往是分层的。如对销售分析的地区维来说，可能有国家、省、市等层次。设计维度表，应采取以下原则：1）维度表倾向于更多的列和更少的行。在一个设计合理的维度模型中,维度表有许多列或属性，这些属性给出对维度表的行所进行的描述，因此应尽可能多地包含一些有意义的文字性描述。对于维度表来说，包含50到100个属性的情形并不少见。2）设计一个占空间尽可能小的主键，以参照到事实表。通常使用代理关键字代替业务系统的自然关键字作为维度表的主键。代理关键字是在填充维度时按需顺序分配的整数值，它没有明确的含义，仅仅用于维度表到事实表的连接。代理关键字通常采用4字节的整数表示，参照到事实表中可以减小了事实表的大小,可以带来更小更有效的索引,同时提高多表连接的速度。3）维度表不建议进行规范化,甚至鼓励一定程度的冗余。由于维度表的层次结构,使得维度表存在很大的数据冗余,但不建议进行规范化处理。规范化处理将冗余属性从维度表中去掉,放到另一个规范化的维度表中,从而形成雪花模型。由于维度表与事实表相比占用的空间非常小,规范化后节省下来的空间显得微不足道,却使数据展示变得复杂,制约了跨属性的浏览操作。因此,应该有意识地牺牲空间来换取数据仓库高性能与易使用方面的优点。4）维度表中的属性应尽可是文本的或离散的。维度属性是查询约束条件、成组与报表标签生成的基本来源,力求最大限度地减少