第04章-警务数据仓库的实现

1、数据仓库与数据挖掘,第4章警务数据仓库的实现,第4章警务数据仓库的实现,本章任务：应用MicrosoftSQLServer2008R2的集成服务(SQLServerIntegrationServices,SSIS)功能:创建一个集成服务项目HuangDC_ETL为项目HuangDC_ETL配置一个警务信息数据仓库的SSIS包Package.dtsx(可改名为HuangDCpkg.dtsx等)分别将数据源OLTPHotel中现有的数据，抽取转化后加载到数据仓库HuangDW_Hotel之中。将SSIS包Package.dtsx部署到SSIS服务器；创建Package.dtsx的作业代理，指定其数

2、据抽取的作业时间，使其今后能够感知数据源OLTPHotel中新增的数据，并抽取转化后定时追加到数据仓库HuangDW_Hotel之中。演示地址：115.28.237.97,2,第4章警务数据仓库的实现,4.1SQLServer2008R24.2创建集成服务项目4.3配置“旅馆_ETL”数据流任务4.4配置“人员_ETL”数据流任务4.5配置“时间_ETL”数据流任务4.6配置“入住_ETL”数据流任务4.10SSIS包package的部署,3,4.1SQLServer2008R2,我们在3.4节确定了数据源OLTPHotel，在3.5节创建了数据仓库文件HuangDW_Hotel及其维度表和事

3、实表,但里面还没有任何数据。,4,4.1SQLServer2008R2,1、MicrosoftSQLServer微软公司推出的一款商品化关系型数据库管理系统(RDBMS)，因其中包括了数据仓库的管理功能，也是一款关系数据仓库管理系统(RDWMS)，在国际国内有广泛用户群。2、MicrosoftSQLServer2008R2在SQLServer2008基础上增加了许多新的功能，不仅能为用户的关键商业应用提供可信赖的、高效的、智能的开发平台，支持策略管理和审核、大规模数据仓库、空间数据、高级报告与分析服务等功能，还增强了应用开发能力，提高了可管理性，强化了对商业智能及数据仓库的支持。3、我们的警务

4、信息数据仓库是在SQLServer2008R2平台上实现的，因此，简单介绍SQLServer2008R2与警务信息数据仓库实现有关的服务功能。,5,4.1SQLServer2008R2,4.1.1SQLServer的服务功能1、数据库引擎(SSDE)是SQLServer系统的核心服务，包括传统数据库管理系统(DBMS)和数据仓库管理系统(DWMS)功能。2、集成服务(SSIS)是一个功能强大的数据集成平台，可以完成有关数据的“提取-转换-加载(ETL)”功能。本章：OLTPHotel(ETL)HuangDW_Hotel3、分析服务(SSAS)提供了OLAP多维分析和数据挖掘功能，支持用户对所建

5、立的数据仓库进行商业智能分析。第6章用SSAS对HuangDW_Hotel数据进行OLAP多维分析。4、报表服务(SSRS)为用户提供了支持企业级的Web报表功能。通过使用SSRS服务，用户可以方便地定义和发布满足自己需求的报表，且无论是报表的布局格式，还是报表的数据源，用户都可以轻松地实现Word,PDF,Excel,XML等格式的报表。,6,4.1SQLServer2008R2,4.1.2SQLServerManagementStudioSQLServerManagementStudio(SSMS)是一个集成的数据库/数据仓库管理环境，用于访问、配置、管理和创建SQLServer数据库/数

6、据仓库有关的所有组件，使如数据库引擎(SSDE)、分析服务(SSAS)、报表服务(SSRS)、集成服务(SSIS)和嵌入式数据库(SSC)协同工作。在其【服务器类型】下拉框内有【数据库引擎】、AnalysisServices、ReportingServices、IntegrationServices和SQLServerCompact等5个选项。选择其中任何一个获得相应服务功能。,7,4.1SQLServer2008R2,4.1.3MicrosoftVisualStudio1、商业智能开发平台简介MicrosoftVisualStudio(MVS)是微软公司推出的一个软件集成开发环境，称为商业智

7、能开发平台(SQLServerBusinessIntelligenceDevelopmentStudio)，是目前最为流行的Windows应用程序开发环境之一。SQLServerIntegrationServices(集成服务，简称SSIS)工具，可完成对数据源的数据抽取、转换并装载到数据仓库的集成项目开发，包括控制流、数据流任务参数配置。SQLServerAnalysisServices(分析服务，SSAS)工具，可完成对数据仓库数据的各种多维数据集重构，为OLAP分析提供支持(第6章介绍其使用方法)。,8,4.1SQLServer2008R2,SSIS是SQLServer为用户提供的主要智

8、能服务功能之一，是一个可视化的高性能数据“抽取-转换-装载”(ETL)集成解决方案的配置和调试平台。对每一个实际应用问题，可利用SSIS为其开发一个数据集成方案(称为一个SSIS包)。SSIS提供了一系列支持应用开发的内置任务和容器，数据源、数据查找、数据转换、数据目的等配置控件。用户只要配置数据流中各种控件的参数，几乎无需编写一行代码，就可以创建SSIS包来解决ETL等复杂的商业智能数据集成问题。,9,4.1SQLServer2008R2,2、进入商业智能开发平台选择Windows的【SQLServerBusinessIntelligenceDevelopmentStudio】菜单命令，进入

9、SQLServer商业智能开发平台MicrosoftVisualStudio(MVS)的【起始页】窗口。,10,4.1SQLServer2008R2,3、本章后续内容本章后面几节将要介绍的内容，就是在这个MVS平台上完成如下两项工作。（1）创建集成服务项目集成服务项目HuangDC_ETL的创建方法将在4.2节介绍。每一个集成服务项目至少有一个SSIS包，所以，当HuangDC_ETL成功创建后，它有一个默认的SSIS包名称Package.dtsx。（2）配置数据流任务一个SSIS包通常由若干个数据流任务连接起来的控制流组成，它们是从数据源中抽取数据，并将其清理、合并转换后加载到数据仓库的一个

10、集成解决方案。,11,4.1SQLServer2008R2,图4-4显示的是已经完成配置的教程实例SSIS包。4.3节-4.9节的任务就是为这个SSIS包Package.dtsx配置这7个具体的数据流任务。,12,4.1SQLServer2008R2,旅馆_ETL。负责将数据源OLTPHotel中旅馆信息表LGXX的数据抽取出来，经过转换后，加载到数据仓库HuangDW_Hotel目的表DimHotel（旅馆维度表）之中。OLTPHotel.LGXXHuangDW_Hotel.DimHotel人员_ETL。将OLTPHotel中常住人口表CZRK、暂住人口表ZZRK和人员前科表RYQK，加载到

11、数据仓库HuangDW_Hotel目的表DimPeople(人员维度表)之中。OLTPHotel.CZRK,ZZRK,RYQKHuangDW_Hotel.RYQK时间_ETL。将OLTPHotel中旅馆入住表LGRZ的入住时间RZSJ和离店时间LDSJ抽取出来，派生出年,月,日,时等新列，加载到数据仓库HuangDW_Hotel目的表DimDate(时间维度表)之中。OLTPHotel.LGRZHuangDW_Hotel.DimDate,13,4.1SQLServer2008R2,入住_ETL。将OLTPHotel旅馆入住表LGRZ的数据抽取出来，派生出年,月,日,时等新列，加载到数据仓库Hu

12、angDW_Hotel目的表FactHotel(旅馆事实表)之中。OLTPHotel.LGRZHuangDW_Hotel.FactHotel犯罪_ETL。将OLTPHotel中犯罪类型表FZLX的数据抽取出来，加载到HuangDW_Hotel目的表DimCaseType（犯罪类型维度表）之中。OLTPHotel.FZLXHuangDW_Hotel.DimCaseType地址_ETL。将OLTPHotel中所属辖区表SSXQ的数据抽取出来，加载到HuangDW_Hotel目的表DimAddress(地址维度表)之中。OLTPHotel.SSXQHuangDW_Hotel.DimAddress派出

13、所_ETL。将OLTPHotel中派出所表PCS的数据抽取出来，加载到HuangDW_Hotel目的表DimPolice（派出所维度表）之中。OLTPHotel.PCSHuangDW_Hotel.DimPolice,14,4.2创建集成服务项目,1、在MVS【起始页】窗口【文件】菜单中依次选择【新建】-【项目】菜单命令，弹出如图4-5所示的【新建项目】窗口。演示！,15,4.2创建集成服务项目,演示说明SSIS包的设计窗口主要有4个区域。1、菜单命令及其快捷按钮区域；2、功能设计区域，在窗口的正中央包括【控制流】,【数据流】、【事件处理程序】和【包资源管理器】等功能选项卡，是配置SSIS包的操

14、作和显示区域。实例仅使用【控制流】和【数据流】选项卡。3、【工具箱】区域位于【控制流】选项卡的左边，可折叠/展开窗口。SSIS包要想完成从数据源抽取数据，并将其转换和加载到数据仓库等各种操作步骤，都需要借助工具箱中的特定控件来实现。多个控件组成的一个执行顺序就构成一个数据流任务，多个数据流任务按照执行顺序连接起来称为一个控制流。,16,4.2创建集成服务项目,演示说明SSIS包的设计窗口主要有4个区域。4、【解决方案资源管理器】区域分布在窗口的右边，显示了整个项目拥有的对象，如数据源，数据源视图、SSIS包和杂项等，以方便用户随时查看和引用。说明：在SSIS包的配置实验过程中，可随时停止配置并

15、退出SQLServer商业智能开发平台（MVS）。重新启动商业智能开发环境，在【起始页】窗口的【最近的项目】区域内单击HuangDC_ETL，可重新进入SSIS包的设计窗口。,17,4.3配置“旅馆_ETL”数据流任务,配置将数据源OLTPHotel中旅馆信息表LGXX的数据，抽取、转化并加载到数据仓库HuangDW_Hotel目的表DimHotel之中所需要的操作控件、操作顺序和相关参数。比如数据源LGXX所在的服务器名称、数据库名称，还有目的表DimHotel所属数据库名称，以及数据库所在的服务器名称等。,18,4.4配置“人员_ETL”数据流任务,4.4.1创建“人员_ETL”对象添加“

16、数据流任务”并重命名为“人员_ETL”4.4.2配置“人员_ETL”参数“人员_ETL”对象包括“ADONET源”、“数据转换”、“派生列”、“查找”、“排序”、“合并”、“合并联接”和“ADONETDestination”等多种控件组成。,19,4.5配置“时间_ETL”数据流任务,配置“时间_ETL”数据流任务，就是配置将旅馆入住信息表LGRZ的入住时间RZSJ和离店时间LDSJ两个数据，抽取到数据仓库目的表DimDate之中所需要的操作控件、操作顺序和相关参数。,20,4.6配置“入住_ETL”数据流任务,“入住_ETL”对象创建的步骤和操作方法与4.4节创建“人员_ETL”对象(图4-

17、35)完全相同，请读者模仿4.4节的过程完成“入住_ETL”对象的创建。,21,4.6配置“入住_ETL”数据流任务,此外，我们还需“犯罪_ETL”数据流任务，“地址_ETL”数据流任务和“派出所_ETL”数据流任务,且其配置过程与旅馆_ETL、入住_ETL的类似，限于篇幅就不予再赘述，请读者自行完成或在出版社网站下载完成的配置说明文档。图4-91、图4-92、图4-93分别展示了每个数据流任务中所需的控件。,22,4.7SSIS包package的部署,1、前面几节已成功创建了一个集成服务项目HuangDC_ETL，并为该项目的SSIS包package.dtsx配置了“旅馆_ETL”、“人员_

18、ETL”等7个数据流任务。2、本节将把包package.dtsx部署到SQLServer的SSIS服务器中，使其能够根据指定的时间节点自动运行这个包，完成从OLTPHotel不断抽取数据并追加到数据仓库HuangDW_Hotel的任务。3、SSIS包的部署包括如下2项工作。(1)将SSIS包package.dtsx另存到SSIS服务器,并将其命名为HDC_ETL_Hotel，使其成为一个“已存储的包”对象存储在SSIS服务器之中；(2)配置包的运行作业参数，包括周期和时间，使代理能够在指定时间内执行该包,23,4.7SSIS包package的部署,4.10.1将包另存到SSIS服务器7、查看包另存的结果服务器类型选择IntegrationServices登录SSMS,24,4.7SSIS包package的部署,4.10.2创建作业代理1、登录数据库服务器【服务器类型】选择“数据库引擎”登录SSMS2、启动SQLServer代理3、配置新建的作业（6）配置【新建作业计划】。,25,4.7SSIS包package的部署,4.10.2创建作业代理,26,4.7SSIS包package的部署,4、查看新建作业在图5-110窗口中右击【SQLServ