集装箱码头数据仓库的设计与实现

1、 集装箱码头数据仓库的设计与实现 摘要随着信息技术的迅猛发展，数据仓库技术在信息技术领域已经成为了研究的热点，并且日益成熟，成为信息技术领域的前沿技术。实践证明，数据仓库的建立给企业带来丰厚的收益，集装箱码头也期望能通过数据仓库的建立来提升企业的核心竞争力。本论文以集装箱码头数据仓库项目需求为基础，致力于研究集装箱码头数据仓库吞吐量主题的设计方法与应用，通过对集装箱码头业务的分析和整理，选择合适的技术路线和数据仓库架构，实现数据仓库的建立。ETL设计是数数据仓库的核核心，在本论论文中也不例例外，论文使使用大量的篇篇幅介绍了EETL的设计计方法。为了了减少对源系系统的影响，设设计合适的EETL显

2、得尤尤为重要。作作者在充分分分析集装箱码码头业务和数数据仓库技术术的基础上，设设计了基于时时间的ETLL方式。项目中采用维度度建模的方式式实现了集装装箱码头吞吐吐量多维数据据集，最后选选择微软公司司的SQL Serveer20088作为数据仓仓库存储系统统，对外提供供吞吐量多维维数据集进行行查询与分析析。关键词：数据据仓库，集装装箱码头，EETL，维度度建模，吞吐吐量AbstracctWith thhe rappid deeveloppment of innformaation technnologyy, datta warehhouse technnologyy in tthe fiield

3、 oof infformattion ttechnoology has bbecomee a reesearcch foccus, aand moore maature. Pracctice has pprovedd thatt data warehhouse bringg the hhuge pprofitts to the eenterpprise, throough tthe coontainner teerminaal is also expeccted tto esttablissh a ddata wwarehoouse tto impprove the ccore ccompet

4、titiveeness.Though the ddata wwarehoouse rrequemments of thhe prooject at coontainner teerminaal ,the authoor dediccated to thhe ressearchh the data warehhouse desiggn metthod aand appplicaationss for contaainer termiinal oon theeme off conttainerr throuughputt,thenn chooose the aapproppriatee techh

5、nologgy roaadmap and ddata wwarehoouse aarchittecturre to finissh thee estabblishmment oof thee wareehousee.ETL is the mmost iimporttant ppart iin data warehoouse cconstrructinng,its alsso in this paperr,the authoor speend a largee amouunt off spacce to descrribe tthe deesign methood of ETL. In orrd

6、er tto redduce tthe immpact on thhe souurce ssystemms, ETTL dessign iis parrticullarly imporrtant.The rrequirrementts of Contaainer termiinal iis fullyy analyysis bby autthor,aand thhen sstudy on thhe bassis data warehhouse technnologyy,so tthe ETTL bassed onn timee was choosse.Dimensiional modellin

7、g wwas ussed too desiign thhe mullti-diimensiion cuube off contaainer termiinal tthrougghput in thhis prrojectt. Finallly,thee sourrce daata weere sttored in Miicrosooft SQQL Serrver20008 ,and supplly thee multti-dimmensioon cubbe to view and aanalyssis.Key Worrds：dw,contaainer termiinal,EETL, dimen

8、ssionall modeeling, throuughputt 目录TOC o 1-3 h z u HYPERLINK l _Toc291407569 摘要 PAGEREF _Toc291407569 h i HYPERLINK l _Toc291407570 Abstracct PAGEREF _Toc291407570 h ii HYPERLINK l _Toc29914075571 图目录 PAGEREF _Toc291407571 h III HYPERLINK l _Toc291407572 表目录 PAGEREF _Toc291407572 h IV HYPERLINK l _T

9、oc291407573 第1章 绪论 PAGEREF _Toc291407573 h 1 HYPERLINK l _Toc291407574 1.1 课题背背景 PAGEREF _Toc291407574 h 1 HYPERLINK l _Toc291407575 1.2 主要的的研究内容 PAGEREF _Toc291407575 h 2 HYPERLINK l _Toc291407576 1.3本章小结结 PAGEREF _Toc291407576 h 3 HYPERLINK l _Toc291407577 第2章 数据仓仓库相关技术术介绍 PAGEREF _Toc291407577 h

10、4 HYPERLINK l _Toc291407578 2.1 数据仓仓库的发展 PAGEREF _Toc291407578 h 4 HYPERLINK l _Toc291407579 2.2 数据仓仓库的实现过过程 PAGEREF _Toc291407579 h 5 HYPERLINK l _Toc291407580 2.3 新兴数数据仓库解决决方案 PAGEREF _Toc291407580 h 5 HYPERLINK l _Toc2914075581 2.4 本章章小结 PAGEREF _Toc291407581 h 8 HYPERLINK l _Toc291407582 第3章 业务整

11、整理与项目规规划 PAGEREF _Toc291407582 h 9 HYPERLINK l _Toc291407583 3.1 业务状状况介绍 PAGEREF _Toc291407583 h 9 HYPERLINK l _Toc291407584 3.1.1 信信息系统应用用状况 PAGEREF _Toc291407584 h 10 HYPERLINK l _Toc291407585 3.1.2 报报表数据的需需求 PAGEREF _Toc291407585 h 10 HYPERLINK l _Toc291407586 3.1.3 其其他需求 PAGEREF _Toc291407586 h

12、11 HYPERLINK l _Toc291407587 3.2 数据仓仓库系统阶段段规划 PAGEREF _Toc291407587 h 11 HYPERLINK l _Toc291407588 3.3 预期产产出成果 PAGEREF _Toc291407588 h 11 HYPERLINK l _Toc291407589 3.4 架构设设计 PAGEREF _Toc291407589 h 12 HYPERLINK l _Toc291407590 3.5 本章小小结 PAGEREF _Toc291407590 h 15 HYPERLINK l _Toc291407591 第4章 数据存存储结

13、构设计计 PAGEREF _Toc291407591 h 16 HYPERLINK l _Toc291407592 4.1 数据定定义的统一 PAGEREF _Toc291407592 h 16 HYPERLINK l _Toc291407593 4.2 数据源源结构描述 PAGEREF _Toc291407593 h 16 HYPERLINK l _Toc2914075994 4.3 企业业数据标准化化 PAGEREF _Toc291407594 h 18 HYPERLINK l _Toc291407595 4.4 数据仓仓库数据结构构 PAGEREF _Toc291407595 h 19

14、HYPERLINK l _Toc291407596 4.4.1 数数据仓库表结结构 PAGEREF _Toc291407596 h 19 HYPERLINK l _Toc291407597 4.4.2 目目标数据与源源数据的对应应关系 PAGEREF _Toc291407597 h 21 HYPERLINK l _Toc291407598 4.5 本章小小结 PAGEREF _Toc291407598 h 22 HYPERLINK l _Toc291407599 第5章 面向集集装箱操作时时间的ETLL设计 PAGEREF _Toc291407599 h 23 HYPERLINK l _Toc

15、291407600 5.1 ETLL的实现方式式 PAGEREF _Toc291407600 h 23 HYPERLINK l _Toc291407601 5.2 吞吐量量数据初始化化 PAGEREF _Toc291407601 h 24 HYPERLINK l _Toc291407602 5.3 数据增增量同步 PAGEREF _Toc291407602 h 27 HYPERLINK l _Toc291407603 5.3.1 流流程总览 PAGEREF _Toc291407603 h 27 HYPERLINK l _Toc291407604 5.3.2 EETL增量同同步的具体实实现 PA

16、GEREF _Toc291407604 h 28 HYPERLINK l _Toc291407605 5.4 本章小小结 PAGEREF _Toc291407605 h 31 HYPERLINK l _Toc291407606 第6章 吞吐量量的多维数据据集设计 PAGEREF _Toc291407606 h 32 HYPERLINK l _Toc291407607 6.1 逻辑设设计 PAGEREF _Toc291407607 h 32 HYPERLINK l _Toc291407608 6.1.1 确确定主题 PAGEREF _Toc291407608 h 32 HYPERLINK l _

17、Toc291407609 6.1.2 粒粒度的确定 PAGEREF _Toc291407609 h 32 HYPERLINK l _Toc29144076100 6.1.33 确定维度度表 PAGEREF _Toc291407610 h 33 HYPERLINK l _Toc291407611 6.1.4 确确定事实表 PAGEREF _Toc291407611 h 36 HYPERLINK l _Toc291407612 6.2 多维数数据集的实现现 PAGEREF _Toc291407612 h 37 HYPERLINK l _Toc291407613 6.3 本章小小结 PAGEREF

18、_Toc291407613 h 39 HYPERLINK l _Toc291407614 第7章 数据展展示与分析 PAGEREF _Toc291407614 h 41 HYPERLINK l _Toc291407615 7.1 办公网网吞吐量展示示 PAGEREF _Toc291407615 h 41 HYPERLINK l _Toc291407616 7.2 数据仓仓库报表 PAGEREF _Toc291407616 h 41 HYPERLINK l _Toc291407617 7.3 数据分分析 PAGEREF _Toc291407617 h 42 HYPERLINK l _Toc291

19、407618 7.4 本章小小结 PAGEREF _Toc291407618 h 44 HYPERLINK l _Toc291407619 第8章 总结与与展望 PAGEREF _Toc291407619 h 45 HYPERLINK l _Toc291407620 8.1 总结 PAGEREF _Toc291407620 h 45 HYPERLINK l _Toc291407621 8.2 展望 PAGEREF _Toc291407621 h 46 HYPERLINK l _Toc291407622 参考文献 PAGEREF _Toc291407622 h 477 HYPERLINK l _

20、Toc291407623 作者简历 PAGEREF _Toc291407623 h 499 HYPERLINK l _Toc291407624 致谢 PAGEREF _Toc291407624 h 50图目录TOC h z c 图图1.1 项目目所处企业信信息化的位置置.2 图2.1 十大大数据仓库排排名.4图2.2 Innfobriight Archiitectuure.7图3.1 数据据仓库体系结结构.12图3.2 OLLAP多维数数据集概念图图.14图3.3 数据据仓库项目架架构图.15图4.1 表结结构范例.17图4.2 数据据仓库表结构构（一）.200图4.3 数据据仓库表结构构（二

21、）.211图5.1 “数数据流源”属性设置.25图5.2 数据据仓库初始化化SSIS包包结构.26图5.3 增量量数据ETLL流程.28图5.4 Immport包包抓取源数据据.29图5.5 导入入增量数据.30图5.6 ETTL执行计划划.31图6.1 吞吐吐量维度关系系.38图6.2 日期期的层次关系系.38图6.3 度量量值的转换.39图7.1 通过过MOSS展展示吞吐量.41图7.2 船舶舶作业报表.42图7.3 集装装箱吞吐量（一一）.43图7.4 集装装箱吞吐量（二二）.43表目录TOC h z c 表表2.1Inffobrigght性能对对比8表3.1报表分类类举例8表4.1源系

22、统统吞吐量相关关表结构.17表6.1船期维维度.34表6.2集装箱箱维度.35表6.3辅助作作业维度.36表6.4集装箱箱作业类型纬纬度.36表6.5作业设设备纬度.36表6.6操作员员表纬度.36表6.7集装箱箱吞吐量事实实.37表6.8辅助作作业吞吐量事事实.337绪论课题背景本课题来源于，宁宁波大榭招商商国际码头（简简称CMICCT）。宁波大榭招商国国际码头有限限公司成立于于2003年年6月，公司司是由香港招招商局国际有有限公司、宁宁波港集团、上上海中信港口口投资有限公公司三方共同同投资组建的的中外合资企企业。 规划划建设3个110万吨级、11个7万吨级级集装箱专用用泊位，码头头全长15

23、000米，水深深-17米，整整个港区建成成后总面积1163.5万万平方米，设设计年吞吐量量达240万万TEU11。公司从从建立至今一一直保持着高高速发展，在在受到金融危危机影响的22009年，吞吞吐量仍然保保持近10%的增长，到到达119万万TEU，22010年吞吞吐量超过1150万TEEU。随着公司的发展展，各业务系系统的上线使使用，产生的的各种业务数数据分布存储储在不同的系系统中。例如如：主要生产产作业量数据据存储在集装装箱码头操作作管理系统（TTOS）中，电电量数据在RRCMS系统统、电量自动动化系统中有有存储但是数数据意义不同同，费收数据据目前存储在在TOS系统统中以后会存存储在商务计

24、计费系统中，应应收账款的收收款情况信息息存储在财务务系统中，设设备加油数据据存储在加油油系统中，等等等；目前的的数据分析多多是利用独立立的业务数据据进行数据提提取分析的，无无法灵活实现现综合性的数数据关联分析析及钻取分析析。如果需要要对各种作业业量及效率进进行分析、对对作业的成本本进行分析、对对作业的收入入情况进行分分析就需要建建立一个适合合统计分析的的、便于扩展展的、符合我我司业务情况况的统一的数数据模型，从从而将TOSS系统中的作作业数据，商商务费收数据据，财务收款款数据，电量量数据，油耗耗数据等业务务数据统一起起来，为后续续的综合数据据分析提供支支持。下图所示中橙色色部分为本次次项目实施

25、在在整体企业信信息规划中所所处的位置，其其中前端展现现部分计划在在企业统一信信息平台中进进行实现：图1.1 项目目所处企业信信息化的位置置如图1.1所示示，经过几年年的信息化建建设，公司的的信息化基础础设施、基础础业务操作系系统已经建设设完成，目前前的信息化系系统已经能够够满足公司业业务操作需求求。但是，随随着行业竞争争的加剧、公公司发展对积积累的历史数数据进行分析析的需要（例例如：从各角角度分析吞吐吐量情况、分分析成本情况况、分析收入入情况），就就需要在业务务操作层的基基础上构建适适合统计分析析的分析数据据管理层，以以便为公司各各项数据的整整合分析、为为后续更高层层次的商务智智能分析打下下基

26、础。基于以上因素，提提出大榭招商商码头数据仓仓库项目，本本论文就是在在数据仓库建设设的初期，探探讨如何实现现将码头生产产操作数据导入入数据仓库，并并且以直观的的形式在公司司内部展示吞吐量相相关数据，提提供公司业务务相关人员便便捷查看，并并能供给业务务人员对集装装箱吞吐量数数据进行多方方面的分析和和钻取。主要的研究内容容本文针对宁波大大榭招商国际际集装箱码头头业务的特点点和现状，主主要对企业数数据仓库项目目吞吐量主题题域的建立进进行研究。本本文在对比了了几种经典的的数据仓库设设计架构之后后，提出一个个适合该码头头的数据仓库库架构，使得得企业的分析析数据统一无无误，并能便便捷的提供给给业务岗位进进

27、行分析，并并解释设计阶阶段的侧重点点。本文主要研究内内容包括：首先，分析招商商国际码头业业务需求，码码头生产操作系统统（TOS）中数据的逻辑关系、吞吐量相关的数据来源，并整理与之相关维度的关系，然后选择数据建模工具建立起吞吐量主题的逻辑模型。其次，根据招商商国际码头业业务系统的特特点，尝试以以MS SQQLSERVVER20008作为目标标数据库存储储平台完成物物理设计，采采用SSISS作为ETLL工具，并设设计ETL的的处理流程。最后，通过结合合招商国际集集装箱码头的的企业信息平平台特点完成成数据的展示示，供给业务务人员通过报表表查询分析操操作数据。1.3本章小结结本章介绍了宁波波大榭招商国

28、国际码头有限限公司的概况况和公司信息息化的发展状状况。由于面临提高高精细化管理理的程度、建立自身的的竞争优势、向管理要红红利和业务发发展需要等一一系列问题，为为了解决这些些问题而提出出的数据仓库库项目，同时时概括的说明明了论文涉及及项目的主要要内容和目的的。最后，阐阐述了作者在在该项目中从从事的研究内内容。下一章章，将对数据据仓库相关技技术进行一个个粗略的阐述述。数据仓库相关技技术介绍数据仓库的发展展随着PC的迅速速普及，业务务处理系统的的运行成本大大大降低，极极大地推动了了信息处理技技术的发展。企企业大型联机机事务处理技技术已经相当当成熟，很好好地解决了企企业对于实时时业务交易的的需求。与此

29、此同时，激烈烈的得各行各各业对于数据据处理提出了了更高的要求求。企业已经经不满能够帮帮助他们迅速速地处理业务务，而且需要要从浩如烟海海的大量业务务活动的规律律性，提炼出出经营管理所所必须的关键键信息，使自自身业务的运运作以及整个个市场相关行行业的态势进进行分析，从从的决策。正正是在这样的的背景下，数数据仓库技术术应运而生了了2。在刚开始的时候候，数据仓库库市场比较混混乱，数以百百计的数据仓仓库提供商提提供了各自定定义的数据仓仓库产品，经经过十多年的的发展，数据据仓库市场已已经成熟起来来，渐渐形成成了以Sybbase、IIBM、Orracle、MMicrossoft等几几家IT巨头头为首的数据据

30、仓库提供商商，他们为各各大跨国企业业提供TB级级别的数据仓仓库解决方案案，从Oraacle白皮皮书中截取的的十大数据仓仓库排名，如图22.1：图2.1 十大大数据仓库排排名数据仓库的实现现过程数据仓库的建立立可以采用自自顶向下的设设计方法，首首先对整个企企业所有的数数据整合建模模，按照传统统的关系概念念模型建立原原子单元的中中央数据仓库库，然后根据据不同的应用用来分别建立立相应的数据据集市，数据据集市中的数数据全部来自自前面建立的的中央数据仓仓库。这种架架构需要企业业的业务明确确，企业内部部具有准确详详细的数据模模型定义，需需要调动企业业的每个部门门参与，这种种方式需要项项目实施人员员有丰富的

31、实实际经验，并并且企业中定定义了规范的的数据标准，这这种方式风险险较大，但是是这种方式中中所有应用的的数据都是来来自中央数据据库，能够极极大的确保数数据的一致性性。如果企业没有做做好完善的准准备，也可以以采用自底向向上的设计方方法，按照某某个相关主题题的需求，通通过迭代的方方式来建立企企业数据仓库库。这种方式式相对风险较较小，实施也也较容易。这这种方式首先先通过某个具具体的业务需需求进行分析析，按照维度度模型建立数数据集市，然然后通过增加加维度和数据据集市螺旋的的向上构建数数据仓库，这这种方式建立立的数据仓库库仅仅是包含含全部数据集集市的联合。在在最初的分析析阶段建立的的数据集市就就是实现数据

32、据仓库的基础础，与后期的的数据集市联联合实现数据据仓库，不同同的数据集市市之间可以通通过创建一个个统一的维度度来进行集成成，每当增加加数据集市时时，都把新的的维度整合进进统一维度中中去。为了降低数据仓仓库建立的复复杂度，按照照自底向上的的方式，根据据不同的需求求分阶段的完完成数据仓库库的建设，这这种方式针对对业务应用不不是直接建立立维度化的数数据集市，而而是先建立适适用于各种数数据集市的原原子级的数据据仓库，数据据集市建立在在原子级的数数据仓库之上上。新兴数据仓库解解决方案传统的数据库提提供商提供了了主要基于自自身数据库产产品的解决方方案，如Orracle公公司和微软公公司，他们都都提供了一整

33、整套的数据仓仓库解决方案案，他们不仅仅提供了存储储数据的DBBMS，而且且集成了可视视化的ETLL设计工具，并并对外提供OOLAP服务务和快速开发发报表的工具具，这些厂商商凭借其关系系数据库系统统用户量的优优势，在数据据仓库的发展展初期，占有有了较多的市场场份额。然而，当今数据据仓库的市场场已经不再由由传统供应商商独领风骚,NOSQLL的MonggoDB采用用键-值存储储和方式，具具有高性能和和高度的伸缩缩性，MonngoDB是是面向文档的的数据库，数数据存储格式式为BSONN（可以认为为是二进制的的JSON），MMongoDDB中，一个个数据库可以以有多个Coollecttion，每每个Co

34、lllectioon是Doccumentt的集合。CCollecction和和Documment和传传统数据库的的Tablee和Row并并不对等。数数据库和Coollecttion都无无需预先定义义，随时可以以创建。使用传统的RDDBMS存储储一些大尺寸寸、低价值的的数据时会比比较昂贵，在在此之前，往往往选择传统统的文件进行行存储，而MMongoDDB的存储方方式很好的解解决了这个问问题，可以轻轻松实现PBB级的存储；由于MonngoDB的的Schemma Freee特性，数数据改动时不不需要对数据据库结构进行行修改，省去去传统关系数数据库基于表表结构的繁琐琐DDL操作作，所以，非非常适合事实

35、实的插入、更更新数据。以互联网企业账账户分析的业业务场景为例例，账户分析析项目中需要要存储账户，计计划，单元，关关键词多个层层级的各种维维度的数据指指标提供给用用户查询分析析，数据总量量往往都在上上亿。这种数数据规模巨大大，每日需要要从各种日志志文件中汇总总各种数据指指标按不同层层级统计处结结果写入数据据库，并且有有大量的日常常客户端从各各种维度查询询分析数据。MMongoDDB高性能的的数据导入和和查询功能非非常友好的支支持了这种业业务需求，正正如MonggoDB文档档里提到的它它非常适合实实时分析一样样。在互联网浪潮下下迅速崛起的的MySQLL数据库在数数据仓库实现现方面也有着着非凡的表现

36、现。Infoobrighht是开源的的MySQLL数据仓库解解决方案，其其中引入了列列存储方案，对数据进行高强度的压缩，同时优化了统计计算(如sum/count/avg/group by之类),它已经是很多开源或商用BI系统的底层存储引擎。Infobriight的引引擎是采用列式存储储，这不同于于传统数据库库的行式存储储，列式存储储的主要优势势是减少了每每次查询所读读取的数据量量，无论何时时你从传统的的数据库中读读取数据时，都都需要完成的的读出每一行行，不管在查查询中你是不不是对这些数数据感兴趣。很很可能你读了了1000个个字节的记录录而仅仅为了了检索10个个字符的用户户名，而基于于列读取数据

37、据，你仅仅需需要读取查询询感兴趣的相相关列。这在在读取一条或或者几条数据据时可能体现现不出来优势势，但是很多多的查询需要要进行全表扫扫表，如果一一个表有千万万行，查询性性能将相差非非常巨大。列式存储的另外外一个优点是是每个列本身身就是索引，每每个列都可以以索引化，这这在夯实数据据库中几乎不不可能实现。除除此之外，列列式存储还有有一个非常吸吸引人的优点点，那就是列列更容易被压压缩，因为对对不同的数据据类型可以使用不同同的算法。其其官方给出的的数据是，可可以达到100-40倍甚甚至更高的压压缩比。图2.2 Innfobriight AArchittecturreInfobriight的架架构如图2

38、.2，通过Knowwledgee Gridd来组织数据据，将64KK个单元（列列元素）放到到一个Datta Pack（DPP）中进行压压缩，由于这这些元素具有有相同的数据据类型，InnfoBriight会选选择对于此数数据类型最优优的算法进行行压缩，经过过压缩的数据据，可以非常常明显的减少少IO压力，降降低磁盘空间间的消耗。InfoBBrightt还会根据查查询SQL动动态将所有的的DP分为三三类：相关块块、无关块和和可疑块。通通过对数据块块进行分类，可可以有效的减减少查询所检检索的数据量量，提高查询询效率。在Infobrright官官方网站上介介绍的Banngo数据仓仓库案例中，清清晰的展示

39、了了其优秀的存存储和查询能能力。Banngo是欧洲洲一家电信运运营商，每个个月会产生11.5亿行数数据，每个月月数据增长量量450G。采用Infobright数据仓库其应用性能大大提升，对比其原来的SQL Server架构，如表2.1：表2.1 Innfobriight性能能对比对比项InfobriightSQL Serrver1000万记录录22秒300秒1.5亿记录564秒无返回结果OLTP数据4450GB10GB450GB正是由于Innfobriight这种种海量数据处处理能力，使使得其在海量量数据分析的的数据仓库项项目中得到迅猛发展展。本章小结本章开始介绍了了数据仓库的的发展和实现现技

40、术，另外介绍了数数据仓库的实实现过程，由由于数据仓库库是来源与企企业中各种不不同应用系统统的，把企业业中面向事务务型的源数据据整合为统一一的、面向分分析的数据仓仓库中是一个个长期反复的的过程，在面面临大量的数数据时，如何何进行管理和和整合是数据据仓库设计者者所面临的重重大问题。作作者介绍了两两种不同的数数据仓库实现现过程，两种种方式各有优优缺点，需要要根据实际的的业务需求进进行具体的选选择，针对不不同的业务需需求采用不同同的方式来进进行数据仓库库的建模。除了传统的数据据仓库解决方方案之外，本章的最后后详细介绍了了当前热点的的Infobbrightt数据仓库解解决方案，通通过对其架构构和处理方式

41、式的分析体现现了其强大的的查询和存储储优势。业务整理与项目目规划业务状况介绍宁波大榭招商国国际码头有限限公司（以下下简称CMIICT）是以以集装箱装卸卸为主营业务务的码头公司司，同时也提提供集装箱堆堆存和修箱服服务。根据不不同航线对内内贸箱、外贸贸箱、中转箱箱、非中转箱箱、重箱、空空箱提供码头头装卸及堆存存等服务，而而收费主要按按不同航线以以及箱型作为为收费基础。集装箱码头所有有对外提供的的服务业务，归归结起来就是是“为客户提供供吊箱服务”这一核心内内容。吊箱操操作看似简单单，但由于在在生产操作过过程中存在诸诸多外界约束束条件和不确确定的变数，使使得集装箱码码头的生产操操作业务呈现现出一系列独

42、独特的特点，如效率与成本的矛盾，高峰与低谷的平衡。船公司是与码头头关系最为密密切的对象之之一，船公司司最基本需求求是“确保装卸船船操作效率和和安全”。假设一条条船需要装卸卸1000个个箱，同时开开三条、四条条还是五条作作业路数，就是一一个很大的问问题。少开作作业线，全船船作业效率可可能只能维持持在90MPPH，船舶的的在港时间将将延长。对于于船公司来说说，船舶只有有在海上航行行时才是创造造效益的，在在港口停泊时时间越长，成成本就越高。但但少开作业线线，码头需要要安排出勤的的机械就少，出出勤人员也少少，调度也更更简单，平均均单箱成本就就会更少。多多开作业线，则则上述利益态态势就会此消消彼长。集装

43、箱物流运输输行业在一年年的时间里，业业务量是不均均衡的，存在在着旺季和淡淡季的区别，而而相应的集装装箱码头业务务量，也存在在着高峰与低低谷的情况。即即使是在一周周的周一到周周日，也由于于航线安排的的疏密程度不不均匀，不同同的时间段也也存在着作业业量的高低起起伏。但作为为需要持续经经营的集装箱箱码头来说，却却需要维持一一支相对稳定定的作业资源源和人员队伍伍，那么以相相对固定不变变的作业资源源，去应对起起伏不定的业业务变化状况况，就需要高高超的峰谷平平衡管理技巧巧，而管理和和平衡的好坏坏，恰恰反映映在前述的效效率与成本上上。降低企业运行成成本提高效率率是公司目前前正在攻关的的重要课题，操操作部也投

44、入入大量精力和和核心骨干投投入成本与效效率的研发，而而研发需要大大量的数据进进行多角度的的分析，公司司目前的数据据主要是面向向操作的，不不适合进行多多方面的分析析和挖掘操作作，所以期望望通过数据仓仓库的建设为为公司后期的的生产技术研研发，甚至公公司的运营决决策找到一条条合适的道路路。信息系统应用状状况目前使用基于OOraclee的TOS码码头生产管理理系统，TOOS系统主要要模块包括码码头生产操作作系统、商务务计费系统等等，今后将有有越来越多的的模块将整合合到TOS系系统中去。除了生产最最关键的码头头生产管理系系统外，码头头还在应用的的有多种信息息系统：企业办公信息系系统Exchangge邮件

45、系统统K3财务系统商务计费系统（目前集成在在TOS系统统，独立的计计费系统即将将开发完毕）IBM Maxximo EEAM资产管管理系统Microsooft ADD域控管理系统统短信系统加油管理系统电力管理系统EDI报文传输输、港务局信信息交互系统统、监控系统统、海关交互互系统等等众多的信息系统统间数据定义义不统一，系系统间的交互互十分困难，与与外部口岸单单位之间传输输数据就更加加困难，从不不同的系统内内查询出的数数据都要经过过不同规则的的转换再发到到外部，企业业内部数据的的统一和标准准化要求就显显得十分迫切切。报表数据的需求求在公司内部生产产技术研发、对外部单位提供供数据，最直观和方方便的就

46、是报报表的展示，所所以各部门提提出了各种各各样的报表需需求抽取部分分需求如表3.1：表3.1报表分分类举例报表类型报表名称吞吐量单航线箱量吞吐量各航线箱量对比比统计表吞吐量航线及港口箱量量吞吐量航线类型箱主箱箱量统计表吞吐量装卸货港箱量统统计可以清楚的发现现，报表都是是为了满足前前面所述的企企业关键业务务岗位迫切的的需求，除了了吞吐量相关关的数据外，还还需要较多的的效率和考核核类的数据，这这些数据全部部都是基于集集装箱的吞吐吐量。所以，集集装箱吞吐量量相关的业务务数据都要需需要进行清楚楚统一的定义义，经过清洗洗后导入到数数据仓库中，再再查询出相关关数据提供给给不同部门和和单位。其他需求如果仅仅

47、提供报报表展示给最最终用户，则则不能提供合合适的渠道给给生产技术研研发人员进行行数据的挖掘掘和分析，以以找到生产中中存在的问题题和提高生产产效率的方法法，所以，项项目还应提供供便捷的数据据挖掘方法，供供给生产研发发人员进行数数据分析；此此外，公司其其他部门人员员对集装箱吞吞吐量的变化化十分关心，希希望能在办公公网首页上可可以直观的查查看到集装箱箱吞吐量的变变化状况，最最好是以图形形的形式展示示，能够对比比去年和前年年同期的吞吐吐量状况。数据仓库系统阶阶段规划综合分析了项目目的需求后，基本上就确定了数据仓库应用的主题，因为数据仓库的建设是一个长期和迭代的过程，而本项目进行的也是数据仓库的一个探路

48、石，在与用户沟通和交流过之后发现他们目前对其他主题的需求不是特别强烈，或者他们还不明确他们的需求，而吞吐量主题相关的需求就显得十分迫切，所以，当前项目先建立吞吐量相关的主题，关于财务、成本、收入等等主题待后期进行。预期产出成果充分分析了用户户的需求，总总结预期的项项目目标如下下：建立企业数据仓仓库，保存统统一干净的操操作数据提供报表供给业业务岗位查询询建立OLAP吞吞吐量数据集集，并提供工工具进行数据据挖掘和分析析在办公网图形化化显示吞吐量量数据，并展展示与前两年年同期的对比比情况整理集装箱生产产操作系统TTOS数据库库中主要表结结构，为各种种临时提取数数据提供参考考依据统一公司内部各各系统的

49、数据据定义和统计计标准，形成成吞吐量相关关的标准化文文档，在公司司内部统一数数据标准，规规范统计数据据的规则为日后的企业运运营决策系统统探索道路，期期望日后在此此基础上建立立完善的企业业数据仓库系系统架构设计架构在软件工程程领域被提及及的次数非常常频繁，这是是因为好的架架构可以更容容易的实现业业务需求，好好的架构能提提供更优秀的的服务性能，架架构也决定着着项目的灵活活性和开发的的效率。架构构的重要性我我就不在此赘赘述，相信大大家都明白架架构对项目的的重要性了。数据仓库的主要要工作就是从从不同的数据据源中抽取数数据，通过清清洗、修正，再再导入到数据据仓库的存储储中，最后再再以不同的形形式展示给用

50、用户。图3.1可以清晰晰的表达项目目的基本架构构：图3.1数据仓仓库体系结构构从图中可以看看出项目需要要采用不同的的架构来实现现所需的功能能，图中的功功能大致分为为三个部分：第一部分，从数数据源导入数数据，处理之之后导入数据据仓库中存储储；源数据已已经是客观存存在的了，无无需也无法选选择数据源的的存储方式。而而导入数据到到数据仓库中中的过程我们们一般称作EETL，这个个过程需要高高速稳定的技技术架构支持持。第二部分，数数据仓库存储储数据的方式式当然是整个个项目的重中中之重了，另另外需要从数据仓仓库中抽取维维度和事实形形成OLAPP的数据集，多多维的存储方方式会得到更更高的性能，建建立OLAPP

51、对外提供服服务也需要稳稳定快速的架架构支持。第三部分，数数据的前端展展示。本项目目中要求数据据不仅要在办办公网中图形形化显示，而而且需要展示示独立的报表表，还需要支支持OLAPP分析工具进进行数据的钻钻取和分析，数数据的展示灵灵活，传统的的报表开发工工作量巨大，适适合非专业人人员使用的OOLAP分析析工具更是不不多，并且要要支持数据在在MOSS搭搭建的办公网网中图形化显显示，前段展展示的架构更更加复杂。IT领域技术熟熟悉万变，选选择没有服务务保障的技术术架构往往使使项目的风险险倍增。在过过去的几年间间，数家ITT巨子宣布被被收购，就连连鼎鼎大名的的Sun公司司也免不了被被收购的命运运，所以选择

52、择一家实例雄雄厚，能够提提供支持本项项目的公司尤尤为关键，最最好能够提供供符合本项目目情况的整套套解决方案。微软公司近期在在大力推广其其数据仓库解解决方案，其其Microosoft SQL SServerr 20088 提供了一一个完整的数数据仓库解决决方案平台，为为数据仓库应应用提供了一一个快速、完完整的解决方方案，其中为为用户提供了了可用于构建建典型和创新新的分析应用用程序所需的的各种特性、工工具和功能，其其中包括：SQL SServerr 20088（关系数据库库引擎）DTS（数据转换服服务）SQL SServerr Anallysis Serviices (分析服服务)SQL SSer

53、verr Repoortingg Servvices （报表表服务）SQL SServerr Manaagemennt Stuudio （数据库管管理工具集）Businness IIntellligencce Devvelopmment SStudioo（BI 应用程程序开发工具具集）SQL Serrver20008的RDDBMS可以以作为中小企企业数据仓库库的首选存储储平台，而且且可以通过链链接数据库的的方式访问其其他数据源，而而且SQL Serveer并非解决决方案所必须须的，同样的的也可以采用用Oraclle作为存储储平台。数据整合服务(Integgratioon Serrvicess)

54、，它的处处理架构组件件和在此之上上的企业级提提取、转换和和装载(ETTL)工具，通通过SSISS配合DTSS，能够设计出出符合企业中中大量的ETTL。而另外一项关键键的工具就是是SQL SServerr 20088 Repoortingg Servvice(SSSRS)7，其中包含含的报表设计计器提供了一一个可视SSSAS多维数数据集查询设设计器，减少少了手动编写写OLAP多多维数据查询询的需求，从从而大大的方方便了报表的的快速创建。在SQL Seerver 2008 Analyysis SServicces（SSSAS）为数数据仓库提供供了存储和查查询OLAPP多维数据集集数据的机制制，它还

55、提供供了OLAPP多维数据集集供开发人员员进行开发和和管理。在经经费有限的时时候，还可以以把SSASS与SQLSServerr2008安安装在同一台台物理服务器器，虽然不推推荐这么做。当源数据经过抽抽取转换并装载到数据据仓库之后, 我们就可可以通过各种种方式来呈现现数据仓库中中的数据，SSSAS我们们可以为数据据仓库建立一一系列的多维维数据集(CCUBE), 多维数据据集包含一组组通常由数据据仓库的子集集构成的、并并组织和汇总总到由一组维维度和度量值值定义的多维维结构中的数数据，为了便便于理解，请参见图3.2:图3.2 OLLAP多维数数据集概念图图（来自SQQL Serrver联机机丛书）在

56、对比当前流行行的数据仓库库解决方案之之后，发现微微软公司的商商务智能解决决方案最符合合本项目的需需求，同时公公司内部已经经采购了SQQL Serrver系列列产品，内部部研发人员在在使用SQLL Servver上也有有也有比较充充足的经验，所所以最终确定定采用微软公公司提供的SSQL Serverr2008套件件作为数据仓仓库的技术路路线，确定技技术路线后的的数据仓库项项目架构如图图3.3：图3.3 数据据仓库项目架构图本章小结本章介绍了项目目所处的业务务环境、企业业实际的业务务情况、目前前正在使用的的信息系统，以以及项目的需需求和目标，同同时也描述了了期望达到的的目标和在项项目的过程当当中附

57、带的成成果。最后介介绍了项目的的架构设计所所需的不同支支持工具，并并选定微软的的SQL SServerr2008套件件作为项目的的实现工具，确确定了技术路路线后的项目目架构更加清清晰明了。数据存储结构设设计数据定义的统一一统一数据的定义义就是对元数数据进行管理理，在数据仓仓库的管理中中首要关注的的就是元数据据，因为元数数据是说明数据的的数据,实际际上元数据时时在大多数数数据库应用和和信息处理中中用于定义、关关联和管理数数据的环境。元数据对于数据仓库的设计、开发和运作至关重要，尤其是在数据获取、转换和存取方面8。只有统一了数据据的定义，才才能对企业内内的不同应用用系统进行集集成，数据的的不一致性

58、定定义是普遍存存在的问题，尤尤其是在多信信息应用系统统的企业内部部更是如此，本本项目也期望望通过此项目目的进行能够够整理出初步步的元数据管管理办法。建建立中央数据据库存储元数数据，在日后后业务的变更更时先修改中中央数据库的的元数据，各各种应用系统统间的交互再再通过中央数数据库进行统统一的转换，这这是一种非常常不过的解决决方案，但是是这种解决方方案需要企业业投入大量的的精力和人员员，在本项目目中显得不是是特别合适。当当前期望能够够通过业务需需求的整理和和分析，商讨讨统一各个系系统间的数据据定义，形成成电子文档进进行存档，提提供公司内部部进行查阅，这这是在当前环环境下比较现现实的做法。数据源结构描

59、述述本项目进行的其其中一个目标标就是进行码码头生产操作作系统TOSS主要数据表表结构的整理理，形成电子子文档，提供供给IT内部部人员参考，在在业务岗位或或者关联单位位有临时数据据提取需求时时能够快速准准确的提供数数据，而不必必依赖于第三三方软件开发发商。在没有有数据字典的的情况去了解解一个信息系系统的数据库库，简直是个个灾难，根本本无从下手，只只有通过猜测测和系统数据据录入进行对对比分析。但但幸运的是，IIT部有位老老员工对TOOS系统比较较熟悉，对数数据库的主要要结构也比较较了解，通过过他细心的讲讲解，加上阅阅读公司内遗遗留的各种资资料，才整理理出TOSS系统数据库库主要表结构构第一版，加加

60、上后期的修修正在项目收收尾的时候才才形成了比较较完整的生产产系统主要表表结构信息。具体的表结构此处不再详细描述，形成的文档格式如图4.1：图4.1 表结结构范例其中有10张表表是与吞吐量量相关，这里里仅给出表名名以供数据仓仓库存储时相相对应，具体体如表4.1 ：表4.1 源系系统吞吐量相相关表结构编号表名称说明T01CONTAINNERS集装箱表，存储储集装箱相关关信息T02CONTAINNEREVEENTS箱事件表，存储储对箱做过的的操作信息T03WORKITEEM指令表，存储对对集装箱的指指令操作信息息T04EIR设备交接表，存存储一个集装装箱的交接信信息T05TERMINAALDEVII