（管理科学与工程专业论文）港口生产数据仓库设计方法研究.pdf

大连理工大学硕士学位论文 摘要 决策科学化是企业管理的必然要求，这就意味着管理者要充分利用企业现有的业务 数据做出基于事实的决策。港口行业在长期的信息化作业中积累了丰富的数据，如何对 港口生产历史数据进行开发和利用是亟待解决的闯题。传统的数据库管理系统不能满足 港口企业进一步的决策分析需求，数据仓库技术的出现使港口企业原有的生产数据能得 到更深一层的应用。港口生产数据仓库的建立，为港口企业搭建了综合的、面向分析的 环境，为企业相应部门能够做出更加科学的决策提供了良好的基础 本论文从港口企业面临的决策需求出发，以对港口生产业务的理解和对港口事务数 据库中数据的认识为基础，致力于研究港口生产数据仓库设计方法及应用。其中主要研 究了港口生产数据仓库的逻辑建模和物理建模，同时利用数据抽取转换加载工具实现了 数据的迁移，最后给出了港口生产数据仓库的原型系统，所做的主要研究工作及创新有： 首先，研究了港口生产数据仓库的三层维度建模方法，并对港口货运业务和码头进 口流程进行了分析，识别出与港口发生业务关联的实体，确定了港口生产数据仓库的体 系结构，界定了系统的边界。确定了主要的主题域及其内容。 其次，得到了港口生产数据仓库的总线矩阵，研究设计了港口生产数据仓库的公共 维度表，并以港口货运量主题为例详细设计了相应的事实表，得出了货物运输主题的星 型逻辑模型。 再次，依据逻辑建模的结果，对照港口原数据源，得到了港口生产数据仓库的物理 模型。给出了数据的存储策略，存储结构和索引策略，对数据的粒度和分割也作了说明。 最后，研究实现了港口生产数据仓库系统，并利用该数据仓库作了数据展示，包括 定制需求的设计和数据多维立方体的o l a p 分析，对港口数据仓库基础上的数据挖掘作 了初步探索。 通过上述理论研究和模型设计的结合，得出如下结论：在理论上，数据仓库和o l a p 理论可以应用到港口行业，能够辅助企业管理者做出科学决策；通过港口数据仓库的实 现和简单应用，证明了港口企业实篪数据仓库是可行的，而且确实能得到有价值的信息 本论文无论是对数据仓库的设计和实现方法的理论研究，还是对港口生产数据仓库 的实际建设都具有一定的参考价值。 关键词；数据仓库；港口；三级维度建模；联机分析处理 港口生产数据仓库设计方法研究 r e s e a r c h0 1 1d e s i g nm e t h o do f p o r tp r o d u c t i o nd a t aw a r e h o u s e a b s t r a c t ni so fg r e a tn e c e s s i t yf o rd e c i s i o nm a k i n ss c i e n t i f i c a l l y , w h i c hn l l 韧3 s 圮m a n a g c l t so f a m = r l 埘鲻m u s tm a i 【ef u l lu 船o fh i s t o r i c a lb u s i n e s sd a t at oo b t a i ni n f o r m a t i o nt os u p p o r t m o 孵f a c tb a s e dd e c i q i o l l lp o r ti n d u s 啊a e e u m d a l e dv a s to c e a l lo fd a t a 蛐gt h eo p e r a t i o n p r o e e uw i t hi n f o n n a t i o rt e e i m o l o g y t h e r e f o r e , i t smu r g e n tp r o b l e mt od e v e l o pa n du t i l i z e t h ep o r th i s t o r i c a lp l o d l 埘o f ld a t a t r a d i t i o n a ld a t a b a s em a n a g e m e n ts y s t 锄c 缸n o tf u l f i l l m o d e c i s i o na n da n a l y s i sd e m a n do fp o r tc o r p o r a t i o n s w i t ht h e 娜p 朗r i l 唱o fd a t a w 砸e h o u t e c h n o l o g y , 伽船f p d s 嚣啪m a k eb e t t e re m p l o y m e n to ft h eo r i g i n a ld a t a t h e f o u n d a t i o no fp o r t p r o d u c t i o nd a t a 糟幽i l o f f e r si n t e g r a t i v e , m l l y s i s o r i e n t e d e n v i r o n m e n tf o rp o r tc o r p o r a t i o n s m e a n w h i l e , , i ta l s ol a y 3as o l i df o u n d a t i o nf o rr e l a t i v e d e l 碰l m e n to f p o r tc l l t c r p r i s e st om a k e d e c i s i o nn m ，a c c u r a t e l y t h i sd i s s e r t a t i o ui sp u tf o r w a r db yt h et u g e n td e c i s i o nd e m a n do f p o r ta 埔e f p d s e s b a s e d o l lc o m p r e h e m i v co f p o r tp r o d u c t i o nb u s i n e s sa n du n d e m a n d i n go f p o r to l t pd a l | ld e v o t e s i t s e l ft od e s i g n 锄dr e a l i z et h ep o r tp r o a u e t i o nd a t aw a l r e h o l l 阶t h r o u g h o u tt h i sd i s s e r t a t i o n , t h el o g i c a la n dp h y s i c a lm o d e l so fp o r tp r o d l 埘o l ld a t aw a r e h o u s e 瓣m a i n l yd e s i g n e d m e a n w h i l e d a t ai r a n s f e rb c t w l 七a nd i f f e r e n td a t a b a s e si sc a r r i e do u tw i t ht h eu s a g t ：o fe t l t o o l s f i n a l l y , t h ep r o t o t y p es y s t e mo f p o r tp r o d l l c i j o nd a t aw a r e h o u s ei sp r e s e n t e di nt h ee n d 1 1 艟m a i nr e s e a 曲w o r ka n di n n o v a t i o l l s 黜s h o w na sf o l l o w s ： f i r s t l y t h er e s e a r c h0 1 1d e s i g nm e t h o do fp o r tp r o d u c t i o nd a t aw a r c l a o t 璐ei sm a d e 砒t h e b e g i m i n g , a n dt h ea n a l y s i so fp o nc a r g oi i i i 戚e i o l 瑚l t i o na n dd o c ki m p o r t a t i o np f o c e d l l l 他 h a sa l s ob e e ni n a d c a t t e r w a r d , t h ea r c h i t e c t u r eo fo o r tp r o c t u c t i o d a t aw a r e h o u s eh a sb e e n e s t a b l i s h e da n dt h eb o u n d a r yo fs y s t e mh a sb e e nd e f i n e d lw h i e l ah e l p st om l i k c 瓣t h e c e n t r a lm l b j e c tf i e l d si i sw e l l 勰t h e i rf a c tt a b l e s s e c o n d l y , t h eb u sm a t r i xo f p o r tp r o d u c t i o nd a t aw a r e h o u s ei so b t a i n e d a c c o r d i n g l y , t h e , t c s i g n i n sr e s e a t e l ao fs h a r e dd i m e n s i o n a lt a b l ei np o r tp r o d u c t i o nd a t aw a , e l l o u s ei sp u ti n l t l c t i c c b e s i d e s , t h ef a c tt a b l eo f p o r tc a r g ot r a n s f e rs u l , j e c ti sp r o j c c t c di nd e t a i lf o ri n s t l l n c l l ! , , w h i c h e n g e n d e r s - , d e f i n i t el o g i c a ls t a rs c h e m aa c c o r d sw i t hc 刮r g ot r a m l x ms u b j e c t t h i r d l y , t h ep h y s i c a lm o d e ls c h e m ao f p o r tp r o d u c t i o nd a l aw a r e h o u s ei sa c h i e v e di nl i n e w i t hl o g i c a lm o d e ld e s i g na c c o r d i n gt op o r to r i g i n a ld a t as o i h c c t h ed a t as t o r a g es t l r a t c g y , s t o l l l , g e 吼n w 眦，i n d e xs t r a t e g y 玳s i r r ao u t f u r t h e r m o r e , t h e r ei sa l s o 瓤e x p l a n a t i o no f d a t ag r a n u l a r i t ya n dl 斌i t i o n 一i i 大连理工大学硕士学位论文 f i n a l l y ，t h e p o r tp r o d u c t i o nd a t aw a l h o u s ci s a c t u a l i z e di nt h el a s tp h a s e ad a t a e x h i b i t i o no ft h ea c c o m p l i s h e dd a t aw a r e h o u s ei sm a d cw i t ht h ee m p l o y m e n to fp o s s e s s e d d a t aw a r e h o u s e , i n c l u d i n gc u s t o m i z a t i o nd e m a n d sd e s i g n i n ga n dm u l t i d i m e n s i o n a ld a t a c u b e so l a pa n a l y s i s m a t sm o r e d a t am i n i n gb a s e du p o np o r tp r o d u c t i o nd a t aw a r e h o u s e i ss t u d i e dp r i m e l y t h r o u g ht h ec o m b i n a t i o no ft h ea b o v et h e o r e t i c a lr e s e a r c ha n dt h er e a l i z a t i o no ft h e m o d e ld e s i g n , t h ef o l l o w i n gc o n c l u s i o n sc mb ed r a w n ：t h e o r e t i c a l l y , d a t aw a r e h o u s ea n d o l a pc a l lb ea p p l i e dt ot h ep o r ti n d u s t x y , f a c i l i t a t i n gt oa s s i s tm a n a g e r sm a k es c i e n t i f i c d e c i s i o n s t h er e a l i z a t i o na n ds i m p l ea p p l i c a t i o no fp o r tp r o d u c t i o nd a t aw a x e h o u s ep r o v e s t h a tt h ec o n s t r u c t i o no fd a t aw a r e h o u s ec a nf i n di t sa p p l i c a t i o ni nt h ep o r ti n d u s t r y t h el a s t b u tn o tl e a s t , i tp r o v i d e sv a l u a b l ei n f o r m a t i o nf o rt h e mi n d e e d 他d i 删o nh a sc e r t a i nr e f e r e n c ev a l u en o to n l yf o rt h et h e o r yo fd a t aw a r e h o u s e d e s i g na n di m p l e m e n t a t i o nb u ta l s of o rt h ep r a c t i c a lc a m l q t r u 碓o no fp o r tp r o d u c t i o nd a t a w a r e h o u s e k e yw o r d s ：d a t aw a r e h o u s e ；p o r t ；t h r e e - s t a g ed i m e n s i o n a lm o d e l i n g ；o l a p 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：盈垂丝日期：垫望玺堡垒细 大连理上大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：亟垂堑垒丝 名：望垂 2 苎竺工年鱼月堑日 大连理工大学硕士学位论文 1 绪论 1 1 论文的研究背景及意义 1 1 1 研究背景 随着信息技术与数据库技术的发展，数据库系统作为数据管理手段得到广泛的应 用，数据库中的数据呈现指数化增长信息量的急剧增长对数据的存储和数据分析提出 了新的要求传统的决策支持系统( d s s ) 一般是建立在事务处理环境上，尽管数据库 在事务处理方面取得了巨大的成功，但对分析处理的支持一直不能令人满意。当以业务 处理为主的联机事务处理( o i 胛) 应用与以分析处理为主的d s s 应用共存时，两种类 型的处理发生着明显的冲突，事务处理环境不能支持d s s 应用【1 1 数据仓库技术研究领域从9 0 年代起开始逐步兴起，它是九十年代信息技术构架的 新焦点，它提供集成化的和历史化的数据，它集成种类不同的应用系统，数据仓库从事 物发展和历史的角度来组织和存储数据，以供信息化和分析处理之用。这是世界上公认 的“数据仓库之父”w i l l i a m h 1 n m o n 对数据仓库产生所作的权威描述。数据仓库可以 将企业数据库中大量的数据转化为辅助决策的信息，能够实现异构环境下数据的转换和 共享，同时可以有效的利用历史数据进行分析达到支持决策的目的。数据仓库可以将分 析决策所需的大量数据从企业日常运行环境中分离出来，把分散的、难以访问的业务数 据转换成集中统一、随时可用的数据，同时又不干扰业务数据库的正常运行。由于数据 仓库存储的数据具有综合的、历史的、分析驱动的、面向主题特点，因此可以为决策支 持系统提供强大的数据支持。 今天，数据仓库技术已不仅仅停留在理论阶段，许多大公司纷纷参与了数据仓库的 开发与研究，力求将公司的业务数据纳入数据仓库进行统一管理，从而为企业和管理决 策提供信息i d c ( 加拿大) 公司1 9 9 6 年挑选了6 2 家实现了数据仓库的欧美企业，调 查其数据仓库的投资回报情况1 2 】。数据仓库项目的调查结果表明：进行数据仓库项目开 发的公司平均在2 - - 3 年的时间内获得了平均为3 2 1 的投资回报率，得出结论为对于环 境比较复杂的企业，数据仓库是一种有价值的投资。对于数据仓库基础上的o l a p 市场 收益，文献【3 】预计2 0 0 7 年全球将达到6 0 亿美元，收益巨大。数据仓库市场也首先在电 信、金融等领域进行了应用。例如，国外电信运营商a t & tw i r e l e s s 数据仓库的应用， 节省了大量的开支费用，减少了客户的流失【4 】。中国工商银行构建数据仓库来迅速找出 客户的经济运行规律，筛选出优质客户群体，预测客户的个性化需求，极大地提高银行 的市场细分和市场营销能力，使金融资源实现市场的最优化配置，提高风险防范能力。 港口生产数据仓库设计方法研究 中国农业银行利用s y b a s e 数据仓库，对杂乱的数据有了统一的整合，实现了较大强度 的集中管理从而提高了信息的共享能力。并且为使用者提供了更简单的访问数据平台 的途径，扩大了数据的搜索量，改变了“有数据，分布多，不一致，无法访问”的现状 5 1 。 随着港1 3 信息化的建设，港1 3 各项业务已使用计算机进行管理，开发了一些应用 系统 6 1 。港e l 管理信息系统的广泛应用，为港口企业积累了海量的业务数据据调查， 港口的事务数据库已达到t b 数量级。港口业务作业看似简单，实际上却牵涉到船舶进 出港、集装箱装卸、集装箱运输、大型装卸机械控制、堆场计划、作业进度控制等一系 列环节从一个集装箱入港，到下船、运输、落场存放，最终再运输上船，整个业务流 程伴随产生的数据多达几十条，而每天需要处理的数据记录更高达数万条。企业管理的 趋势是决策的科学化，决策将越来越依赖数据港口决策层通过对业务数据进行分析， 提出使作业更加合理化的方案，来提高公司的生产效率，降低作业成本。这就需要将大 量的数据放在一起，进行提取、统计分析，为决策分析提供一定的依据但是，长期以 来的计算机应用系统分散开发，造成了各部门数据自采自用，彼此不能自动交换数据， “信息孤岛”大量存在的局面 a l 。各种信息系统的分散造成了各业务数据的“分而治之”， 既便是存储于集中的信息中心也会因为数据的不一致性等原因不能有效地进行数据集 成。 另一方面，管理层对数据分析的需求越来越复杂，要求保存大量的历史数据。这对 以密集型数据更新处理为核心业务的o l t p 数据库系统而言，将成为沉重的负担。因此， 港口企业管理部门迫切需要一种支持数据分析和决策的新型系统。这种新型数据存储环 境应具有这样的特点：为分析任务而设计，提供全港生产一级的综合而完整的数据概括； 数据可靠，按时进行数据追加与更新，并保持数据的一致性；能对当前的和历史的数据 进行报表处理和o l a p 分析；可以从不同角度按不同主题进行数据分析，为港口管理层 提供决策来源 基于以上的考虑，决定建立港口生产数据仓库本文以营口港数据为例，通过对港 口业务的理解，提出港口数据仓库的需求分析，确定港口数据仓库的开发策略即从生产 数据仓库开始实施，最后形成港口生产数据仓库的原型系统，给出数据转换的具体方法 并给出数据的最终展示结果 1 1 2 研究意义 在理论方面，数据仓库和数据挖掘技术的研究正在蓬勃发展。目前，数据仓库的研 究主要集中在数据仓库的基本理论和研究方法以及数据仓库如何快速收集和有效存取 大连理工大学硕士学位论文 数据此外，人们正把数据仓库的研究和数据挖掘的研究结合起来。数据仓库的发展为 数据挖掘开辟了更广阔的空间，数据仓库完成了对数据的收集、集成、存储、管理等预 处理工作，使得数据挖掘更专注于知识和规则的发现，充分发挥数据挖掘技术的潜力， 为决策提供更有力的支持。本文的研究问题正是数据仓库环境和数据挖掘理论技术的结 合 通过港口生产数据仓库环境下的数据挖掘和o l a p 分析，可以进行预测分析和辅助 决策预测分析是指根据散杂件货物生产统计数据库中历年的资料，预测功能可以进行 货物流量、流向、货源分布、品类分布等的分析，并提供多种预测分析方法的预测结果 比较，为生产组织提供依据。辅助决策是指在数据汇总统计、指标分析和预测分析的基 础上，通过建立决策支持系统，通过利用各种模型对货运生产各个环节进行评估，分析 作业过程中的瓶颈，并通过预测计算分析，给出对未来生产和营销的决策指标和建议。 在实际应用方面就其应用价值来说，港口企业的数据仓库建设还处于起步阶段，对 o l t p 数据库中的数据并未进行有效的管理和再利用。本文依据营口港为业务背景，在 熟悉业务操作的情况下对港口堆场的业务数据进行综合集成，划分成不同的主题。在港 口数据仓库设计完成之后，针对企业感兴趣的模式进行探索性的数据分析，这是非常有 价值的研究课题。 1 2 数据仓库在港口行业的应用 进入8 0 年代以来，电子数据交换、管理信息系统、无线终端、电子商务、全球定 位系统、地理信息系统等信息技术在港口企业得到了广泛的应用。信息化的普及使港口 企业生产更加科学化、规范化，其中各港口都相应建立的港口管理信息系统作用尤其突 出港口管理信息系统( p o r tm a n a g e m e n ti n f o r m a t i o ns y s t e m , m 小s ) 是以计算机为基 础、以系统思想为主导建立起来的，为港口管理业务和管理决策服务的信息系统1 7 1 p m i s 能对大量的数据进行有效的管理和数据处理，但是它对港口管理者提供的辅助决 策信息只表现为数据的查询和统计形式，这些事务虽然很重要，如它能提高港口的管理 效率和生产效率，改善港口的服务质量，提高港口的生产效率，优化港口的资源配置， 为港口经营走入市场提供必要的公平竞争手段，为港口生产提供更为可靠的安全保障， 也为港口的健康发展创造良好的条件。但是就目前信息技术的应用情况无法有效的辅助 港口企业进一步提高自身的竞争力。而且，以数据库技术为基础的p m i s 无法高效处理 经营管理所需的巨量数据；该类系统难以处理跨部门、跨业务、跨时间、跨信息平台等 复杂信息集成问题，而当今的新港口战略则要求港口对这些信息进行全面整合；该类系 统对信息检索及访问的响应能力不足，无法满足在线访问要求；同时港口的信息系统应 一3 一 港口生产数据仓库设计方法研究 该是一个开放的系统，它仅是从管理港口已有的数据出发而不是从管理人员的决策需求 出发，只有正确的决策才能给企业带来更大的绩效。 港口数据仓库的定义是运用数据仓库方法论建立的全港口管理信息系统及在此基 础上的整合平台，包含了全港业务交易信息、客户信息、内部管理、外部环境信息有关 的细节数据，用于支持全港口经营管理和科学决策。它具有的功能是：帮助港口提高全 港经营管理数据一致性；实现按不同业务管理需求整合数据；帮助业务、管理和决策部 门及时获取所需的信息；提高信息分析能力；有效管理分散在多个系统的经营管理数据 实现分部门、分业务、分产品的效益评估，帮助港口了解减少利润增长的不利因素，识 别高收益率客户、鼓励收益率低的客户、拉拢潜在客户，进行多维分析，识别客户是行 为，他们经过港口的货物是什么，他们为港口带来了多大的利润，他们对港口的装卸货 服务是否满意，客户群体分割，目标客户定位，客户对港口企业有什么新的希望或者建 议等 港口数据仓库可用作港口企业管理的计划执行评估“闭环”反馈系统的一部分， 它有三个层次的应用首先，港口数据仓库的信息处理应用能支持查询和基本的统计分 析，并使用表、交叉表、图表或图进行报告，主要用于产生报告和回答预先定入的查询； 其次，港口数据仓库的分析处理应用能支持基本的o l a p 操作，包括切片与切块、下钻、 上卷和转轴。一般地，它用于分析汇总的和细节级的历史数据，这种将结果以报告和图 表形式提供的多维数据分析能满足指标分析的需求；最后，港口数据仓库的数据挖掘应 用可帮助支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进行分类和预测， 并用可视化工具提供挖掘结果，同时也是港口未来决策支持系统的数据环境，这些应用 能满足预测分析和辅助决策的要求 在物流领域，关于空中交通【柳和铁路客票【9 】数据仓库设计与开发案例早有研究上 海集装箱码头有限公司( s c t ) 用数据仓库整合业务流程，能优化作业系统，提高工作 效率和分析作业系统所存在的问题【堋但是在港口数据仓库建设方面，仅有文献提出建 立数据仓库的设列l l l ，目前还没有详细介绍港口生产数据仓库构建的文献。随着港口竞 争的日益激烈，建立港口数据仓库势在必行 本文在研究的过程中重点参考港口业务相关的文献，如文献 1 2 在提出适合数据仓 库建设的三层体系结构时以港口集装箱货运为例，对本文有一定启发；文献 1 3 研究船 舶代理业的数据仓库及o l a p 建模技术，对港口生产数据仓库的设计与实现也具有指导 意义文献 1 4 结合大连港实际需求，提出了基于w e b 的集疏运数据仓库体系结构并作 了具体的设计与实现。与此同时，本文也参考了物流业【1 5 l 与银行方面【1 6 1 数据仓库的设计 与实现 大连理工大学硕士学位论文 1 3 港口企业存在的问题 现代物流是指把物质资料按照客户的要求，以最小的总费用，从供给地转移到需要 地的过程，其活动内容主要包括运输、储存、包装、装卸、配送、流通加工和信息处理 等。现代物流的特点是将物质流、资金流和信息流融为一体，以降低物流成本其主要 目标是提高物流服务效率和质量，它是市场经济高度发展的必然产物。港口作为货物的 中转站对于物流的实现具有独特的优势和特点。 在国际贸易中，9 0 以上的货物运输是通过海洋运输方式实现的在国内贸易中， 也有大量的货物运输也是通过水路运输方式实现的，而港口在整个运输环节中是最大量 货物的集结点，承担着货物运输最大的份额，是海洋运输的起点和终点。港口具有开展 现代物流的良好基础。因为现代港口货运信息集中，各种运输方式汇集( 如铁路、公路、 水运及空运) ，四通八达，集船舶、航海、内陆运输、通讯，经营和技术于一点，是国 际贸易海陆货物运输的枢纽、服务基地和货物分发配送中心物流业的发展使港口功能 也发生了变化，即由传统的货物装卸、搬运、储存及加工功能发展成为现在的物流配送 服务。 港口生产是港口企业赖于生存和发展的中心活动。其目的就是要充分利用港口的人 力和设备，安全、优质，高效地完成水陆和水运网络中货物及旅客的转运服务港口生 产的主要对象是货物，而货物的装卸过程就是港口企业的主要生产过程。港口的货运业 务就是要完成到港货物的中转换装，实现货物的空间位移，即从车船到库场再到车船 本文以营i e i 港为研究背景时，总结营口港在发展中遇到的问题是【l7 l ： ( 1 ) 与周边港口竞争激烈 东北地区的主要港口有锦州港、大连港、营口港和丹东港。其中，锦州港和丹东港 年吞吐能力约为2 0 0 0 万吨，长期看对营口港威胁不大大连港作为东北地区最大的外 贸运出口岸的地位从未改变过，大连港也因此成为唯一与营口港有着竞争力的港口大 连提出建设东北亚国际航运中心的目标，无疑加剧了这种竞争。 ( 2 ) 高附加值的货种少 营口港目前接卸的主要货种有：钢材、木材、煤炭、矿粉、散化肥( 灌包) 、石油焦、 液体化工品、瓷砖和非金属矿产品等散杂件货。虽然运输货种繁多，但是还是以传统业 务为主，而发展前景良好和附加值高的货物如：集装箱、成品油、汽车、金属矿石、非 金属矿石等则较少。 ( 3 ) 港口腹地的经济发展缓慢 东北地区经发展逐步落后于长江三角洲和珠江三角洲已是显而易见的事实，传统的 管理和经营方式以及人们的观念无疑制约了港口经济的发展。 港口生产数据仓库设计方法研究 港口企业是竞争很强的行业，港口问的竞争最主要的是共同腹地的竞争，即两个港 口间货源的竞争。港口能否顺利组织到充足的货源，提高市场占有率，事关企业生存发 展。所以为解决以上提出的问题，针对港口经营数据拟进行的数据分析【埘，预测流经本 港口的大宗货物( 如矿石、粮食、煤炭等) 在本地区的消费量以及未来市场的需求，也 可以培育其他货种。 指标分析 根据统计数据库中的数据，对运输货物作业指标进行计算，进而形成供管理人员进 行生产分析用的指标分析报告。 预测分析 根据散杂件货物生产统计数据库中历年的资料，预测分析功能可以进行货物流量， 流向，货源分布，品类分布等的预测分析，并提供多种预测分析方法的预测结果比较， 为生产组织提供依据。 辅助决策 辅助决策功能在数据汇总统计、指标分析和预测分析的基础上通过建立决策支持 系统，通过利用各种模型对货运生产各个环节进行评估，分析作业过程中的瓶颈，并通 过预测计算分析，给出对未来生产和营销的决策指标和建议 总之，如果有一套健全的货源组织体系，有一套科学的管理方法，运用数据仓库系 统能提供迅速及时、准确可靠的各种数字，能传递、反馈各种信息资料，有一套浮动的 装卸费率表，对不同的装卸要求、不同的对象和不同的货主。能采用不同的价格折扣， 招徕货主、招徕业务必能做好市场细分，明确目标市场，提高组织货源效率，根本上提 高港口企业的竞争力。 1 4 论文的研究内容与技术路线 为建立一个能满足港口业务分析需求的港口生产数据仓库系统，必须解决以上提出 的问题。必须实现几个不同业务数据库的集中，可以联机进行数据维护和高性能的数据 查询目前港口现有数据库管理工具o r a c l e g i ，具有强大的数据管理功能但是不能提供 以上数据分析任务。数据仓库在其它行业( 银行、电信等) 有长足的发展但是都具有针 对性，只能作为参考，不能适应港口的具体情况。所以决定对港口数据仓库进行设计 由于数据仓库实施遵循整体规划、分步实施、突出重点和逐步完善的原则，以达到先进 高效和用户满意的目的，又因为港口生产是港口企业赖于生存和发展的中心活动，所以 决定先从港口生产数据仓库实施。 大连理工大学硕士学位论文 论文首先对数据仓库的总体设计方案进行了探讨，分析了两种不同的建模方法。对 港口实际业务流程情况进行了分析说明，确定了港口生产数据仓库与原数据库的关系， 即给出了港口生产数据仓库的整体结构。第三章提出了一种规范化的三级维度建模方法 第四章讨论了港口生产数据仓库的逻辑建模过程，第五章表述了港口生产数据仓库的物 理建模研究，在第六章阐述了数据从事务数据库到数据仓库的抽取转换加载过程，并在 最后介绍了港口生产数据仓库的实现情况，并给出了数据展示的示例。 港口生产数据仓库设计方法研究 2 数据仓库与联机分析处理技术相关理论 2 1 数据仓库概述 确切而言，我们现在称之为“数据仓库”的这一技术发轫于8 0 年代初w h i n m o n 的研究即在其“记录系统”、。本原数据”( a t o m i cd a t a ) 、“决策支持数据库”等 专题中1 9 8 8 年，“信息仓库”的名词和概念首先由巴力德福林和鲍尔墨菲提出 1 9 9 1 年，第一本有关数据仓库的书由w h i n m o n 发表w h h ! l l n o n 对数据仓库的权威 定义是：数据仓库( d a t aw a r e h o u s e , 简称d w ) 是一个面向主题的、集成的、稳定而 随时闻不断变化( 不同时间) 的数据集合，用于支持经营管理中的决策制定过程u 川由 于 n m o n 本人在数据仓库发展中的作用，他的上述描述在技术性的文献中不断被引用。 相对地成了一种权威的表述斯坦福大学数据仓库研究小组是这样定义数据仓库例的； 。数据仓库是集成信息的存储中心，这些信息可用于查询或分析”作为一种信息管理 技术，数据仓库能够将分布在企业的各种数据进行再加工，从而形成一个综合的、面向 分析的环境，以更好的为决策者提供各种有效的数据分析，起到决策支持的作用 数据仓库的演变以及与之伴随的主要技术有【2 i l ：数据库工程，用户一主机服务器的 出现；数据库迁移，向更加集成的系统移动；虚拟数据仓库；因特网数据库的出现；真 正的数据仓库；实时数据仓库；高度集成和共享的、实时的数据仓库。 经过上述技术发展的过渡阶段后，由常规数据库系统直接进入数据仓库的时机已经 成熟 数据仓库的基本特征有以下四点【1 9 1 ： ( 1 ) 数据仓库中的数据是面向主题进行组织的。它与传统数据库面向应用相对应 主题是一个在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。 每一个主题对应一个宏观的分析领域。 ( 2 ) 数据仓库的主题是集成的它是从原有的分散的数据源中抽取来的数据源中 的数据进入数据仓库之前要经过加工与集成、统一与综合 ( 3 ) 数据仓库的数据是相对稳定的。它反映的是一段相当长的时间内历史数据的内 容而不是联机处理的数据。因而数据经集成后少有修改。 ( 4 ) 数据仓库的数据是随时间不断变化的。它的稳定是相对的。并不意味着从数据 集成输入数据仓库开始到最终被删除的整个数据生成周期中所有的数据永远不变。数据 仓库随时间的变化要增加新的数据内容 数据仓库的相关概念： 大连理工大学硕士学位论文 ( 1 ) 数据集市数据集市是小型的、面向部门或工作组的数据仓库数据集市中的 数据来自数据仓库。它仍具有数据仓库中数据的特点而且它自身还具有建设周期短、 投资小、见效快的优点。它的使用可以解各部门对数据仓库资源的竞争，提高处理速度 圈。 ( 2 ) 元数据元数据是关于数据的数据。它描述的是数据的结构、内容、码、索引 等项。包括数据仓库潜在的数据来源信息、数据模型信息、业务数据与仓库数据结构间 的映射信息以及数据仓库中信息的使用情况等 2 1 1 数据仓库建模方法 数据仓库区别于数据库，不是现成的可购买到的产品，需要采用具体的设计方法为 企业量身定做。在决定数据仓库如何设计之前必须明确数据仓库与数据集市的关系。因 为这决定了数据仓库的开发策略是从大处着手还是循序渐进式地开发针对数据仓库与 数据集市的关系，作为数据仓库理论的两位奠基人w h i n m o n 和r a l p hk i m b a l l 对此有 不同的观点 ( 1 ) 多个独立数据集市的总和并不等于一个统一的数据仓库 以w h n m o n 为代表的学者认为数据仓库是一个综合的，巨大的，并且不易访问的 数据集合。这个数据集合以实体一关系的模型保存企业各个部门所有的数据，包括历史 数据、未知需求的数据、详细数据、概括数据和外部数据等数据。正因为是以实体一关 系模型来建模，数据进行了规范化，访问数据将变得复杂，所以l n m o n 提出在数据仓 库的基础上，根据部门的特殊需求建立独立的数据集市任何一个给定的数据集市中的 数据结构都与其他数据集市的不同，在建模时针对本部门的需求进行优化数据集市的 结构一般是里型连接并且包含事实表和维表，是多维结构并由o l a p 技术支撑，并且 这个数据集市可以是聚集的，即具有相同维度的事实可以合并，这样对用户的查询可以 有较好的性能。 ( 2 ) 数据仓库不过是构成它的全部数据集市的一种联合 r a l p hk i m b a l l 认为数据仓库是指用于企业数据的、可查询的呈现资源。数据仓库不 过是构成它的全部数据集市的一种联合1 2 2 - 2 3 1 。数据集市是指完整数据仓库的一个逻辑子 集。数据集市是整个数据仓库饼图中的一块完全的“楔形饼”数据集市代表的是一个 能够完成的项目，而不是代表不可能实现的庞大项目。为了解决多个数据集市合并成数 据仓库的问题，k i m b a l l 还提出了一致性维度和一致性事实的观点。 会出现两种不同的观点是因为i n m o n 的数据集市是可以聚集的，而k i m b a l l 的数 据集市是建立在最低粒度数据的基础上i n m o n 建立的数据仓库和数据集市是一种很理 一9 一 港口生产数据仓库设计方法研究 想的结构，但是在建立数据仓库时难度比较大，可能需要一年到两年甚至更长的时问， 需要投入的资金也非常大，很容易发生的事情是数据仓库还没有建立完成的时候，企业 的领导已经对数据仓库的项目失去了兴趣和信心在k i m b a l l 的观点中，i n m o n 所提 出的数据仓库的结构是很难甚至不可实现的，只要能在建立数据集市时解决好一致性的 问题。那么先建立各个部门的数据集市，然后合成一个数据仓库是现实和可行的方法 i n m o n 和k i m b a l l 对数据仓库和数据集市的关系观点发生分歧导致了他们对数据 仓库的逻辑建模方法同样提出了不同的观点。以i n m o n 为代表的观点认为数据仓库建 模应该应用基于传统的实体一关系建模( e n t i t y - r e l a t i o n s h i pm o d e l i n g ) 方法，而以 k i m b a l l 为代表的观点则认为数据仓库应该应用维度建模( d i m e n s i o n a lm o d e l i n g ) 方法 ( 1 ) 实体一关系建模方法 实体一关系建模也称为第三范式建模( n i l dn o r m a lf o r m ，3 n f ) 。即为大多数传 统的数据库系统的建模方法。范式是数据库逻辑模型设计的基本理论一个关系模型可 以从第一范式到第五范式进行无损分解，这个过程也称为规范化( n 明n a l i 船) 通常在 数据库的模型设计中一般采用第三范式。 h i m o n 认为，数据仓库设计绝对是一个适合于适用规范方法的领域。因为规范化建 模有如下四个优点：规范化方法可以带来灵活性；规范化方法很好的适用于粒度化的数 据；规范化的方法不是对任何给定的处理需求集合都是最优的；规范化方法很好地与数 据模型相匹配同时，b 呲i 也指出如果整个机构都用同一种方式观察数据，对规范化 模型进行一些小的调整也是可以的比如，如果保存了每月数据，并且机构需要观察每 月数据时，总是要观察所有的月度数据，那么将所有月度数据存放在一起无疑是很有意 义的。 对于多维建模方法，h 姗o n 认为多维建模方法只适用于数据集市。而不适合数据仓 库数据集市很大程度上是根据需求来形成的，这与数据仓库不同。为了建立一个数据 集市，首先要对在数据集市上进行的处理的需求有很多的了解。一旦这些需求已知，就 可以将数据集市建成一个最优的星形连接结构但数据仓库与此有着本质的不同，这是 因为数据仓库是为了一个非常大的群体服务的，正因为如此，数据仓库对于任何一个需 求集合而言，性能和便捷性都不是最优的。数据仓库是根据企业信息需求而非本部门信 息需求建立的。因此对于数据仓库建立星形连接将是一个错误，因为这样最终结果是数 据仓库在牺牲所有其他群体利益的代价中对一个群体实现了优化。 在h 1 1 t l o n 的观点中，星形结构由于聚集数据等优化性能的方法导致数据粒度的提 升，无法满足一些未知需求或者其他部门的更细粒度的查询。而且由于数据对某个部门 进行优化，导致其他部门提取数据变得复杂，所以多维建模不适用于数据仓库。但是实 大连理工大学硕士学位论文 体一关系建模方法也有其缺点，规范化的过程使数据的存储变得越来越复杂，越来越分 散，在这样的存储结构上进行数据提取将变得复杂。 ( 2 ) 维度建模 与i n m o n 不同，k i m b a l l 极力推崇在数据仓库中进行维度建模。维度建模是种 逻辑设计技术，该技术试图采用某种真观的标准框架结构来表现数据，并且允许进行高 性能存取因为与实体一关系建模方法相比较，维度建