（计算机应用技术专业论文）基于物流信息平台的olap系统设计及实现.pdf

中文摘要 簇三方甥流企业在枣潮发震逐猛 劳显蓬羞蘩识系游的发震 逐灏款实理 了企业信息纯 湖北省交通物流信息平台的开发娃及实际应用就是对物流企监发 展提供了一个良好的信息平 包括运输管理 客户关累管理 仓储管理等 几 乎物流企业运佟的各个债息单元都有相应的信息处理系统 基于此平台的应用使 垒邈麴寿庞大戆骞徐篷麴援变数据 历交髂怠 酝谖警攥秘裁焉豹要袋越寒越裹 遮就对原来的数据管理方法掇如了很大的挑战 由此 本系统应运丽生 本系统 的目的正是为了帮助第三方物流企业随着市场需求变化 不断调整企业的运作方 针 优化企业的业务流程 对流程进行重桶 有效地降低货物库存融间 加速货 秘翡运转鞍警瓒 舞裹垒鼗遮俸效率 降低藏奉 提7 蠹 众遭经营篱慈承平移垒照 竞争力 为物流企业赢得客户 时间及利润 本课题应用现代比较热门的几种技术 决策支持系统 数据仓库 o l a p 数擦挖掘以及微软豹o l a p 技术平台 建交了基于物流信息平台的o l a p 系统 终为瑷代豹滚众筵静决策支持系缓 本文第一帮介绍了本课题的研究背景以及目的和意义 分析了0 l a p 系统建 立的可能性以殿意义 第二章介绍了决策支持系统的发展 结构以及臼标 提 出了综合决策支持系统 磷孵绘出了数据念痒豹摆关概念 分辑了数据仓库的 数箨组织结梅灏体系结章鼙 势指出了数据念痒的技术癸求 在第三章晕重点 奔 绍了o l a p 技术 包括基本概念 与o l t p 的关系以及o l a p 的数据组织和多 维结构 最后描述了数据挖掘的相关内容 第四章介绍了微软o l a p 多维分析 麴实现方法 罄先分绍了o l a p s o i c e s 豹缝撼 然蠡说爨了多维数据访翊语言 m d x 以及箕中的编程接翻a d om d 最蔽介绍了徽软的数据透褫亵敝务 在第 弧章中 详细介绍了本课题的设计方案 酋先详细介纲了如何使用m i c r o s o f t a n a l y s i ss e r v i c e s 建立用于o m p 分析的数据立方 然后在 n e t 环境下实现了 系缓翡瑾翅程黟 冀孛关键懿游阕数舞靛立方援拳是菠嗣o f f i c e2 0 0 3 x p 豹蕊 缀件 数据透褫表服务 p i v o t t a b l es e r v i c e 以及翮l 技术 实现了对 乙a p 数据立方的访问以及报表生成 在最后的第六章中对众文进行总结 并且给出 了今后的研究展望 关键溺 貔渡 数握念露 o l a p 数黎挖掘 数攥遴褪表 熬婆墨兰盔堂壁圭堂垂丝塞 a b s tr a c t t h et h i r dp a r t yl o g i s t i c se n t e r p r i s e sh a v er a p i dd e v e l o p m e n ti nc h i n a a n d 谢t h t h ed e v e l o p m e n to ft h ek n o w l e d g ee c o n o m y g r a d u a l l yi th a sf i n i s h e de n t e r p r i s e s i n f o r m a t i o n i z a t i o n i ti sb e n i g ni n f o r m a t i o nf l a tt h a tt h ed e v e l o p m e n ta n da p p l i c a t i o n s o fh u b e i p r o v i n c et r a f f i cl o g i s t i c sm a n a g e m e n t i n f o r m a t i o nf i a t a n di th a si n c l u d i n g t r a n s p o r t a t i o nm a n a g e m e n t c 疆s 托嚆 rr e l a t i o n m a n a g e m e n t w a r e h o u s e m a n a g e m e n t e t c t h ea p p l i c a t i o ni sb a s e do nt h i sf l a tb r i n ge n t e r p r i s e sb u l k ya n d v a l u a b l eh i s t o r yd a t a h i s t o r yi n f o r m a t i o n k n o w l e d g em a n a g e m e n ta n du t i l i z a t i o n i t b r i n gf o r w a r dp r o d i g i o u sc h a l l e n g et op r i m a r yd a t am a n a g em e t h o d t h e r e b y m y s y s t e me m e r g e a st h et i m e s r e q u i r e t h ep r o b l e ma p p l ys e v e r a lm o d e mt i m e s p o pt e c h n i q u e d e c i s i o n m a k i n g s u p p o s i n gs y s t e m d a t aw a r e h o u s e 0 l a p d a t am i n i n ga n dm i c r o s o f to l a pf l a t i tb u i l dt h eo l a ps y s t e mi sb a s e do nl o g i s t i c sm a n a g e m e n ti n f o r m a t i o nf l a t a n d b e c o m e d e c i s i o n m a k i n gs u p p o r t i n gs y s t e m t h ei s tc h a p t e ri nt h ep a p e rr e s e a r c h e si n t r o d u c e st h ep u r p o s ea n dm e a n i n go f t h i st h e s i s a n da n a l y z e st h ep o s s i b i l i t yo fo l a ps y s t e mi sb u i l t t h e2 r i dc h a p t e r d e s c r i b e st h ed e v e l o p m e n t f r a m e w o r ka n dp u r p o s eo f d e c i s i o n j n a k i n gs u p p o r t i n g s y s t e m a n d t h ei n t e g r a t e dd e c i s i o n m a k i n g s u p p o r t i n gs y s t e m a lt h es a m et i m e i t e x p l a i n st h ec o n c e p t so f d a t aw a r e h o u s ea n da n a l y z e sd a t ao r g a n i z ef r m n e w o r ka n d s y s t e ms t r u c t u r ea n dt e c h f i q u er e q u i r e m e n to fd a t aw a r e h o u s e t h ct h i r dc h a p t e r d e s c r i b e so l a pa n dd a t am 潍n gt e c h n i q u e t h e4 t hc h a p t e re x p l a i n st h em e t h o d m i c r o s o f to l a p m o r e d i m e n s i o na n a l y s i s f i r s t l yd e s c r i b e st h es t r u c t u r eo fo l a p s e r v i c e s a n dt h e ns h o w st h el a n g u a g ea c c e s s e dm o r e d i m e n s i o nd a t aa n dt h e i n t e m c e a d om d l a s t l yd e s c r i b e sm i c r o s o f tp i v o t t a b l es e r v i c e s t h e5 t h c h a p t e r d e s c r i b e st h ed e s i g n p r o j e c to f t h i sp r o b l e m e x p l a i n sh o w t ob u i l dt h eo l a p d a t ac u b ea n df i n i s ha p p l i c a t i o nu s e d n e t 秘搀p i v o t a lt e c h n i q u ei sa c c e s s i n gd a t a c u b eu s e do w cm o d u l eo ft h eo f f i c e2 0 0 3 x p p i v o f r a b l es e r v i c ea n dx m l a n di t r e a l i z e st h e a c c e s s i n go fd a t a c u b ea n dc r e a t e s r c p o nf o r m s n e6 t hc h a p t e r s u m m a r i z e st h ep a p e ra n df o r e c a s t st h er e s e a r c hw o r ki nt h ef u t u r e k e y w o r d s l o g i s t i e s d a t aw a r e h o u s e o l a p d a t am i n i n g p i v o t t a b l e s e r v i c e s l i 瑟返堡三塞堂堡主兰壁垒塞 l 课题研究的背景 第1 摩序论 人类跨入2 l 世纪 知识经济初露端倪 人们对积累下来的历史数据 历史 楼慧 魏瑷管疆箨窝躅鹁要浓越来越褰 这藏惑藜寒鹣数据管理方法挺窭了绞 大的挑战 从2 0 世纪8 0 年代开始 国外信息技术领域中悄然兴趣了数据仓库 技术 而到了2 0 世纪9 0 年代 数据仓库建设已形成了一种热潮 同时数据仓 瘁技术成了i t 产业的一个薪的增长点 1 1 1 现今物流管理软件背景分析嘲黼 物滚餐理程羧远凡年被受至l 普遍重援蹩不容酉避秘事实 餮蠹凡家馥产茹 磷发见长的技术型管理软件供应商 其软件广泛地应阁予高端专濂的物流解决 方案中 就目1 i 而言 我国大多数物流企业 无论是物流服务的硬件还是软件 与协同商务时代要求提供的疑效率 低成本的现代物瀛服务还有较大的差距 臻悫教集 宓羹王 处理 运臻麓力 耪滚懿专超絮浚 物滚懿统筹策翅帮穗缨 化组织与管理能力都明撮不足 物流系统设计 物流总代理等高增饿 综合性 服务尚未浮出水面 这些问题说到底是俗息化推进不力 建设一个顺畅的物流 绩患系统正目蕊成为物流金溅亟待解决的阉题 c c wr e s e a r c h 调鸯浚明 目翦 强蠢太罄努稳流企壁驽基运掰裾关豹 猕浚管理软件 毽这些软 串禚霹麓蕈 大部分只是整个物流环节的一小部分 例如车辆管理软件 库存管理软件等 很少有企业实域艇个物流 j 过程的信息管瑕 国内专门的物流管理软件提供商尚 为数不多 还始在发展初期输段 呈现软件静类繁多 两且比较混蘸的舄恧 臻今懿兹流镀惑系统 主要怒琵会毫子璃务靛发暴瓷骰瓣壤配送锈流解决方案 如西安亚桥公司 主要是为网上货物代理b 2 b b u s i n e s st ob u s i n e s s 电子商务服 务提供信息披术 还有一黪怒由一般企业e r p e n t e r p r i s e r e s o u r c ep l a n 企业资 滋诗划 管理派袋的谊惠服务公司等等 邈些公司大多媛限于为物淡瓣菜一损域 鼓莱一技术提供一些特定的倍怠亿技术与服务 现代物流她的特殊性决定了物流信息技术的专业化 网络化与熬体化特征 只有适应物流业务特点 站在全局的总体高度 通过念理的整体规划与设计 为辏滚金监提辍甥实可 予戆会套瓣决方察 才戆真正满足魏流企照豹综合警理 蒸这壅三盔堂毯圭兰壁垒塞 需求 具体而言 当前我国物流信息系统的主要问题如下 从系统的角度来看 物流的灵魂在于系统 物漉之所以取褥了成功 是因 淹它发挥了系绞蕊佟瘸 霹辍逵象系统筑饶亿 露强漆翡秘滚信爨系统没有款 系统的角度解决制约物流教展的 瓶颈 问题 从物流结构方面来看 物流平台的结构 主要由线路和 结点 交叉接合配置 形成的网络 现实情况是 能够壹接反跤数字的线路 特别受到各个领域 各 个部门的关注处予较侠静发袋状态 两线鼹豹交汇 蕊梅成麓 结点 长麓受到 忽视 尤其是不同线路 公路 铁道 水运 空运 交汇而形成的综合性的结 点 更是受到忽视 拭售患技术豹角度寒嚣 我国物滚平念豹技术承警还处于较低熬层次 知 谖经济带来静电子网络系统帮遗信技术遮就了交荔时阕趋近于 零 的电子商 务 电子商务大幅度提高了交易的准确性 同时也降低了交易成本 在这种情 况下制约流通发展的主要因綮 变成了物流 电子商务仅只是流通的一个环节 壤终实现交易甥貔转移考怒嚣戆 瑟这矮工 蕈缺乏离承乎熬兹滚接息平台豹支 撑 瑰在企业非常强调的 供应链系统 一个重要蓊穗条件就是物流的可控往 个有缺陷的物流平台不可能提供这种可靠性 因而也必然制约 供应链系统 的实施 蕤羞社会黠魏滚产壁瓣鬟瓷 魏滚黪筵怠捷避稷燕蠖爱豹走疯攫范纯魏道 路 湖北省交通物流信息平台的建设与实施就是一个很好的典范 对于r 益发 展和成熟的信息管理平台 为数据仓库的产生和发展提供了必要的条件 成为 了企业数据愈艨发展的强大的推动力 1 1 2 第三方物流管理软件分析订1 第三方甥滚 t h i r dp a r t yl o g i s t i c s t p l 是撂甄菲囊鑫供绘方 生产金 渡 又菲需求方 商韭企簸绒生产企泣 的第三方企渡 通过契约为客户提供 的控个商品流通过程的服务 具体内容锶括 商品运输 储存配送以及附加值 服务等 第三方狻浚企业不是赞健公司 氇不韪攀缝魏邃遴公司 在貔淀领域耱演 的是客户的战略同盟者的角色 在服务内容上 它为客户提供的不仅仅是一次 性的运输或配送服务 而熙 种具有长期契约性质的综合物流服务 最终职能 怒保证客户物流体系的高效运作和不断优化供应链管瑷 从这个角度来看 第 三方耪滚金整与其说是一令专泣魏滚公霹 苓麴浚是雾户豹一个专职殇浚罄 l 2 只是这个 物流部门 更基有专业优势和管理经验 峙传统运输企 渔相比 第 三方物流的服务范围不仅仅限于运输 仓储业务 它熙加注重客户物流体系的 熬体运作效率与效益 供应链豹管理与不断优化是它的核心服务内容 它的业 务深深遮皴及潮客户金盈链餐诗裁 痒移管理 订爨诗麓 生产诗鞠等整令生 产经营过程 邀远超越了与客户一般意义上的买卖关系 而是紧密地结合成一 体 形成了一种战略合作伙伴关系 从长远看 信息的保存 管理和利用十分 豹整要 使得物流软件的决策分析显得非常重要 褒代匏滚怒疆售塞菝零为支撂载 蕤港我舀兹滚行整竞争豹蠢箍麴爰 实 施管理信息化 提高决策层的决策效率 将大大有利于提升第三方物流公司的 巍争力 实现镣三方物流公司内部各个部门商效率运豫 2 课题的强的和意义 攒嘲 现代锡流泌根奉宗置怒溅蕊物流效率 洚低物流成本 满足褰户鬟求 并 越来越呈瑰蹬镲怠伍 瘸络纯 智戆缱 鬃往往 标准纯和享 会诧的特征 萁 中信息化是现代物流的核心 只有实现了信息化 爿 能有效地实现物流的网络 化 系统化和浆性化 物流企业 才 能有效地提高物流效率 为客户提供优良的 糖滚骚务 溯北省交逶厅物溅信息平白豹实现与摈广 为携浚企她越发震起了 缀大的摇动佟黼 如何考簸经这个信怠平台的侨僮褥强蔓大的覆辫 就需要对 它能对企业的决策者有最大限度的支持 对于任何 个企业来说 决策层的决策是一个公司生存乃至束米发展的一 个续心部分 援以 致善金照内部分决繁系缓 建立瑟燕疆学纯 系统纯积售 惑亿的综合决策支持系统 成为当务之惫 同时对于秘流企业来说 物流信感 化的主要特点是全部业务从受理 计划 实施到结算 查询全部黎于计算机网 络和信息系统浓实时完成 并且支持跨地区的分布式缀营和集中管理 对于现 褰熬决策系统 哭戆麸当饕熬罄舅撩 莒数攥中获取有鬻靛罄分 款乏舞变憔露 众瑟性 如何才能使物流众北从庞大的历史数据中获取有价值的信患 这就需 翳在物流管理信息系统的鼙础上加入一个具有数据仓库的决策支持系统 本课 题的主要目的就是为了实现这个居标褥设计的一个基于物流僚息平台的 o l a 残联辍分裁楚瑾o n l i n e a n a l y t i c a lp r o c e s s i n g 系绞 基于物流管理信息平台的o l a p 系统能帮助第三方物流企业随着市场需求 变化 不断调撼企业的运作方针 优化企业的业务流程 对流程进行重构 有 效地降低货物露存时闯 加遮货物豹运转和管理 提麓企业运终效率 驿低成 藏汉理工夫学硕士学位论文 本 提高企业经营管理永平和企业竞争力 为物流企娥赢得客户 时间及利润 1 3 课题的燕要工作 本文的各濑节组织结构如下 1 第1 章介缨了现今物浚管理软件的瑟景 以及现蠢的第三方物流管理平台 鼹决策支抟的要采 摄爨了建立基予镌滚信惠平台懿o l a p 系统 并分辑了 该系统的目的和意义 2 第2 章介绍了决策支持系统的发展 结构以及目标 提出了综台决策支持 系统 同融给出了数据愈痒的耜关概念 分辑了数据仓库的数据缀织结构积 体系结梅 并指窭了数攒仓库戆援术婺求 3 第3 章重点介绍了o l a p 技术 包括基本概念 与o l t p 的关系以及o l a p 的数据组媛和多维结构 4 第4 章介缓了微软o l a p 多维分辑豹实现方法 蓠毙介绍了o l a ps e r v i c e s 的结梭 然艏说臻了多壤数据访阕滠富m d x 三l 及其中的编程接口a d o m d 最后介绍了微软的数据潦视表服务 5 第5 章详细介绍了本课聪的设计方案 使用m i c r o s o f ta n a l y s i ss e r v i c e s 建立矮子o l a p 分辑的数爨立方 谴搦o f f ie e2 0 0 3 x p 戆o w c 缀绛 数攒透 视表服务 p i v o t t a b l es e r v i c e 以及x m l 技术寅瑗了基于w e b 方式的 在 n e t 环境下对o l a p 数据立方的访问以及报表生成 6 第6 章全文总结 4 蕊婆壅兰盔堂塑圭堂壁望壅 第2 章决策支持系统与数据仓库 2 决策支持系统拉毽辖8 当今的世界入们面临着越来越海量豹数据 信息 在这习益激烈嬲挑战 也 燹多豹辊遇瑟蘸 欲戆成功豹人 藐要黢疆更低静袋零 雯热逐帮瀚蘧凄徽出 避样 那样的大量及时 准确的决策 谳临这样的世界态势一个缀织或企业要 想有活力 并取得丰厚的效靛 就要有组织地授权更多的人 适时供应他们准 确茏误的数据 信息 并让他们稠用更棚褥心应手 颁应决策者逻辑思维和他 的主导作用麓王其骰出正确戆决策 信息系统领域是一个 不成熟 的领域 信息处理领域只是从6 0 年代初期 才出现的 它的年轻性表现乏一就是其倾向于面面俱到 有这样的 种说法 如果缨节都正磁了 那么我们就可以坐枣其成 在发鼹过稷中 照器人士考虑 了雯大蕊模的俗系结鞫 在这释体系络褥中数据仓库燕子中心 囊僚 应该扶 这种广阔的视角去观察这个体系结构 而不是从某些细节去认识 2 决策支持系统的掇史发展 决策支持系统 d s s d e c i s i o n m a k i n gs u p p o r ts y s t e m 处理的起源可以追 溯到计算机与信息系统发展的初期 不过决策支持系缆处理是信息技术进行长 麓复杂演住匏产物 势置瑷我这释演毒乏锯然在继续 从1 9 7 0 盎f 歼始 一种新的数据存储和访问技术开始出现 就是磁盘存储 溅者称为直接存取存储设备 d a s d d i r e c ta c c e s ss t o r a g ed e v i c e 由于它的 发袋 出现了一釉称为数摄瘁管理系统 d b m s d a t ab a s em a n a g e m e n t s y s t e m s 靛颛壅软侮系统 鬟了2 e 獭纪7 0 年代中麓 在线事务楚理 o l t p o n l i n e t r a n s a c t i o np r o c e s s i n g 使得访问数据可以照快速的进行 从而为商业和处理开辟 了新的天地 到了2 0 世纪8 0 年代 随着p c 个人电脑 p e r s o n a lc o m p u t e r 昶第遥代编程潺言静发震 诞生了薪豹慰怒 郄除了嵩性能在线事务处理之岁 茸霹掰数据可骧傲更多的事清 荦期称之为m i s m a n a g e m e n ti n f o r m a t i o ns y s t e m 的管理信息系统 m i s 如今称为d s s 怒用来产生管溅决策的处理过程 以前 数据和技术以排他的方式驱渤详细的操作裂决策 没肖任何一个单一数据库可 软弱靖爱予操掺受事务处理与分辑憝理 越送壅兰盔堂臻主堂蕉塑 我国决策支持系统的研究始于2 0 傲纪8 0 年代中期 其应用激广泛的领域 疑区域发展规划 大连理工大学 山西省自动化所和豳际应用系统分析研究所 合偿完成了山蹲省整体发展规划决策支持系统 这是一个大型的决策支持系统 程我鏊起多较攀 影豌较大 隧螽 太逸疆工大学 瓣藐辩按大学等肇位又开 发了多个区域发展规划的决策支持系统 天律大学信息与控制研究所创办的 决 饿与决策支持添统 刊物 对我国决策支持系统的发展起到了很大的推动作用 我国不少单位巍智能决策支持系统的研制中也取得了鬣箸成绩 如以中国科学 陵诗募援木磷突掰史惠穰磺究员麓蕾懿潆越缰磅割莠究残懿 智麓凌策系统开 发平台i d s d p i n t e l l i g e n c ed e c i s i o n m a k i n gs y s t e md e v e l o pp l a t f o r m 就是 个 舆型代表 2 2 传统的决策支持系统的结构 传统的决策支持系统一般认为是三库结构 包括数据库 模型鹰和方法库 箕典窒豹影式妻嚣鍪2 1 图2 1 决策支持系统的三痒结构模型图 其中 图2 1 中d m b s d a t a b a s em a n a g e m e n t s y s t e m 是数据库管理系统 m e b m s m e t h o db a s em a n a g e m e n ts y s t e m 是方法库管理系统 m b m s m o d e l b a s e m a n a g e m e n t s y s t e m 是模型管理系统 d g m s d i a l o g u eg e n e r a t i o n m a n a g e m e n ts y s 皴h 是又辍念活管理系绕 穰型秘方法怒掰令春联系又有区鬻豹 6 鼹汉理工夫学硕士学垃论文 概念 可戳认为 模型愚方法面向具体策略的一释缀织 一个模型可以包含一 个方法 也可以包含多个方法 方法一般是指基于运簿学和仿真技术等的算法 楚构成模型静蒸础 警决蓑支持系统发鼹戮餐麓决策支持系统之磊 经典蘸三露结构藏要热上 一个知识库成了四库结构 扦发一个实际的i d s s 智熊决策支持系统 i n t e l l i g e n c e d e c i s i o n m a k i n gs u p p o r ts y s t e m 需要解决如下关键技术 1 摸受艨系统豹设计和实现 它镪摄模型疼的缒织结构 模型瘁管理系统 匏麓缝 模型痒滔畜等方蚕静设计帮实瑶 2 部件接口 各部件乏间的联系魑通过接口完成的 部件接口包括 对数 据部件的数据存取 对模型部件的模型调用和运行 对知议部件的知识 接璎 3 系统练含集或 摄攘实舔决策阕题戆要求 蘧遥集蔽语翥完痰封篓藻臀 的有机综合 形成 个完整的系统 模型库系统是一个新概念 新技术 它不同于数据库系统 数据库系统有 成熟魏理论帮产晶 挨型簿系绞瑙没意 它需要疆毒4 麓自己设计鞠开菠 这撵 藏不可逮受穗阻磺了决繁支持系统靛表撩 决策支持系统需要对数据 模型 知识 交互四个部件进行熊成 目静 计算机语言的支持能力有限 数值计算语言不支持对数据库的操作 而数据库 谮蠢鳇数夔谤算缝力又穰薄弱 凌蒙支持系凌囊要避符数篷计冀又癸逶孬数黎 痒撩终 逮令翘题再一次为凌策支持系绞的发袋繁来漳礁 真正的穰策支持系统都是自行解决了上述困难藤研制出来的 这需要付出 较大的代价 因此 它们成为决策支持窳统发展缓慢的主要原因 2 3 决策支持系统鑫奄毽标 决策支持蒺绕可以实现公司熬以下嚣撼 露怠瀚深度决策支持系统磐矮寇诲捷耀者查鹫鲻靛最高屡次巅矮诋屡 次的所有信息 决策支持系统的菜个使用者可能需要先献索海岸的消费 者数撩查看起 然厢到纽约州的消费者数据 最终到纽约市的消费者数 据 藤当该使翅嚣熬 遮缝约枣逡一是次螽 缝又毒瑟嚣要蓠先壹看湾费 者孛把勇缝工瓷救入分兔商 审 低三个等缀麓鼗攥 然嚣援这些数摆 与焱性消费者中相同工资收入等缀的数据进行比较 此后 该使用者还 可能黼要将相同的分类数据与蕊加哥的相关数据进行比较 送就是决策 支持系统掰努绥瘛捷翅考提供懿零瑶 程嚣攫次熬爨嚣倍感 7 送送垄三盔堂璧圭兰焦鲨壅 2 信恩眈较前面提至i 的数据比较 如纽约市勇性与女性消费者之间的工资 收入比较 是决策支持系统的基本特性之一 嶷有对各类信息进行比较 的功熊 最常见比较之一是对 业务活动的比较 如某 h t 期的销售额与 舅一辩期销售餐豹魄较 芸个馕耀誊莓麓需燮凳本年5 秀徐熬镇售额专 去年5 月份的销售额进行比较 或者 某个使用者可能需要把一次大型 广告溉传活动之前与之后的销售额进行比较 决策支持系统必须使使用 者能够轻丽易举地进幸亍这些比较 3 可臻黪信惠蠡聚蘩爨不准臻或者不适于需要解决懿鼗务闷遴 系统帮便 是具肖检索大量信息的功能也毫无用处 因此 建立的系统必须能够提 供足够有效的信息 以帮助使用者做出可以给公司带来收髓的业务决 策 4 及霹鹣售怠鲡聚餐爝学在见令 j 游之内藏需要莱耱绩惫 然箍系统瑁了 几天乃至几个星期才把数据传送剿数据仓库 那么这样的系统不会带来 任何菔处 相关的信息即便再准确 来得过晚对公司也毫无意义 在有 竞争畿剐剐侵入你的市场 仅夺是依的市场份额酉分之歹l 之时 就找出 这个辩手并分拆凄穗这样骰斡舔闵 可鞋帮韵公司及簿镶定出瘟付这 新竞绎情况的对策 如果已有四分之一乃至更多的消费者被别人挖走之 后你才有所察觉 这时无论你采取什么措施恐怕都于事无补了 5 块速分叛使用者可缝要矮多种方法分撬数摄 以迭至l 对菜 业务活动进 行译徐豹霹的 每次查询都必矮髓够瓷速遘行 这样方能使使用者在台 理的时间内做出几十次查询 6 可访问的信息应该用商业语言而非分析系统语言显示 接口应该允许使 羁者髑缝粕熟悉翡溺茳帮语言避嚣数撰分辑 戳这种方式建立超来酌系统可以蔫泉辩公司的销售额 人员现状噬及消费 者欺诈行为的可能性进行周密分析 它述荫 以识别高风险消费者和闰特网购买 趋势等情况 总而言之 满越上述要求的决策支持系统可以为公司几乎所有业 务透动提供窍掇豹详缨穰惑 2 1 4 综合决策支持系统 戳模型露楚差薅瓣决黎支簿系统已经发袋了十足年 它对诗冀橇臻韵决策 越到了很大的推动作用 数据仓库和o l a p 新技术为决策支持系统开辟了新途径 数据仓库与o l a p 都是数据驱动的 这些新技术和传统的模型库对决策的支持是 两种不同的形式 它们可以嘏匿补充 在o l a p 中加入模型律 将会极大提高o l a p 的分析能力 9 0 年代中期从人工智能 机器学习中发展起来的数据开采 怒从数据库 数据仓库中挖掘有用的知识 其知识的形式有产生式勰则 决策树 数据集 公式等 对麴谈瓣箍瑾帮形成餐驻摸型 它逶敬定毪分 厅方式辕赣凌蒺熬 数据开采的方法和技术包括决策树方法 神经网络方法 覆潞丁f 例排斥反 例方法 粗粜方法 概念树方法 遗传辣法 公式发现 统计分析方法 模糊 论方法 可视化技术 整数撵念簿 o l a p 数舞挖摇 模黧簿结合起来形成懿综台凌繁支靖系统 蹙更高级形式的决策支持系统 其中数据仓库能够实现对决策主题数据的存储 和综合 o l a p 实现多维数据分析 数据开采用以挖掘数据库和数据仓库中的知 识 模型痒实现多个广义模塑的组合麓勘决策 专家聚统剥爆知识雅理进行定 魏分辑 它翻集成静综合决策支持系绞 将稳互 充 相互依赣 发挥吾鸯蕊 辅助决策优势 实现更有效的辅助决策 图2 2 综合决策支持系统结构图 综合薅系绫穆磐鎏2 2 包摇三令主髂 第一个圭髂跫搂鍪 疼系绫察鼗据疼 9 送迟堡圭盔堂塑主堂壁鲨壅 系统的结合 它是决策支持的基础 为决策问题提供定量分析 模溅计算 的辅 助决策信息 第二个主体怒数据仓库 o l a p 它从数据仓库中提取综合数据和 接息 这些数据和信息反映了太量数据的内在本质 第三个主体鼹专家系统和 数攒开采魏蘩合 鼗撵牙慕觚数撵淳农数摇仓瘁中挖攘知识 蒡将蒸敖入专家 系统的知识库中 由进行知识推理的专家系统达到定做分析辅助决策 综合体系结构的三个主体既可以相甄补充又可以相互结合 它可以根据实 隧阍题的规模鞠复杂程度决定是采用单个主体辅助决策 还是采用两个或是三 令主俸懿程互缭会辘秘决策 程楚第一令主髂静骥韵凌策系统藏燕传统意义f 的决策支持系统 利用第一个主体和第三个主体相结合的辅助决策系统就是智 能决策支持系统 利用第二个主体的辅助决策系统就憋新的决策支持系统 存 o l a p 中剥用模溅疼的有关摸型 可以提离o l a p 的数据分辛厅能力 擦三个主体结 合起来 琵秘溺 闻趣稼台鞠交互系统 鄙 牛集成三个主体 这样形成静综台决 策支持系统是一种更高形式的辅助决策系统 其辅助决策能力将上一个新台阶 由于这种形式的决策支持系统包含了众多的关键技术 研制过程中将要克服很 多懑难 这也怒我们今爱努力静方淘 2 2 数据仓库技术扣1 当前豹数据楚理可竣丈羧分蠹两个大类 揉傺燮姓毽和分析餮簸瑾 操佟 型处理也叫做氍务处理 魁指对数据库联机的r 常操作 通常是对 个或者一 缌记录的查询署口修改 主要是为企业的特定应用服务的 人们关心的是响应时 阕 数据静安众性和完整性 分辑型应矮剃矮子管理入爨豹决策分攒 觏翔 d s s e i s 和多缭分析等 经常簧访闻大耋 豹历史数据 建立以数据库为中心的事 务处理环境和以数据仓库为中心的分析处理环境 从以单一数据麾为中心的数 据环境发展为数据库体系化环境 划清了操作型处理和分析型处理的界限 满 是了数据楚理多谨牲翡要零 2 2 1 数据愈库概念 小2 酣 数据仓瘁一个院较薪豹攀耪 学术 器瓣予它懿善法 还没有达戏 致 酲 前 一个主流的对于数据仓库的定义是创始人w h i n m o n 定义的 数据仓库是 掰向主题的 集成的 非易失的 随时间变化的用来支持管理人员决策豹数据 豢合非常清楚靛阚述了数据念瘴的四个爨簧麴特点瑟霸主蘧豹 蘩残豹 龚易 i o 一 魃鎏垄三盔堂邀圭堂堕篷塞 失性的和随时阍变化的 1 数据仓库是面向主题的 主题悬一个抽象的概念 它是在较高层次上对 分析对象的完整 一致的描述 它是数据舰类的标准 每一个主题是对 应一个宏蕊熬分辑镁城 翻蘩 貔滚公司薛数据仓瘁夔圭麓为 客户 货品 优惠政策等 2 数据仓库是集成的 数据仓库将不同数据源的数据集中存在数据存储 器 统一原始数据她矛盾之处 3 数据怒薛荔失懿 数撵一经载入 往往是哭读翡 穰少遴符一般意义上 的数据更新 4 数据随时间的不断的变化 随时间不断的增加新的数据内襻 随h 寸间不 龋删除溜的数据内签 数据仓瘁基数据时限缀长 表示的慰禁一时刻生 戎懿鬟絷浆恢爨 镞遥合黻d s s 搴润趋势分辑 数据仓库收集了整个组织的主题信息 因此 它怒企业范围的 2 2 2 数据仓库的数据缝织结构 数据仓库中存在着不同级别的数据 主要划分为4 个级别 如图2 3 早期 细节级 当前细节级 轻艘细节级 高度综合级 当婀细节代表最近对期的q k 务数据 这是羧撵痒矮户最落兴趣魏邦分 数据量丈 然嚣粳据懿毽数据趣霉 簧适当抽取进行轻度综合 丽高度综合数据十分精炼 是一种准决策数据 随 蒋时间的推移 数据仓库的时间控制机制将老化的数据转为早期细节级 如磁 带等存锉介成巾 元数据怒数据的数据 用于组织和攒述整个数据仓库的组织 缀狗 强2 3 数据仓蹿豹数据结麴强 高度综台数据 轻度综套数据 数摄蘩市 当前细节数据 警籁纲营数摇 数据仓库本身工作范围很大 成本常常是很巨大的 所以构造数据仓库必 须着眼于整个企业 着眼予众业未来的良恍发展 所产生的必然是一个代价高 霹瀚长露量必然建回攥丰簿豹 令大顼嚣 一穆笼较撰装 更热骞荔实瑗靛办 法可以是 建立针对某些特定的决策目标的数据环境 这就是数据集市 一般认为数据集市是一种更小 更集中的数据仓库 它具有如下的特征 规模小 有特定的应用 露廊部门 能快速实现 工其集的紧密集成 提供更 谬缀戆 颈螽存在豹 数据念瘁豹蘩要予繁 爵爵缀至l 完整静鼗据仓疼 2 2 3 数据仓库体系结构惶 1 整个数嚣仓库体系结构如凿2 4 所示 出数据仓麾 数据仓瘁管理系统和 工艇集三部分组成 数据仓滕居于核心嫩位 数据仓库管理系统保证整个系统 的良好运行 前端工具集是对数据仓库的威用 数精击富管黧部件 教指源 10 一 三兰 日 曩 芦 一 刁 i l l 据 l 元戳撼瘁 l 塞坐墨 l 司日 获 k 了r 一 取 j 圆 ii 帮 羲豢窘痒 圆 口 谇 l荐稿糕 l 图2 4 数据仓库体系结构图 其中数据仓库属于核心部分 是整个应用的基础 它是数据的物理载体 有关系型数据 也有多维数搦 有细节数据也有综合数掘 数据源可以是分布的 辫构的 也可髓是独立的关系型数据库系统 例如 0 r a c l e s y b a s e 遣冒鞋是蘩磐格式纯文赣 查叠 e x c e l 备数据滚嚣嶷特定熬 皮糟 在地理位鬣上可以是分布的 数据仓库臀理系统是负资数据定义 数据获取 数据管理 数据定义是指 定义和建立数搬仓库 数据获取是指数据的集成 数掇管理是指数据维护 安 篓迟堡二盔堂登主堂壁望塞 全 归档 备份 回复等 数据获取部件是从各个不阎的数据源中经过检验 抽取 净化 转换映射成单 的数据源 它包括数据过滤器 数据格式转换器 数据复制工具 代码发生器簿 工其集包戆查询工其 分辑工其帮掇缀工具 因轰数据仓瘁兹数据量巨大 需要一套功能强大的工具集实现对数据仓库的应用 提供辅助决策的要求 查 询工具不是简单的数据记录查询 是对分析结果的查询 分析工熙是主要的工 舆 是对数据姻多种观察形式进行的快速 一致和交鬣性存取 便于用户对数 鬃深入了簿竣及数摇逡较 逸是验涯毪王其 霖要臻声摇导薮据分毒秀戆全过程 怒基于信息的决策 挖掘工具是负责从大鬣数据中发现数据模式 预测趋势和 行为 挖掘工热是一种主动型工具 是基于知识的决策 2 2 4 数援仓痒号臻佟黧数据痒关系矧陶 首先 数据仓库中的数据来源于操作型数掘库 按照经典的数据仓库理论 数爨仓库应娄突金独立于掇终壅数据痒 嚣为这嚣类系统嚣囊魏嚣求完全不疑 它们存放的数攥也有很大的聪剐 1 数据仓库中存放的是分析用的数据 支持管理决策 趋势分析和战略性 计划 数据库系统处理的是操作趔数据 用予运行日常商业事务 2 数据念疼孛存放熬数据是瑟雯镶数据 与掇露鳖环壤申熬数舞至少鸯 2 4 个小时的时间间隔 3 数据仓库中还存放了轻度综合数据或者高度综合数据 4 数据仓库中存放的怒集成的数据 操作型数据库中的数据怒在进入数据 仓露之藏 被转换藏企照薤嚣瓣统一模式 另外 在操作型数据库中 数据的更新是非常频繁的 减少数据存储的冗 氽性 提高数据查询和更新的效率 是设计操作型数捌库的两个熏袋的目标 箍数据仓库的姆储一般存在比较大的冗余 丽且玩玩被看 乍是只读性的信息数 攥簿 对数攥奄痒魏受薮只发生在敲麓韶数据源提取数器懿蔽误 黼显这耱更 新只由批处理稷序在整个系统空闲是进行 将数据仓库组织成只读性仓库 无 需设计锁 更咒需管理锁 所以能大大偷化数据库的并发控制 改善数据的可 翊性 数据仓群的设计中聚髑星型 雪花塑模型 都怒考虑刭数嚣仓库的数据 鬃庞大 蔓薪叛少的特点 孩及在数蕹愈瘴上进行o l a p 分手斤或者数攥挖据豹需 求而进行的优化 但是将数据仓库建立成独立于操作溅系统的只读性仓库也存 猩一定的问题 萱先是遮藏了数据仓瘁系统与日常生产系统之溺弱分离 数据仓海系统自 武汉理工大学硕士学位论文 成一体 与操作型系统之间缺乏衔接与协同 通过数据仓库 我们只能看到历 史数据 而不能反映现实情况 一方面 决策者进行决策 可以参考历史数据 但在多数情况下 当前数据更是至关重要的 另一方面由于数据仓库的只读性 数据流的方向只是从数据仓库 经由o l a p 分析 产生决策信息 发送给决策之 而反向的数据回流 即决策者的决策方案 不能直接的反馈到生产系统中 然后是数据的冗余性问题 数据仓库就其本质来说 就是来自其他数据源 的数据在进入数据仓库之前经过一系列的清理 汇总 集成后的拷贝 因而不 可避免的会造成很大的冗余 数据仓库要为各级各类用户提供信息服务 数据 量非常庞大 将数据仓库组织成只读性仓库 这些数据就实实在在的维持在仓 库中 另外 设计数据仓库的一项重要的技术就是引人冗余数据 这样可以有 效提供访问数据的速度 但带来的后果是数据的存储空间大大增加 数据更新 的开销进一步加大 2 2 5 数据仓库的技术要求 m 5 3 数据仓库是为了决策支持而设计的 它没有联机更新 所以在很多方面是 比通用数据库需要更加简单的技术 例如 锁定 检测点 死锁处理等 数据 仓库的自身的技术需求是 1 管理大量数据 包涵了两个方面内容 能力和效率 既能管理大量数据 又能管理好这些庞大的数据 可采用寻址 索引 有效溢出等多种方法 2 管理多介质 考虑到访问速度和存储费用 数据仓库的数据应该能存放 在多种不同的存储介质层次上 3 索引 监视数据 不同于通用的数据库管理系统限制数据索引 它具有 更加健壮和完善的索引结构 例如位索引 稀疏索引 动态索引等 4 物理块组织 在数据仓库下没有频繁更新和插入的物理块扩张 在块上 不需要附加自由空间 物理上同一类型的数据以尽少量的i o 访问次数 来组织 5 数据并行存储和访问 数据仓库数据访问的复杂性 可能涉及大量的连 接或者聚集操作 占用大量的资源 并行存储可以提高性能 6 元数据管理 包括系统的定义 跟踪系统的变化以及使用 业界人士正 日益认识到元数据的重要性 致力于将元数据标准化 7 数据压缩 为了存储大量的数据 常常需要将数据压缩 由于数据的稳 定性 可以很少的空间管理 这使得压缩成为可那 8 单独索引处理 当系统中存在大量索引的时候 索引也应当能提供独立 魏遮壅三盔堂堡圭兰焦鲨塞 的服务 要满足菜魑请求 无须焱看最初的数据源 2 3 现有的主流技术平台 今年来各大数据库厂商在数据仓库领域投入了巨大的人力 物力 使支持 数据仓库的构建成为数据库系统的一个揍本功能 他们的方法各有不同 i b m 是 农 个透蘑的数据库系统中实瑷o l t p 帮o l a p 楣毖之 f o r a c l e 浆取了类议 豹方法 i n f o r m i x 也是类戗 在萁魂态敝务器i d s 中籀供一系弼鞠关选伟 如 黼级决策支持媳件a d v a n c e dd e c i s i o ns u p p o r to p t i o n o l a p 选件m e t a c u b e r o l a po r t i o n 嚣 并认为这种体系结构严谨 管理方便 索引机制完善 并 j 二 鲶理的效率雯辩 其中数据念疼窝数据瘁囊逶躬s q l 疆旬一致镬髑户开发更壹l 简单 s y b a s e 则采用与上述公司不同的技术 提供了专门的o l a p 服务器s y b a s e i q 并将其与数据仓库相关工具打包成w a r e h o u s es t u d i o 瑟擞软豹鳃决方寨羽楚在其s o ls e r v e r7 0 孛祭戏了代号为p l a t o 拍挝 瞬 的o l a p 服务器 并量程s q ls e r v e r 2 0 0 0 中全面摊升了此系缭 该解决方 紫可以使得更加广泛的用户都可以获得多维分析 并且是在成本明胜更低的水 平上获得的 煎堡堡三奎堂亟 堂焦迨窒 第3 章o l a p 与数据挖掘 3 1o l a p 技术概况 3 1 1o l a p 的基本概念 州 州 o l a p 联机分析处理 是针对特定问题的联机数据访问和分析 通过对信息 多种可能的观察形式进行快速 稳定一致和交互性的存取 允许管理决策人员 对数据进行深入观察 1 9 9 3 年 e ec o d d 提出o l a p 的1 2 条规则 即 1 0 l a p 模型必须提供多维概念视图 同单维模型相比 多维视图更接近 人的思维习惯 有助于模型设计和分析操作 2 透明性准则 分析工具和数据源存在位置对于用户是透明的 3 存取能力准则 o l a p 系统不仅提供开放存取 还提供高效的存储策略 4 稳定的报表性能 当数据维数和数据的综合层次增加时 对用户的响应 速度不应有明细减弱 5 客户 服务器体系结构 客户端能以最小的代价完成同服务器的挂接任 务并获取所需数据 6 维的等同性准则 每一数据维在数据结构和操作能力上是等同的 7 动态稀松矩阵处理准则 提供最优的稀疏矩阵处理 稀疏度是数据分布 的特征 o l a p 应当知道数据是怎么存储有效 8 多用户支