（计算机应用技术专业论文）基于mdd和olap技术的海量水文信息分析模型研究.pdf

中国科技大学硕士学位论文 摘要 水文信息足国家重要的基础信息资源，作者针对国家水文数据库，深入分析 了水文信息本身所蕴含的多维数据m d d ( m u l t i d i m e n s i o bd a t a b a s e ) 特性，提 h j 了一个通用的水文多维数据模型h m d d m ( h y d r o l o g i c a lm u i t i d i m e n s i o n d a t ；南a s em o d u l e ) 。 以此模型为基础。对几十种典型的水文应用进行了5 * j 7 - ，结合多维分析m d a ( m u l t i d i m e n s jo na n a l y s i s ) 技术和o l a p ( o nl if i ea p p l jc a t i o np r o c e s s ) 思 想，提出了一个统一的水文多维分析模型h m d a m ( h y d r o l o g i c a lm u i t l d i m e n s i o n a n a l y s i sm o d u 】e ) 。 空间维s 中，由于采样点门类众多，而且一种类型的采样点全国可能会有几 力个( m 量、地f 水) 甚至更多，设计“站群选择树”s c s t ( s a m p l ec l u s t e rs e l e c t t r e e ) 来解决大离散样本空间中采样点的组织选取难题。 方法维a 在数据库管理系统( d b m s ) 中以存储过程( s t o r e dp r o c e d u r e ) 形式 存在运行，可以灵活的通过s q 。脚本来解决了方法维的复杂计算需要； 模型维m 利用基于c o m d c o m 技术来设计，既可以是一个个软件插件( p h i e i n ) ，又可以经过扩展o l ea u t o m a tj o n 接口的独立程序。作为一个单独丌发运 行的软件，它可以同u 寸满足模型的复杂性和交互特性。 作者的主要贡献在于 将数据仓库d w ( d a t aw a r e h o u s e ) 思想引入水文信息行业，提 出了一个完整的水文多维数据模型h m d d ； 将多维分析方法与水文分析技术相结合，提出了水文多维分析 模型h m d a m 。模型将分析方法和分析模型单独建维，形成独立的分 析方法维a ( a n a l y s i sd i m e n s i o n ) 和模型维m ( m o d u l ed i m e n s i 。n ) ， 实现了水文分析方法的命名统一和定义规范化。 以h m d a m 模型为依据，对该模型的技术实现进行了大量深入细 致的研究，对大离散样本空间组织选择、空间插值、数据库群聪合 分析、统一分析系统设计等技术难题提出了独到的见解，设计了一 个具有高度开放性的多维水文统一分柝系统。 4 1 8 0 关键词： i v l d d ：m d a ：o l a p 水文多维数据模型( i i m d d m ) ：水文多维分析方法模型( h m d a m ) 多维水文统一分析系统；站群选择树；应用分析树 a b s t r a c t ： t h eh y d r o o g i c a li n f o r m a t i o ni st h eb a s i ci n f o r m a t i 0 io fn a t i o n t a k e t h ec h a n c eo f c o n s t r u c t i o nn a t i o n a lh y d r o l o g i c a ld a t a b a s e ，ih a sd e e p l y a n a l y s i st h em u l t i - d i m e n s i o nc h a r a c t e ro ft h eh y d r o l o g i c a li n f o r m a t i o n a n dd e s i g nah y d r o l o g i c a lm u l t i - d i m e n s i o nm o d u l e ( h m d d m ) b a s t n go nt h ed a t am o d u l e ，o nt h eo b j e c to fd e c is j o ns u p p o r ts y s t e m a n dn t e r d e e p l y r e s e a r c ho nt h eo n n n e a n a l y s i sp r o c e s s ( o l a p ) a n d m u l t i d i m e n s i o na n a l y s i s ( m d a ) ，t h i sd i s s e r t a t i o nh a s d e s i g n a h y d r o l o g i c a l m u l t i d i m e n s i o n a n a l y s i sm o d u l e ( h m d a m ) a f t e r d e e p l y a n a l y s i sa b o u td o z e n so fh y d r o l o g i c a la p p li c a t i o n s t h em o d u l eh a sm a d e t h ea n a l y s i sd j m e n s i o naa n dm o d u l ed i m e n s i o nmt ob ea t i s o a t e dd i m e n s i o n w h l c hm e e t st h e c o m p l e xn e e d so fh y d r o l o g i c a ta n a l y s i st h eh m d a mi sa f i r s tu n l o n h y d r o l o g i c a l a n a l y s i s m o d u ei no u r c o u n t r ya 1 】t h e c o m p o n e n t sh a v eb e e nm a n a g e di h a sb e e nd e s i g nb ym ed u r i n g nt h ef r a m e a n a l y s i ss o f t w a r ew i t h t h ew r i t i n go ft h isd i s s e r t a t io n o nt h ep o i n to fs p a c ed i m e n s i o ns s i n e et h e r ea r em a n yk i n d so f s a m p i e s t & t i o n e ，a n dt h e r ea r em o r et h a n1 0t h o u s a n ds a m p l es t a ti o n so fo n e k i n ( j ( r a in 、u n d e rw a t e rle v e la n ds oor 1 ) 。t h ea u t h o rh a sp r o v i d ean e wm e t h o d g z t m e d “s a m p l e c l u s t ert r e e ”t os o l v et h i s 9 u z z l e c f o r g a n i z ea n d s e e c t jo nf r o ms om a n ys a m p l es t a t i o n e t h ea n a l y s i sd i m e n s i o nai ss t o r e d a n dr t l n n i n go nt h ed a t a b a s em a n a g e m e n ts y s t e m ( d b m s ) a ss t o r e dd r o c e d u r e ， l i s i n gt h es q ls c ii p tt os o l v et h ec o m p l e xc o m p u t i n gd e m a n do fa n a l y s i s d i m e n sio n t h em o d u l ed i m e n s i o nmh a sb e d e s i g n o nt h e t e c h n o l o g yo f 5 8 0 中国科技大学硕士学位论文 一一 c o m d c o m w h ic hc a nb eas o f t w a r ep l u gi no ro l ea u t o m a t i o n e a c hm o d u l e mlss o f t w a t - eh i m s e ! f ，w h i c hm e a e si tc a nb ed e v e l o p e dl s o l a t e da n dc a n m e e t st h ed e m a n d so f b o t hc o m p l e x o fam o d u l ea n d t h ei n t e r a c t i r e c h af a c t e e t h em a j nc o n t r i b u t e so fa u t h o rc a r lb ec o n c t u d e da sb e l o w f i r s t j o i n t h em u i t id i m e n s i o nd a t aw a r e h o u s et h o u g h tw i t h jn h y d r o l o g i c a li n f o r m a t i o n ：g i v e a n i n t e g r a t e dh y d r o i o g i c a l m u l t i d jm e n si o nm o d u l e ( h m d d m ) ： s e c o n d ，b a s e do nt h eh m d a m ，g r e a tr e s e a r c hw o r kh a sb e e nd o n et 0d e s i g n t h ef f l u l t i d m e n si o i lh y d r o l o g i c a ll i n i a n a l y s iss y s t e m ：m u c hd i f f i c u l th a s b e e nc r a c k e dt o o t h i r d ， t h o u g h t ， c r e a t l v e i v d l m e n s l o n r e f e r e n c eb o t h aa n dt h ec o m p l e xo fh y d r o l o g i c a a n a l y s is d e s i g n a n 由h y d r 。l o g i c a la n a l y s i sm 。d u l e ( h m d a m ) ，a n d m a k et h em e t h o d sa n dm o d u l eh i m s e l ft ob ea n i n c e p e n d e n t i m p l e m e n tt h eu n i a n a l y s i so fh y d r o l o g i c a li n f o r m a t i o n k e yw o r d s ： m d d ( m u l t id i m e n s i o nd a t a b a s e ) m d a ( m u l t i d i m e n s i o na n a l y s is ) o l a p ( o n l i n ea p p l i c a t i o np r o c e s s ) ： h y d r ( ) 1 。g i c a l m d dm o b u l e ( h m d d m ) h y d r 0 1 0 9 i c a lm d am o d u l e ( j m d a m ) m u l t i - + d i m e n s i o nh y d r o l o g i c a l u n i a n a l y s i ss y s t e m s a m p l ec i u s l ，e rs e l e c tt r e e a p p iic a t o na n a l y s i st r e e 6 8 0 中璺型垫查堂壁主兰堡堡查 一一 _ - 一_ _ _ _ _ _ _ _ p _ _ _ _ 一 1绪论 1 1 研究意义 l u 于生态环境的脆弱性和我国入均资源占有数很低，围家将可持续发展作为 项基本战略，需要对环境的演变与发展态势给出一个科学量化的评价。在这种 形势之下，水文信息作为国家重要的基础信息资源，越来越显示其重要的价值。 图卜l 世界上七个水资源总量丰富国家的人均径流对比 分析和研究从分布在全国的水情数据采集测站采集到的海量水文信息，是 个具有重要价值的研究课题。为实现从数据( d a t a ) 到信息( i n f o r m a t lo n ) 再 到知识( k n o w e d g e ) 的逐步演迸，必须借助于模型化思想，抽象出数据所蕴涵 的特征和规律，结合水文专家的分析思想与分析方法建立科学的数据模型和分 析模型，真正挖掘出数据中所蕴涵的规律性。实践证明水文信息的本身所蕴含的 多维特性，结合科学的多维分析模型( m d dm u l t 卜d i m e n s i o nm o d u l e ) ，使得用 水文多维分析( 眦d ah y d r o l o g i c a lm u l t i d i m e n s i o na n a l y s i s ) 方法命名规 范、可视化程度高、模块的内聚性和重用性好，适合构架大型通用分析系统和决 策支持系统。多维h m d a 将是水文信息系统的重要发展方向之一。 1 。2 国内外相关的研究状况与趋势 水利信息化涉及的研究领域非常之多，如传感器技术、网络通讯技术、数据 库技术、水利模型计算技术、3 s ( g i s g p s r s ) 技术、数据可视化等几个主要方 面。本文研究的主要是水利数据库的在线分析技术，因此本节关注的也只是0 l p 和相关水利分析技术的研究状况与进展。 中国科技大学硕士学住论文 图l 一2 水利信息化的关键技术 o l a p 是一个商业化走在理论研究前面的一个典型领域。1 9 9 3 年是划时代的 一年，c o d d 博士发表了关于o l a p 的白皮书，传统七一般都会认为这是o l a p 技 术j r 始发展的年，其实在此之前，已经有如此多的厂商尝试过这个领域了。但 是白皮书发表过之后，越来越多酌入歼始理解多维分祈的概念。 1 9 9 4 年m i c r o s t r a t e g y 发布，这是第一个完全基于关系型数据库的o l a p 工具，所有的0 i 且p 请求都被后台分割成一个或者多个s q l 语句来执行。这是o l a p 技术和关系数据库技术的第一次融合。1 9 9 5 年h o l o s4 0 发布，这个产品应该 、 是第一个混合性的o l a p 工具。1 9 9 6 年，b o4 0 发布，第一个同时支持o l a p 和 关系型数据库查询报表的工具，这再一次拉近了关系型数据库和多维o l a p 分析 的距离。1 9 9 7 年，m i c r o s o f t 发布了o l ed b 标准，又一次尝试统一标准。虽然 没有j 下式产品发布，但使得o l a p 领域第一次有了一个统一的标准。现在的o l a f 展现软件大多都支持这个标准。1 9 9 8 年，i b m 开始在中国全面推行它的商、 k 智能 旧概念。在围内掀起了一次数据仓库的热潮。1 9 9 9 年m i c r o s o f t 的p l a t o 正式 面世，同年c a 以3 5 亿美金p l a t i h u m 。2 0 0 0 年，在s q l 2 0 0 0 中，m i c r o s o f l t 把 p l a t o 改名为a n a l y s i ss e r vic e s 。 在水利领域，水资源计算和水文预报方面，国外比较有影响的有月麦水文 研究所d h i 的 l i k e 系列水资源模型工具，有专门的河流分析软件r i v o rt o o l s ， 8 8 0 中国科技大学硕士学位论文 似圜集思凯斯岜推出了系列水资源方面的分析软件，这方面我国的水文学者和 汁算机学者作了大量的工作，国内学者提出的新安江模型，仍是世界两大水利学 模型之一。 不过在空间分析领域 3 s 技术的研究水平国内在最近几年a 逐步赶上，不 过与荚网e s r 等研究机构推出g i s 系统总体水平仍旧有较大差距。2 0 0 1 年e s r i 以a rc n f o 为基础平台，丌发了新的水文空间数据模型a r c f mw a t e r ，其涉及的 细节非常之多，模型更加丰富，将美困的水文环境分析技术提升到一个新的水平。 水文自动数据采集、数据库的建设以及电子地图等领域的相对滞后都是影n 向 我幽学者在水文信息化领域取得更大成果得一个客观因素。不过随着国家“金水 工程”的佶动，幽家水文数据厍( n h d bn a t i o n a lh y d r o o g i c a ld a t a b a s e ) 的 建成和逐步向公众开放，水文遥测自动化正迅速推广，地理空间数据诈逐步丰富， 水文信息在水资源与水环境等方面的研究将迎来新的高成果期。 1 3 论文研究的主妾内容 本文研究的主要内容是海量水文信息的模型化和分析技术的模型化。其研究 成果主要应用于水文在线分析系统( o l a p ) 领域，是水利决策支持系统的个支 撑平台。 1 4 论文的组织结构 本论文以水文数据模型( h m d d m ) 和水文多维分析模型( h m d a m ) 的建模为核 一c ，以模型的分析和技术实现为主要组织脉络 第二章总结了数据仓库( d a t aw a r e h o u s e ) 的基础理论 第三章提出了水文数据模型( h m d d ) 。 第四章提出了水文多维分析模型( h m d a m ) 。 第n 八章给出了h m d a m 在s 维、t 维和m 维度上涉及的些关键难题分析。 第九章是h m d a 的软件设计部分，作者给出了完整的技术实现框架。 第卜章总结了包含o l a p 在内的d m ( d a t am i n i n g ) 技术的基础理论。 中国科技大学硕士学位论文 2 数据仓库和o l a p 基础理论 2 1 数据仓库的发展历程 数据仓库概念始于本世纪8 0 年代中期，“数据仓库之父”w 1 i a m ； n m o n 先生在其建立数据仓库一书中定义了数据仓库的概念。数据仓库就是面向主 题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定 过程。 国内外在数据仓库方面开展的大量研究工作，主要包括三个方向：第一，提 出了联机分析处理o l a p ( o nl i n ea p p l i c a t i o np r o c e s s ) 的概念，建立了支持 ( ) l a p 的星型和雪花多维数据模型；第二，对复杂数据分析和决策所需要的基本 操作进行了考察分析，提出了c u b e 操作和多维聚集操作，设计实现了c u b e 操作 柙多维聚集操作算法，提出了支持c u b e 操作和多维聚集操作的有效数据结构， 如c u b e t r e e 等：第三，研究了数据仓库的体系结构、物理化视图的选择、物理 化视图的维护、从数据仓库中的综合数据恢复原始数据、快速收集和有效存取数 据等问题，提出了一系列的算法和技术。 2 2o l t p 与o l a p o l t p ( o nl i n et r a n s a c t i o np r o c e s s ) 不能满足终端用户对数据库查询分析 的需要，s q l 对大型数据库进行的简单查询也不能满足终端用户分析的要求。用 户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不 能满足决策者提出的需求。因此，1 9 9 3 年，e f c d d 提出了1 2 条准则来描述多 维数据库和多维分析的概念，即o l a p ( o n 【i n ea p p li c a i o np r o c e s s ) 。 e f c d d 提出的1 2 条规则 准则l o l a p 模型必须提供多维概念视图 准则2透明性准则 准则3存取能力推测 准则4 稳定的报表能力 准则5 客户服务器体系结构 准则6维的等同性准则 中国科技大学硕士学位论丈 准则7动态的稀疏矩阵处理准则 准! j ! 1 38多用户支持能力准则 准则9非受限的跨维操作 准则1 0 直观的数据操纵 准则l l灵活的报表生成 准则1 2 不受限的维与聚集层次 o l t p 与o l a p 的不同点： 一次处理的数据量小 ；一次处理的数据量大 面向应用，事务驱动 j 面向分析，分析驱动 面向操作人员，支持同常操作 ! 面向决策人员，支持管理需要 。“ 。 。1 1 一 -一一“ 多维分析m d a m u l t i d i m e n s i o n a n a l y s i s ，) 是指对以多维形式组织起来 的数据采取切片、切块、钻入和旋转等各种分析动作，以求剖析数据，使最终用 户能从多个角度，多个侧面地观察数据库中的数据，从而深入地了解包含在数据 中的信息、内涵。o l a p 的月标是满足决策支持或多维环境特定的查向和报表需 求。由于o l a p 的技术核心正是“维”这个概念，因此多维数据分析工具的集合 就构成了o l a p 。 o l a p 委员会给出的o l a p 定义：的定义是使分析人员、管理人员或执行人员 能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实 反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入 了解的一类软件技术。 o l a p 相关基本概念： l 、维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合 构成个维( 时间维、地理维等) 。 2 、维的层次：人们蹿察数据的某个特定角度( 即某个维) 还可以存在细节程 度不同的各个描述方面( 时间维：日期、月份、季度、年) 。 中国科技大学硕士学位论文 3 、维的成员：维的一个取值。是数据项在某维中位置的描述。( “某午某月 某n ”是在则阀维上位置的描述) 4 、多维数组：维和变量的组合表示。一个多维数组可以表示为：( 维l ，维 2 ，维n ，变量) 。( 时间，地区，产品，销售额) 5 、数据甲兀( 单元格) ：多维数组取值。( 2 0 0 0 年1 月，汉口，水位，1 5 米) o l a p 的特性 l 、快速性：用户对o l a p 的快速反应能力有很高的要求。系统应能在j 秒内 对用户的大部分分析要求做出反应。 2 、可分析性：o l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。 3 、多维性：多维性是o l a p 的关键属性。系统必须提供对数据的多维视图和 分析包括对层次维和多重层次维的完全支持。 4 、信息性：不论数据量有多大，也不管数据存储在何处，o l a p 系统应能及 时获得信息，并且管理大容量信息。 o l a p 多维数据结构 1 、超立方结构( h y p e c u b e ) ：超立方结构指用三维或更多的维数来描述一 个刘象，每个维彼此垂直。数据的测量值发生在维的交叉点上，数据空间的各个部 分都有相同的维属性。( 收缩超立方结构。这种结构的数据密度更大，数据的维数 更少，并可加入额外的分析维) 。 2 、多立方结构( m u l t i c u b e ) ：即将超立方结构变为子立方结构。面向某一特 定应用对维进行分割，它具有很强的灵活性，提高了数据( 特别是稀疏数据) 的分 析效率。 2 3o l a p 的两种技术实现 2 3 1 多维数据仓库( m o l a p ) 、 多维数据模型可以基于多维数据库来实现( 即m o l a p ) ，m o l a p 使用多维数 据库管理系统来管理所需的数据或数据仓库。多维数据库以多维的方式存储数 据，以多维的方式来显示数据。“维”是入们观察客观世界的角度，是一种高层 次的类型划分。“维”一般包含着层次关系，这种层次关系有时会相当复杂。多 维数据在存储中形成“超立方块7 的结构，在m o l a p 中对“超立方块”的“旋转”、 “切块”、“切片”是产生多维数据报表的主要技术。 “格遵照c o d d 的定义，自行建立了多维数据库，来存放联机分析系统数据 中国型垫垄兰塑主堂堡笙圣 一 的a r b 。rs o f t w a r e ，丌创了多维数据存储的先河，后来的很多家公司纷纷采用多 维数据存储。被人们称为m u i l e d i m e n s i 。no l a p ，简称m o l a p ，代表产品有 h y p e r i 。n ( 原a r b o r s 。f t w a r e ) e s s b a s e 、s h 。w c a s es t r a t e g y 等。 r o l a p a r c k i t e c t n j r e m o l a pa r c h i t e c t m e 图2 - 1 两种数据仓库的技术实现方案 2 3 2 关系型数据仓库( r o l a p ) 基于c o d d 的1 2 条准则，各个软件开发厂家见仁见智，其中一个流派，认为 可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结 构( s t a r s c h e m a ) 就出现了。后来又演化出雪花结构。为了与多维数据库相区别， 则把基于关系型数据库的o l a p 称为r e l a t i o n a lo l a p ，简称r o l a p 。代表产品有 i n f o r m i x e t a c u b e 、m i c r o s o f ts q ls e r v e r 。 r o a p 将多维数据库的多维结构划分为两类表：一类是事实表，用来存储数 掘和维关键字；另一类是维表，即对每个维至少使用一个表来存放维的层次、成 员类别等维的描述信息。维表和事实表通过主关键字和外关键字联系在一起，形 成了“星型模式”。对于层次复杂的维，为避免冗余数据占用过大的存储空间， 中国科技大学硕士学位论天 可以使用多个表来描述，逸种星型模式的扩展称为“雪花模式”。r o l a p 建立在 技术已经相当成熟的关系数据库管理系统上，在灵活性和处理大规模数据的能力 上完全可以满足数据仓库和o l a p 的需要。关系数据库系统通过使用一些技术， 如动态分区、位图索引、优化查询等，在数据仓库应用环境中的性能得到大幅度 的提高。 i “丁多维数据库管理系统的相对不成熟，加上关系数据库系统的广泛应用 o l a p 工具市场上r o l a p 占据着主流地位。 2 4 数据仓库的技术组成 数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于 工程，具有强烈的工程性。因此，在技术上入们习惯于从：l 作过程等方面来分析， 并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方 面。 1 、数据的抽取e t l 数据抽取( e x t r a c t ) 、转换( t r a n s f o r m ) 、清洗( c l e a n s i n g ) 、装载( l o a d ) 的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数 据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境， 它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储 介质中导八到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、 调度和监控等方面。数据仓库中的数据并不要求与联机事务处理系统保持实时同 步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成 败对数据仓库中信息的有效性则至关重要。 2 、存储和管理( s t o r e da n dm a n a g e m e n t ) 数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了 它有别丁传统数据库，同时也决定了其对外部数据的表现形式。 3 、数据的表现( d a t ad e iiv e r ) 数据表现实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理 统计和数据挖掘( d a t am i n i n g ) 方面。而多维分析( m u l t ia n a l y s i s ) 又是数据仓 1 4 8 0 中国科技大学硕士学位论文 岸的重要表现肜式。 图2 - 2 数据仓库的技术框图 中国科技大学硕士学位论文 近几年束由于互联网的发展，使得多维分析领域的工具和产品更加注重提供 基于w e b 前端联机分析界面，而不仅仅是在网上发布数据。 鹫 髫i 1 、l l 一 髫 i j 崦 囤 ：甄移 黎，盘 。撼赫 图2 - 3 水文o l a p 的分析可以通过i n t e r n e t 在网上进行 下面对上图数据仓库技术框架中涉及的一些概念予以简单解释。 2 5 本章小结 本章对多维分析的基础，数据仓库技术进行了简要的总结。数据仓库的与关 系型数据库系统( r d b | s ) 不同的是，数据仓库更像一种过程，对分布在各处的 业务数据的整合、加工和分析的过程。 m d d 并没有公认的多维模型，也没有像关系模型那样标准地取得数据的方法 ( 如s q l 、a p i 等) 。基于m d d 的o l a p 产品，依据决策支持的内容使用范围也有很 大的不同。这正是下儿章专门设计水文多维数据模型( h m d d m ) 模型和水文多维 分析模型( h m d a m ) 的原因。 澈 、爨茹懑 盼辩 黥 中国科技大学硕士学位论文 3 水文多维数据模型( h m d d ) 研究 3 1 水文数据仓库的多维特性 水文信息是个典型的多维数据( m d dm u l t i - d i m e n s i 。nd a t a b a s e ) 结构， 数据在时例、空间、数值三维空间上分布，同时在同一维度内又有不同的层次， 科学的建模是建立一套高效的分析研究系统的先决条件。水文信息涉及广泛，分 析和检测的对象在不同地区也往往差异较大，因此，离丌这种差异性来没纠软件， 其应用面必受到制约。因此，最为关键的还是通过对信息的模型层次进行细化， 在数学模型的基础上对信息进行分析，以决策支持系统为依据，通过多维度、名 层次的模型细分，就可以对相似的数值空间子集采用相似的分析流程，组合出相 似的分析界面供用户使用： 3 2 水文数据仓库的维度设计 可以将整个水文数值空问按三维数值空间来囊括，即空问维s ( s p a c e ) 、 时间维t ( t i m e ) 与分橱对象维0 ( o b j e c t ) 。 图3 一l 水文多维模型( m d d m ) 这种三维划分是抽象的，因为每一一维度中同时包含了几个不同的子划分维 度。同时该三维坐标对应的量值可以是标量，也可以是矢量，水位和雨量是一令 中国科技大学硕士学位论文 典型的标量，而水流的流量就是一个矢量，类似对风的描述也包含风速和风向。 水文信息的任何观测对象( o b j e c t ) 值都是在采样点( s p a c e ) 得到，并且 观测对象的变化唯一依赖的因素是时间( t i m e ) ，在统一的量纲下有： 其中v a l u e 。是观测量的结果( 标量或者矢量) 。 ( 3 一1 ) 因为我们对自然的数值空间正是基于采样点的量值反演插值得到的，因此标 准数值窄问西眺。( s 、t 、o ) 是自然数值空间的一个子集，即有： 西b a s 。( s 、t 、0 ) n a t u f e 其中： m n 。，。为自然数值空间： ( d b ”。( s 、t 、0 ) 为基础数值空间。 ( 3 2 ) 自然物理世界的要素对应该基础数值空间m ( s 、t 、0 ) 是稀疏的，这与具 体的对象0 的定义是密切相关的。比如对应地表径流而言，每个空间点都可以有 径流的意义t 而流量则一般则只对在河道或者沟渠管道中的水流进行指称。如果 允许将自然世界中不存在的对象映射到空值n u l l 上。同时定义对象0 是非闭包 的，即观测分析对象可以是自然中存在的一切对象，h i j - - 切自然剥象都属于有时 删、空间和对象确定的空闽。即： m n a t u r c 巾b a s c ( s 、t 、0 ) 综合式( 3 一1 ) 和式、( 3 3 ) ，有 m b a s e ( s 、1 、o ) 兰。t u r e ( s 、t 、o ) ( 3 3 ) ( 3 4 ) 基于m b a s e ( s 、t 、o ) 三维数值空间的自然数值空问描述定义是简洁而完备 的，然而人们观测世界的角度是非常丰富的，下面我们先对s 、t 、0 维度先进行 细化定义，然后详细说明观测坐标转换的过程。 中国科技大学硕士学位论文 3 2 1h m d d m 的时间维t 时间维t 作为单独一维的物理意义非常直观，整个坐标具有连续性。实际测 量不可能连续进行，匿l 而得到的数值往往是离散的数值序列，! 匦要时需进行均匀 时段的插值。 刚i 、刚维t 的层次划分比较简单，主要是依据目t 问的粒度来进行。分析时根据 集体的分析需求，先定义合适的时1 1 刚维层次。然后再定义起止时削即可以得到一 段连续的离散时间序列。 时间维度t ： t i m e 世纪：公元l 世纪、2 世纪、三世纪 时代：仞年代、2 0 年代、3 0 年代 年代：19 0 0 ，1 9 0l ，1 9 0 2 月份：1 月、二月、二月 f j 期：1 月1 日、1 月2 日、1 月3 日 图3 - 2h m i ) d 的时间维t 的层次划分 学术意义上研究的水文地质时间分跨度更大，根据生物演化的不可逆性和 阶段将地质时期划分为不同的时间单位，又称为“地质时间单位”。按级别从大 到小将地质时期划分为宙、代、纪、世、期、时等，其中宙、代、纪、世为国际 性的地质时间单位，全球通用；期和时是区域性的地质时剐单位，只适用于大的 区域。 3 2 2 h m d d m 的空问维s 空间维s 具有离散性与多层次性。在水文分析中，我们给样本源命名编号， 空问维4 因此具有一维特性。因此当我们在生成等值线圈时，会将空问还原成 由经度j o 和纬度l a 构成的二维平面( l o ，l a ) ，在计算生成洪水的淹没示意图 时，则会引入地面高程，将空间维还原成三维空问( l o ，l a e 1 ) 。 攀熹纛焉忑纛z 坠! ! 一 o p u o u 水系：k 江、黄河、海河、淮河、珠江 主旦翌垫垄堂塑主兰：堡垒墨 、 河流：华f ； i 河、青t 江、洪河 支流：钓龟台水库、凉亭河、龙湖 测站：华阳站、望江站 行政区划分 洲际：亚洲、欧洲 国际：中国、美国 区域：华尔、华：f e 、华南 省际：安徽、江苏、匕京 地市：合肥、安庆 县市：肥东、肥西- - t 、 镇( 区) ：包河区 村( 街) ：黄山路 图3 - 3h m d d 的s 维层次划分 需要说明的是，s 维的划分由于样本空间的巨大，其组织和选取十分困难，论 文在第5 章给出了该问题的解决对策。 3 2 3 h m d d m 的对象维0 分析对象维0 在该标准模型中，具有离散特性，每一个刻度的物理意义代表 。种观测对象。 分析对象往往具有相关性，比如水位和流量、土壤墒情和降水、降水和蒸发、 蒸发和地下水位等等，分析各个对象之间具有相关性，需要对多种对象进行统一 建模，建立一个复杂的时变自相关系统。需要包含很多的难以准确预知的因素， 往往要建立很多组方程联立的方程组，或者引入人工智能( a i ) 、神经网络( n n ) 、 黑箱理论等束建立模拟环境系统的计算机模型。 0 维的地理特性使得水文信息与3 s ( g i s 、g p s 、r s ) 技术的结合成为可能 论文在第7 章给出了分析对象维0 基于空间维s 插值投影后的相关分析方法。 中国科技大学硕士学位论丈 3 3 多维模型中的坐标变换 多维分析的过程实质上也是坐标变换的过程，从标准水文数值空间( d b 。( s 、 1 、( ) ) 出发，分析者通过坐标系的分解、投影、关联引入等运算，一步步深入分 析透视数据后面的规律性。下面我们以降水分布来作为数据场坐标变换的一个分 析实例。 原始的降水数值在标准m b 。( s 、t 、o ) 数值空问分布。采样得到的原始 降水数据可以如下格式： i 警鬻；鬻繁妻蕊l j 蘸矗鬻妻蒸鍪囊囊蓊游蘩鬻攀；董。；鬻蠹e 斌囊叠，舞蓉毒熏鹫二瑟 2 0 0 3l l3 1o o3 ，53 2 2 0 0 3 1 23 72 o4 23 3 2 0 0 3 135 02 7 o7 01 3 0 合计 82 9 01 4 71 9 5 以s 、t 、0 维度为坐标，建立数值空间，则所有数据分布在一一个降水数值 平面上。a 、b 、c 为空间维的s 的三个站点，向时间维t 的正方向衍射，可以用 细条的粗细表征降水的强度，用线条的断续来表征降水的停续。 图34 时段降雨在标准水文( s 、t 、o ) 数值空间中的分布示意 中国科技大学硕士学位论丈 将降水强度在时间维统计，得到各个采样点的时段累计值p s u m 。 p s u m = l p t $ a t 同时令剐司维度o = p 时，坐标7 i i _ p s u m ，得到新的二维观察坐标平面 t s ，f s u m ) ，得到各个站点的时段降水降水平面，图示如下： 图3 - 5t 维由王积分消失，由s - p 维绘制的各站雨量直方图 下步将s 维分解， 空间维s 斗( 经度维l o ，维度维l a ) ，这种分析就 是引入地理因数，可以获取降水的暴雨中心位置等关键信息，此时图象如下。 经度 图3 - 6s 维分解后形成的( l o ，l a ，p ) 维空间离散点 中国科技大学硕士学位论叉 卜| 图空唰离散点值很直观，可是还是很难获取一个完整的地理整体印象， 并且单纯的( l o ，g a ) 坐标仍很难与具体的地理位置建立映射，此时可i d t g , l j k g l s 的新图层，利用平面插值算法，可以将数据反演到整个地理平面，f 图时引入该 地区边界图层后的整个地表平面的降水分布图。 图3 7 引入地理图层后的降水分布等值图 如果需要进一步的疑量分析，可以直接利用用半径基础函数生成的插值网 格进行数理统计，下表是计算得到的降水综合统计指标和降水丰度分布指标。 降水综合统计表： i 荔i j 凌舞糍糕i 攥鬻篓蕤鬻i 蓊鬻辇蘩鬻越黼熬黧懿孽3 i 簿爱誊i 瀵蔓爹 采样点数 6 积水而积1 6 9 0 9 0 0 0 0k m 2 平均雨量 1 0 8 1 2 0i i u l l 累计降水1 8 2 8 1 9 亿立方 中国科技大学硕士学位论文 降水丰度分布表 m j ，誊誊i | = + 5 3 布霉姆熏蕊) 善、- i 黪瓣疆器薹黧甏t 驻豢端；隧鞣缓纛! 愿爨| 主薹；：j t i捌 4 08 002 8 0 l o o1 7 0 10 0 1 2 0 7 2 6 1 2 0 l d o1 01 合计9 9 9 此时的横坐标p s u m 的离散化得到，而纵坐标为雨量网格上对应该降水丰度 范围的降水面积，有坐标值( l o 、l a 、p ) 综合得到。 图3 8 不同区间的降水丰度分布图 为了分析对比各次特大暴雨空间分布特性，在暴雨等值线图上，环绕 暴雨。仁心，计算各条等雨深( 量) 线所包围的面积。 “ t = 3 h t = i h 丁。d r = 1 2 d t = 6 h 01 0 02 0 03 0 0 4 0 0 5 0 0 6 0 0 7 0 0 8 0 0 9 0 0 a ( k m 2 ) 图3 9 河南“7 5 8 ”暴雨时长一面积一雨深曲线 2 4 8 0 圜 中国科技大学硕士学位论文 这种累计雨量p 。与所笼罩面积a r e a 的关系，欧美国家称之为d ad ( d u u rn g 、aa r e a ) 、dd e p t h ) 曲线