硕士论文-数据压缩算法在实时交通信号系统中的应用.pdf

大连理工大学 硕士学位论文 数据压缩算法在实时交通信号系统中的应用 姓名 王树春 申请学位级别 硕士 专业 软件工程 指导教师 姚琳 20060617 大连理工大学专业学位硕士学位论文 摘要 随着我国经济发展 城市路网老化严重 城市交通负荷与日俱增 越来越多的学者 和科技人员开始把目光投向以智能交通为主的可持续交通领域 作为智能交通系统以及 其它一些工业自控系统中的关键技术 实时数据库及其核心技术之一的实时数据压 缩技术也随着自身突破了传统的强针对性凭借着市场对其巨大的需求逐渐成为学术界 和工业应用领域科研的热点方向 近些年来 国内外很多学者 团体对实时数据库技术 实时数据压缩技术以及相关的实时数据库理念在智能交通中的应用等方面做了深入的 研究 也涌现出一些知名的实时数据库系统和融入了实时数据库理念的城市交通管理系 统 然而 其中很大一部分产品或是研究成果没有在实时数据的在线压缩和历史存储上 有实质性的突破 历史数据存储的重要性 历史数据压缩解压缩的数据质量控制的重要 性没有被充分地重视 而这其中有一部分观点是在传统算法完美论的基础上建立的 还 有 部分观点则是盲目的独辟蹊径 其结果往往是和实时数据压缩理念产生了偏差或是 完全的背离 本文以实时数据库技术在智能交通系统中的应用为选题背景 着眼于提高实时数据 压缩和历史数据解压后的数据的整体质量的控制 力图通过逆向思维的方法寻找出一个 能够满足要求的解决方案 并用以工程实践之中 为此 我们首先分析了智能交通系统 对实时数据库技术的需求 然后详细介绍了已有的算法和技术 并总结已有算法的不足 重点从数据的压缩和解压缩环节入手 通过用经典数学理论中统计学相关知识对我们算 法思想的出发点进行的准确推导和合理演绎 采用一种合理的解决方案 并在智能交通 系统中加以应用 最后通过大量的实验分析及归纳 与传统算法进行公正的评测 然后 得出结论本文所采用的算法不仅对解压缩数据的均方差和绝对误差的控制上较比传统 算法有着显著的优势 而且在提高压缩率 增强算法的抗噪性能等方面也有不俗的表现 本文在研究智能交通系统中实时数据库技术的设计和实现时 采用了性能较为优良 的实时数据压缩算法更多的考虑了对数据整体质量的控制 选取了一种高效的利用物理 资源的解决方法 同时对数据质量的整体把握也使得实时数据库在实时决策分析方向上 的应用更具有准确性和长效性 因此 本文在工程实践和理论研究上都具有较高的现实 意义 关键词 实时数据库 智能交通系统 数据压缩 旋转门算法 实时数据压缩算法在交通信号系统中的应用 T h eA p p l i c a t i o no f D a t aC o m p r e s s i o nA l g o r i t h mi nR e a l t i m eT r a f f i c S i g n a lC o n t r o lS y s t e m A b s t r a c t W i t ht h ed e v e l o p m e n to fo u rc o u n t r y se c o n o m y t h ec i t yr o a dn e t w o r ka g i n gi sv e r y s e r i o u s t h em u n i c i p a lt r a n s p o r t a t i o nl o a dg r o w sd a yb yd a y m o r ea n dm o r es c h o l a r sa n dt h e t e c h n i c a lp e r s o n n e ls t a r tt h e i rv i s i o nt og ot ob yt h ei n t e l l i g e n tt r a n s p o r t a t i o np r i m a r i l y s u s t a i n a b l et r a n s p o r t a t i o nd o m a i n A st h ee s s e n t i a lt e c h n i c a li nI T S I n t e l l i g e n tT r a n s p o r t a t i o n S y s t e m s a sw e l la so t h e rs o m ei n d u s t r i e sa u t o m a t i cc o n t r o ls y s t e m r e a l t i m ed a t a b a s ea n di t s c o r et e c h n o l o g i e so far e a l t i m ed a t ac o m p r e s s i o nt e c h n o l o g ya l s ob r o k et h r o u 曲t r a d i t i o n a l h a b i t sa l o n gw i t ho n e s e l f p o i n t e dt or e l yo nt h em a r k e tt ob e c o m et h ea c a d e m i cc i r c l e sa n dt h e i n d u s t r i a la p p l i c a t i o nd o m a i ns c i e n t i f i cr e s e a r c hh o ts p o td i r e c t i o ng r a d u a l l yt oi t sh u g e d e m a n d R e c e n ty e a r m a n yd o m e s t i ca n df o r e i g ns c h o l a r s t h ea s s o c i a t i o nh a v ead e e p r e s e a r c hi nt h er e a l t i m ed a t a b a s et e c h n o l o g y t h er e a l t i m ed a t ac o m p r e s s i o nt e c h n o l o g ya s w e l la st h ec o r r e l a t i o nr e a l t i m ed a t a b a s ei d e ai ni n t e l l i g e n ti nt r a n s p o r t a t i o na s p e c t a l s o e m e r g e ds o m ew e l l k n o w nr e a l t i m ed a t a b a s es y s t e m sa n dt h er e a l t i m ed a t a b a s ei d e a m u n i c i p a lt r a n s p o r t a t i o nm a n a g e m e n ts y s t e mm a n a g e m e n ts y s t e m H o w e v e r v e r yb i gp a r to f p r o d u c t sp e r h a p st h er e s e a r c hr e s u l t sa l ln o ts a v ei nt h er e a l t i m ed a t ao n l i n ec o m p r e s s i o n a n dh a v en ot h es u b s t a n t i v eb r e a k t h r o u g hi nh i s t o r y 1 1 1 ei m p o r t a n c eo fh i s t o r yd a t as t o r a g e a n dt h ei m p o r t a n c eo f t h eh i s t o r yd a t ac o m p r e s s i o ns o l u t i o nc o m p r e s s i o nd a t aq u a l i t yc o n t r o l h a sn o tb e e nt a k e no u tf i l l l y B u ts o m ep a r to fv i e w p o i n t si se s t a b l i s h e di nt h ef o u n d a t i o n w h i c ht h et r a d i t i o n a la l g o r i t h mp e r f e c t l yd i s c u s s e s A l s os o m eo t h e rp a r to fv i e w p o i n t sa r e b l i n dd e v e l o p i n go n e sp e r s o n a ls t y l e i t sr e s u l to f t e nw a sl e a d i n gt ot h ee r r o rw i t ht h e r e a l t i m ed a t ac o m p r e s s i o ni d e ah a sh a dt h ed e v i a t i o np e r h a p sc o m p l e t ed e p a r t i n gf r o m T K sa r t i c l eb a s e so nt h ea p p l i c a t i o no fr e a l t i m ed a t a b a s et e c h n o l o g yi nI T S f o c u s e s a f t e rt h ee n h a n c e m e n tr e a l t i m ed a t ac o m p r e s s i o na n dt h eM s t o f i c a ld a t ad e c o m p r e s s i o nd a t a o v e r a l lq u a i t yc o n t r o l t r i e sh a r dt os e e kt h es o l u t i o nt h r o u g ht h en e g a t i v et h i n k i n gm e t h o d M i l c hc a na n s w e rt h ep u r p o s e H a di nt h ed e t a i l e da n a l y s i st h ea l g o r i t h ma n di nt h et e c h n i c a l f o u n d a t i o n s u m m a r i z e st h ea l g o r i t h mi n s u f f i c i e n c y t h ea b s o r p t i o nh a di nt h et e c h n o l o g yt o t h er e a l i s t i cp r o j e c ta p p l i c a t i o nb e n e f i c i a lt e c h n o l o g yt h o u g h t O b t a i n sf r o mt h ed a t as o l u t i o n c o m p r e s s i o nl i n k t h r o u g ht ot h ec l a s s i c a lm a t h e m a t i c st h e o r yC e n t r a lB u r e a uo fI n v e s t i g a t i o n a n dS t a t i s t i c se c o n o m i c sc o r r e l a t i o nk n o w l e d g ea c c u r a t ei n f e r e n t i a lr e a s o n i n ga n dt h e r e a s o n a b l e d e d u c t i o n p r o m u l g a t e st h e r e a l t i m ed a t a c o m p r e s s i o na n d t h es o l u t i o n c o m p r e s s i o ni n t e n s em u t u a lf u n c t i o n a n ds i m p l yi sm e l t i n gt h ec o m p r e s s i o na l g o r i t h mi nt h e 大连理工大学专业学位硕士学位论文 f o u n d a t i o nt os e e ko n ek i n db a s e do nt h em e a n s q u a r ed e v i a t i o nc o n t r o lt h o u g h tr e a l t i m e d a t ac o m p r e s s i o na l g o r i t h m A n da n a l y z e st h r o u g ht h em a s s i v ee x p e r i m e n t sa n di n d u c e s c a r r i e so nt h ef a i re v a l u a t i o na f t e rt h et r a d i t i o n a la l g o r i t h mt od r a wt h ec o n c l u s i o n 1 1 1 en e w a l g o r i t h mn o to n l yc o m p a r a t i v e l yt h et r a d i t i o n a la l g o r i t h mh a st ot h es o l u t i o nc o m p r e s s i o n d a t am e a n s q u a r ed e v i a t i o na n di nt h ea b s o l u t ee r r o rc o n t r o lt h er e m a r k a b l es u p e r i o r i t y m o r e o v e ri se n h a n c i n gt h ec o m p r e s s i o nr a t i o e n h a l c e m e n ta l g o d t h ma s p e c ta n dS Oo na n t i c h i r pp e r f o r m a n c ea l s oh a sn o tt h ev u l g a rp e r f o r m a n c e F i n a l l y i nv i e wo ft h i s a r t i c l e r e s e a r c hb a c k g r o u n d h a sp r o d u c e dt h en e wa l g o r i t h mt h o u g h ti nt h em u n i c i p a lt r a n s p o r t a t i o n s i g n a lc o n t r o ls y s t e mt h ea p p l i c a t i o no n er e a l i z a t i o nw a y T h i sa r t i c l ep r o p o s e dr e c e n tr e a l t i m ed a t ac o m p r e s s i o na l g o r i t h mm o r ec o n s i d e r a t i o n st o t h ed a t ao v e r a l lq u a l i t yc o n t r o l h a v ep r o v i d e do n es o l u t i o nf o rt h eh i g h l ye f f e c t i v eu s e p h y s i c sr e s o u r c e s M e a n w h i l eg r a s p st ot h ed a t aq u a l i t yw h o l ea l s oe n a b l e st h er e a l t i m e d a t a b a s et oh a v et h ea c c u r a c yi nt h er e a l t i m ed e c i s i o na n a l y s i sd i r e c t i o na p p l i c a t i o na n dt h e p e r s i s t e n te f f e c t t h e r e f o r e t h i sa r t i c l ea l lh a st h eh i g hp r a c t i c a ls i g n i f i c a n c ei nt h ep r o j o c t p r a c t i c ea n d t h ef u n d a m e n t a lr e s e a r c h K e yW o r d s R T D B r r S D a t aC o m p r e s s i o n S w i n g i n g D o o r 独创性说明 作者郑重声明 本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写的研究成果 也不包含为获得大连理 工大学或者其他单位韵学位或证书所使用过的材料 与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名 丝瞩 趔 l 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解 大连理工大学硕士 博士学位论文版权使用 规定 同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版 允许论文被查阅和借阅 本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索 也可采用影印 缩印或扫描等复制手段保存和汇编学位论 文 作者签名 丝鳖 导师签名 然叠 童翌 年 厶月 旦日 大连理工大学专业学位硕士学位论文 1 绪论 1 1 选题背景 随着经济的飞速发展 我国作为一个发展中的人口大国 交通的供需矛盾目益突出 一方面 交通基础设旖的建设速度难以适应交通需求的增长 另一方面 城市人中口不 断的增长 特别是流动人口的急剧膨胀使交通出行量大幅度增加 而以个人购车为主的 机动车的增加 城市居民出行方式结构不合理则进一步加剧了城市交能的紧张 1 1 交通 运输需要大量的能源 全世界所生产的全部能源中 2 0 以上用于交通运输 其中6 0 一7 0 用于客运 其余用于货运 在经济与合作发展组织 O E C D O r g a n i s a t i o nf o r E c o n o m i cC o o p e r a t i o na n dD e v e l o p m e m 国家中交通用了更大份额的能源 汽车在交通 中占统治地位 交通部门消耗全球石油的一半左右 2 与此同时汽车的尾气排放成了城 市大气污染的首要来源 而对石油资源的依赖和消耗进一步加剧了我国能源供给的结构 性矛盾 在这种前提下 可持续性交通概念产生了 而作为可持续交通的 个重要环节 智能交通系统以其节约能源 提高交通质量 改善环境的功效对我国的城市交通发展有 着重要的指导意义 智能交通系统 I T S I n t e l l i g e n tT r a n s p o r t a t i o nS y s t e m s 是在关键基础理论模型研 究的前提下 把先进的信息技术 数据通信技术 电子控制技术及计算机处理技术等有 效地综合运用于地面交通管理体系 从而建立起一种大范围 全方位发挥作用 实时 准确 高效的交通运输管理体系 其目的是充分有效地利用道路以及交通基础设旌 减轻出行者的负担 从而保障安全 提高效率 改善环境 节省能源和培育I T S 新产业 其主要特点是 1 信息化 数字化 智能化 I T S 所需要信息多种多样 涉及与交通有关的各个领域 并将这些信息进行检测和 识别 成为数据化信息 从而实施智能化管理 f 2 系统化 集成化 一体化 I T S 是由各个子系统构成 采取人工智能方法和系统工程方法 对系统本身以及系 统之间进行技术和方案的集成 并实施各种交通方式之间以及整个运行系统的集成 从 而实施信息共享及一体化的交通综合管理 4 在I T S 系统中信息的采集与处理贯串始终 交通信息有静态信息和动态信息之分 静态信息 路网规模 质量 通行能力 设施分布等 易于获得且维护工作量小 而动 态信息 路网的交通流量 行驶车速 行程时间 拥挤程度及停车场利用情况等 的采 实时数据压缩算法在交通信号系统中的应用 集 检测 处理 预测和发布的难度较大 但对交通管理部门和出行者具有更重要的指 导意义 因而是城市交通智能化的重要基础和核心内容 5 1 很多先进交通诱导控制算法 也是建立在对信息采集的多样性 实时性 准确性的基础上的 准确的交通控制方案不 仅能增加城市交通的运行能力 更有利于节能和环保 为确保控制算法可以及时有效的 执行 在瞬息万变的路网情况中第一时间做出最优的判断和决策 笔者将对实时信息与 控制算法间一个重要的中间环节 实时数据库进行讨论 引入已经广泛应用于流程工 业控制领域内的实时数据库概念 并且针对实时数据库的核心技术之一实时压缩算法进 行深入的研究 1 2 国内外技术分析 目前在全球交通领域中的比较著名的交通信号控制系统有 英国运输研究所 T R L T r a n s p o r tR e s e a r c hL a b o r a t o r y 研制的S C O O T 系统 S p l i tC y c l eO f f s e tO p t i m i z a t i o n T e c h n i q u e 绿信比 周期和相位差优化技术 和澳大利亚悉尼为应用背景开发的S C A T S 系统 S y d n e yC o o r d i n a t e dA d a p t i v eT r a f f i cS y s t e m 悉尼交通信号协调自适应系统 以 及日本的京三控制系统和西班牙的圣科 s A I N c O 控制系统 目前国内应用最多的是 S C O O T 和S C A T S 它们是动态的实时自适应控制系统的早期代表 也是未来 个时期 交通信号控制系统智能化发展的开发基础 然而交通信号控制系统是一个非线性的复杂 巨系统 因此 像S C O O T 和S C A T 系统那样以精确的数学模型或预设方案为基础进行 交通信号控制有时效果不尽如人意 而交通信号控制又影响着整个交通信号系统的运 行 所以国内外学者都纷纷采用各种方法来优化交通信号控制方案 然而建模所需的数 据量的实时性和多样性一直困扰着广大学者 因此给应用于交通信号控制系统的实时数 据库技术的开发一个广阔的空间和强劲的需求动力 作为实时数据库的核心技术之一 实时数据压缩技术也随着实时数据库的应用 和需求凭借其重要的地位逐渐成为数据压缩领域又一热点方向 目前世界上比较成熟的 实时数据库系统有由O S IS o f t w a r eI n c 开发的 著名的P 卜 P l a ml n f o r m a t i O i l 系统及由 A s p e nT e c h n o l o g yI n c 开发的l n f o P l u s 系统 随着实时数据库技术研究的深入 国内的实 时数据库产品也在一定的领域内 凭借其价格和技术支持的优势占领着一部分市场 这 其中比较著名的产品有北京三维力控科技有限公司推出的三维力控p S p a c e 实时数据库 系统及北京中科启信软件技术有限公司推出的A g i l o r 分布式实时数据库系统 在实时数 据压缩技术中 P I 系统凭借其开发的旋转门算法成为实时压缩技术方面的先锋 并且 O S IS o R w a r e 公司将其数据压缩的主要算法在其文档中公开 这也使得很多同类型产品 大连理工大学专业学位硕士学位论文 也采用这一项数据压缩技术 中科启信的A g i l o r 采用的就是旋转门算法 而上面提到 的三维力控则采用的是时间 变化压缩方法 即当数据变化时才进行保存 1 3 本文结构 本文以实时数据库技术在交通信号控制系统的应用为背景 讨论实时数据库的概念 和技术 着重对旋转门算法进行分析 据此引出笔者改进后的基于均方差控制的实时数 据压缩算法 并将对此算法其算法相关的仿真进行详尽的阐述 最后给出算法在实际工 程中的一个应用 由此划定本文结构如下 第一章为绪论 主要介绍课题的研究背景和意义 国内外的研究现状和本文研究方 向的概述 第二章为实时数据库技术及压缩算法的研究 介绍实时数据库技术的发展概况 及 其主要特点和技术问题 介绍数据压缩技术的基本概念 并对以旋转门算法为代表的实 时数据压缩技术进行解释和讨论 第三章为需求分析和模块设计 对工程中具体案例的应用进行相关的需求分析 并 对模块的结构及主要子功能的实现给出设计方案 第四章为算法设计 主要阐述笔者所采用的基于均方差控制的实时数据压缩算法的 思想引入及相关的数学意义并根据算法的数学意义给出实现步骤 第五章为性能测试与模块实现 主要对实时数据压缩模块在城市交通信号控制系统 中的应用给出实现的相关信息 并着重对模块的数据压缩性能进行评测与分析 实时数据压缩算法在交通信号系统中的应用 2 实时数据库技术及压缩算法研究 2 1 实时数据库 2 1 1 实时数据库的产生与发展 数据库技术产生于2 0 世纪6 0 年代中期 在数据库产生之前 计算机在硬件方面已 经有了磁盘 磁鼓等直接存取存储设备 软件方面 操作系统中已经有了专门的数据管 理软件 一般称为文件系统 人们利用计算机对数据进行管理主要是通过文件系统来实 现的 进行计算所需要的各种数据存放在各自的文件里面 当要使用这些数据的时候 将文件打开 读取文件中的数据到内存中 当计算完毕后 将计算结果仍旧写入到文件 中去 然而 利用文件系统进行数据管理的不足之处是非常明显的 主要有这么几个方面 f 1 1 数据的共享性差 冗余度大 在文件系统中 一个文件基本上对应于一个应用程序 当不同的应用程 序具有部分相同的数据时 也必须建立各自的文件 因此数据的冗余度大 浪费存储空 间 2 数据独立性差 数据与程序之间缺乏独立性 文件结构的每一处修改都将导致应用程序的修改 从 而使得应用程序的维护工作量特别大 3 不具并发性 计算机操作系统中的文件系统一般不支持对文件的并发访问 而在现代计算机系统 中 为了充分发挥计算机系统的资源使用效率 一般都允许多个程序 同时 运行 即并 发性 对数据库系统同样有并发性的要求 这样可以充分利用数据库服务器的软 硬件 资源 避免浪费 4 管理混乱 由于基于文件系统的数据管理缺乏整体性 统一性 在数据的结构 编码 表示格 式等诸多方面不能做到标准化 规范化 不同的操作系统有风格迥异的表示方式 因此 在一定程度上造成了数据管理的混乱 随着计算机用于管理的规模越来越大 应用越来越广泛 数据量急剧增长 同时多 种应用 多种语言相互覆盖地共享数据集合的要求越来越强烈 以文件系统作为数据管 大连理工大学专业学位硕士学位论文 理手段已经不能满足应用的需求 于是为解决多用户 多应用共享数据的需求 使数据 为尽可能多的应用服务 数据库技术便应运而生了 数据库理论与技术的发展极其迅速 其应用日益广泛 在当今的信息社会中 它几 乎无所不在 以关系型为代表的三大经典 层次 网状 关系 型数据库在传统的 商 务和管理的事务型 应用领域获得了极大成功 然而它们在现代的 非传统 工程和时 间关键型应用面前却显得软弱无力 面临着新的严峻的挑战 由此而导致了实时数据库 的产生和发展 然而近年来 实时数据库的研究相对发展较为缓慢 主要是实时问题有 很强的专用性和针对性 传统自动化系统对运行信息的处理多以本地报表 历史数据保 存为目标 但面对实时系统所产生的大量的实时数据 对数据时间一致性强性要求 传 统数据库的吞吐能力望望难以应付 国际上从2 0 世纪8 0 年代后期开始较系统地发表有关实时数据库的论文 9 0 年代中 期 爱尔兰的R h o d e 大学以及美国麻省理工学院开始重点研究实时S Q L 语言 在商品 化的实时数据库产品的开发上 澳大利亚的M o t h e r w e l lI n f o r m a t i o nS y s t e m 公司于1 9 8 2 年较早地推出了M a c r o V i e w 产品 美国的O S IS o t t w a r e 公司于8 0 年代中期推出了P l a n t I n f o r m a t i o n S y s t e m 简称p I 产品 另外 还有美国A s p e n T e c h 公司的I n f o P l u s 2 1 产品 美国H o n e y w e l l 公司的U n i f o r w a n e e P H D 产品 英国W o n d e r w a r e 公司的I n d u s t r i a lS Q L S e r v e 产品 上述产品一般归为工程类实时数据库 而被国外理论界认为严格满足实时 要求的实时数据库产品有1 9 9 4 年D B x 公司发布的z i p R T D B M S 和1 9 9 5 年M a r t i n M a r i e t a 公司发布的E a g l eS p e e d R T D B M S 从2 0 世纪7 0 年代末开始 国内开始引进D C S 技术和产品 到8 0 年代末期 达到 高峰 到9 0 年代初 随着国内工业界对D C S 的大量引进和应用 国内科技教育界开始 率先研究实时数据库理论 与此同时 国内相继孕育出了一批D C S 生产商和实时数据 库生产商 这其中在实时数据库产品生产方面有代表性的是中国国家电力公司自动化研 究院于1 9 9 2 年开发的N S I S 石油化工生产实时数据库产品 中国大庆金桥信息技术工程 有限公司开发的C o n R T D B 实时数据库产品 中国北京时林电脑公司开发的S L R S 实时 数据库产品 中国北京和利时系统工程股份有限公司开发的R e a l M I S 实时数据库产品 北京三维力控科技有限公司推出的三维力控p S p a e e 实时数据库系统及北京中科启信软 件技术有限公司推出的A g i l o r 分布式实时数据库系统 6 1 2 1 2 实时数据库的主要特性 为了提高控制系统的运行效果 增强控制系统的鲁棒性和开放性 先进的监控系统 必须有一个实时数据库系统 为整个系统的数据处理 组织和管理提供支持 7 而实时 实时数据压缩算法在交通信号系统中的应用 数据库不是数据库和实时系统的简单结合 它需要在数据模型 体系结构 事务处理模 式 数据存储方式等诸多方面重新进行研究和开发 8 由此可知实时数据库在设计和实 现时需要注重以下几个方面 1 实时性 R T D B S 作为外部系统的一个客观反映 它表示了外部系统的当前状态 只有数据与外部系统的实际情况相吻合时 数据才有意义 所以要求R T D B S 必须高效 能够实现实时反应 2 容错性 由于工业控制现场的情况复杂 各种干扰较为常见 可能导致采集的数 据被污染 这就要求R T D B S 须具备一定的容错性 防止出现数据败坏 D a t aC o r r u p t 3 稳定性 任何数据库系统都要求稳定性 但由于现实中直接基于R T D B S 的应用 往往一样强调实时性 基于R T D B S 的典型应用如先进控制软件和在线实时数据优化等 所以系统的稳定性被提到了更高的高度 R T D B S 是绝对不能轻易重启动的 4 鲁棒性 过程控制应用中 R T D B S 多应用于分布式环境与多个数据源连接 工 业现场的环境容易导致个别数据源出现数据流波蜂或者通信受阻 因此R T D B S 必须能 承受数据流量冲击保证系统的实时性和稳定性 9 l 实时数据库为了保证鲁棒性和稳定性 采用类似操作系统中内核体系的结构 并将 各核心模块尽量独立 即便特定模块出现故障系统也可以自动重新启动该模块并且将系 统恢复到故障前的状态 由于将内核模块与直接面向用户的常规业务应用 如流程图 趋势图 系统组态 数据查询和报表等 以及数据采集模块 从底层数据源采集数据 如 O P C 接口 D D E 接口 T C P I P 接口 R S 2 3 2 接口等 隔离开来 大大提高了系统的稳 定性和鲁棒性 并且内核服务全部注册成系统服务运行 这种方式至少具备以下优点 1 即便服务器没有完成登录 系统服务已经可以运行 该情况在出现系统由于硬件 故障或断电后重启时尤其有用 2 可以让低级别的用户 如操作员 以非管理员身份在服务器登录并且进行操作而 不至于因为登录用户权限不足导致系统无法运行 3 系统服务只能运行一个实例 4 系统服务方便管理员进行控制 可以避开常规的C O M 应用计数来控制服务器的 启动和停止 事实上采用系统服务方式运行数据库系统核心的做法几乎是所有大型数据 库系统 典型的如O r a c l e 和O S IS o f t w a r eP I 的标准方式 内核模块采用被动模式工作 即内核模块本身不主动从数据源读取数据 而是通过 数据采集模块完成数据读取并且将数据P u s h 到内核模块中 并且外部应用则通过主动 读取内核模块的方式获得数据 内核模块本身不提供主动数据通知服务 同时 将数据 采集模块管理功能隔离在独立的内核模块 当某个数据采集模块出现故障时可以自动重 大连理工大学专业学位硕士学位论文 新启动该采集模块 虽然这种结构存在着降低系统实时性的风险 但是可以将内核模块 隔离在复杂的现场环境之外 即便由于数据源本身行为失当导致对应的数据采集模块崩 溃也不至于危及到其他数据采集模块以及数据库系统内核服务 图2 1 描述了实时数据 库内核体系的详细结构 1 2 1 图2 1 实时数据库核心服务模块 F i g 2 1R T D Bk e r n e ls e r v i c em o d u l e 而笔者所关注的实时压缩算法正是出于达到更好的优化这些特性的目的而开始的 在实时数据库中数据的处理占用大多的系统时间 随着点数的增多 数据吞吐量的加大 实时数据库的服务器的承受也一点点的挑战硬件和软件的极限 一个好的压缩算法 不 仅仅是一个数据处理方法的改变 更重要的是它可以有效的改善实时数据库的性能 提 高服务器的工作效率及相应的存储媒质的利用率 2 2 数据压缩 2 2 1 数据压缩的产生和发展 数据压缩是把输入数据流 源流或原始数据 转变为另一种较小的数据流 输出流 或是压缩流 的过程 流即存储器中的一份文件或是一块缓存 其主要目的是通过数 据压缩手段将住处数据量以压缩形式进行存储和传输 数据压缩起源于二十世纪5 0 年 代的信息论 由于数据压缩的宗旨和目的决定 经过多年的发展 数据压缩已成为当今 世界数字通信 数字广播 数字存储 数字出版和多媒体娱乐中一项关键性的共性技术 甚至还有人杜撰出 C o m p r e s s i o n i s m 压缩主义 一词来表达这种共识 数据压缩的 经典原理只是信息论中的信源编码理论 但由于数据的类型不同 用户的要求各异 市 实时数据压缩算法在交通信号系统中的应用 场空间巨大 并且立即就能 见效 因此这一领域一直在增长 而且是高速增长 方面 人们的胃口越来越大 要 数字化人体 数字化地球 数字化一切希望用 计算机处理 存储 展现和交互的对象 另一方面 各种不同的理论 技术 算法甚至 数学分支被市场导向这一领域竞争 比试 实时数据库的压缩理念正是市场的需要而应 运而生的 数据压缩有很多有名的方法 它们基于不同的理念 适合不同的数据类型 产生不 同的效果 但是其原理都相同 即通过去除源文件的原始数据中的冗余度来压缩数据 任何非随机选择的数据都有一定的结构 可利用这种结构得到数据的更小的表示 看不 出什么结构性 根据不同的编码对原始文件数据产生不同的损失效果 可把压缩技术 分为有损压缩和无损压缩两大类 无损压缩算法 为了确保在网络上传输的各种信号经过压缩和解压缩之后能够完全 重现 需要采用无损压缩技术 无损压缩能保证在一个压缩 还原周期后产生一个精确的 输入数据流 主要用于数据库记录 电子表格 程序文件或文本文件的压缩 无损数据 压缩通常使用的建模方法有两种不同类型 统计概率模型和基于字典的模型 统计概率模型又分为静态统计模型方式和自适应模型方式 静态统计模型方式需预 先扫描文件中的所有字符 以便统计出每个字符出现的概率 对于自适应模型方式 开 始时假定每个字符的出现概率相等 但随着字符的不断输入和编码 统计并记录字符出 现的概率 并将此概率应用于后续字符的编码 所以自适应模型方式在压缩开始时不会 有明显的压缩效果 但随着压缩的继续 其效果会越来越明显 最终达到理想的压缩效 果 自适应模型方式不需要保存概率表 基于概率统计模型的压缩技术中 最具有代表性的是利用概率分布特性而编码的两 种编码 一种是著名的H u f f m a n 编码 而另一种是算术编码 基于字典模型并不直接计算字符出现的概率 而是使用一本字典 其主要方法是将 已经编码过的信息作为原字典 如果需要编码的信息曾经出现过 就输出该字符串的出 现位置及长度 否则就输出一个新的字符串 有损压缩是在压缩过程中损失一定的信息以获得较高的压缩比 有损压缩虽然不能 完全恢复原始数据 但损失数据对理解原始数据的信息影响不大 并由此换取较大的压 缩比 所以 有损压缩大部分应用于影音 图像和视频数据的压缩 也应用于海量过程 数据压缩 有损压缩 主要是利用原始数据的冗余性来减少存储的数据量 在对于原始 数据进行抽样量化和编码过程中去掉冗余信息后 再对其进行存储 传输 最后恢复成 不大影响实际效果的数据 其关键技术是抽样量化和编码方法 抽样量化也称为量化 通常指模拟信号到数字信号的映射 也是模拟量转化到数字量必不可少的关键步骤 量 8 大连理工大学专业学位硕士学位论文 化操作实质上是用有限的离散量代替无限多的模拟量 是一种多对一的映射操作 而在 数据压缩中量化则是指经过P C M 码作为输入 经过正交变换 差分等处理后 在进行 熵编码之前 对正交变换的系数 差值等的量化处理 是一个不可逆的过程 并且在量 化过程中会有数据丢失的现象 1 3 22 2 数据压缩的主要概念和评价标准 压缩算法种类繁多 应用领域也各不相同 对于同类型的算法 怎样判断其性能的 好坏 如何评价算法的优势所在 为了更好的介入本文所提及的算法的优势与特点 笔 者将先介绍几个重要数据压缩概念和指标 压缩性能 c o m p r e s s i o np e r f o r m a n c e 某些量常用于表示压缩方法的性能 压缩比 c o m p r e s s i o nr a d i o 定义为 压靴 糕 2 1 压缩比为0 6 就意味着压缩后的数据占原来的大小的6 0 该值大于1 说明输出流 大于输入流 负压缩 压缩比也可称为b p b 比特每比特 因其等于为压缩输入流中1 比特所需的平均比 特数 压缩比的倒数称为压缩因子 c o m p r e s s i o nf a c t o r 压缩因子 蓑淼獭出流阴大小 此值大于1 表示压缩 小于1 则为扩展 压缩增益 c o m p r e s s i o ng a i n 压缩增益 1 0 0 1 n 匿淼 2 2 2 3 这里 参考大小要么指输入流的大小 要么指某标准无损压缩方法所产生的输出流 的大小 对于很小的X 1 n 1 曲 x 成立 因此压缩增益很小时 其微小的变化近似等 实时数据压缩算法在交通信号系统中的应用 于压缩比的同一变化 由于用了对数 两个压缩增益可以通过简单相减来比较 压缩增 益的单位为对数百分比 p e r c c n tl o gr a d i o 这些均是常见的压缩指标 当然也有一些指标用于特定的数据压缩性能比较中 这 其中有 在图像压缩中 常用比特每像素 b p p 它等于压缩图像一个像素所需要的平均 比特数 常常将压缩前后的b p p 相比较 在计算压缩速度时可选用周期每字节 C P B c y c l ep e rb y t e 来度量 这是每压缩l 字节所需的机器周期平均数 当用专用硬件来压缩时 该度量很重要n 3 1 另外一些指标如均方误差等 用于度量有损压缩所引入的失真 我们将在后面的应 用中详细说明 2 2 3 实时压缩算法的研究 前文已经对实时数据库技术及数据压缩有了一个简单的介绍 现在我们进入实时数 据库核心部分历史数据库 来引入我们对实时数据压缩算法的研究 历史数据库用于存储每个变量的历史数据记录 如按采集周期或用户定义的历史数 据收集周期存储模拟点的历史值和开关量的变化过程记录 历史数据库的容量与储存的 变量数 收集周期和储存周期很有关 有的系统为了节省存储容量 采用压缩算法保存 历史数据 位数据经过压缩和解压 数据的精度或多或少会有损失 对于历史数据的分 析 有在线分析和离线分析两种 一般对近期和中期可在线进行分析 而转存到磁带式 光盘上的数据 只能离线分析 实时数据库系统首先要提供高速的数据采集和数据处理 一个系统所集成的数据采 集点数通常有几千到十几万 数据采集间隔要达到秒级 数据量很大 因此 各个设备 和流程的实时信息要被存储在内存中 保证每秒钟大量的数据存储和读取速度 当数据 写入数据缓冲池前 需要进行压缩处理 以确定当前的数据点是否需要存人数据库文件 中 为了确保高效的数据存储 在一定的精度指标下 尽量减少数据的存储 为了提高磁盘存储效率必须对历史数据进行数据压缩 系统不仅要求有较高的压缩 率 同时也要有快速的 高精度的数据解压 这就要求系统能够提供有效的历史数据压 缩算法 而目前业界应用最广也最有