（计算机软件与理论专业论文）huffman编码在环保实时监测系统中的研究与应用.pdf

，一 s 气 、 ，。f h u f f m a n 编码在环保实时监测系统中的研究与应用 学位论文完成日期：趔q ：垒：压 指导教师签字：秘童塑 答辩委员会成员签字： 7 f i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得( 洼! 翅邃直墓丝重要挂 别直明的：奎拦互窒2 或其他教育机构的学位或证书使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名蝴 签字日期锣降夕月乡。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：鳓 签字日期：汐p 年岁月尹日 翩狞撕易司 p y ”f ，il 签字日期：矽7 哞月弓秒日 h u f f m a n 编码在环保实时监测系统中的研究与应用 摘要 数据压缩技术是实时数据传输系统研究的核心和重点之一，它对于减少数据 所占用的存储空间，提高传输信道的利用率，增强传输数据的安全性具有非常重 要的作用。环保数据的在线监控要求系统要能够正确及时的接收数据，在系统的 开发过程中，测试发现当要求实时接收的数据量比较大的时候，容易发生数据丢 失，传输延迟，接收有误等现象。研究表明，为提高数据传输的实时响应速度， 可采用数据压缩算法对污染物数据进行压缩传输，能够较好地解决传输延迟，接 收有误的问题。， 哈夫曼编码是以d a h u f f m a n 在1 9 5 2 年发表的最小冗余代码的构造方法 为基本理论依据的编码，是一种基于概率模型的无损压缩编码。h u f f m a n 编码作 为一种通用、高效的数据编码方法在文本、图象、音频等方面有着广泛的应用。 将哈夫曼编码应用于环保实时系统的数据接收中，可以利用其简洁高效的编码解 码效率，增强信道的传输速率，从而减少数据的传输延迟；同时，也在一定的程 度上提高了被传输数据的安全性。 但是基于静态的h u f f m a n 编码算法对输入的符号流进行编码，必须进行两次 扫描，这使的静态h u f f m a n 编码在实际应用中用的较少。因此，在本论文中，为 了解决静态h u f f m a n 编码的缺点，本论文又研究了自适应h u f f m a n 编码，它只 需要对输入的符号流进行一次扫描即可，提高了算法的效率；接着根据环保数据 的传输标准c e s 7 6 标准，对传输的数据在编码前进行了预处理，进一步加大了 数据的压缩比例；同时结合系统的设计需求，采用了j a v a 的多线程处理机制来 对上位机的发送数据进行接收，有效地减少了接收数据的丢失率；最后通过增加 缺失数据处理功能对一些因网络问题丢失的数据进行弥补进一步完善了系统，并 以主要代码和界面截图展示了系统。 关键词：数据压缩；h u f f m a n 算法；数据通讯 ， r e s e ar c h a n da p plic a tio no fh u f f m a no o din gin e n vir o n m e n t aip r o t e c tio nr e aim o nit o rin gs y s t e m a b s t r a c t d a t ac o m p r e s s i o nt e c h n o l o g yi so n eo ft h ec o r ea n df o c u so f t h es t u d yo f r e a l - i l m ed a t at r a n s m i s s i o ns y s t e m ，i tp l a y sa i m p o r t a n tr o l ei nr e d u c i n gd a t as t o r a g e s p a c e ，i m p r o v i n g t h eu t i l i z a t i o no ft r a n s m i s s i o nc h a n n e l ，a n de n h a n c i n gt h es e c u r i t yo f d a t at r a n s m i s s i o n e n v i r o n m e n t a lp r o t e c t i o nr e a lm o n i t o r i n gs y s t e ms h o u l db ea b l e t or e c e i v ed a t ac o r r e c t l ya n dt i m e l y ，d u r i n gt h ed e v e l o p m e n to f m o n i t o r i n g s y s t e m ，1 1 1 er e s u l to ft e s t i n gf o u n dt h a tw h e nt h er e q u i r e dd a t ab e c o m eg r e a t e r , t h e f o l l o w i n gp h e n o m e n o nh a p p e n d e d ：d a t al o s s ，t r a n s m i s s i o nd e l a y ，d a t ae r r o r t o i m p r o v et h es p e e do fr e a l t i m er e s p o n s eo fd a t ac o m m i s s i o n ，w ec a nu s ea l o g i f l u no f d a t ac o m p r e s s i o nf o rt h et r a n s m i s s i o no fp o l l u t e dd a t a , b e t t e ra b l et os o l v et h e t r a n s m i s s i o nd e l a y ，t h ew r o n gr e c e p t i o n h u f f m a nc o d i n gi st h eb a s i ct h e o r e t i c a lb a s i so ft h ee n c o d i n gb a s e do n d a h u f j 丘n a ni n19 5 2 ，e n t i t l e d ”c o n s t r u c t i o nm e t h o do fm i n i m u m - r e d u n d a n c yc o d e ”， i st h el o s s l e s sc o m p r e s s i o nc o d i n gb a s e do np r o b a b i l i s t i cm o d e l h u f f m a nc o d i n g ，a sa g e n e r a l - p u r p o s e ，e f f i c i e n td a t ac o d i n gm e t h o d ，h a v ea w i d er a n g eo fa p p l i c a t i o n si n t h et e x t ，i m a g e s ，a u d i oa s p e c t i fi tp u t sh u f f m a nc o d i n gt oe n v i r o n m e n t a ld a t ai n r e c e i v i n go f r e a l t i m es y s t e m s ，t h es y s t e mc a nb s ei t ss i m p l ea n de f f i c i e n te n c o d i n g a n dd e c o d i n ge f f i c i e n c yf o re n h a n c i n gc h a n n e lt r a n s m i s s i o nr a t e ，t h e r e b yr e d u c i n gt h e d a t at r a n s m i s s i o nd e l a y i ta l s oi m p r o v e dt h es e c u r i t yo fd a t ab e i n gt r a n s m i t t e di na c e r t a i ne x t e n t h o w e v e r , d u et ot h es t a t i ch u f h a nc o d i n ga l g o r i t h mt oe n c o d et h ei n p u ts y m b o l s t r e a mt ob es c a n n e dt w i c e ，w h i c hm a k e st h es m i l eh u f f m a nc o d i n gu s el e s so nt h e p r a c t i c a la p p l i c a t i o n t h e r e f o r e ，i nt h i sp a p e r , i no r d e r t oa d d r e s st h es h o r t c o m i n g so f s t a t i ch u f f m a nc o d i n g ，t h i st h e o r yh a v es t u d i e dt h ea d a p t i v eh u f f m a nc o d m g ，i to n l y n e e d st oi n p u tas t r e a mo fs y m b o l sc a nb es c a n n e dt oi m p r o v et h ee f f i c i e n c yo ft h e ， a l g o r i t h m t h e nw e m a k eap r e - p r o c e s s i n go nt h et r a n s m i s s i o nd a t ab e f o r ee n c o d i n g a c c o r d i n gt oe n v i r o n m e n t a ld a t at r a n s m i s s i o nc e s - 7 6s t a n d a r dt of u r t h e ri n c r e a s et h e d a t ac o m p r e s s i o nr a t i o c o m b i n e dw i t hd e s i g nr e q u i r e m e n t so ft h es y s t e m ，r e c e i v i n g d a t af r o mh o s tc o m p u t e r su s i n gj a v am u l t i t h r e a d i n gm e c h a n i s m ，e f f e c t i v e l y r e d u c e dt h el o s sr a t eo f d a t a f i n a l l yc o m p e n s a t i n gt h el o s td a t ad u et on e t w o r k p r o b l e m sb yi n c r e a s i n gt h em i s s i n gd a t a - p r o c e s s i n gf u n c t i o nt oi m p r o v et h es y s t e m a n ds h o w i n gt h es y s t e mw i mt h em a i nc o d ea n di n t e r f a c es c r e e n s h o t k e yw o r d ：d a t ac o m p r e s s i o n ；h u f f m a na l o g r i t h m ；d a t ac o m m u n i c a t i o n i i i 目录 摘要：一i a b s t r a c t ：i i 1 绪论1 1 1 引言1 1 2 课题研究的目的及意义1 1 3 国内外研究现状2 1 4 研究的主要内容3 2 环保监测系统问题描述4 2 1 环保监测系统的问题描述4 2 2 环保监测系统的功能要求5 2 3 环保监测系统设备的构成方式7 2 4 环保监测系统的数据接收丢失问题8 2 5 环保监测系统问题的解决方案分析8 2 6 环保监测系统研究的应用价值9 3 数据编码概述1o 3 1 数据压缩的起源与发展1 0 3 2h u f f m a n 编码的基本原理与基本思想1 1 3 3h u f f m a n 算法的基本步骤1 2 3 4 静态h u f f m a n 编码的特点1 3 3 5 静态h u f f m a n 编码的局限性1 4 3 6 算术编码方法的基本思想与编码步骤r 。1 4 3 7l z w 算法的基本思想与编码流程1 5 3 8h u f f m a n 、算术、l z w 三种算法的优缺点分析1 7 4 自适应h u f f m a n 算法18 i v ， 4 1 静态h u f f m a n 编码的问题及改进1 8 4 2 自适应h u f f m a n 编码算法：1 9 4 2 1 自适应h u f f m a n 编码算法的基本概念2 0 4 2 2 自适应h u f f m a n 编码算法的原理及流程啪1 2 1 4 2 3 自适应h u f f m a n 编码算法的特点与优点分析2 2 4 3 优化的自适应编码算法嘲2 3 4 3 1 选择自适应编码算法的原因2 4 4 3 2 优化的自适应编码算法的特点2 5 4 3 3 优化的自适应编码算法的基本思想与流程2 6 5 环保监测系统中的算法设计与软件实现。2 8 5 1h u f f m a n 算法的详细设计2 8 5 1 1 污染物数据格式分析2 8 5 1 2 污染物数据压缩前的预处理2 9 5 1 3 自适应h u f f m a n 编码算法1 圳2 9 5 1 4 自适应h u f f m a n 解码算法3 1 5 1 5c r c 数据校验算法3 2 5 1 6 算法测试结果分析3 3 5 1 7 算法总结3 3 5 2 系统软件实现：3 4 5 2 1 系统设计思想3 4 5 2 2 系统主要模块3 4 5 2 3 开发工具与数据库选择3 5 5 2 4 系统详细设计3 6 5 2 5 系统及网络安全4 4 6 结束语4 6 6 1 工作总结4 6 6 2 系统展望4 7 v 参考文献4 8 致谢一51 个人简历5 2 攻读学位期间的主要成果5 2 v i ， v h u f f m a n 编码在环保实时监测系统中的研究及应用 1 绪论 1 1 引言 随着科学技术的飞速发展，生产规模的急剧扩大，工业生产给人们的生活 带来了翻天覆地的变化，给人类带来了巨大的物质利益。然而，在这物质繁荣 的背后，却存在着巨大的安全隐患，那就是环境污染。现代工业生产带来的数 百万种化合物存在于空气、土壤、水、植物、动物和人体中。即使作为地球上 最后的大型天然生态系统的冰层也受到污染。那些有机化合物、重金属、有毒 产品，都集中存在于整个食物链中，导致土壤肥力减弱，并最终将威胁到动植 物和人类的健康，引发各种疾病，威胁到人类的生存和繁衍。为此，环境保护 就变得刻不容缓。环境保护的两个有效措施一是增强人们的环保意识，再者就 是采取相应的有效的法律措施加以约束。为了监测工厂、企业的污染物排放情 况，就需要对污染物数据进行采集、分析，可以肯定地说数据采集工作是分析 工作的前提和保证。在实时采集系统中，我们设计的数据传输方案是每个服务 器终端接收来自多个采集终端的并发的数据传输。每一个采集终端定时向指定 的服务器终端传输数据。测试发现，随着采集终端的增多，服务器终端出现了 数据延迟，接收有误，数据丢失等现象。 为了有效地解决上述问题，我们考虑在污染物数据传输前对其进行压缩操 作，在到达服务器端的时候再进行解压缩，将污染物实时数据存入数据库，最 后对污染物浓度、流速等关键参数进行分析、处理。由于环保监测系统的数据 格式严格遵循环保数据的传输标准c e s 一7 6 ，我们研究了常见的数据压缩算法， 分析了它们的优缺点，最后选择了简单快键的哈夫曼编码，并对其进行了改进 和优化，同时采用j a v a 多线程处理机制接收数据，将数据的接收存储和处理 一分为二，有效地解决了数据延迟、丢失问题，取得了很好的效果。 1 2 课题研究的目的及意义 环保监测系统中，对污染物数据进行数据压缩是一种必需。它一方面可以 ，。 h u f f m a n 编码在环保实时监测系统中的研究及应用 较大程度地减少污染物数据的传输大小，提高信道的利用率；另一方面也提高 了数据的安全性，具有很好的保密性! 目前，国内的有些环保监测系统，在传输污染物数据的时候，没有考虑数 据压缩问题，这在上位机数量比较少的情况下，或者传输的数据量比较小的情 况下，不会发生数据传输延迟和丢失，是可行的；然而当上位机数量比较多的 时候，或者数据的传输比较频繁的时候，大量的实时监测数据在同一时刻在同 一条信道上传输，很容易发生信道阻塞，最终造成数据的传输延迟，延迟的数 据越积越多，后来延迟的数据就存在覆盖前面延迟数据的可能，这就产生了数 据的丢失。另外，没有数据的压缩，被传送的数据是不安全的，容易发生数据 的泄露，在一定程度上影响了系统的可靠性。再者，环保数据监测系统的数据 格式是严格按照c e s 7 6 标准传输的，在这种情况下，研究常见的数据压缩算 法，对比较适合的压缩编码算法进行改进优化，设计一种高效的压缩算法应用 于环保监测系统问题就显得尤为重要。 本论文就是在充分利用目前已成熟的数据压缩算法的前提下，设计一个运 行高效、使用简单的环保监测系统污染物数据压缩算法，减少数据丢失和传输 延迟，保证实时污染物数据的正确接收。 1 3 国内外研究现状 从本质上讲，考虑数据压缩是因为数据本身具有一定程度的冗余性。数据 压缩是利用一定的算法将数据的冗余压缩到最低，并尽可能地减少失真，从而 提高传输效率和节约存储空间。在过去的几十年中，学者们对数据压缩问题作 了大量研究，先后提出了各种不同用途、不同特点的数据压缩算法，例如 h u f f m a n 编码算法、算术编码算法、游标编码算法、l z w 编码算法等无损压缩 算法和p c m ( 脉冲编码调制) 、预测编码、变换编码、差值和外推等有损编码 算法。下面简单列举了常见的无损编码算法的主要研究成果例【2 7 】： 1 、h u f f m a n 编码算法是通过构造一棵带权路径长度最短的h u f f m a n 树来对 通信数据进行编码压缩的。它的基本过程是：统计原始数据中各字符出现的频 率，所有字符按频率降序排列，建立哈夫曼树，然后将哈夫曼树存入结果数据， 重新编码原始数据得到结果数据。 。 2 h u f f m a n 编码在环保实时盟测系统中的研究及应用 2 、游程编码算法主要针对复杂度不高的原始点阵图像进行压缩。它的基本 思想是：如果某个数据项d 在输入流中连续出现n 次，则以单个字符来替换连 续出现n 次的数据项，这个n 次连续出现的数据项叫游程n 3 、算术编码算法也是一种根据字符出现的频率重新编码的压缩算法。算术 编码和h u f f m a n 编码很相似，两者的主要区别在于：( 1 ) 算术编码压缩率高， 但是预算复杂，速度慢；( 2 ) 算术编码将输入流视为整体进行编码，而h u f f m a n 编码的每个字符需要整数个位来表示。 4 、l z w 压缩算法是一种新颖的压缩方法，由l e m p l e 、z i v 和w e l c h 三人 共同创造，并用他们的名字命名。它采用了一种先进的串表压缩，将每个第一 次出现的串放在一个串表中，用一个数字来表示串，压缩文件只存贮数字，则 不存贮串，从而使图像文件的压缩效率得到较大的提高。需要说明的是，不管 是在压缩还是在解压缩的过程中都能正确的建立这个串表，压缩或解压缩完成 后，这个串表又被丢弃。l z w 算法与其它压缩算法相比具有自适应的特点，即 可以根据压缩内容不同来建立不同的字典，以减少冗余度，提高压缩比，总体 来说，l z w 算法是一种解码速度与压缩性能较好的压缩算法。： 然而，由于在实际的环保监测系统中，数据的格式严格按照国家环保数据 的传输标准c e s 7 6 ，因此，我们必须充分研究h u f f m a n 编码算法、算术编码 算法、l z w 压缩算法、游程编码算法的优缺点，从中找出一种最适合环保数据 格式的压缩算法，并根据环保数据的实际情况对该算法进行改进，使其能达到 最优化。当然，为了达到最佳的数据传输效果，我们同时采用了多线程处理机 制和数据差错检测机制，最大程度地保证了数据采集、数据传输、数据入库、 数据分析的正常运行。 1 4 研究的主要内容 本论文的工作是在国内外学者的研究基础上，对h u f f m a n 编码算法、l z w 编码算法、游程编码算法、算术编码算法进行了详细的研究，其中对h u f f m a n 编码算法的两种方式：静态h u f f l n a n 编码算法、自适应h u f f m a n 编码算法进行 了全面的分析，结合环保数据的格式要求，对自适应h u f f m a n 编码算法进行了 一定程度的优化，较好地解决了环保数据传输的数据传输延迟、数据丢失、数 3 f h u f f m a n 编码在环保实时j 斑测系统中的研究及应用 据传输错误等问题。具体内容如下： l 、描述了国内外数据压缩算法的现状，并阐述了环保数据检测系统中研究 和应用数据压缩的目的和意义。 2 、通过对环保监测系统问题的描述，介绍了环保监测系统问题的特点，对 环保监测系统中数据的传输要求和存在的问题做了说明，并着重阐述了该问题 的发展趋势。 3 、介绍了h u f f m a n 编码算法的起源和发展、基本思想、基本概念以及 h u f f m a n 算法的基本步骤。同时，对h u f f m a n 算法的理论基础和应用情况也做 出了说明。 4 、针对静态h u f f m a n 算法的不足，引入了自适应h u f f m a n 编码算法。对 自适应h u f f m a n 编码算法的原理与特点做了介绍。并根据c e s 7 6 标准对自适 应h u f f m a n 编码算法进行了优化和改进，应用于环保数据监测系统。 5 、将优化的h u f f m a n 编码算法应用于环保监测系统，利用它对采集器传 送过来的数据进行传输前的压缩，然后将压缩数据传输，到达服务器端再进行 解压缩操作，将结果数据存入数据库，并进行分析。同时为了保证传输过程中 数据的正确无误，我们对数据段数据进行了c r c 校验，在传输的数据中加入了 c r c 校验码，比较完善地解决了环保数据监测系统中的各种问题。 2 环保监测系统问题描述 2 1 环保监测系统的问题描述 环保数据监测系统有三大主要功能组成：用来接收从数据采集器通过传输 信道传送到服务器数据的环保数据接入系统；用来对接收到的实时数据和历史 数据进行分析的环保数据实时处理系统；用来发布和查看分析统计结果的环保 数据网上查询系统。 传输数据的数据结构要求遵循国家环保总局数据传输协议和数据交换标准 规范，做到数据同构。应用系统的开发要按照国家软件行业相关标准，并符合 国家环保总局相关电子政务建设的文件要求和环境信息编码标准。 环保数据监测系统建立在各级环保部门，通过通信传输线路与污染源自动监 4 h u f f m a n 编码在环保实时监测系统中的研究及应用 控设备连接，实现对污染源主要污染物排放情况的在线、连续监测并对污染治理 设施运行情况实时监控。 虽然各级环境监察机构监控不同的污染源，收集污染源的排污数据，但最终 目的还是为了将这些数据汇总到一起，对数据进行分析，找出问题，提出解决污 染问题的对策。那么数据结构的一致性将决定数据上报的效率和数据的完整性。 能够为科学核定排污量提供依据，最终为实现污染物减排服务。 现在，环保系统基本有以下三种监测网络存在，污染源在线监测网络、空 气质量监测网络、地表水质量监测网络( 江河湖海) 。 环保数据监测系统中最重要的部分是对数据采集器传输数据的接收工作， 第一：要传输数据的格式要严格遵循国家环保数据标准c e s 7 6 ； 第二：要保证采集端数量逐渐增多的时候，在数据量比较大的时候，数据 能够正确及时的接收； 第三：要能够自动生成小时历史数据、日历史数据、月历史数据、年历史 数据。 环保监测中心的网络拓扑如图2 1 下： 图2 - 1 环保监测中心网络拓扑结构示意图 2 2 环保监测系统的功能要求 一、数据传输功能要求： 5 h u f f m a n 编码在环保实时监测系统中的研究及应用 数据传输至上位监控中心平台，并可通过a d s l 、p s t n 、g p r s 、c d m a 和以太网的任意一种进行通信。类型包括重点污染源( c e m s 、污水) 、空气质 量监测站、地表水监测站、噪声及移动监测车数据。 仪表的数据接口可能有r j 4 5 、r s 2 3 2 、4 - - - 2 0 m a 模拟电流信号。仪表u o 接口因为有多种接口形式，为了我们的数据采集正常进行，我们会在仪表端加 装数据采集器，可以把仪表的数据采集到数据采集器中，在采集器中组合成符 合国标协议的数据包。然后通过无线( g p r s 、c d m a ) 或者宽带、a d s l 等形 式同环保局端的上位数据采集软件通讯。 所有通讯都加日志，以文本文件的形式，以各查验。 要上传的数据可以分为仪表上传数据和环保监测站数据。 监测站已经把仪表端数据采集到监测站的服务器并把其整理，此服务器是 现在已有的空气质量监测网络中的一个节点。然后可以通过环保监测软件，通 过互联网，直接把数据传送到环保局的监控中心。 二、断电自动恢复功能。如果系统断电，开机可以自动恢复，开启软件并恢 复接收、处理数据。 三、历史数据：自动生成和储存，可存储3 年以上的原始数据。 要自动定时地对数据进行处理，可生成小时、日、月、年报表和报警记录。 对指定时间间隔内的历史数据的最大、最小以及平均值自动进行计算，存 储于数据库中。 四、系统的扩展性：系统可随时增加监测参数。 五、系统操作：通过设置，可以设置通道的属性，设置自动处理事务的时间 等功能；可以增加、修改、删除监测站点。并可以配置站点相应参数，如网络 形式、名称、类型、行业、污染参数、单位等。树状显示监测点，不同类型可 以分为不同分支；可以显示监测点数据、网络状态、基本信息等。可以对单个 监测点进行点测，更改数据上传频率。 六、数据的安全性和保密性：系统设置安全认证密码，以避免误操作并确保 数据的安全性。系统具备数据备份功能。 七、数据丢失处理：数据丢失处理按照国家规定的相关条文执行。 八、报警功能 6 h u f f m a n 编码在环保实时监测系统中的研究及应用 可以设置站点的每个参数的上限、上上限、下限、下下限的朗值，如果排 放超标，进行报警，并记录报警信息。 报警方式要有如下几种形式：画面上的报警提示、语音报警和手机短信报 警。 报警管理功能：基于事件的报警、报警分组管理、报警优先级等。 所有报警事件与处理记录均生成日志，可随时查询。 九、具有诊断和或故障排除机制，能检查和报告影响到系统的精度和准确 性的c e m s 部件失效并能确认运行状态是否正常。 十、自动生成报告并可打印：自动生成并打印运行参数报告，数据报告，掉 电和报警记录，操作记录报告，校正报告等。 2 3 环保监测系统设备的构成方式 自动监控系统从底层逐级向上可分为现场机、传输网络和上位机三个层次。 上位机通过传输网络与现场机交换数据、发起和应答指令。 自动监控设备有两种构成方式： l 、一台( 套) 现场机集自动监控( 监测) 、存储和通讯传输功能为一体，可 直接通过传输网络与上位机相互作用。 上位机 传输网络 现场机 监控仪器 图2 - 2 自动监测系统构成方式1 2 、现场有一套或多套监控仪器、仪表，监控仪器、仪表具有模拟或数字输 出接口，连接到独立的数据采集传输仪，上位机通过数据采集传输仪实现数据 交换和收发指令。 本标准不规定数据采集传输仪与监控仪器仪表的通讯方式，推荐采用m o d b u s ( 现场总线协议的一种，使用r s - 2 3 2 c 兼容串行接口，它定义了连接口的针脚、 7 h u f f m a n 编码在环保实时监测系统中的研究及应用 电缆、信号位、传输波特率、奇偶校验等) 标准。 我们的环保监测系统采用的设备构成方式主要是构成方式2 。 上位机 传输网络 现场机 监控仪器监控仪器 图2 3 自动监测系统构成方式2 2 4 环保监测系统的数据接收丢失问题 在环保监测系统的开发过程中，我们深知，数据传输系统是系统的首要的 核心的部分，我们最初的数据采集软件，都是采用的在路由器上开端口，把指 定的端口号开放，采用端口映射的办法，把局域网内的服务器的端口开放，侦 听相关的端口，把下位机的数据包都发送到相关联的端口，接着在服务器上将 接收到的数据帧解析出来，存放到数据库中。 此种机制，如果点数超过5 0 个点，会出现以下问题：a 、大量数据包丢失， 导致数据缺失。b 、数据延迟，不能及时查看企业排污状态。c 、路由器的端口 不够，要求高配置的网络设备和服务器。 很显然，我们最初开发的数据采集软件不能满足上位机数量增加的需要， 所以，现在要找一种新的数据采集方案，能够适应大数据量的数据传输。 2 5 环保监测系统问题的解决方案分析 环保监测系统开发中的主要的问题就是数据采集系统中采集器数量超过 8 h u f f m a n 编码在环保实时监测系统中的研究及应用 5 0 个以后会出现大量的数据包丢失和数据延迟现象，针对这个问题，我们首先 从软件的角度出发，( 1 ) 考虑对采集器采集到的数据进行传输前压缩，信道中 传输的是压缩后的数据，提高数据的传输速度，减少信道的利用率；( 2 ) 为了 进一步提高数据的压缩比例，将传输前数据中的冗余部分，去掉一部分，相当 于压缩；( 3 ) 采用多线程处理机制，将数据的接收存储和入库操作一分为二， 减少了数据丢失的概率；( 4 ) 增加了单点数据采集功能，对因网络延迟丢失的 数据进行二次接收，进一步提高数据接收的正确性；然后从硬件的角度出发， 提高了网络设备和服务器的配置。 图2 - 4 数据采集系统在自动监控系统中的位置示意图 2 6 环保监测系统研究的应用价值 环境监测及应急指挥系统是根据国家当前环境资源的保护策略和政策，顺应 各地区环保事业信息化发展之需要，遵循国家环保总局数据传输标准c e s 7 6 ， 由佳明测控仪器有限公司和中国海洋大学信息学院经多年研发升级后，形成的 一套具有国内先进水平，符合中国环境保护政策的优秀系统。 通过环保监测系统，各地环保机构能够进一步加强对重点区域的环境监管工 作，及时、动态、准确地掌握重点区域的环境状况，提高对应急事件的反应能 力、处理能力，为环境执法、污染事故的调查处理和应急指挥、调度工作提供 科学准确的决策依据。环境监测及应急指挥系统以地理信息系统为基础平台， 综合应用3 s ( g i s 、r s 、g p s ) 技术，利用先进的地理信息系统技术，与高分 辨率卫星遥感图像、航空影像和地区、流域大比例尺数字化地图相结合，通过 9 h u e m a n 编码在环保实时监测系统中的研究及应用 强大的综合信息处理和分析功能，特别是通过g i s 的强大的空间分析能力，将 监测数据以多媒体形式呈现，分析结果以直观的图表呈现。是一套为用户提供 对环境质量的动态监测、预警，环境突发事件的事故预测、实时监测、灾时应 急，环境状况的查询、统计，以及对环境质量模拟分析和环境变化趋势分析的 综合管理、污染控制和环境决策等综合功能的数字信息系统。 。藩 i 霉泛曩 露 ，。擘，囊籀穰蓊一 鞒 缝 保 j 鬣纛：q 数嘹j 幺穗 护 业 务 - 囊 案 飘 图2 4 环境污染源自动监控系统信息交换总体架构示意图 3 数据编码概述 3 1 数据压缩的起源与发展 科学家在研究中发现，大多数信息的表达都存在着一定的冗余度。通过采 用一定的模型和编码方法可以降低这种冗余度。贝尔实验室的c l a u d es h a n n o n 和m i t 几乎同时提出了最早的对符号进行有效编码从而实现数据压缩的 s h a n n o n 编码方法。哈夫曼博士于1 9 5 2 年第一次发表了他的论文“最小冗余代 码的构造方法”( a m e t h o df o r t h ec o n s t r u c t i o no f m i n i m u mr e d u n d a n c yc o d e s ) 。 从此数据压缩开始在商业程序中实现并被应用在许多技术领域。u n i x 系统上 一个不太为现代人熟知的压缩程序c o m p a c t 就是h u f f m a n0 阶自适应编码的 具体实现。8 0 年代初，h u f f m a n 编码又在c p m 和d o s 系统中实现，其代表程 1 0 h u f f m a n 编码在环保实时监测系统中的研究及应用 序叫s q 。在数据压缩领域，h u f f m a n 的这一论文事实上开拓了数据压缩技术一 个值得回忆的时代。6 0 年代、7 0 年代乃至8 0 年代的早期，数据压缩领域几乎 一直被h u f f m a n 编码及其分支所垄断。 8 0 年代，科学家们不满足于h u f f m a n 编码中的某些致命缺点，他们从新的 角度入手，遵循h u f f m a n 编码的主导思想，设计出另一种更为精确，更能接近 信息论中“熵 极限的编码方法一算术编码。凭借算术编码的精妙设计和卓越 表现，人们终于可以向着数据压缩的极限前进了。可以证明，算术编码得到的 压缩效果可以最大地减少信息的冗余度，用最少量的符号精确地表达原始信息 内容。当然算术编码同时也给程序员和计算机带来了新的挑战：要实现和运算 算术编码，需要更为艰苦的编程劳动和更加快速的计算机系统。也就是说，在 同样的计算机系统上，算术编码可以得到最好的压缩效果，但却要消耗也许几 倍的时间。 直到1 9 7 7 年，数据压缩的研究工作主要集中于熵、字符和单词频率以及统 计模型等方面，研究者们一直在绞尽脑汁为使用h u f f m a n 编码的程序找出更快、 更好的编码方法。1 9 7 7 年以色列人j a c o bz i v 和a b r a h a ml e m p e l 发表了论文哪哽 序数据压缩的一个通用算法 ，1 9 7 8 年他们发表了该论文的续篇“通过可变比 率编码的独立序列的压缩 。在这两篇论文中提出的两个压缩技术被称为l z 7 7 和l z 7 8 ，人们将基于这一思路的编码方法称为“字典式”编码。1 9 8 4 年，t e r r y w e l c h 发表了名为“高性能数据压缩技术”的论文，这篇论文实现了l z 7 8 算 法的一个变种l z w 。l z w 继承了l z 7 7 和l z 7 8 压缩效果好、速度快的优点， 而且在算法描述上更容易被描述，实现也比较简单。 3 2h u f f m a n 编码的基本原理与基本思想 h u f f m a n 编码是一种可变长编码方式，是由美国数学家d a v i dh u f f r n a n 创 立的，是二叉树的一种特殊转化形式。编码的原理是：将使用次数多的代码转 换成长度较短的代码，而使用次数少的可以使用较长的编码，并且保持编码的 唯一可解性。h u f f m a n 算法的最根本的原则是：累计的( 字符的统计数字掌字符 的编码长度) 为最小，也就是权值( 字符的统计数字毒字符的编码长度) 的和最小。 h u f f m a n 树是二叉树的一种特殊转化形式。以下是构建h u f f r n a n 树的例子： h u f f m a n 编码存环保实时监测系统中的研究及应用 比如有以下数据，a b f a c g c a h g b b a a c e c d f g f a a e a b b b 先进行统 计a ( 8 ) b ( 6 ) c ( 4 ) d ( 1 ) e ( 2 ) f ( 3 ) g ( 3 ) h o ) ，其中括号里面的数字是每个字符的 出现次数：每次取最小的那两个节点( n o d e ) 合并成一个节点( n o d e ) ，并且将累计 数值相加作为新的接点的累计数值，最顶层的是根节点( r o o t ) 注：列表中最小 节点的是指包括合并了的节点在内的所有节点，已经合并的节点不在列表中编 码和解码。 编码：将a b c d e f g h 用h u f f m a n 树产生的编码对应着写到文件中，并且保 留原始的h u f f m a n 树，主要是编码段的信息。一般要编码2 5 6 个元素的话需要 5 1 1 个单位来储存h u f f m a n 树，每个h u f f m a n 树都必须有以下的结构： c o d e ，c h a r , l e f t ，r i g h t ，p r o b a b i l i t y ( 出现次数) ，通常情况是利用一个数组结构。因为 在解码的时候只需要用到c o d e ，所以只需要记录每个元素的编码就可以了。 解码：利用文件中保存的h u f f m a n 编码和保存的哈夫曼树，对每一个字符 的编码，从根结点开始按照左0 右1 的方法，沿着路径逐渐寻找，知道找到叶 子结点为止，将叶子结点对应的字符输出，即完成了该字符的解码，循环上述 过程，知道整个的串解码完毕。 3 3h u f f m a n 算法的基本步骤 设计h u f f m a n 编码的目的是得到使电文总长最短的二进制前缀编码，假设 每 种字符在电文中出现的次数为w j ，其编码长度为l i ，电文中只有n 中字符，则 电文总长为罗w i l i 。对应到二叉树上，若置w i 为叶子结点的权，l j 恰为从根 蒿 到叶子的路径长度。则亨w i l i 恰为二叉树上带权路径长度。由此可见，设计 j 一 l = l 电文总长最短的二进制前缀编码即为以n 种字符出现的频率作权，设计一棵 h u f f m a n 树的问题。由此得到的二进制前缀编码便成为h u f f m a n 编码。 以下为构造一棵h u f f m a n 树的算法描述【1 6 1 ： ( 1 ) 根据给定的n 个权值 w l , w 2 ，) 构成n 棵二叉树的集合 f = t l ，t 2 ，t n ) ，其中每棵二叉树t i 中只有一个带权为w i 的根结点，其左右子树 均为空； 1 2 h u f f m a n 编码在环保实时监测系统中的研究及应用 ( 2 ) 在f 中选取两棵根结点的权值最小的树作为左右子树构造一棵新的 二叉树，且置新的二叉树的根结点的权值为其左、右子树上根结点的权值之和； ( 3 ) 在f 中删除这两棵树，同时将新得到的二叉树加入到f 中； ( 4 ) 重复( 2 ) 和( 3 ) ，直到f 中只含一棵树为止，这棵树便是h u f f m a n 树。