（电路与系统专业论文）基于自相似模型的分布式工业以太网实时检测系统的设计与实现.pdf

浙江大学硕士学位论文 摘要 随着以太网及t c p i p 越来越多地进入控制领域，以太网目前已经具备作为 工业化的现场设备级实时控制网络的能力。世界先进发达国家及各个现场总线组 织和机构均结合各自的特点，对以太网引入予以巨大的投入，同时纷纷推出了基 于以太网的工业控制系统计划。在此方面，我国也给予了极大的重视，并已经在 以太网工业控制网络的工程应用中予以重点项目立项。 商用以太网中出现少数的错误数据包可能不会对网络信息传送造成大的影 响，但在一个控制系统中仅仅一个寻常的差错控制数据也很可能引发一次严重的 事故。因此，工业以太网必须加强对网络故障进行研究和及时诊断以解决工业可 靠性问题。 网络流量能准确反映工业以太网的状况，同时异常流量也会对网络造成影 响。过高的网络流量将会带来频繁的数据包碰撞和网络延时，所以准确而又实时 地检测出以太网流量的异常，将为工业以太网的正常工作提供保证。 已报道的以太网流量检测所采用的排队网络流量模型，已经不能准确描述当 今网络流量的特性，在检测的实时性方面也不能很好地满足要求，另外，已报道 的单机检测系统很难在具有复杂拓扑结构的工业以太网中发挥作用。 论文以此为背景，设计了基于自相似模型的分布式工业以太网实时检测系 统。该系统采用了自相似流量模型，本文对自相似参数估计算法进行了改进，使 得算法的时间复杂度由0 ( 1 3 ) 降低到o ( 1 ) ，并且设计了h u r s t 参数的均值自适应 评估算法。在具体实现方面，该系统采用了分布式的架构，具体通过c s 结构实 现。l i n u x 端客户端负责实时收集其所在网段的网络流量数据，并将分析和处理 过的数据和报警信息发送到w i n d o w s 端服务器；而w i n d o w s 端服务器负责综合 并显示所有l i n u x 端客户端的信息，另外还要提供一些基本参数设置功能，这些 都通过友好的界面提供给用户。通过对该系统在检测时间和准确性等方面进行的 测试，结果表明该系统具有实时、耗时少和检测准确性高的特点。该系统已在杭 州钢铁厂的网络测试中得到了应用。 关键词：以太网，自相似，流量模型，分布式系统，实时 浙江大学硕士学位论文 a b s t r a c t w i t ht h ee t h e m e ta n dt h et c p i pe n t e r i n gt h ec o n t r o lf i e l d ，e t h e m e ti sa b l et ob e e q u i p p e di nt h er e a lt i m ei n d u s t r i a lf i e l dn e t w o r k d e v e l o p e dc o u n t r i e sa n dt h ef i e l d b u so r g a n i z a t i o n sh a v ep a i dal o tf o ri m p o r t i n gt h ee t h e m e ta c c o r d i n gt ot h e i ro w n a b i l i t y , a n dh a v ep r o p o s e dt h ei n d u s t r i a lc o n t r o ls y s t e mp l a nb a s e do ne t h e m e t i nt h i s f i e l d ，o u rc o u n t r yh a sa l s op l a c e dm o r ee m p h a s i so ne n g i n e e r i n ga p p l i c a t i o no ft h e i n d u s t r i a le t h e m e tc o n t r o ln e t w o r k t h ec o m m e r c i a le t h e m e tm a yn o tb ei n f l u e n c e dd e e p l yb yal i t t l ee r r o rp a c k a g e s ， b u tan o r m a lc o n t r o ld a t ae l t o rm a yc a u s eas e r i o u sa c c i d e n ti nt h ec o n t r o ls y s t e m a s ar e s u l t ，m o r ea t t e n t i o n ss h o u l db ep a i dt os t u d y i n gt h ee t h e m e tf a u l t sa n dd i a g n o s i n g i nt i m es oa st oi m p r o v er e l i a b i l i t ya n dr o b u s to fw h o l en e t w o r k t h en e t w o r kt r a f f i cc h a r a c t e r i s t i cs h o w st h ew o r k i n gs t a t u so ft h ei n d u s t r i a l e t h e m e ta c c u r a t e l y , a n da b n o r m a lt r a f f i cw i l la l s oi n f l u e n c et h en e t w o r km n n i n g p e r f o r m a n c el a r g e l y t h eo v e r h e a v yn e t w o r kt r a f f i cw o u l db r i n gf r e q u e n tp a c k a g e c o l l i s i o n sa n dn e t w o r kd e l a y , s od e t e c t i n gt h ee x c e p t i o no ft h ee t h e m e tt r a f f i cw i l l g u a r a n t e et h ei n d u s t r i a le t h e m e tt ow o r kr e l i a b l y t h eq e u i n gm o d e lo fe t h e r n e tt r a f f i cu s e dw i d e l yi nt h ec o n v e n t i o n a ln e t w o r k t r a f f i cd e t e c t i n gs y s t e m ( f o r d s ) c a n n o td e s c r i b et h en e t w o r kt r a f f i cc h a r a c t e r i s t i c p e r f e c t l y t h en e t w o r kt r a f f i cd e t e c t i n gs y s t e mu s e dt r a d i t i o n a lq u e u i n gm o d e lo f e t h e m tt r a f f i ci sn o tr e a l t i m e ，a n dc a n n o tw o r kp e r f e c t l ya tt h es i t u a t i o no fc o m p l e x t o p o l o g y t h i st h e s i sh a sd e s i 黔lan o v e ln e t w o r kt r a f f i cd e t e c t i n gs y s t e mb a s e do nt h i s b a c k g r o u n d ，w h i c ha d o p t s t h es e l f - s i m i l a rm o d e lt od e t e c te t h e r n e tt r a f f i c c h a r a c t e r i s t i c t h ec o m p l e x i t yo ft h eo r i g i n a la l g o r i t h mt oc a l c u l a t eh u r s tp a r a m e t e r h a sb e e nr e d u c e df r o ml i n e a rt oc o 璐t a n t t h en t d sd e s c r i b e di nt h et h e s i sa d o p t st h e d i s t r i b u t e df r a m e w o r k ，w h i c hi si m p l e m e n t e dw i t hc ss t r u c t u r e t h el i n u xc l i e n t s c a p t u r et h er a wd a t af r o mt h e i rs u b n e t s ，a n dt h e nt r a n s m i ta n a l y t i c a ld a t aa n da l a r m i n f o r m a t i o nt ot h ew i n d o w ss e r v e r t h ew i n d o w ss e r v e rd i s p a l y st h ei n f o r m a t i o n a g g r e g a t e df r o ma l lt h ec l i e n t s ，a n da l s ow ec a ns e tt h ep a r a m e t e r si nt h el i n u x 浙江大学硕士学位论文 c 1 i e n t sw i t hw i n d o w ss e r v e ri n t e r f a c e t h er e s u l t so fs t r i c tt e s t sr e v e a lt h a tt h en t d s p r o p o s e di nt h i st h e s i sh a ss o m ec h a r a c t e r ss u c ha sr e a lt i m e ，t i m es a v i n ga n dh i 曲 p r e c i s i o n t h en e t w o r kt r a f f i cd e t e c t i n gs y s t e m h a sb e e nu s e di nh a n g z h o ui r o na n d s t e e lw o r k st om o n i t o ri t se t h e r n e ts t a t e k e yw o r d s ：e t h e r n e t ，s e l f - s i m i l a r , t r a f f i cm o d e l ，d i s t r i b u t e ds y s t e m ，r e a lt i m e 浙江大学硕士学位论文 第一章绪论 1 1 工业以太网流量检测的意义 1 1 1 工业以太网的背景 以太网作为一种成功的网络技术，具有成本低、传输速率高等诸多优点，进 入商业市场已2 0 多年了，在办公自动化等方面应用非常广泛，而且已经成为最 受欢迎的通信网络之一。随着以太网及t c p i p 越来越多的进入控制领域，以太 网目前已经具备作为工业化的现场设备级实时控制网络的能力。随着工业自动化 领域对远程制造、管理和市场运营的需要，企业对高性能控制网络的需求也在不 断增加。控制网络中越来越多的设备和仪器需要被控制，这就对控制网络的贷款 提出了更高的要求。 在现代工业控制中，由于被控对象、测控装置等物理设备的地域分散性，以 及控制与监控等任务对实时性的要求，需要一种分布实时控制系统来实现控制任 务，即信息传递必须在有限的通信延迟时间内准确的到达。从信息传送到信息 接收之间的全部通信延迟，称作端对端的通信延迟，它主要包括产生延迟、排队 延迟、传输延迟和发送延迟四方面的因素。在工业控制中采用以太网控制，不仅 为分布式控制的实现提供了保证，而且对系统的实时性和可靠性提出了强烈的要 求。为了满足工业控制中对时间限制和数据正确性的要求，通常采用具有确定的、 有限排队延迟的现场总线。它通常应用于生产现场，并把各个分散的测量控制设 备转换为网络节点。它以现场总线为纽带，连接成为可以互相通信、沟通信息、 共同完成自控任务的网络化控制系统。然而，尽管现场总线获得了巨大的成功， 这类专用实时通信网络却具有成本高、传输速率低和支持的应用有限以及通信点 的规模有限等很多不足，因而有必要引进新的通信方式。 无论是嵌入式系统，还是现场总线，也都意识到以太网对推动控制网络领域 的变革和发展具有根本性的重要意义。世界先进发达国家及各个现场总线组织和 机构均结合各自的特点，对以太网引入予以巨大的投入，同时纷纷推出了基于以 太网的工业控制系统计划。目前，在国际上有多个组织从事工业以太网的标准化 浙江大学硕士学位论文 工作，2 0 0 1 年9 月，我国科技部发布了基于高速以太网技术的现场总线设备研 究项目，其目标是：攻克应用于工业控制现场的高速以太网的关键技术，其中包 括解决以太网通信的实时性、可互操作性、可靠性、抗干扰性和本质安全等问题， 同时研究开发相关高速以太网技术的现场设备、网络化控制系统和系统软件。 1 1 2 工业以太网的通信特性 工业以太网与商业以太网的共同点在于均为总线型网络布局、均使用 t c p i p 网络协议进行网络通信。而不同点是由于工业以太网应用的环境与商业 以太网不同，工业以太网有着一些特殊的性质。为区别一般的商业以太网，下面 对其通信特性进行较为详细的介绍。 1 1 。2 1 以太网通信特性 1 负荷越小，碰撞越少。 2 负荷在1 0 左右时，基本无碰撞。 3 负荷在3 0 以下时，以太网的通信响应时间优于a r c n e t 令牌网。1 。 4 负荷大于3 0 以后，以太网的通信响应时间迅速增加，远大于a r c n e t 令 牌网的增加速度。 0 2 5 5 0 7 5 0 0 p e r c e l x tl o a d 图1 1 以太网与a r c n e t 令牌网的响应时间比较图 n o o ， d 个黜加1，伯 咔l需， ( 。驴曼 ， h 乜co已蚺。疋o_中ec口： 浙江大学硕士学位论文 1 1 2 2 工业以太网通信特点 1 传输的信息量少，信息长度都比较小。 该网络信息主要有： ( 1 ) 用户操作指令、组态信息、诊断信息等等。 ( 2 ) 报警等突发性事件信息。 2 周期性信息较多，例如测量、控制信息。 3 网络吞吐量小。 通常仅为几位( b i t ) 或几个、十几、几十个字节( b y t e ) 。 4 网络负荷较为平稳。 5 对网络传输的准确性要求高。 6 对网络的实时性要求较高。 1 1 2 3 网络负荷实测对比 图1 2 工业以太网网络负荷实测图。3 3 浙江大学硕士学位论文 图卜3 工业以太网网络负荷实测图。1 由图卜2 和图卜3 可以看出工业以太网络符合可预测性基本没有突发性 负荷，可以根据系统的配置预计网络负荷，因此流量是可控的同时，可针对工业 控制应用采用一些必要保证措施系统中的网络节点分布，仔细设计通信流量进行 控制在线网络负荷监控网络负荷优化。 1 1 2 4 小结 通过比较工业以太网和商业以太网的通信特点，我们可以得出结论：以太网 完全能满足工业控制网络通信实时性要求，以太网在工业上应用具有以下明显的 四个优势： 1 技术通用 2 价格低廉 3 市场供应量大 4 无需培训，维护简单 图l 一4 为商业以太网网络负荷图，从中可以明显看出商业以太网中网络负 荷具有以下三个特性： 4 浙江大学硕士学位论文 1 瞬时流量变化大，无法预测 2 网络负荷波动大 3 碰撞较为频繁 因而商业以太网不能很好的满足通信响应高实时性和高可靠性的要求，而工 业以太网如果采用一定的可靠保障机制，就可以满足网络高可靠性等要求。 图1 - 4 商业以太网络负荷实测图 1 1 3 网络流量检测的意义 1 1 3 。1 工业以太网在应用中所面临的问题 时间 以太网( e t h e r n e t ) 是一种成功的网络技术，但当其应用于工业控制系统而 成为工业以太网时，存在以下如下的问题“3 。 1 存在实时性差，不确定性的问题。 以太网的媒介访问控制协议c s m a c d 有无法预见的延迟特性。网络每 个节点要通过竞争来取得信息包的发送权：节点监听信道，只有发现信道空闲时， 才能发送信息；如果信道忙碌则需要等待。这就导致其不能满足工业以太网对实 5 浙江大学硕士学位论文 时眭的要求。信息开始发送后，还需要检查是否发生碰撞，信息如发生碰撞，需 退出重发。这就会导致网络延时的不确定性。 2 工业可靠性问题。 以太网是以办公自动化为目标设计的，以太网本身并没有考虑容错性的问 题，并没有考虑工业现场环境的适应性需要，如超高或超低的工作温度，大马达 或大导体产生的影响信道传输特性的强电磁噪声等。工业以太网如要在车间底层 应用必须解决可靠性的问题。 3 以太网不提供电源，必须有额外的供电电缆。 4 以太网不是本质安全系统。 5 安全性问题。 没有授权的用户可能进入网络的控制层或管理层，造成安全漏洞。 6 现存的控制网络与新建以太控制网络的集成问题。 在上述这些问题中，实时性、确定性及可靠性问题是长期阻碍以太网进入工 业控制领域的主要障碍“1 。为了解决这些问题，人们从不同角度提出了许多解决 方案。然而，快速以太网与交换式以太网技术的发展，给解决以太网的非确定性 问题带来了新的契机，使这一应用成为可能。为了解决在不间断的工业应用领域， 在极端条件下网络也能稳定工作地问题，美国s y n e r g e t i c 微系统公司和德国 h i r s c h m a n n 、j e t t e ra g 等公司专门开发和生产了导轨式集线器、交换机产品， 安装在标准d i n 导轨上，并有冗余电源供电，接插件采用牢固的d b 一9 结构。最 近刚刚发布的i e e e 8 0 2 3 a f 标准中，对e t h e r n e t 的总线供电规范也进行了定义。 此外，在实际应用中，主干网可采用光纤传输，现场设备的连接则可采用屏蔽双 绞线，对于重要的网段还可采用冗余网络技术，以此提高网络的抗干扰能力和可 靠性。 所有这一切以太网的新变化和解决问题方案，已经引起工业通信系统供应商 和用户的高度重视，然而，这些变化和方案的效果都需要经过实际现场的检验， 所以他们同时也迫切需要知道以太网“是否满足工业控制的要求，采用以太网能 够带来哪些好处和需要解决哪些问题”嘲。 浙江人学硕士学位论文 1 1 3 2 网络流量检测的重要性 如今工业企业网中的关键任务和控制系统越来越多地依赖于数据通信系统 的稳定运行，而数据通信系统的规模正在不断扩大，复杂性也在不断增加，所以， 如何提高数据通信系统的易用性和可靠性是摆在网管员面前的一大挑战。 商用以太网中因为有较高的容错性，所以出现少量的错误数据包也许不会对 网络信息传送功能造成大的危害，但对一个工业控制系统，一些偶然的错误控制 数据却很可能引发一次严重的事故。另外，根据统计“3 ，由网络自身问题( 与网 络操作直接相关的软、硬件问题) 引起的网络系统失效可以占到网络系统失效原 因的1 3 以上。所以，工业以太网的可靠性问题就显得非常重要。而要解决可靠 性的问题，首先要作的就是对整个数据通信系统进行实时测试、评估，然后及时 判断网络的故障所在，跟踪故障源，分析故障原因，最后再因地制宜的解决故障 问题。 通过前面章节关于工业以太网的通信特性的讨论，不难看出，网络流量是工 业以太网中一个敏感的参数，过高的网络流量将会带来频繁的数据包碰撞和网络 延时。所以准确而又实时地检测出以太网网络流量的异常，将为工业以太网的正 常工作提供保证。 1 2 工业以太网流量检测的现状 1 2 1 排队网络流量模型的局限性 排队网络流量模型为网络设计提供了系统分析和性能预测的有利工具。近年 来，随着网络测量技术的发展，人们已经能够对所获得大量业务数据进行分析研 究。2 0 世纪9 0 年代初期，b e l l c o r e 的研究人员采集了大量的关于以太网 ( e t h e r n e t ) 和可变比特率( v a r i a b l eb i tr a t e ，v b r ) 的视频业务数据，并使用分 形( f r a c t a l ) 的思想对其进行了详尽的分析和研究，并证实：真实的网络业务具 有统计上的自相似性s e l f - s i m i l a r i t y 。传统的能够精确描述电话网络的马尔可夫模 型不再适用。业务量的自相似特征显著影响网络的流量控制与排队分析，已经引 起人们的极大重视。 7 浙江大学硕+ 学位论文 自从1 9 9 4 年“i e e e a c mt r a n s a c t i o n so nn e t w o r k i n g ”上正式发表了关于网 络自相似研究的第一篇论文“o nt h es e l f - s i m i l a r i t yn a t u r eo fe t h e r n e tt r a f f i c ( e x t e n d e dv e r s i o n ) ”l t l 来，世界各国的研究人员对现有的网络传输进行了大量 测量和分析，包括局域网i s 】( a n ) 、广域网( w a n ) 9 】、公共信道信号网络 c c s n s s 7 1 0 】、综合业务数字网( i s d n ) 、a t m 网络上的v b r 视频等等，显示 真实的网络传输本质上是自相似的或分形的。现在已有许多关于网络自相似问题 的研究成果发表在国际会议或学术期于0 中，网络的自相似问题是当今网络研究公 认的热点和难点。 传统的排队分析依赖于泊松到达的假定，集群( d u s t e r ) 或称突发( b u r s t ) 在短时间( 小时间尺度) 内发生，从长时间范围来看，突发就被平滑掉了。当业 务源数目增加时，突发性也会被吸收，集群业务会变得越来越平滑。那么对于由 服务员和缓冲队列组成的系统而言，这种长期的平滑性意味着队列在短时间内建 立起来，但在一个较长的时间内被排空，因此系统只需要中等大小的缓冲容量。 这就导致了传统的排队分析由于泊松假设而可能无法精确预计自相似传输 的性能。近年来的研究结果表明，自相似性对网络性能会产生一些意想不到的影 响，它直接影响到网络的设计、控制、分析和管理。例如，许多第一代的a t m 交 换机都出现了信元丢失过多的问题，这虽然与很多因素有关，但没有考虑业务的 自相似性对网络的影响是一个不可否认的原因。 由此可见，已报道的以太网流量检测模型已经不能再用来描述现今的网络流 量，取而代之的是自相似流量模型，这也是本文所描述系统采用的模型。 1 2 2 流量检测的滞后性 已报道的流量检测系统有一个时间的滞后性，不能做到实时报警，通常需 要十几分钟甚至一个小时才能做一次流量状况的综合分析。这在一定程度上满足 了普通的网络管理要求，但是对于实时性要求较高的工业以太网而言，这可能会 导致无法预计的后果。 已报道的流量检测系统的核心算法一般具有线性的时间复杂度。由于每次检 测都需要对庞大的历史数据进行分析，耗时较多，所以在一般的应用场合，通常 将检测时间间隔设置为十几分钟甚至一个小时。 浙江大学硕士学位论文 所以已报道的流量检测具有一定的时间滞后性。 1 2 3 流量检测系统架构的缺陷 已报道的流量检测系统架构大都采用单机版，利用一台计算机来检测当前网 络流量状况，这对于类似网吧这类网络拓扑结构相对简单的应用场合比较适用， 但对于网络拓扑结构相对复杂的工业以太网，就很难统一检测整个网络的状况 了。例如，在检测杭州钢铁厂网络的各个网段的流量状况时，单机版检测系统可 以准确地检测出每个网段的流量状况，但是同步和综合这些检测信息却显得有些 棘手。而分布式与单机版不同，它采用c s 结构，每个c l i e n t 单独处理各自网段 的流量信息，并将处理结果通知s e r v e r 。这样既可以合理地分配流量检测的任务， 也可以综合地处理流量检测的结果。 1 3 论文的任务和结构 本论文的任务： 1 对工业以太网流量检测的意义和发展现状等作了调研和分析。 2 对系统中所涉及的网络流量模型以及相关理论背景作了阐述。 3 设计了一种分布式工业以太网实时检测系统，与已报道的工业以太网流量检 测系统相比，本文中的检测系统采用了自相似网络流量模型，该模型相对于 已报道的排队网络模型能更加准确地描述网络流量。论文对自相似参数的估 计算法也作了改进，将算法的时间复杂度由0 ( n ) 降低到0 ( 1 ) ，并且设计了基 于均值自适应的h u r s t 参数的评估算法。另外，本文提出的系统采用了分布 式体系结构，从而能更好地适应复杂拓扑结构的网络流量检测要求。 4 实现了分布式工业以太网实时检测系统，并对其进行了测试。 5 对本文中提出的改进型自相似参数估计算法的设计以及该系统的设计与开发 过程进行了小结，并提出了新的展望。 本论文的结构： 第一章介绍了工业以太网流量检测的意义和发展现状。 第二章中阐述了白相似流量模型以及与其相关的一些理论。 第三章中的主要内容是基于自相似模型的分布式工业以太网实时检测系统 9 浙江大学硕_ 上学位论文 的系统设计，对于该系统的三个主要模块都进行了详细的描述，包括：w i n d o w s 端服务器、l i n u x 端客户端、客户端和服务器交互模块的设计。并详细介绍了流 量异常检测算法的推导和设计过程。 第四章介绍了本文中的基于自相似模型的分布式工业以太网实时检测系统 的实现过程。 第五章介绍了本文中的基于自相似模型的分布式工业以太网实时检测系统 的性能测试过程。 第六章是全文的总结以及展望。 1 0 浙江大学硕士学位论文 第二章自相似流量模型概述 2 1 网络流量模型的发展 2 1 1 排队流量模型 排队分析对于网络设计和系统分析人员进行容量规划和性能预测很有用处。 然而在许多实际场合，人们发现排队分析所得的预测结论与实际观察到的性能差 异很大。排队分析的有效性依赖于数据通信量的m a r k o v 过程。 m a r k o v 过程是一类很重要的随机过程。这一类过程的特点是：当过程在时刻 t o 所处状态已知时，o 以后过程所处的状态与f 0 以前过程所处状态无关。这个特 性叫做无后效应，也i q m a r k o v 性。通俗地说，就是“已知现在，将来和过去无关”。 设 z ( f ) ，f n 为一随机过程。e t ，i = l 2 , - - , ，f ，且f l r 2c 。如果对状 态空间s 中的任意状态一，x 2 ，_ 一- ，x ( t a 的条件分布函数满足： p x 也) x i 置t n 。) = x 。z ( t n 一2 ) = 毛一2 ，x “) = x j ：p 盖以) o ，随机过程口一h x ( a t ) 与x ( t ) 具有相同的统计特性。此相互关 系可由下面3 个条件表达： ( 1 ) 均值 默) 】- 学 1 7 浙江大学硕士学位论文 ( 2 ) 方差 ( 3 ) 自相关 惭陋。) 】| 丁v a r x ( a t ) r a t 一等掣 其中参数h 称为h u r s t 参数，又称自相似参数，它是自相似程度的一个重要度 量，是描述自相似特性的惟一参数。更确切地说，h 是统计现象的持续性 ( p e r s i s t e n c e ) 的度量，是随机过程的长范围相关( 1 0 n g r a n g ed e p e n d e n c e ，l r d ) 的一个度量。h 的取值范围是 0 5 ，1 ，h = o 5 表示没有自相似性，h 值越接近1 ， 持续性或长范围相关的程度就越大，过程的自相似程度越高。 2 2 4 2 离散时间定义 定义在离散时间点上的随机过程被广泛地关心，例如，数据传输的分析就要 用到平稳时间序列，所以现在给出平稳时间序列的自相似定义。 离散时间随机过程x ( t ) 定义为托，t = 0 , 1 ，2 ，) 。对于一个平稳时间序列x ， 定义m 重聚集时间序列z 佃= 纠，七= o ，1 , 2 , - - ，它可以表达为： 牡瓦1 喜 例如，x ( 3 定义为： ：鱼生粤堑 一般而言，可以通过将其看作压缩时间尺度的一种技术来观察这个多重聚集 时间序列的。可以认为x n 是这个时间序列的最高放大率或最高分辨率。过程x ( 3 ) 是相同过程在分辨率上缩减3 倍的结果。由于在每3 个点上进行平均，所以在最高 分辨率时就不能观察到细节。如果经过压缩以后过程的统计特征( 均值、方差、 自相关等) 仍然保持不变，那么该过程就是一个自相似过程。 或者，把序列x ( 的每一个点看作过程x 的一个时间平均。对于一个遍历的 浙江大学硕士学位论文 过程，时间平均应该等于样本空间的平均，而且时间平均的方差在m 变大时应该 相当迅速地趋向于零。然而，对于一个自相似过程却并不会发生这种情况，虽然 方差确实是要趋向于零，但要比平稳遍历过程缓慢得多。下面给出更准确地描述。 称一个具有参数b ( 0 b 1 ) 的过程x 是精确自相似的( e x a c t l y s e l f - s i m i l a r ) ，如果对于所有的m = l ，2 ，有 方差v a ，0 似) 。f a t r ( x ) 牌 自相关趟帕 ) = r 他) 可以证明参数b 同上面定义的h u r s t 参数h 有关，具体地，l t = l 一( b 2 ) 。对于 平稳的遍历过程，b = 1 ，而且时间均值的方差以i m 的速率衰减到0 。但是对于一 个自相似过程，即b l 时，其自协方差是： c ( r ) = r 扛) 一a 2 = a 2 一a 21 0 而一个短范围相关( s h o r t r a n gd e p e n d e n t ) 过程一般满足如下条件：它的 自协方差衰减速率至少同指数方式一样快，有 c ( k ) 一a 。t l i 七卜+ 。时，0 0 ) 的p a r e t o 分布是最简单的重尾分布，它的密度 和分布函数是： ，( z ) ；f ) = 0 ，x s k ，c x ，= 昙( 妻) 4 “，f ，= ，一( 妻) 4 ，工，七，n ，。 并且它的均值是： 研x 】：之t ，口，1 参数k 决定了该随机变量可取的最小值。而该随机变量的均值和方差由参数 a 决定：如果a - 。 x 卜x - p , i 卢2 ) 的更新回报过程( r e n e w a lr e w a r dp r o c e s s ) 的迭加( 乘 以适当的收敛因子) 弱收敛于分数布朗运动b h ( t ) 并且h = ( 3 一b ) 2 。这里的更 新区间是指p a r e t o t r a i n 模型中的一个o n o f f 周期，它们服从重尾分布，而回 报是指o n 周期内独立选取的发送速率，它们独立同分布具有有限方差。这一定 理揭示了诺亚效应与自相似之间的关系，可以视为产生自相似性的一种物理解 释。w i l l i n g e r 等人从考察传输源特性的角度，对贝尔实验室的l a n 澳i 量数据进行 统计分析，证实了传输源具有上述特性。 2 2 6 自相似数据传输的模型与估计 通常自相似数据传输的分析方法是首先判断一个实际到达的时间序列是否 浙江大学硕十学位论文 具有自相似性：如果是自相似的，估计自相似参数h 。本节简要介绍几种比较常 用的方法。 2 2 6 1 聚集方差 前面介绍过，对于一个自相似过程的聚集时间序列x ( ，当m 很大时，其方 差服从： v a r ( x ( m ) v a 万r ( x ) 其中自相似参数h = i 一( b 2 ) 。这个式子可以写作： l o g v a r o 叫) 卜l o g v a r ) 卜声l o g ( m ) 由于l o g v a r ( x ) 】是与m 无关的常数，如果将w r ( x ) 作为m 的函数在对数一对 数图上画出来，结果将得到一条斜率为一b 的直线。在不同的聚集级别m 上由聚 集过程产生数据序列x ( t ) ，并计算方差，就可完成曲线。斜率在一l 和0 之间的就 意味着具有自相似性。许多研究人员都这样做过并发现实验结果确实落在一条负 斜率的直线上。接下来可以直接估价l - i 值。 2 1 2 。6 。2r s 图 随机过程x ( t ) = 托，t = o ，1 ，2 ，) 在离散时刻取值，x ( t ) 在时问段n 上的重整化 范围定义为比率r s ： r s m a ；x 。 篇专( x k m ( ) ) 】一2 弹砉( 以一m ( ) ) 】 其中m ( n ) 是在时间段n 上的采样平均： 1 n 膨( ) 5 专荟x ， r s 表达式中的分子是过程变换范围的度量而分母是采样标准差。对于一个 自相似过程，此比率在n 很大时有下列特性： 浙江大学硕士学位论文 r s ( 2 ) “，其c h ，0 5 此式可以重写为 l o g r s 卜h l o g n 卜h l 0 9 2 如果将 r s 与n 的关系画在一张对数一对数图上，则所得的曲线应该符合一 个斜率为h 的直线。这个分析也在许多数据序列上做过并得到了符合直线的结果。 2 2 6 3 周期图 聚集方差法# n r s 图是属于启发式或肉眼观测的方法，它们不能用于对h 的 精确估价，而只能用来粗略地估计一个给定的数据序列是否具有自相似特性( h 0 5 ) ，或者估计给定的数据序列是否属于传统的短范围相关模型( h 。0 5 ) 。 现在转向讨论精确的估价，这个估价需要对数据做一定的假定。首先，介绍一下 功率谱密度的估价。 周期图 利用过程有限的一段实现来估价平稳过程x ( t ) 的功率谱s ( o ) ，是随机过程 理论中的一个典型的问题，亦即，仅有一段有限时间内的x ( t ) 的样本。对于一个 离散时间平稳随机过程，自相关和谱密度分别定义如下： r ) = f 4 工( t ) x ( t + 七) 坝珊) 篁r ) e 叩 如果假定这个过程是遍历的( 时间平均等于样本空间平均) ，那么可以用下 式估价自相关函数 一 1 一1 肌) 2 言磊工o + 七川 谱密度s ( u ) 是自相关函数r ( k ) 的傅里叶变换，需要对自相关函数进行一次 傅立叶运算，从而获得谱密度一个好的估价。实际上，在定的假设条件下，这 是可以实现的。一个随机过程x ( t ) 定义在离散时刻 t ，t = 0 ，1 ，2 ， 上的 谱密度可以通过在时间周期n 上的傅里叶级数运算获得估价值： “小刍陲x k e j k o 2 这种估价在文献中被称为周期图( p e r i o d o g r a m ) ，或者强度函数。其中l 代 浙江人学硕士学位论文 表频率n 是样本的个数，周期图k ) 是谱密度的一个渐进无偏估计，由于长相 关特性时间序列的周期图在零点附近等价于甜。”。以频率甜为x 轴周期图l ) 为y 轴，利用最小二乘法得到的拟合直线的斜率为( 卜2 h ) ，实际上我们只计算x 轴正半轴n 2 个频率中的前1 0 ，这是因为， ) 口m 1 2 ”的关系只在零点附近成 立。 2 2 6 4 最d 、- - - 乘法曲线拟合 在利用方差时间曲线或者r s 图计算h u r s t 参数时，需要通过最小二乘法来实 现曲线拟合乜刚，以估计出h u r s t 参数的值。 在我们研究两个变量( x ，y ) 之间的相互关系时，通常可以得到一系列成对的 数据( x 1 ，y 1 、x 2 ，y 2 ，x m ，y m ) ；将这些数据描绘在x y 直角座标系中( 如图1 ) ， 若发现这些点在一条直线附近，可以令这条直线方程如( 式卜1 ) 。 倒2 4 拟合曲线 珞；口o + 口1 r ( 式l 1 ) 其中：，口，是任意实数，为建立这直线方程就要确定口。和4 。，应用“最小 二乘法原理”将实测值誓与珞的离差一珞的平方和暖一k 1 ) 2 最小为“优化 判据”。 令：妒一暖一珞) 2 ( 式卜2 ) 把( 式卜1 ) 代入( 式卜2 ) 中得： 妒= 罗嘎一口。一a i x i ) 2 ( 式卜3 ) 一 乏 |。中叶lf斗 浙江大学硕上学位论文 当诺一珞) 2 最小时，可用函数垂对a o 、a l 求偏导数，令这两个偏导数等 于零。 署2 - - a 0 - a 1 引= 。 ( 式1 - 4 ) 酱2 暖- a o - a t 阳2 。 ( 式1 - 5 ) 亦即： m a 。+ ( x ；) 铲x ( 式1 6 ) ( x ；) + ( 芝x ；2 ) x ；】 ( 式l 一7 ) 得到的两个关于a o 、a 1 为未知数的两个方程组，解这两个方程组得出 = ( y j ) m - ( 1 1 ( x ：) m ( 式1 8 ) ”【x ；x 一( xz x ) m 】【x t 2 一( x ；) 2 m ( 式l 一9 ) 4 0 和8 即为所求曲线的两个参数。 浙江大学硕士学位论文 第三章工业以太网实时检测系统的设计 本文绪论中对已报道的单机版检测系统缺陷的进行了分析，为了解决其存在 的问题，本文设计了分布式的检测系统。从系统设计的角度可以系统分为四个部 分：w i n d o w s 端服务器、l i n u x 端客户端、流量异常检测算法和交互模块。 流量异常检测算法是本文的核心算法，本文着重介绍了该算法的设计思路， 详述了其详细的推导过程，最后对算法的复杂度也进行了分析。 3 1 检测系统的拓扑结构 图3 - 1 工业以太网实时检测系统的拓扑结构 系统主要包括嵌入式l i n u x 采集客户端( l i n u xc l i e n t ) 和w i n d o w s 下的显示 服务端( w i ns e r v e r ) 两部分。 其中w i ns e r v e r 为应用软件，在w i n d o w s 操作系统下运行，主要功能是搜集 l i n u xc l i e n t s 采集到的网络状况数据，包括网络流量、包信息、协议统计信息 和包长度统计信息，对收集到的各个网段的网络信息进行汇总统计分析，显示整 浙江大学硕士学位论文 个网络的运行情况和网络性能，并对网络异常进行报警处理，同时允许对各个 l i n u xc 1 l e n t 进行控制和参数设置。 l i n u xc l i e n t 为嵌入式l i n u x 系统前置盒，主要功能是利用l i b p c a p 网络数据 抓包库对其所在网段进行实时抓包，并将抓取的原始数据帧的基本信息存储在本 地数据库中。另外前置机还要对数据库中的数据进行简单的处理，统计数据，而 后发送给w i ns e r v e r 。与此同时可以响应w i ns e r v e r 的设置命令。 由于l i b p c a p 所能采集的网络范围有限，所以需要采用分布式的系统架构， 同时也可以充分发挥等级层次性的优点。鉴于系统对实时性以及对显示功能的要 求，采用c s 结构，并以w i n d o w s 作为系统的服务器端平台。 交互模块分为两个部分，分别在l i n u x 和w i n d o w s 下实现，两者之间通过 s o c k e t 建立连接，并实时通信。该模块对底层s o c k e t 协议进行了封装，为其上层 应用程序提供了简单的编程接口。在w i n d o w s 下以d l l 形式实现，在l i n u x 下以函 数接口形式提供。 r 。猫疆甜一一j 图3 2 交互模块 w i n d o w s 浙江大学硕士学位论文 3 2w i n d o w s 端服务器的设计 、ll 一一：l ： 图3 - 3w i n d o w s 端服务器框架 由图3 - 3 可见整个w i n d o w s 端服务器的结构，该部分是一个完整的系统，通过 w i n d o w s 交互模块同l i n u x 客户端进行交互。在系统设计时，采用了m f c 中的 d o c u m e n t v i e w 结构，而该结构其实就是m v c 结构的一种特例，m o d e l 表示模型， 在这里包括数据库和w i n d o w s 交互模块部分，其主要负责数据的存放与读取操作； v i e w 表示视图，可以实现用户和程序之间的交互，所以参数设置和信息显示模块 都被归为这部分；c o n t r o l 则是该结构的核心，相当于m o d e l 和v i e w