（计算机应用技术专业论文）数据流概要与数据流分析若干关键问题研究.pdf

摘要 传感器数据处理、金融证券管理、i n t e r a c t 流量监控、w e b 使用日志及电话呼叫记录的在线分析 等新型应用领域对数据的管理与分析提出了新的要求，如直接反映数据的本来面目、可以处理连续 查询、能够处理异种数据、快速响应用户查询等，其本质是对数据流的管理和分析。数据流是连续 的、输入速率随时间变化的、有序项的序列，数据流上的查询通常连续运行，当新数据到达时增量 式地返回结果，即所谓的长时间运行的、连续的、持久的查询。数据流及其相关技术已经成为当前 数据处理领域的研究热点之一，管理和分析这些连续数据流为传统的数据库领域带来许多新的机会 和挑战。 随着传感器、数据通信、普式计算等相关技术的发展，工业领域中以数据流方式获取的数据量 急剧增加，一些典型工业应用领域如电力系统对数据流处理速度和分析结果精度的要求越来越高a 高精度、快速的数据流分析与高效的具有自适应性数据流管理技术是数据流相关技术走向实用化、 产业化的一个重要突破口。 典型的工业数据流管理与分析包括数据流采集与预处理、数据的特征抽取、数据聚集等基本连 续查询的分析与执行、相关性检测或预测与分类等复杂的分析操作。本文针对上述应用需求展开的 主要研究工作及取得的创新性成果概述如下： ( 1 ) 在数据流清洗方面，提出了带有遗忘因子的k a l m a n 滤波预测算法，能够有效地检测出未来 时刻的异常数据；提出了一种新颖的数据流上的异常数据修正方法，应用插值小波根据连续异常数 据数量的不同，实现了可变插值尺度的异常数据修补，能够自适应修正精度。在实际电力负荷数据 上的仿真实验证明这种方法可以在线准确地检测到异常数据，并能提供精确的异常数据修正。 ( 2 ) 在流数据特征近似抽取方面，对采样、直方图、流矩阵不等概行列采样等概要生成方法进行 了深入研究，针对不同概要在某些方面的缺陷提出相应的改进算法，进一步在各种数据流概要基础 上，提出一种基于概要的数据流管理系统框架，作为此框架的实现，设计了一种适用于工业控制的 协调者工作者数据流聚集模型，基于概要产生可变长数据划分粒度的动态负载均衡方法，解决分布 式环境下工业数据流的聚集处理问题，通过对不同分布仿真数据的实验分析证明提出的模型能够获 得较高的加速比。 f 3 1 在高维数据流相关性分析方面，将统计理论中经典的典型相关性分析方法( c c a ) 应用于数据 流领域，从理论上证明了基于不等概采样的低阶近似技术应用于高维数据流复杂计算的可行性，提 出适于数据流处理的一过性( o n e p a s ss c a n n i n g ) 多变量相关性分析的增量算法s t r e a m c c a ，理论分析 和合成及真实数据上的实验证明s t r e a m c c a 能够在线计算多维数据流之间的典型相关系数。 ( 4 ) 在数据流值预测方面，提出带有“尺度导引”的插值小波算法，在确定性预测信息的基础上， 实现可变预测时间间隔的数据流值预测。构造不连续测量值的特殊卡尔曼滤波模型和误差预测算法， 体现时间序列数据流的动态变化，满足高速数据流只能一遍扫描的限制。为了在计算资源受限的前 提下，协调预测精度与计算复杂度，根据流值变化的快慢程度自适应地确定预测步长：在流值平稳时 缩短预测步长提高预测精度，在流值快速变化时使用较长的预测步长降低计算代价，同时仍然能够 保证要求的预测精度，形成最佳预测点轨迹。 ( 5 ) 多数分类方法基于数据服从静态分布的假设，然而真实世界中数据的采集通常跨越一段时间， 从几秒到几年，如果忽略潜在概念的变化( 即概念漂移) 将会严重降低分类模式的预测性能。提出一种 在线分类系统s t r e a m s p r i n t ，可以动态调整训练窗口的尺寸和分类模型重建期间允许接受的新样本 的个数，以适应当前概念漂移发生的速度；可以对每个数据流样本至多读取一次，并且在常数时间 内处理。在合成和真实数据流上的测试验证了s t r e a m s p r i n t 的性能。 基于上述研究成果，结合电力系统应用领域对高性能数据流管理与分析系统的迫切要求，采用 软硬混技术和并行技术与同研究组其他成员设计并实现了一个数据流管理与分析系统原型。由于系 统采样层次结构与模块化设计，因此易于扩展、升级和移植，原型上的各种仿真实验验证了本文所 研究算法的正确性与实用性。 关键字：数据流；插值小波；卡尔曼滤波；异常数据检测与修复；大纲及概要；典型相关性分 析；低阶近似；不等概采样；预测；自适应精度；分类；增量学习；概念漂移 a bs t r a c t a sa l li n t e g r a t e dt e c h n i q u e ，d a t as t r e a m sm a n a g i n ga n da n a l y z i n ga l eg r o w i n gi n t or e s e a r c hh o t s p o t r e c e n t l y b e c a u s ei t h a st h ea d v a n t a g eo fr e p r e s e n t i n go r i g i n a l l yf e a t u r e so fd a t ad i r e c t l y , p r o c e s s i n g h e t e r o g e n e o u sd 砒a ，c a p t u r i n gi n f o r m a t i o nr a p i d l y ，a n dr e s p o n d i n gu s e 幅q u e r yi ng o o dt i m ee t e ，d a t a s t r e a m sm a n a g e m e n ta n da n a l y z i n gh a sc o m et oh i g ha t t e n t i o nb ym a n ya p p l i c a t i o n ss u c ha sd a t a p r o c e s s i n gi ns e n s o rn e t w o r k , n e g o t i a b l es e c u r i t i e sm a n a g i n g , f l u xi ni n t e m e tm o n i t o r i n g , w e bu s a g el o go r c a l lr e c o r do n l i n ea n a l y z i n ge t e d a t as t r e a m sa g es e r i e so fc o n t i n u o u s , c h a n g i n gw i t ht i m e ，o r d e r e di t e m s q u e r ye x e c u t e do nd a t as t r e a m s , c a l l e da sr u n n i n gl o n gt i m ec o n t i n u o u sp e r s i s t e n tq u e r y , g e n e r a l l yr e t u r n q u e r yr e s u l t sw h i l en e wi t e m ss t r e a mi n t os y s t e mi ni n c r e m e n t a lw a y m a n a g i n ga n da n a l y z i n gt h e s e c o n t i n u o u sd a t as t r e a m sb r i n g su n i q u eo p p o r t u n i t i e s ，b u ta l s on e wc h a l l e n g e s w i t ht h ed e v e l o p m e n to fs o m et e c h n i q u e ss u c ha ss e n s o r , c o m m u n i c a t i o na n dp e r v a s i v ec o m p u t i n g e t e ，m a n yi n d u s t r i e st o d a yh a v em o r et h a nv e r yl a r g ed a t a b a s e s ；t h e yo b t a i nd a t as t r e a m st h a tg r o ww i t h o u t l i m i ta tar a t eo f s e v e r a lm i l l i o nr e c o r d sp e rd a y f o rs o m et y p i c a la p p l i c a t i o n , f o re x a m p l ep o w e ri n d u s t r y , t h er e q u e s tf o rr a p i dp r o c e s s i n ga n dp r e c i s ea n a l y z i n gh a sb e c o m eh i g h e ra n dh i g h e r a c c u r a t ea n df a s t a n a l y z i n g , e f f i c i e n ta n da d a p t i v ed a t as t r e a m sm a n a g e m e n tt e c h n i q u e si si m p o r tb r e a k t h r o u g ht or e a l i z e p r a c t i c a l i t ya n di n d u s t r i a l i z a t i o n t y p i c a lm a n a g i n ga n da n a l y z i n gi n d u s t r yd a t as t r e a m si n c l u d ea c q u i r i n ga n dp r e p r o c e s s i n go r i g i n a l d a t a , a b s t r a c t i n gc h a r a c t e r so fs t r e a m i n gd a t a , o p e r a t i o no fb a s i cc o n t i n u o u sq u e r i e ss u c ha ss e l e c t , j o i n , a g g r e g a t i o ne t e ，c o m p l i c a t e da n a l y z i n gs u c ha sd e t e c t i n gc o r r e l a t i o na n dc l a s s i f y i n g t h i st h e s i ss t u d y a b o v e - m e n t i o n e di s s u e sd e e p l y , w ep r o p o s ea ne f f i c i e n td e n o i s i n ga n dr e p a i r i n ga l g o r i t h mt oi m p r o v et h e p r e c i s i o no f a l lq u e r i e sp r o c e s s i n g ；w ep r o p o s ea f e ws y n o p s i s 限s u n m m 呵) g e n e r a t i n ga l g n d t h mf o rt i m e s e r i e sd a t as t r e a m sa n dm u l t i - d i m e n s i o nd a t as t r e a m st 0 i m p r o v et h ee f f i c i e n c ya n dp r e c i s i o n o f a p p r o x i m a t eq u e r i e se x e c u t i n g ；w ep u tf o r w a r dae x p l o r i n gc o e l a t i o na l g o r i t h m sb a s e do nl o w - r a n k a p p r o x i m a t eo fm a t r i xt h e o r yt od e t e c t i n gc o r r e l a t i o n sb e t w e e nm u l t i - d i m e n s i o nd a t as t r e a m s ；w ed e s i g n a n dr e a l i z ea f o r e c a s t i n gm o d e lt o f o r e c a s ts t r e a m - v a l u e sf o rt i m es e r i e sd a t as t r e a m s ；f i n a l l y , w ed e s i g na n o n l i n ec l a s s i f i e r sw h i c hc a np r o v i d ea d a p tt oc o n c e p t “f i i n go l ld a t as t r e a m st oc l a s s i f ys t r e a m i n gd a t a e f f i c i e n t l y t h em a i nc o n t r i b u t i o n so f t h i sd i s s e r t a t i o ni n c l u d et h ef o l l o w i n g ： ( 1 ) w ed i s c u s st h ep r o b l e m so no u t l i e r sd e t e c t i n ga n do u t l i e r sr e p a i r i n gi nd a ms t r e a m se n v i r o n m e n t ao n l i n ed e t e c t i n gm e t h o df o ro u t l i e r so v e rd a t as t r e a n l s ，c a l l e da k f ( a n m e s i ak a l m a nf i l t e r i n g ) ，i s p r o p o s e d i no r d e rt oi d e n t i f yo u t l i e r , i ta p p l i e si m p r o v e dk a l m a nf i l t e r i n gw i t ht h ea m n e s i af a c t o rt o f o r e c a s td a t a - v a l u ea tt h ef u t u r et i m e s t a m p a n dt h e nan o v e lo n l i n ea d a p t i v er e p a i r i n gm e t h o df o ro u t l i e r s o v e rd a t as t r e a m s , c a l l e da d a p t i v e l w ( a d a p t i v ei n t e r p o l a t i n gw a v e l e t ) ，i sp r o p o s e d t h ea d a p t i v e l w a p p l i e sav a r i a b l e - r e s o l u t i o ni n t e r p o l a t i n gm e t h o d , n a m e dt h ei n t e r p o l a t i n gw a v e l e tw i t ht h ea d a p t i v e r e s o l u t i o n ，t or e p a ko u t l i e r s ，w h i c hd e t e r m i n e si n t e r p o l a t i n gr e s o l u t i o nb a s e do nt h en u m b e ro f c o n t i n u o u s o u t l i e r s i ta d a p t st ot h ed i f f e r e n tr e q u e s t e dp r e c i s i o nf o ro u t l i e r sr e p a i r i n go v e re v o l v i n gd a t as t r e a m sv e r y w e l l e x p e r i m e n tr e s u l t so na c t u a lp o w e rl o a dd a t ap r o v et h a tt h i sm e t h o dc a np r o v i d ew e l l - p r e c i s e i n s t a n t a n e o u sd e t e o d o na n da c e o r a t er e p a i r i n gf o ro u t l i e r so v e rd a t as t r e a m s ( 2 ) i na s p e c to fe x t r a c t i n gc h a r a c t e r i s t i cf r o md a t as t r e a m s , w es t u d i e ds e v e r a ls y n o p s i s & s u m m a r y g e n e r a t i n gm e t h o di n c l u d es a m p l i n g , h i s t o g r a m w a v e l e te t e w ei m p r o v e daf e ws y n o p s i s & s u m m a r y g e n e r a t i n ga l g o d t h mf o c u s i n go nt h el i m i t a t i o no ft h i sa l g o r i t h mi nc e r t a i np e r f o r m a n c e w ep r o p o s e da r e f e r e n c ef r a m e w o r ko fd a t as t r o a n l sm a n a g i n ga n da n a l y z i n gs y s t e mb a s e do nd i v e r s i f i e ds y n o p s i s & s u m m a r y a st h er e a l i z a t i o no ft h i ss y s t e mf r a m e w o l _ l 【 w ed e s i g n e dan o v e lp a r a l l e l d a t as t r e a m s ；i ； p r o c e s s i n gm o d e l ，c a l l e dc o o r d i n a t o r - w o r k e r , t om a n a g ea n de x e c u t ea g g r e g a t i o nc o n t i n u o u sq u e r i e sf o r p o w e ri n d u s t r y , w h i c hg e n e r a t ev a r i a b l ed a t ap a r t i t i o ng r a n u l a r i t yb a s e do ns a m p l i n ga n da p p r o x i m a t e h i s t o g r a mt oi m p l e m e n ts h e , dl o a d i n gd y n a m i c a l l y t h ee x p e r i m e n tr e s u l t so na c t u a ld a t ap r o v et h a tt h e m e t h o di se f f i c i e n t , p r a c t i c a la n ds u i t a b l ef o rp r o c e s s i n gi n d u s t r yd a t as t l e n si nd i s t r i b u t e de n v i r o n m e n t ( 4 ) i na s p e c to f d e t e c t i n gc o r r e l a t i o n sb e b v c e nt w om u l t i p l ed i m e n s i o nd a t as t r e a m su n d e rc o n s t r a i n e d r e 5 0 ，w ep r o p o s e dan o v e lc o r r e l a t i o na n a l y s i sa l g o r i t h mb a s e do nc a n o n i c a lc o r r e l a t i o na n a l y s i s ( c c a ) ，c a l l e ds t r e a m c c a ，i nc h a p t e r4 f o c u s i n go nt h ec o m p u t a t i o n a lb o t t l e n e c ko ft r a d i t i o n a lc c a ， s t r e a m c c ai n t r o d u c e sal o w - r a n ka p p r o x i m a t i o nt e c h n i q u et or e d u c et h ed i m e n s i o n a l i t yo f p r o d u c tm a t r i x r e s u l t e df r o ms a m p l ec o r r e l a t i o nm a t r i xa n ds a m p l ev a r i a n c em a t r i x , w h i c hi m p r o v e sc o m p u t a t i o n a l p e r f o r m a n c ee f f i c i e n t l yo nt h ep r e m i s eo fh o l d i n ga p p r o x i m a t ep r e c i s i o n t h e o r e t i ca n a l y s i sa n d e x p e r i m e n t sr e s u l t so ns y n t h e t i ca n dr e a ld a t as e t si n d i c a t et h a ts t r e a m c c ac a no n l i n ed e t e c tc o r r e l a t i o n s b e t w e e nm u l t i p l ed i m e n s i o nd a t as t r e a m sa c c u r a t e l y ( 5 ) w ei n v e s t i g a t e dr a p i df o r e c a s t i n gp r o b l e mo v e re v o l v i n gt i m e - s e r i e sd a t as t r e a m s a na d a p t i v e f o r e c a s t i n gm e t h o dt h a tc o m b i n e st h ep r e c i s em e r i to fa r t i f i c i a li n t e l l i g e n c ef o r e c a s t i n gm e t h o da n dt h e r a p i dm e r i to ft i m e s s e r i e sf o r e c a s t i n gm e t h o d , c a l l e da f s t r e a m s i sp r o p o s e di nc h a p t e r5 u s i n gan o v e l i n t e r p o l a t i n gw a v e l e ta l g o r i t h mw i t h r e s o l u t i o nc o n d u c t i o n a n dai m p r o v e ds p e c i a lk a l m a n - f i l t e r i n g a l g o r i t h m , a f s t r e a m sc a l ld e t e r m i n e sf o r e c a s t i n g - s t e pa d a p t i v e l yb a s e do nc h a n g er a t i oo fs t r e a n l - v a l u e s a n dc a ng e n e r a t ep r o v e do p t i m a lt r a c ko f f o r e c a s t i n gp o i n tw mm i n i m u mc o m p u t a t i o nc o s to nt h ep r e m i s e o fl i m i t e dm s o u r c e e x p e r i m e n tr e s u l t so na c t u a lp o w e rl o a dd a t ap r o v et h a tt h i sm e t h o dc a np r o v i d e a c c u r a t ep r e d i c t i o no nd a t as t r e a mv a l u e s c o m p a r e dw i t he x i s t e df o r e c a s t i n gm e t h o d , a f s t r e a m sc a n a d a p tt h ec h a n g eo fd a t a w e l la n dp r o v i d et r a d e o f fb c t w e o nc o m p u t i n gc o m p l e x i t ya n df o r e c a s t i n g p r e c i s i o n ( 6 ) m o s tc l a s s i f i c a t i o nm e t h o d sa t eb a s e do nt h ea s s u m p t i o nt h a tt h ed a t ac o n f o r m st oas t a t i o n a r y d i s t r i b u t i o n h o w e v e r , t h er e a l - w o r l dd a t ai su s u a l l yc o l l e c t e do v e rc e r t a i np e r i o d so ft i m e , r a n g i n gf r o m s e c o n d st oy e a r s a n di g n o r i n gp o s s i b l ec h a n g e si nt h eu n d e r l y i n gc o n c e p t , a l s ok n o w na sc o n c e p td r i f t , m a yd e g r a d et h ep r e d i c t i v ep e r f o r m a n c eo fac l a s s i f i c a t i o nm o d e l w ed e s c r i b e da n de v a l u a t e d s t r e a m s p r i n t , a no n l i n ec l a s s i f i c a t i o ns y s t e mi nc h a p t e r6 ，w h i c hd y n a m i c a l l ya d j u s t st h es i z eo ft h e t r a i n i n g w i n d o w a n d t h e n u m b e r o f n e we x a m p l e s b e t w e e n m o d e lr e - c o n s t r u c t i o n s t o a d a p t t h ec u r r e n tr a t e o fc o n c e p td r i f t i tb u i l d sd e c i s i o nt l e * su s i n gc o n s t a n tm e m o r ya n dc o n s t a n tt i m ep e a e x a m p l e w e e v a l u a t et h es y s t e mp e r f o r m a n c eo ns y n t h e t i cd a t aa n do us a m p l es e g m e n t sf r o mr e a l w o r l ds t r e a m so f n o n - s t a t i o n a r yd a t a a c c o r d i n gt ot h eu r g e n td e m a n df o rh i g hp e r f o r m a n c es o f t w a r et om a n a g ea n da n a l y z ed a t as t r e a m si n i n d u s t r y , w ea p p l yc o r p o r a t i o no fs o f t w a r ea n dh a r d w a r et e c h n i q u ea n dp a r a l l e lt e c h n i q u et od e s i g na n d i m p l e m e n tad a t as 仃e a m sm a n a g e m e n ta n da n a l y z i n gp r o t o t y p es y s t e mb a s e do na b o v er e s e a r c h e s t h e p r o t o t y p es y s t e mi sm o d u l a r i z e dt ob ee a s i l ye x t e n d e du p g r a d e da n dm i g r a t e d a l lk i n d so fe m u l a t i o n a l e x p e r i m e n t sp r o v ea b o v e - m e n t i o n e dp r o p o s e da l g o r i t h m s i nt h i st h e s i sa r ec o r r e c ta n de f f i c i e n t k e y w o r d s ：d a t as t r e a m s ；i n t e r p o l a t i n gw a v e l e t ；k a l m a nf i l t e r i n g ；o u t l i e r sd e t e c t i n ga n dr e p a i r i n g ； s y n o p s i s & s u m m a r y ；c a n o n i c a lc o r r e l a t i o na n a l y s i s ；l o w - r a n ka p p r o x i m a t i o n ；n o n - e q u a lp r o b a b i l i t y s a m p l i n g ；f o r e c a s t i n g ；a d a p t i v ep r e c i s i o n ；c l a s s i f i c a t i o n ；i n c r e m e n t a ll e a r n i n g ；c o n c e p td r i f t i n g 论文插图目录 图1 1 工业数据流管理系统抽象参考结构 图1 2 基于概要的数据流分析系统体系结构 图1 3 论文结构图 图2 1a d a p t i v e l w 算法中连续异常点个数的不同情况 图2 2 包含了5 个异常点的实际负荷曲线 9 1 3 图2 3a k f 算法和n n 算法的平均检测时间对比2 1 圈2 4 算法a d a p t i v e l w 、n n e u r v e 和s p l i n e l 的平均修正准确率。2 1 图3 1 协调者，工作者结构的两个工作阶段 图3 2 可变流数据划分粒度策略的关键采样及计算近似分位数。2 5 图3 3a d a p t i v e s a m p l i n g 与r e s e r v o i r s a m p l i n g 的近似聚集查询相对精度对比 图3 4 采样数量与聚集运算执行时间的关系 图3 5 数据流每对并行聚集加速比的影响 图4 1 传感器网络中多维数据流相关性分析 图4 2s t r e a m c c a 算法的工作原理4 0 图4 3 近似c c a 与非近似c c a 运行平均时间对比4 1 图4 4 滑动窗口长度的变化对近似精度的影响 4 2 图4 5s & p 5 0 0 与n a s d a q l 0 0 相关系数曲线( 1 5 年历史数据分析) 4 3 图5 1 可变预测步长的数据流值自适应精度预测模型4 7 图5 2 可变测量值间隔的特殊k a l m a n 滤波( s k f ) 示意 图5 3 插值过程示意 图5 4 预测插值间隔与数据流值变化之间的关系 图5 5 三种预测方法的5 m i n 级相对预测误差比较。 图5 6 a f s 仃e a m s 的3 6 h r 预测值与实际值曲线 4 9 5 3 5 4 5 5 5 6 图5 7 a f s t r e a m s 在不同屯条件下( s = o 1 ) 的生成预测值时间5 7 图5 8 a f s 订e a m s 在不同误差f 条件下( 1 u = 3 0 m i n ) 的相对预测误差 图6 1 数据流分类的基本过程 5 7 5 8 图6 2 连续训练与分类的工作原理一6 1 图6 3 在线分类器系统结构6 3 图6 4s t r e a m s p r i n t 适应概念漂移发生的频率而调整窗口尺寸情况 图6 5s 订e a m s p r i n t 适应概念漂移发生的频率分类误差情况。6 9 图附1p = 2 阶消失矩的d a u b e c h i e s 尺度函数掰日小波系数缈8 2 图附23 次样条插值函数与3 次d e s l a u r i e r - d u b u e 插值函数图形8 2 i i i 论文表格目录 表1 1 d b m s 与d s m s 的对比 表2 1 随机抽取7 天负荷的检测对比结果 表3 1 生成直方图算法运行时间的对比 表4 1s t r e a m c c a 与s v d _ b a s e d 计算股票相关性的精度比较。 表5 1s t r e a m c c a 算法中使用符号 ：! 2 1 3 0 4 3 表6 1s t r e a m s p r i n t 算法中的参数含义 表6 2 实验6 1 中s t r e a m s p r i n t 算法的参数设置 6 6 表6 3w a v e f o r m 和l e d 测试集实验对比6 6 表6 4 电力系统特征的1 8 维特征向量含义 表6 5 实验6 2 中s t r e a m s p r i n t 算法的参数设置 表6 6 实验6 2 中s t r e a m s p r i n t 算法的几种学习方法对比 1 v 6 7 6 7 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书面使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 叠& 刹 日期：! 生7 馏 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：型导师签名： 枕 日期：沪6 、7 ，2 5 第一章绪论 1 1 课题研究背景 第一章绪论 1 1 1 数据流管理概述及应用需求 数据流管理与分析是目前学术界和工业界所共同关注的热点问题，它涉及到实时数据库、主存 数据库、主动数据库、大型数据库查询的近似解答、在线数据挖掘、联机分析处理等许多活跃的研 究领域，具有重要的理论价值与实用价值。 数据流是实时、连续、有序的数据项序列( 顺序由到达时间隐含地表示或显式地由时间戳指定) ， 数据流的数量在理论上是无限的，无法完整地存储下来。数据流上的查询能够事先或即席注册于系 统，以触发的方式或周期性地方式连续运行，源源不断地返回查询结果，就是所谓长时间运行的、 连续的、持久稳定的查询 c m w 0 0 1 l p i ”i 。数据流的几种典型应用领域如下； ( 1 ) 传感器网络查询 传感器网络可以应用于不同的监控应用中，包括复杂的过滤和对于异常事件警报活动的响应， 在多数据流上的聚集和连接用于对多个数据源的分析，对单个数据流的聚集用来作为单个传感器错 误的补偿，典型的查询如下： 分析配电站汇报的最近电力消耗统计( 按位置分组，比如按城市街区分组) ，在必要情况下调整发 电的速率 c d h w w 2 6 0 2 。核电厂异常事件监测，战场士兵方位传感器监控，化学工厂环境温度监控。空 气水环境质晕监控，战场目标位置跟踪等。 ( 2 ) 网络流量分析 在实时情况下，i n t e m e t 通信量的a d - h o c 分析系统已经应用在流量统计和关键条件的检测( 例如 拥塞和服务的拒绝) 【c g j 8 s 0 2 i g k m s h 9 8 肄方面，在i n t e r a c t 中，受欢迎的信息源和目的地址的流量模 式遵守能量分配规律，即大多数带宽被少部分通信量巨大的用户所消耗。示例查询包括： 通信量基数：确定每一个源目的对所使用的带宽数鼍的总和，并且按协议类型或子网掩码分组。 在t c p 三次握手过程中，由第二步和第三步组成的逻辑流上对不同的源目的对的数量进行比 较，如果数量上存在巨大的差异，则意味着可能会发生服务拒绝攻击。 ( 3 ) 事务日志分析 w e b 使用日志的在线挖掘，电话呼叫记录，自动化银行机处理事务等也符合数据流模式特征， 目标是发现有