（计算机应用技术专业论文）基于sopc的无线多媒体传感器节点研究.pdf

基于s o p c 的无线多媒体传感器节点研究 摘要 为了实现更为精确、细粒度的环境监测，迫切需要在无线传感器网络 ( w s n ) 中引入信息量丰富的图像或视频等多媒体信息，从而形成具备高度 感知能力的无线多媒体传感器网络( w m s n ) 。无线多媒体传感器节点是 w m s n 的研究热点，目前以传统微处理器构建的多媒体传感器节点存在着 处理能力有限、开发自由度不高、扩展移植性不强等问题，针对存在的问 题提出并实现了基于可编程片上系统( s o p c ) 的无线多媒体传感器节点设 计方案，最终搭建了一套用于w m s n 开发的实验平台。 本文的研究内容主要涉及无线多媒体传感器网络体系结构、s o p c 软 硬件协同设计方法、n i o s 软核处理器的软硬件开发、嵌入式i p 核的复用 与设计、嵌入式多媒体数据在节点处理技术以及嵌入式“c l m u ) 【操作系统 的移植等。主要完成了以下工作： 1 分析了无线多媒体传感器节点的性能需求和发展趋势，在对比了三 种可行节点架构的基础上，提出了基于s o p c 的无线多媒体传感器节点设 计方案，并对系统核心器件选型作了详细的分析。 2 研究了s o p c 系统的开发流程和设计方法，重点针对w m s n 底层在 节点处理和在节点通信部分的i p 功能模块进行了设计与实现，完成了图像 采集与显示、色度空间变换、运动目标检测、图像边缘提取、j p e g 压缩和 z i g b e e 通信接口等功能模块的设计，并通过了节点硬件的综合验证。 3 分析了无线多媒体传感器节点的软件架构，给出了系统运行的主流 程图，并对嵌入式“c l i n u x 操作系统的移植进行了研究，在节点上完成了 嵌入式p c l i n u x 操作系统的移植和运行验证。 4 对无线多媒体传感器节点的各个i p 功能模块进行了集成，仿真实验 和实际硬件调试结果表明，系统所实现功能达到了预定目标。 关键词：多媒体传感器节点可编程片上系统i p 核复用在节点处理 n i o si i 软核处理器软硬件协同设计现场可编程门阵列 i i t h er e s e a r c ho fw i r e l e s sm u l 月i m e d i as e n s o r n o d e sb a s e do ns o p c a b s t r a c t t bi m p l e m e n tm o r ea c c u r a t ea n df i n e - 笋a i n e de n v i r o 砌e n tm o n i t o r i n g ，i ti s n e c e s s a r yt oi n t r o d u c ei m a g eo rv i d e om u l t i m e d i ad a t ai n t o w i r e l e s ss e n s o r n e t w o r k s ，a n dt h e r ec o m ei n t ob e i n gw i r e l e s sm u l t i m e d i as e n s o rn e t w o f l ( s ( w m s w i t hh i 曲- p e r c 印t i o na b i l i 妙t h ea c a d e m i cc i r c l e sh a v eb e e nm a k i n g a c t i v er e s e a r c ho nw i r e l e s sr n u l t i m e d i as e n s o rn o d e s ，b u tm en o d e sb a s e do n t r a d i t i o n a lm i c r o p r o c e s s o r se x i s ts o m ep r o b l e m s ，s u c h 嬲l i m i t e dp r o c e s s i n g c 印a b i l i 吼l o wd e g r e eo f6 e e d o m i i l d e v e l o p m e n t ，a n dw e a kt r a n s p l a n t a t i o n p e r f o r m a n c e a i m i n g a tt t l e s e p r o b l e m s ，t h ed e s i g n s c h e m eo fw i r e l e s s m u l t i m e d i as e n s o rn o d e sb a s e do ns o p ci sp u tf o 刑a r d 姐di m p l e m e n t e di nt h e p 印e r a n das e to f h a r d w a r ed e v e l o p m e n tp l a t f o n no fw m s ni sb u i l t t h em a i l lr e s e a r c hc 6 n t e n t so fm i sp a p e ri n c l u d e ：m es y s t e ms t m c t u r eo f w m s n ，t h em e t h o do fh a r d w a r e - s o 胁a r ec o - d e s i g n ，t h er e u s ea n dd e s i g i lo f e m b e d d e di p c o r e s ， m ei n - n o d e p r o c e s s i l l gt e c h n o l o 斟 o ne m b e d d e d m u l t i i i l e d i ad a t a a n dm et r a i l s p l a n t a t i o no fe m b e d d e dp c l i 肌xo p e r a t i n g s y s t e m t h em 萄o rt a s k sc o m p l e t e d a r ea sf o l l o w s ： f i r s t l y ，t h ep e r f o m l a n c er e i m e n ta n dd e v e l o p m e n t 打e n do fw i r e l e s s m u l t i m e d i as e n s o rn o d e sa r ea n a l y s e d o nm eb a s eo fc o m p a r i n gt i l r e ef e a s i b l e i i i n o d e s 厅a m e w o r k s ，m ed e s i g ns c h e m eo fw i r e l e s sm u l t i m e d i as e n s o rn o d e s b a s e do ns o p ci sp u tf o n a r d ，a n dt h es e l e c t i o no fk e yd e v i c e si sa n a l y s e d s e c o n d l y ，t h ed e v e l o p m e n tn o w sa n dd e s i g nm e t h o d so fs o p ca r em a d e r e s e a r c h ，a n dt h ek e yi pm n c t i o n m o d u l e si nt h eb o t t o mo fw m s n a r ed e s i g n e d a n di m p l e m e n t e d ，w h i c ha r et h ei m p o r t a n tp a r t so fi n j n o d ep r o c e s s i n ga n d i n n o d ec o m m u n i c a t i n g t h ei m a g ea c q u i s i t i o na n d d i s p l a y ， c o l o r s p a c e c o n v e r t e r s ，m o t i o no b je c td e t e c t i o n ，i m a g ee d g ee x t r a c t i o n ，j p e gc o m p r e s s i o n ， a n dz i g b e ec o m m u n i c a t i o ni n t e r f a c eh a v eb e e ni m p l e m e n t e di nt h ep a p e r a n t h ei p 矗j n c t i o nm o d u l e sh a v eb e e nt e s t e da n dv e r i f i e do nt h es e n s o rn o d e s t h i r d l y ，t h es o r w a r e 行锄e w o r ko fw i r e l e s sm u l t i m e d i as e n s o rn o d e sb a s e d o ns o p ci sa n a l y s e d ，a j l dt 1 1 em a i nw o r | 【n o wd i a g r a mo ft 1 1 es y s t e mi sp r o v i d e d i n l e p a p e r b e s i d e s ，t h et r a n s p l a n t a t i o n o fe m b e d d e dp c l i n u xo p e r a t i n g s y s t e mi sm a d er e s e a r c ha n dt e s t e do nt h es e n s o rn o d e s l a s t l y ，e v e 巧i p 如n c t i o nm o d u l eo nw i r e l e s si i m l t i m e d i as e n s o rn o d e si s m a d ei 1 1 t e g r a t i o n ，a n das e r i e so fe x p e r i m e n td a t aa n dr e s u l t sa r ep r o v i d e d ， w h i c ha r ei na c c o r dw i t hm ee x p e c t a mp u 叩o s e k e yw o r d s ：m u l t i m e d i as e n s o rn o d e s ；s o p c ；i pc o r e sr e u s e ；i n n o d e p r o c e s s i n g ； n i o si is o m c o r ep r o c e s s o r ；h a 耐w a r e - s o 胁a r e c o d e s i g n ；f p g a i v 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除已注明部分外，论文中不包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均已在论文中明确说明并致谢。 论文作者签名： 麟是 毋毽年6 窍| g 日 学位论文使用授权说明 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 、 函即时发布口解密后发布 ( 保密论文需注明，并在解密后遵守此规定) 糍周勉翩签 年月日 广西大掌硕士掌位论文基于s o p c 的无线多媒体传感器节点研究 1 1 引言 第一章绪论 随着微机电系统m e m s ( m i c r 0e l e c t r 0 m e c h a i l i c a ls y s t e m s ，简称m e m s ) 、片上系 统s o c ( s y s t e m o n _ a - c h i p ，简称s o c ) 、嵌入式计算、无线通信以及传感器等技术的快 速发展和日益成熟，无线传感器网络w s n ( w i r e l e s ss e n s o rn e 似o r k s ，简称w s n ) 相关 领域的研究取得了突破性的进展。w s n 将真实世界数据流与计算机虚拟环境结合在一 起，利用传感器嵌入式计算与分布式信息处理等多种技术，将传感器感受到的各种信息 通过无线网络进行共享，+ 并传递给远端监控中心作进一步分析与决策【l 】【2 l 。这种传感器 网络能够协调地感知、采集和处理网络覆盖区域内的各种环境或监测对象信息，并发布 给需要这些信息的用户。w s n 将逻辑上的信息世界与真实的物理世界融合在一起，深刻 地改变了人与自然的交互方式，其在军事、工农业控制、生物医疗、环境监测等众多领 域有着广阔的应用前景【l 叫。 传统的w s n 主要研究如何在能量和带宽严重受限的微型节点上实现一维环境数据 ( 如温度、湿度、光强等) 的采集、传输与处理等【3 j 。然而，为了实现更为精确、细粒度 的环境监测，迫切需要将信息量丰富的图像、音频、视频等多媒体数据引入到以传感器 网络为基础的环境监测中来，形成具备高度感知能力的智能监测网络【5 】。由此，无线多 媒体传感器网络w m s n ( w n l e s sm u l t i i i l e d i as e 璐o rn e 咖r l 【s ，简称w m s n ) 应运而生。 1 2 选题背景及意义 无线多媒体传感器网络w m s n 由多种感知类型的媒体传感器节点构成，其监测能 力远远大于几种感知单一媒体类型的传感器网络的简单叠加【5 】。多类型传感数据从不同 角度描述物理世界，对同一场景获取的多种类型数据进行融合，从而可以得到对环境更 为全面而有效的感知。w m s n 主要是利用多个分布式节点对场景信息进行采集，并进 行在节点处理( i n n o d ep r o c e s s i n g ) ，提取特征信息或感兴趣事件信息，然后进行信息发 布与共享，通过不同级别的媒体传感器之间的协作处理，从而完成对被监测场景的事件 感知任务。如图1 1 所示为无线多媒体传感器网络的模型示意酬倒。 无线多媒体传感器网络w m s n 在军事、民用、商业等领域都具有非常广阔的应用 前景。其中，图像视频传感器网络是目前研究的热点。具体的应用领域集中在：战场 监控、交通监控、安全敏感区域监控、智能家居、目标跟踪、公共安全监测等众多领域。 广西大掌硕士掌位论文基于s o p c 的无线多媒体传感器节点研究 另外，根据监测任务的不同，w m s n 可实现目标监测、目标识别、目标跟踪、目标分 类以及场景重建等五大功能【5 9 】。 自国低级别传感器节点 卜 目标信息获取 9 阮 高级别传感器节点_信息共享 、神 、 ( 三0 监测目标 ”信息反馈 - 图1 1 无线多媒体传感器网络模型 f i g 1 一lt h em o d e l0 f 晰佗l e 豁m u l t i i i l e d i as e n s o rn e m 0 r k 无线多媒体传感器网络w m s n 作为全新的研究领域，在基础理论和实现技术两个 层面上提出了大量富有挑战性的研究课题。这些问题的解决，是加快w m s n 走向实用 的基础。其中，无线多媒体传感器节点的研究尤为关键，此类节点除了要具备普通无线 传感器节点的共性( 如低功耗及小型化设计、信息安全保证等) 以外，还应该在以下几个 方面具备更高的性能指标p 1 1 】： ( 1 ) 更高的在节点处理能力。无线多媒体传感器节点采集到的图像等媒体数据具有 高冗余性和相关性，在网络带宽资源紧张的情况下，必须提高在节点处理能力，捕捉感 兴趣目标信息，并进行特征提取、压缩等处理后，再进行传输和信息共享，从而减少网 络负荷，以提高整个网络的实时性。 ( 2 ) 更大的存储容量需求。由于图像等媒体信息数据量庞大，而且节点中同时存在 多种类型的传感器。因此，需要足够的系统存储容量来完成媒体信息的采集和处理，以 及其它相关数据的融合等。 ( 3 ) 更高效的节能控制策略。更高的在节点处理能力和大存储容量也必然会带来严 重的能耗问题，高效的路由机制、合理的低功耗设计以及最优化的节能控制也是评价多 媒体传感器节点的重要性能指标。 ( 4 ) 更高的实时性和带宽需求。图像等媒体信息对网络的实时性和带宽要求非常高， 在带宽资源以及节点处理能力有限的前提下，提高网络的实时性，是w m s n 技术迈向 实用化的关键。 无线多媒体传感器节点的这些性能指标就必然要求节点硬件朝着微型化、一体化的 方向发展。利用片上系统s o c 、现场可编程门阵列f p g a ( f i e l dp r o 伊a m m a b l eg a t e 蛔， 2 广西大掌硕士学位论文 基子s o p c 的无线多媒体传感器节点研究 简称f p g a ) 以及微机电系统m e m s 等技术l i 列，在一块芯片上完成整个系统的功能，最 大化节点的处理能力和可靠性，最小化节点的体积、功耗和成本，从而构建基于可编程 片上系统s o p c ( s y s t e mo np r o 黟a m m a b l ec h i p ，简称s o p c ) 架构的无线多媒体传感器节 点平台。这也是s o p c 技术在高性能d s p 应用领域的一项重大挑战，能解决传统多处 理器架构所带来的成本、体积以及稳定性等方面的局限性问题。 现代大容量高速f p g a 以及相应s o p c 技术的应用，为多媒体数据采集和处理提供 了一种新的解决方案。在这些f p g a 中，一般都内嵌有可配置的删、p l l 、l v d s 、 l v l r i l 以及硬件乘法累加器等模块l l 硼。用f p ( 浚来实现数字信号处理可以很好地解决 并行性和顺序性的矛盾，直至速度问题，而且其灵活的可配置特性，使得f p g a 构成的 d s p 系统非常易于修改和测试【1 4 1 。而且，在图像方面已经有很多成熟的知识产权i p 核 ( i m e l l e c t i l a l p r o p e r 哆c o r e ，简称i p ) 可供使用，如2 d 滤波器、2 df f t 等。随着半导体 技术的飞速发展，利用s o p c 构建高性能d s p 系统，并将其应用在无线多媒体传感器 网络w m s n 的开发中，必将有着很好的发展前景。 1 3 国内外研究现状 1 3 1 国内外s o p c 技术发展现状 s o p c 是可编程逻辑器件p l d ( p r o 掣觚l i i l a b l el o 西cd e v i c e ，简称p l d ) 和专用集成 电路a s i c ( a p p l i c a t i o ns p e c i f i c1 1 1 t e 黜dc 沁u i t s ，简称a s i c ) 技术融合的结果。目前 o 1 3 岫的a s i c 产品制造价格仍相当昂贵，然而，集成了软硬核c p u 、d s p 、存储器、 外围i o 及可编程逻辑的s o p c 芯片在应用的灵活性和价格上都有着极大的优势，所以 s o p c 被称为“半导体产业的未来【b 】。s o p c 技术最早是由美国a l t e m 公司于2 0 0 0 年 提出的，是电子设计自动化e d a ( e l e c 呐1 1 i cd e s i 鹊a u t o m a t i o n ，简称e d a ) 技术、现代 计算机辅助设计技术c a d ( c o m p u t e ra i d e dd e s i 弘，简称c a d ) 和超大规模集成电路技 术高度发展的产物【1 6 】。s o p c 设计以p 核为基础，以硬件描述语言如) l ( h 羽眦鹏 d e s 嘶p t i o nl a l l g u a g e ，简称h d l ) 为主要设计手段，借助e d a 设计工具，自顶向下地进 行【l 刀。s o p c 设计技术涵盖了嵌入式系统设计技术的全部内容，包括以处理器和嵌入式 操作系统为核心的软件设计技术、以p c b 和信号分析为基础的高速电路设计技术、软 硬件协同设计技术、口核复用设计技术、仿真与测试技术等。 a l t e r af p g a 的快速发展为s o p c 技术提供了很好的研究平台。2 0 0 2 年，a l t e r a 推 出了s n 纰i ) 【系列高密度、高性能f p g a ，其建立在0 1 3 岬、1 5 v 工艺技术之上，是首 款采用d s p 模块( 带有乘法器、加法器、减法器和累加器) 和三种嵌入式存储器结构的 f p g a 器件。2 0 0 4 年，a l t e r a 开始研发s t r a t i xi i 系列f p g a ，其建立在9 0 n m 、1 2 v 工艺技术之上，在保持s t r a t i x 系列所有特性的基础上，还增加了自适应逻辑模块( a l m ) 、 增强型d s p 模块( 具有饱和及取整功能) 、d d r 2s d 洲专用外部存储器接口等。2 0 0 6 广西大掌硕士学位论文基于s o p c 的无线多媒体传感器节点研究 年，a h e r a 再次开始下一代s 缸i a t i xi i i 系列的研发，主要解决的关键问题是功耗和信号完 整性，可利用q u a m l si i 开发软件的p o 、e r p l a y 功耗分析和优化工具来进行内核低功耗 设计【2 0 1 。s t r a t i xi i i 建立在6 5 n m 、0 9 1 1 v 工艺技术之上，并且增加了可编程功耗技术、 可选内核电压、经过优化的嵌入式存储器模块、d d r 3s d r a m 和q d is r a m 的专用 外部存储器接口等【2 1 1 。另外，舢t e r a 飓风( c y c l o n e ) 系列f p g a 也发展迅速，在低功耗、 低成本和高性能方面也占据了绝对优势。 a l t e r a 公司每年在亚太地区举行n i o si i 嵌入式处理器设计大赛，并通过大学计划为 全球范围内的高等院校提供先进的开发软件、可编程逻辑器件、开发工具以及完整的设 计套件。a l t e r a 公司已与国内知名大学成立了4 4 所联合实验室和培训中心，众多高校都 纷纷投入到s o p c 技术的研究与应用中来。澳大利亚、印度、韩国以及我国台湾的许多 高校也在s o p c 技术的研究中取得了显著的成果1 2 弼o j 。表1 1 总结了近年来国内外s o p c 技术应用中的一些典型研究成果。 表1 1s o p c 技术应用的典型研究成果 t a b l el - lt h e 聊i c a lr e s e a r c hp m 黟e s s e so ns o p ct e c h n o l o 斟a p p l i c a t i o n 参考文献 研究机构研究课题研究成果 北京交通大学计算机基于n i o si i 的m r i实现了脊椎核磁共振矢状图自动的 【2 2 】 学院信息科学研究所脊柱图像分割系统椎间盘定位以及量化的标注 家庭便携式初步实现了一种对于家庭、社区医疗 【2 3 】华侨大学 远程医疗监护器等较为有效便捷的医疗监测系统 重庆大学基于n i o s 的利用硬件加速( c 2 h ) 编译器自动 【2 4 】 通信工程学院指纹识别系统加速显著提高系统总体性能 基于n i o s i i 的利用抽取算法减小传输数据量，提高 【2 5 】西安电子科技大学 i pc 锄e r 2 l 设计 传输带宽，实现视频局域网内传输 台湾义守大学智能型动态利用双n i o si i 软核与机器视觉技术 【2 6 】 信息工程学系图像追踪自控车来实现小车自动导航 台湾清云科技大学 利用f p g a 实现基于利用h 2 6 4 可变区块比对法 【2 7 】 h 2 6 4 可变区块比对 ( v b s b m a ) 进一步改善 电子工程研究所 硬件基础结构视频的压缩效率 m o n 弱hu n i v e r s i 够 基于f p g a 的飞行器利用两级距离变换( d t ) 算法实现 【2 8 】 ( 澳大利亚)自导航系统 飞行器三维空间参数的控制 k w a i l g 、) l ，0 0 n 基于n i o si i 处理器实现了机器人 【2 9 】 自主无线搜索机器人 u n i v e r s i t ) ，( 韩国) 实时图像处理和识别 i i l d i a n1 1 1 s t i t u t e0 f 基于n i o s i i 处理器的实现了一个低功耗、高性能的 3 0 】 s c i e n c e ( 印度)多媒体解码器h 2 6 4 视频解码器 4 广西大学硕士学位论文基于s o p c 的无线多媒体传感器节点研究 根据s o p c 技术的可重构性等优点以及目前已有的典型应用成果可知，s o p c 技术 尤其适合对系统性能、实时性、集成度、扩展性以及低功耗等方面要求较高的复杂嵌入 式系统的设计。而无线多媒体传感器节点的各项性能指标要求表明，利用s o p c 技术设 计无线多媒体传感器节点是可行的，也是其必然的发展趋势。 另外，国际集成电路研讨会暨展览会( i n t e m a t i o n a li cc o n f e r e n c e & e x p o ) 、便携式 消费者电子研讨会、中国电子创新应用高峰论坛、e d a 技术论坛( e d at e c hf o m m ) 、 s o p cw o r l d 等国际重要会议也都非常关注s o p c 技术的发展。 1 3 2 无线多媒体传感器节点研究现状 近年来，w m s n 节点的研究已经引起了各国科研人员的密切关注，一些专家学者在 该领域开展了探索性研究，在i e e e 系列会议( 如m a s s 、i c i p 等) 、a c m 多媒体和传感器 网络相关会议( a c mm u l t i m e d i a 、a c mm o b i c o m 、a c mw s n a 等) 发表了一系列重要 的研究成果。从2 0 0 3 年起，a c m 还专门组织国际视频监控与传感器网络研讨会( a c m i n t e m a t i o n a jw b r k s h o po n d e os u r v e i l l 锄c e & s e n s o rn e t 、o r l ! 【s ) 交流相关研究成果。美国 加利福尼亚大学、斯坦福大学、卡耐基梅隆大学、马萨诸塞大学、波特兰州立大学等 著名学府也都纷纷开始了w m s n 方面的研究工作，并取得了很多值得借鉴的成果【3 l 。3 5 】， 表1 - 2 总结了近年来国内外无线多媒体传感器节点研究的一些典型成果：。 ( 1 ) 波特兰州立大学( p o r t l 锄ds t a t eu i l i v e r s 时) 计算机学院w u - c l l if e n g 等人设计的 视频传感器节点p a n o p t e s 作为嵌入式视频传感器节点的雏形，能够有效地完成视频序列 的获取、压缩、过滤、缓冲及流处理等主要功能【3 l 】。 ( 2 ) 斯坦福大学( s t a r 面r du i l i v e r s i t ) r ) 无线传感器网络实验室i a i ld o w n e s 等人设计的 无线图像传感器节点可匹配两种不同分辨率的图像传感器，并且扩展了传感器接口，该 节点能够实现对目标方向和速度的估计，并成功实现边缘提取和背景分离等功能1 3 2 】。 ( 3 ) 斯坦福大学( s t a i 渤r du n i v e f s i 锣) 无线传感器网络实验室s t e p h 蛆等人开发了无 线图像传感器网络应用平台( w i s n a p ) ，w i s n a p 是基于m a t l a b 的应用平台，开发者可 以利用实际硬件在该平台上研究、设计和评估各种应用算法【3 3 - 。 ( 4 ) 马萨诸塞大学( u i l i v e r s 蛔o f m a s s a c l n l s e t t s ) 计算机学院k u l k a 加i 等人提出了多层 无线图像传感器网络设计架构。该架构利用多种性能的传感器节点组成多层无线图像传 感器网络，由低到高逐层唤醒各级节点，实现真正意义上的分布式协同处理，从而最大 化网络的寿命及可靠性【3 5 1 。 目前，我国学者也非常重视无线多媒体传感器网络相关领域的研究，中国科学院计 算技术研究所、哈尔滨工业大学、北京邮电大学智能通信软件与多媒体实验室、同济大 学宽带无线通信与多媒体实验室等科研院所也已经开始了该领域的探索，并取得了一定 的阶段性成果1 3 训。 广西大掌硕士学位论文基于s o p c 的无线多媒体传感器节点研究 表1 2 无线多媒体传感器节点的典型研究成果 t a b l el 一2t h et y p i c a lr e s e a r c hp r o g r e s s e so fw m s nn o d e s 参考文献研究机构资源结构实物图 p o r t l a n ds t a t e 基于s 仃o n g a r m 嵌入式l i n u x 平台 3 l 】 u n i v e r s i t y 主频2 0 6 m h z ，6 4 m br a m 内嵌l i n u ) ( 2 2 1 9 操作系统 垂涎麓， ( 波特兰州立大学) 8 0 2 1 1 无线通信模块 w s nl a b a r m 7 t d m i3 2 - b i tc p u 内核 s t a n f o r du n i v e r s i 够 6 4 k b 片上r a m ，2 m b 外部f l a l s h 荔萄弱遂餮鹾i 、j ? 缀： 3 2 】 ( 斯坦福大学， 2 4 g h zc c 2 4 2 0z i g b e e 射频模块 w s n 实验室) 丰富的传感器接口，u s b 接口 w s n l a b 基于m a t i a b 的w i s n 开发平台 s t a n f o r du n i v e r s i 妙 标准的应用程序接口( a p i ) 3 3 】 ( 斯坦福大学， 开放式系统架构，丰富的扩展口 w s n 实验室) 支持任何类型的传感器和节点 m i c a 节点：a t i l l e g a l 2 8 ，6 m h z 4 k b r a m ，基于8 0 2 1 5 4 通信标准 【3 4 】 u n i v e r s i 哆o f y a l ex y z ：o l 1 2 c c l k； w h - 广 1 2 c d 盯 ；l n 负 。- r ， - 。， 图3 1 2t f tl c d 初始化配置模块 f i g 3 一l2t h ei n i t i a l i z a t i o nc o n f i g u r i n gm o d u l eo ft f tl c d 如图3 1 3 所示为v e r i l o gh d l 设计的t f tl c d 显示控制器模块l c dc o m r o l l e r v 。 其中，r e a dr 、r e a dg 和r e a db 为读取s d r a m 中的图像缓存数据输入， l c dc o r l 仃o l l e r 输出为t f tl c d 显示所需的时序控制信号；l c dp l l 为锁相环i p 核， 输入2 7 m h z ，经分频得到1 8 m h z 的时钟信号供l c d 显示控制器使用。 图3 1 3t f tl c d 显示控制器模块 f i g 3 131 1 1 ed 卸l a yc o n 仃o l l e rm o d u l eo ft f tl c d 如图3 1 4 所示为利用示波器实测得到的t f tl c d 显示模块相关波形图。 ( a ) 1 2 c 配置波形( b ) 时钟、行场同步( c ) 数据位流 图3 1 4t f tl c d 显示模块各类波形 f i g 3 1 4k i n d so fw i l v ep i c t u r e so nt f tl c dm o d u l e 3 0 一一一一 托 基于s o p c 的无线多媒体传感器节点研究 3 2 3 色度空间转换m 核的设计 色度空间变换c s c ( c o l o rs p a c ec o n v e n e r s ，简称c s c ) 主要涉及i b 与y c b c r 两种色 彩空间之间的转化。y c b c r 是一种非常重要的色彩空间格式，其中y 指颜色的明亮度 ( l u m 洫a i l c e ) ，即图像的灰度值；c b c r 表示色度( c h r o m i n a n c e ) ，反映颜色的类别，分别 表示蓝色色度和红色色度。明亮度y 是通过r g b 输入信号来创建的，方法是将r g b 信号 的特定部分叠加到一起，而c b c r 反映的是r g b 输入信号蓝( 红) 色部分与i b 信号亮度值 之间的差异【6 9 】。 y c b c r 格式易于实现压缩、传输和处理，因此被广泛应用于计算机视频和图像处理 中，如下一节将要讨论的j p e g 压缩就是用y 曲c r 作为存储像素的格式。i t u r ( 国际电信 联盟) b t 6 0 l 制定的r g b 与y c b c r 两种色彩空间之间的转换矩阵如下【7 0 】： ， 】， 、if ，7 7 2 5 6 1 5 0 2 5 6 2 9 2 5 6 、f ，r 、 i 劬一1 2 8 | = l 刮2 5 6 8 衫2 5 61 3 1 2 5 6i l g l ( 3 1 ) l d 1 2 8 l 、1 3 1 2 5 6 一l1 9 2 5 6 2 1 2 5 6 八b j、，、， 在式( 3 1 ) 中，系数矩阵各分母2 5 6 是r 、g 、b 信号经8 位量化后的电平等级数，而 色差信号c b c r 减1 2 8 是把零电平上移到总电平的一半，因为色差信号常含有正负符号。 每一分量的8 位量化精度共2 5 6 个量化级( 呲5 5 ) 中，o 和2 5 5 用于同步，并考虑到为编码 和滤波留有余地而指定亮度信号只能占2 2 0 个量化级，其中最低一级为黑电平，指定为 1 6 ；同时指定两个色差的数字信号占2 5 5 个量化级，且当色差电平为0 时所对应的数字信 号值为1 2 8 。 y c b c r 到r g b 的转换矩阵如下式【叫： ，足、r 1 1 4 0 2 o 、， 】， 、 igl = l1 o 1 7 7 2 | lc 6 一1 2 8i ( 3 2 ) l b jl l - 0 7 1 4 _ o 3 4 4 j l c ，一1 2 8 j 本文所用c m o s 图像传感器采集到的原始图像数据为如图3 1 5 所示的b a y e r 像素 格式，上一节中设计的洲r g b v 子模块可对其进行处理，分离出r 、g 、b 数据， 然后再通过色度空间变换即可得到y c b c r 信号。可采用三种方法来实现c s c ：直接 利用v e r i l o gh d l 进行模块设计；利用a l t e r ac s cm e g a c o r e 完成i p 核复用；利用 d s pb u i l d e r 建模。研究中分别对三种方法加以实现，这里只讨论后两种方法。 a l t e m 提供了部分m e g a c o r e 功能i p 核，可通过口复用技术将其快速融合到系统当 中，从而提高设计效率。如图3 一1 5 所示，在q 1 场i t l l si i 中调用1 硒l s m e g a 、聃z a r dp l u g i n m a i l a g e r 命令，然后通过向导设置色度空间转换c s cm e g a c o r e 的功能参数，从而生成 c s c 模块及所需的设计文件【7 l 】。 另外，根据i 沁b 到y c b c r 的转换关系，也可利用m a t l a b s i n l u l i r 出建模实现转换功 能，并通过d s pb u i l d e r s i 印a l c o m p i l e r 将m d l 转化为h d l 模块以供系统调用。如图 广西大掌硕士学位论文基于s o p c 的无线多媒体传感器节点研究 3 1 6 所示，利用d s pb u i l d e rl i b r a r y 提供的算术逻辑运算、门控逻辑、存储单元、总线 逻辑、状态机等模块集，就可以进行d s p 建模。 霜 圈 a m h me l e 霜 鏊窭 0 b u s 图3 - 1 5c s cm e g a c o r e 色度空间变换i p 核创建流程 f i g 3 - 1 5t h eb u i l d i n gf l o wo f c s cm e g a c o r e 墓 s o p cb u i i d e rl j n k sr a l ec h a n g e 馨墓藿睁豳翅蛔罗 ( a ) d s pb u i l d e rl i b r a 巧 m e g a c o r ef u n c l l o n s ( b ) c s c 建模 图3 1 6色度空间变换d s pb u i l d e r 建模 f i g 3 - 1 6t h em o d e lb u i l d i n go f c s cb yd s pb u i l d e r 3 2 叠一 藿 蓦枞墓脚 广西大学硕士学位论文基于s o p ( ：的无线多媒体传感器节点研究 如图3 1 7 所示，在m o d e l s h i ls e6 1 中对c s c 模块进行功能仿真，能正确地将输 入i b 数据转换为y c b c r 数据，并在多媒体传感器节点上进行了验证。 广r 广广广_ _ 1 1 1 1 1 寸- r 1 _ 中1 _ 门 匿卫e 碍口匿翠e 匿邛匝二孺 匝卫口匝卫岛= 盈墨匿= 蕊 图3 1 7色度空间变换模块m o d e l s m 仿真波形图 f i g 3 - l7n e s i m u l a t i o nw 蠢v ep i c n 鹏o fc o l o rs p a c ec 0 n v e n e r sm o d u l e 3 2 4 运动目标检测i p 核的设计 运动目标检测是多媒体传感器在节点处理的一个重要环节，为了降低能耗、节约资 源，传感器网络只需对感兴趣事件做出响应。当节点检测到运动目标时，。+ 才触发多媒体 传感器网络对该事件进行处理和分析。 本文主要研究静态背景下的运动目标检测，常用的方法主要有光流法、背景差分法、 帧间差分法三种吲。研究中主要针对背景差分和帧间差分这两种常用算法加以实现。 背景差分法利用当前图像与背景图像的差分来检测运动目标，该方法能较完整地提 取目标信息。其原理可用下式表示【7 3 】