（控制理论与控制工程专业论文）面向家庭服务的网络机器人技术研究.pdf

i 迮s e a r c ho n t e c h n o l o g yo fn e t w o r k e dr o bo t f o rh o m es e r v i c e s at h e s i ss u b m i t t e dt o s o u t h e a s tu n i v e r s i t y f o rt h ea c a d e m i cd e g r e eo fm a s t e ro f e n g i n e e r i n g b y z h o u y i n g s u p e r v i s e db y p r o f m ax u d o n g s c h o o lo f a u t o m a t i o n s o u t h e a s tu n i v e r s i t y m a r c h2 0 1 0 2 洲8圳4 川川i6舢7i耵ii-舢y 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除 了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获 得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 研究生签名：虱莫日期： 塑壁垒纲 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档， 可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密 期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部内容或中、 英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大学研究生院办理。 研究生签名：旦叁导师签 弘 o 弁锏 摘要 面向家庭服务的网络机器人技术研究 研究生姓名： 导师姓名： 学校名称： 周英 马旭东教授 东南大学 摘要 网络机器人是一个融合了机器人控制、计算机网络和多媒体通信等多个学科的新兴领域。 近年来，由于全球社会老龄化现象的日益严重以及改善残疾人生活的迫切需要，面向家庭服 务的网络机器人的研究已经成为全球研究的一个热点。论文系统地研究了网络机器人控制中 的多媒体交互、异构平台的互操作等关键技术，并重点解决了基于网络的视觉伺服控制，音 频监控与交互的设计与实现等关键内容，在此基础上设计并实现了一个面向家庭服务的网络 机器人控制系统。 论文首先论述了开放式网络机器人控制系统平台的组成原理，并针对其家庭服务的应用， 接着给出了控制系统的总体结构。该控制系统利用j a v a a p p l e t 技术实现了一个操作简单的人 机交互接口，用户可通过w e b 浏览器进行访问和操作。系统可提供音、视频监控，基于网络 的移动机器人抓取作业，语音交流等服务功能。为实现基于网络的移动机器人抓取作业，论 文提出了将人工遥操作与机器人自主视觉伺服相结合的控制方式。首先构建了p 2 - d x 机器人 5 + 1 自由度机械臂的正逆运动学模型，研究了基于位置的视觉伺服控制方法；接着论述了抓 取目标识别方法和雅克比矩阵的推导，研究了基于图像的视觉伺服控制方法。为实现双向语 音交互，论文中利用j a v as o u n da p i 和o s sa p i 音频处理接口，实现实时音频采集、传输和 播放。特别为改善在低带宽的网络环境下语音传输的质量和实时性，论文中对采集的音频进 行预处理，并采用g s m 编码，多线程和循环缓冲列队机制。经实验验证，该控制系统具有 较好的性能，能显著提高抓取作业的成功率，并实现实时语音的连续播放。 关键词：网络机器人；陪护机器人；视觉伺服；音频监控；音频交互；c o r b a a b s t r a e t r e s e ar c ho nt e c h n olo g yo fn e t w ork e dr o b o t f o rh o m es e r vic e s z h o u 陆g s u p e r v i s e db yp r o f m ax u - d o n g s o u t h e a s tu n i v e r s i t y a b s t r a c t n e t w o r k e dr o b o t i c si sam u l t i d i s c i p l i n a r yr e s e a r c hf i e l dt h a tr e q u i r e st h ec o l l a b o r a t i o no f r o b o t i c s ，c o m p u t e rn e t w o r k s ，m u l t i m e d i ac o m m u n i c a t i o n sa n ds o m eo t h e rd i s c i p l i n e s i nr e c e n t y e a r s ，d u et ot h ep r e s s i n gd e m a n do ft h ea g i n gs o c i e t ya sw e l la st h eu r g e n tn e e dt oi m p r o v et h el i f e q u a l i t yo ft h ed i s a b l ep e o p l e ，r e s e a r c ho nn e t w o r k e dr o b o tf o rh o m es e r v i c e sh a sb e c o m eah o ti s s u e i n t h i sd i s s e r t a t i o n ，an e t w o r k e dr o b o tc o n t r o ls y s t e mf o rh o m es e r v i c e si sd e s i g n e da n dr e a l i z e d b a s e do na n a n a l y s i s o fs e v e r a lk e y t e c h n o l o g i e s ，i n c l u d i n gm u l t i m e d i a i n t e r a c t i o na n d i n t e r o p e r a b i l i t ya m o n gh e t e r o g e n e o u sp l a t f o r m s ，嬲w e l l 勰a ni m p l e m e n t a t i o no fw e b b a s e dv i s u a l s c w oc o n t r o l ，a u d i om o n i t o r i n ga n di n t e r a c t i o n f i r s t l y , t h ep r i n c i p l eo faw e b b a s e dc o n t r o ls y s t e mi sa n a l y z e d s e c o n d l y , t h er e q u i r e m e n to f n e t w o r k e dr o b o tf o rh o m es e r v i c e si sd i s c u s s e d t h e nt h ea r c h i t e c t u r eo fc o n t r o ls y s t e mi sg i v e n a f r i e n d l ym a n - m a c h i n ei n t e r f a c ei si m p l e m e n t e db yu s i n gj a v aa p p l e tt e c h n o l o g y , w h i c he n a b l e u s e r st oa c c e s sa n d o p e r a t et h es y s t e mt h r o u g ht h ew e b s e v e r a lm a j o rs e r v i c ef u n c t i o n sa r er e a l i z e d ， s u c ha sa u d i oa n dv i d e om o n i t o r i n g ，w e b - b a s e dm o b i l er o b o t m a n i p u l a t i o n a n dv o i c e c o m m u n i c a t i o n f o rt h ev i s u a ls e r v oc o n t r o l ，t h eg e n e r a lk i n e m a t i c sm o d e lo fp 2 d xa n di t s5 + 1d o f m a n i p u l a t o ri sc o n s t r u c t e df i r s t l yt os t u d yt h ep o s i t i o n b a s e dv i s u a ls e r v oc o n t r 0 1 s e c o n d l y , t h e i m a g e b a s e dv i s u a ls e r v oc o n t r o li ss t u d i e db yt h ed i s c u s s i o no ft a r g e tr e c o g n i t i o nm e t h o da n dt h e d e r i v a t i o no ft h ej a c o b i a nm a t r i x i nt h i sf o u n d a t i o n ，as c h e m ei sp r o p o s e dt oa c h i e v ew e b b a s e d r o b o tm a n i p u l a t i o n ，w h i c hc o m b i n e sm a n u a lr e m o t eo p e r a t i o n sa n da u t o n o m o u sv i s u a ls e r v oo f r o b o t f o rt h ea u d i oi n t e r a c t i o n ，r e a l - t i m ea u d i oc o l l e c t i o n ，t r a n s m i s s i o na n d p l a y b a c ka r es t u d i e d a n dr e a l i z e db ye m p l o y i n gt h ej a v as o u n da p ia n dt h eo s sa p i i no r d e rt oi m p r o v et h eq u a l i t y a n dr e a l - t i m ep e r f o r m a n c eo fa u d i ot r a n s m i s s i o ni nl o w b a n d w i d t hn e t w o r ke n v i r o n m e n t , s o m e m e t h o d sa r ea p p l i e di nt h es y s t e m ，s u c h 懿a u d i op r e p r o c e s s i n g ，g s me n c o d i n g ，m u l t i - t h r e a d d e s i g n a n dc i r c u l a rb u f f e r q u e u em e c h a n i s m e x p e r i m e n t a l r e s u l t sv a l i d a t et h ef a v o r a b l e p e r f o r m a n c eo ft h en e t w o r k e dr o b o t i cs y s t e m ，t h ea c c u r a c ya n ds u c c e s sr a t eo fr o b o tg r a s p i n gi s s i g n i f i c a n t l yi n c r e a s e da n d c o n t i n u o u sa u d i op l a y b a c ki sa c h i e v e d k e y w o r d s ：n e t w o r k e dr o b o t , a c c o m p a n y i n gr o b o t , v i s u a ls e r v o i n g ，a u d i om o n i t o r i n g ，a u d i o i n t e r a c t i o n ，c o r b a h 目录 目录 摘要i a b s t r a c t i i 目录i i i 第一章绪论1 1 1 研究背景与意义1 1 2 研究现状与发展1 1 2 1 网络机器人的研究现状与发展l 1 2 2 机器人视觉伺服的研究现状与发展2 1 2 3 音频技术的研究现状与发展3 1 3 论文研究工作4 1 4 论文结构安排5 第二章开放式网络机器人系统平台6 2 1 系统平台的分层模型6 2 2 移动机器人平台p 2 - d x 简介7 2 2 1p 2 - d x 移动机器人硬件概述7 2 2 2p 2 移动机器人软件系统9 2 3 分布式系统与c o r b a 1 l 2 3 1 分布式系统1 1 2 3 2c o r b a 规范1 1 2 4 小结1 4 第三章面向家庭服务的网络机器人控制系统1 5 3 1 网络机器人服务功能1 5 3 2 系统的总体设计1 6 3 2 1 系统的硬件结构1 6 3 2 2 系统的软件结构1 7 3 2 3 交互式移动抓取作业1 8 3 2 4 音频监控与交互1 9 3 3 系统的通信机制2 0 3 3 1c o r b a 对象接口与a v 流服务2 0 3 3 2 通信控制协议2 1 3 4 小结2 3 第四章网络机器人视觉伺服控制的设计与实现2 4 4 1 视觉伺服系统简介2 4 4 2 基于位置的机器人视觉伺服2 4 4 2 1 作业臂抓取方案2 4 4 2 2 多自由度作业臂运动建模2 5 4 2 3 软件实现和测试3 0 4 3 基于图像的机器人视觉伺服3 0 4 3 1 作业臂抓取方案3 0 4 3 2 视觉伺服控制3 1 4 3 3 基于单目视觉的目标识别3 3 4 3 4 简化的视觉伺服控制软件实现3 7 m 目录 4 4 网络机器人视觉伺服控制的方案与设计3 7 4 4 1 视觉系统的配置3 7 4 4 2 移动作业臂抓取方案和实现3 8 4 4 3 人机交互界面实现3 9 4 5 小结4 0 第五章网络机器人音频监控与交互的设计与实现4 1 5 1 音频接口技术4 1 5 1 1l i n u x 音频接口o s s 4 1 5 1 2j a v as o u n da p i 4 2 5 2 音频采集的设计与实现4 3 5 2 1 机器入端的音频采集4 3 5 2 2 客户端的音频采集4 4 5 3 音频预处理4 5 5 4 音频编解码处理4 6 5 4 1 音频编解码算法4 6 5 4 2 机器人端的音频编解码4 7 5 4 3 客户端的音频编解码4 8 5 5 音频传输的设计与实现4 9 5 5 1 机器人端与服务平台之间的音频传输4 9 5 5 2 客户端与平台服务器之间的音频传输4 9 5 6 音频回放的设计与实现5 0 5 6 1 机器人端的音频回放5 0 5 6 2 客户端的音频回放5 1 5 7 缓冲区的设计5 1 5 8 音频监控与交互的软件实现5 2 5 9 人机交互界面设计与实现5 3 5 1 0 小结5 4 第六章系统性能测试与分析5 5 6 1 实验环境5 5 6 2 网络化视觉伺服控制的测试5 6 6 2 1 测试内容5 6 6 2 2 测试结果与分析5 6 6 3 音频监控与交互的测试5 8 6 3 1 测试内容5 8 6 3 2 测试结果与分析5 8 第七章总结与展望6 0 7 1 本文工作总结6 0 7 2 未来的工作展望6 0 致谢6 1 参考文献6 2 作者在攻读硕士学位期间发表的学术论文6 4 i v 第一章绪论 1 1 研究背景与意义 第一章绪论 机器人技术作为2 0 世纪自动化领域最杰出的代表，发展迅猛。而互联网的产生，更使得 机器人如虎添翼。网络机器人正是网络技术与机器人技术相结合的产物。它随着互联网技术 的普及而迅速发展。网络机器人是将能够实现某种物理动作的机器人接入到网络中，通过网 络对机器人进行监视、控制、操作或者向其提供相关的环境信息、知识，帮助机器人自主或 者半自主地完成操作者指定的任务。 网络机器人系统( 简称网络机器人) 是由k e ng o l d b e r g 于1 9 9 4 年首先提出的【1 】1 2 】【3 】【4 】， 最初的构想是为公众提供可通过互联网访问的遥操作机器人。这一构想丰富了机器人控制的 概念，也极大地扩展了i n t e r n e t 的应用功能。网络机器人使人们可以通过网络访问远程的真实 世界，并与之进行交互。因此网络机器人的研究非常具有挑战性，而且它在分布式作业、娱 乐等方面都具有广阔的发展前景。它融合了计算机网络、多媒体技术、机器人控制、人工智 能等多个领域，目前已经成为机器人研究的一个新的热点课题。 网络机器人是从遥操作机器人的基础上发展起来的。从技术上讲，网络机器人系统属于 机器人遥操作这一范畴，是随着计算机网络技术的发展对遥操作机器人概念的一种拓展。因 此，遥操作的诸多技术可以继续沿用在网络机器人上。 目前，网络机器人普遍采用监督控制模式。采用该控制模式时，机器人自身具有较高的 自主性，而网络技术又给客户端提供远程控制操作的手段。远程客户端可以通过网络接收机 器人视觉、听觉等反馈信息，并且可以根据这些信息来指导自己的决策，发布控制指令，控 制机器人的执行机构完成指定任务。 基于网络的移动机器人控制技术，作为多媒体通信、网络控制系统、机器人控制的交叉 学科，拥有广阔的应用前景。其中，音频和视频信息的采集、编码与网络传输等构成了网络 机器人音频与视频的监控和交互系统。机器人的视觉和听觉系统是智能服务机器人的重要标 志之一，是实现人机交互、机器人与其周围环境交互的重要手段。机器人的视觉、听觉感知 模块相互配合，可以弥补其它传感器观察范围有限的局限。同时，利用视觉系统反馈的图像 信息，还可以在远程通过互联网给机器人下达指令完成简单的取物操作。因此，对网络机器 人的多媒体交互技术进行研究，具有实际的意义。 全球各国日益严重的老龄化问题和提高残疾人生活质量的迫切需要，使得主要面向老人 残疾人的陪护机器入、助行机器人、康复机器人( 统称为“助老助残机器人 ) ，开始走入普 通家庭，并成为世界范围内的研究热点。将网络机器人应用于家庭环境，它能够更大程度地 为老人残疾人提供长期生活护理任务，如照顾陪护、健康监护、语音聊天、提醒日常作息、 辅助远程医疗，能显著改善老年人残疾人的生活质量，辅助其自主地生活，并减轻医疗工作 者的负担。 1 2 研究现状与发展 1 2 1 网络机器人的研究现状与发展 网络机器人的研究自1 9 9 4 年开始，已经进行了十多年。迄今为止，网络机器人的研究历 程可大致分为两个阶段：第一阶段是从1 9 9 4 年开始，大多是在结构化环境中完成一定的作业 任务，其中不确定的成分较少，机器人本体也没有很强的智能。第二阶段，从2 l 世纪开始， 大多是远距离环境下的真实的无障碍交互。这种环境一般是动态的和不确定的，因此对机器 人的智能有较高的要求。 东南大学硕士学位论文 世界范围内对网络化移动机器人研究较为领先的主要有美国、日本、瑞典、台湾等国家( 地 区) 。美国卡内基梅隆大学开发的x a v i e r ，具有一定的智能规划能力，可以在楼内各层的各个 房间进行简单的传送文件、敲门、说话等动作。它于1 9 9 5 年开始可以通过i n t e r n e t 对其进行 控制。f r a u n h o f e r i p a ( 弗劳恩霍夫制造技术和自动化研究所) 于1 9 9 8 年开始推出的c a r e o b o t 家用机器人。最新一代c a r e o b o t3 ，能灵活地抓取物体，能直接通过语音命令控制，并且 能识别和响应一些手势，还可以管理视频电话与电视等多媒体设备。2 0 0 0 年加拿大开发了基 于i n t e m e t 的家庭护理移动机器人系统a f t e ri ，操作者( 如家庭成员或康复中心人员) 可通 过w e b 浏览器对a r t e ri 进行远程操作，为家中病人提供护理服务。美国卡内基梅隆大学的 助理型机器人p e a r l 5 j 具备问候等丰富的人机对话交流功能，能够提醒老人吃饭、服药、看医 生等琐事，能为老人指路；而且p e r a l 具备网络化功能，能采集人的起居生活数据并实现远程 监控，对于老人，j 戋疾人摔倒等异常情况能够迅速报警，还能够为居住在不同地点的老人残疾 人提供远程社交辅助。韩国的j j i nr o b o t 于2 0 0 4 年推出了i r o b i q ，可以提供如新闻、 气象等信息查询，并拥有教育、远程监控、居家保全及日常行程管理等互动功能。 几种网络机器人实例如图1 1 所示。 x a v l e rc a r e - o - b o tp e a r l i r o b i o 图1 - 1 网络机器人实例 我国是世界上老龄化人口绝对人数最多的国家，“十五”期间。我国“8 6 3 ”计划的机器 人主题已经把发展特殊机器人纳入了工作重点。目前国内助老助残机器人的研究基本都处于 本地控制阶段，对面向家庭服务的网络机器人方面的研究刚刚起步，部分大学院校、研究院 已经开展技术研究与产品开发【6 j 。 1 2 2 机器人视觉伺服的研究现状与发展 机器人视觉伺服控制是一个跨学科的研究领域。它将机器人视觉与机器人控制紧密结合， 融合了高速图像处理、机器人运动学、机器人动力学、控制理论等多个相关领域。随着这些 领域技术的飞速发展，机器人视觉伺服控制技术也随之迅猛发展。 计算机视觉与机器人伺服控制的结合起源于上世纪7 0 年代，s h i m i 与i n o u e 在1 9 7 3 年采 用视觉反馈来提高机器人的定位精度。但由于早期计算机性能和图像处理速度的限制，绝大 多数系统都是“s t a t i cl o o ka n dm o v e ”系统，即基于静态图像处理的开环伺服控制系统。这种 控制方式依赖于摄像机模型的标定和机器人的精度。 许多学者在视觉系统标定和提高机器人精度方面做了大量研究，并取得了定的成果。 1 9 7 9 年，h i l l 和p a r k 为了区别他们的运动视觉系统的研究与早期的“积木块世界”的图像获 取的视觉系统的研究，引入机器人视觉伺服的概念1 7 l 机器人视觉伺服是指利用从图像中 提取的视觉信息特征，进行机器人末端执行器的位置闭环控制。 机器人视觉伺服不同于机器视觉。通常所说的机器视觉是可自动获取并分析图像，以得 到一组可对景物描述的数据或控制某种动作的数据。而机器人视觉伺服则把视觉系统直接嵌 入机器人系统的反馈回路中，利用机器视觉的原理对图像进行自动获取与分析，以实现对机 器人的某项控制为目的。 第一个机器人视觉伺服出现在上个世纪8 0 年代初。随后的几年中，发展缓慢。但从8 0 年代末开始，机器人视觉伺服技术有了长足的发展。目前机器人视觉伺服研究的主要内容为： 2 第一苹绪论 视觉伺服控制结构，快速准确的图像处理算法，视觉伺服控制器的设计等。 美国斯坦福研究所( s t a n f o r dr e s e a r c hi n s t i t u t e ) 研究出的“眼车”系统机器人s h a k e y ， 能在视野范围内识别对象，通过图像处理使它能够导航、探索和学习外界环境，并进行一些 简单的智能操作。m a r u 采用两个摄像机实现了立体视觉伺服控制；k h a d r a o u i 和m o t 3 l 实现 了基于摄像机和激光两类传感器的伺服控制。8 0 年代末，清华大学研制的e y e i n h a n d 系统， p u m a 5 6 0 机械手的项部有一台摄像机，主要用来观测工作台的全景，在机械手的末端有c c d 摄像机和半导体激光发生器。能够完成多种精密的装配任务。 无标定的视觉伺服是人们在研究机器人手眼协调过程中，为了克服基于标定方法的弊端 提出的。它是指在不预先标定摄像机和机器人参数等的情况下，直接通过图像上的系统状态 误差来设计控制率，驱动机器人运动，使系统那个那个误差收敛到一个容许的误差域内。 对于无标定的机器人视觉伺服的研究是从二十世纪九十年代初开始的，并已逐步成为众 多学者的研究热点。比较典型的例子如，h e r v e ( 1 9 9 1 ) 论述了传感信息从图像空间直接映射 到机器人控制输入空间的可能性和可行性i 引。c o o p e r s t o c k 和m i l i o s ( 1 9 9 3 ) 采用神经网络的 方法在无标定的情况下实现了机器人的定位和抓取工作【9 】。h a g e r ( 1 9 9 4 ) 研究了手眼分离配 置下，任意放置的双摄像机组成立体视觉监控机械臂抓取物体的手眼协调系统【1 0 1 。y o s h i m i ( 1 9 9 5 ) 利用一装在手臂上的摄像机引导抓手完成插孔作业，先通过手臂的实验运动估计雅 克比矩阵，然后确定机器人的运动，机器人运动到新位置后重复此过程，直至完成插入工作 j 。s u t a n t o ( 1 9 9 7 ) 等人研究了通过在线估计图像雅克比矩阵实现无标定视觉伺服的方法， 着重讨论了如何避免在线估计雅克比矩阵时的奇异问题i l2 1 。 机器人视觉伺服控制技术的研究是机器人研究领域中的一个重要分支，其研究成果可直 接用于机器人手眼系统、移动机器人的自动避障及对周围环境的自适应、轨迹跟踪等问题中。 它是机器人研究中的一个十分具有挑战性的课题，目前也已成为国内外研究的一个热点课题。 1 2 3 音频技术的研究现状与发展 音频技术中最重要的就是模数转换( a d c ) 与数模转换( d a c ) ，其中紧密依靠于数字 信号处理( d s p ) 技术。采样率和量化位数是技术中比较重要的参数。 从对模拟信号进行采样及回放的技术发展中看，经历了如下几个过程： ( 1 ) 从1 9 8 2 年c d 技术的推广以来，它的采样率为4 4 1 k h z ，每个采样样本使用1 6 比 特量化能够提供9 6 d b 的信噪比，成为最为流行的音乐与数据的传播媒质【1 3 】。 ( 2 ) 1 9 9 7 年的d v d 技术不仅在图像上提供了高质量的图像而且还为用户提供了多声道 的音频环绕，它支持高达1 9 2 k h z 的采样率，可以使用1 6 比特，2 0 比特甚至2 4 比特的量化， 并且可以支持1 - 6 个声道。 ( 3 ) 1 9 9 9 年推出的s a c d ( s u p e r a u d i oc d ) ，通过整合许多的新技术诸如h y b f i d d i s k 、 d s d ( d i r e c ts t r e a md i g i t a l ) 以及d s t ( d i r e c ts t r e a mt r a n s f e r ) 编码，并放弃了d v d 中所使 用的p c m 编码，达到了2 8 2 2 4 k h z 的高采样速率，而且频率响应范围高达1 0 0 k h z ，且可支 持2 - 6 个声道。 在网络发展的同时，与网络传输紧密相关的语音编码技术也随之得到了长足的发展。编 码方式大致可分为3 类，即波形编码、参数编码和混合编码。波形编码利用抽样和量化过程 来表示音频信号的波形，使编码后的音频信号与原始信号的波形尽可能匹配。它主要根据人 耳的听觉特性进行量化，以达到压缩数据的目的。波形编码的特点是适应性强。音频质量好， 在较高码率的条件下可以获得高质量的音频信号。适合于高质量的音频信号，也适合于高保 真语音和音乐信号。但波形编码压缩比不大。参数编码把音频信号表示成某种模型的输出， 利用特征提取的方法抽取必要的模型参数和激励信号信息，并对这些信息编码，最后在输出 端合成原始信号。其目的是重建音频，保持原始音频的特性。参数编码的压缩率很大，但计 算量大，保真度不高，适合于语音信号的编码。混合编码介于波形编码和参数编码之间，集 中了这两种方法的优点，可以在较低的码率上得到较高的音质。其特点是它工作在非常低的 3 查堕奎堂堡主堂垡笙奎 一一 比特率( 4 6 k b p s ) ，这种编码器非常适合于对实时传输要求很高的应用l l 4 | 。 目前比较常见的语音编码标准有g s m 、g - 7 2 3 1 、g 7 2 9 等。语音编码器技术与语音编码 标准紧密相连，不同的语音编码标准提供了相对应的语音编码器技术。语音编码器的主要功 能就是把用户语音的p c m ( 脉冲编码调制) 样值编码成少量的比特( 帧) 。在接收端，语音 帧先被解码为p c m 语音码流，然后再转换成语音波形1 1 5 】。 i t u tg 7 2 3 1 编码器就属于混合编码器，它在6 4 k b p s 提供长话质量语音。同时g 7 2 3 1 还包括一个工作在5 3 k b p s 的低质量语音编码器。g 7 2 3 1 是为低比特率可视电话而设计的。 在这种应用中，由于视频编码时延通常大于语音编码时延，因此对时延的要求不是很严格。 g 7 2 3 1 编码器的帧长为3 0 m s ，还有7 5 m s 的前视。再加上编码器的处理时延，编码器的单 向总时延为6 7 5 m s 。其它时延是由系统缓冲区和网络造成的。 g 7 2 9 编码器是为低时延应用设计的，它的帧长只有1 0 m s ，处理时延也是1 0 m s ，再加上 5 m s 的前视，这就使得g 7 2 9 产生的点到点的时延为2 5 m s ，比特率为8k b p s 。这些时延性能 在互联网中很重要，因为我们知道任何能减少时延的因素都是非常重要的【1 6 】。g 7 2 9 有两个 版本：g 7 2 9 和g 7 2 9 a ，都提供了对帧丢失和分组丢失的隐藏处理机制，因此在因特网上传 输语音时，这两种编码器都是很好的选择【1 7 1 。 1 3 论文研究工作 本文作为国家高技术研究发展计划( 8 6 3 计划) 开放式网络机器人通用平台及相关技术 研究( 编号2 0 0 1 a a 4 2 2 2 6 0 ) 课题后续研究和重点课题助老助残机器人概念样机研究( 编 号2 0 0 6 a a 0 4 0 2 0 2 ) 的一部分，致力于开发网络环境下移动机器人的智能行为，主要研究视频、 音频等多媒体技术与网络机器人控制技术的结合，面向家庭中的老人残疾人提供各种服务功 能，如健康监护、语音聊天、辅助远程医疗等，从而方便专业人士对室内环境、老人残疾人 的健康状况进行监控，使老人残疾人可以经常与外界进行交流，通过基于网络的视觉伺服技 术还可以辅助老人残疾人自主地完成一些家庭事务，从而改善老人残疾人的生活质量。 针对老人残疾人可能需要的各种功能，本文基于实验室已有的一个开放式网络机器人系 统平台，设计了面向家庭服务的网络机器人控制系统，总体功能如图1 2 所示。 图1 - 2 面向家庭服务的网络机器人控制系统功能示意图 已有的系统平台能够通过p i o n e e r2 - d x 移动机器人实现如避障，视频监控等行为，并可通 过监督控制模式直接控制机器人的运动，但缺乏可应用于家庭环境的服务功能。因此，论文 中设计的控制系统对已有系统进行了功能的扩展和完善，使移动机器人能够基于网络为家庭 中的老人残疾人提供一系列陪护功能。图1 2 中虚线框标注的模块是论文设计并实现的服务功 能及其对应的人机接口，即本文的主要工作，在论文后续章节中重点讨论。 由图1 2 可以看出，该网络机器人控制系统可以提供四方面的服务功能：视频监控、音频 监控、语音交互和机器人作业。该系统可以实时地采集家庭中的环境信息( 包括音频、视频 等) ，反馈给用户，从而监控室内环境保证家庭安全。该系统提供的语音交互功能，使机器人 4 第一章绪论 端的家庭服务对象与远程用户可以通过网络随时进行语音交流。 此外，该系统还提供了一些机器人的服务作业功能。图中的“自由漫游避障”、“自主路 径跟踪 、“沿墙导航 三种作业功能令机器人具备了一些基本的智能行为，如机器人可以按 照既定目标地点在家庭环境中自主地移动，避开前进路线中的障碍物。这三种作业功能可以 说是实现其他服务功能包括机器人视觉伺服控制的前提。而“机器人视觉伺服控制”应用在 该网络机器人控制系统中主要是为用户实现抓取、递送指定目标的作业功能。 论文以家庭服务为应用背景，主要对面向家庭服务的网络机器人控制技术进行研究和讨 论，并重点论述网络环境下的视觉伺服控制，音频监控与交互。 1 4 论文结构安排 本文分七章，具体内容安排如下： 第一章为引言。首先阐述了论文研究课题的背景；接着介绍网络机器人领域的研究现状 与发展趋势，并介绍了视觉伺服和音频技术的研究现状与发展；最后论述了论文的研究内容 与结构安排。 第二章介绍已有的开放式网络机器人系统平台。首先介绍该系统平台的分层结构和基本 功能；接着介绍系统的研究对象移动机器人p i o n e e r2d x 的概况，包括软硬件结构；最后介 绍系统平台中采用的分布式技术c o r b a 规范，包括c o r b a 的原理及其接口定义语言。 第三章阐述了一个面向家庭服务的网络机器人控制系统的设计。首先针对家庭服务的应 用需求，论述了该系统需要实现的服务功能；接着进行整体结构和各功能模块的设计；最后 为方便系统各层之间的协作，设计了各层间的通信机制。 第四章重点论述网络化环境下的视觉伺服控制技术。首先简单介绍了目前常用的视觉伺 服系统；接着分别设计和实现了基于位置和基于图像的机器人自主视觉伺服控制；最后提出 了一种将人工遥操作与基于图像的自主视觉伺服控制相结合的控制方式，设计并实现了网络 化环境下的视觉伺服抓取作业。 第五章重点论述网络机器人音频监控与交互的设计与实现。利用c + + 和j a v a 技术，分别 叙述了机器人端和客户端的实时音频采集、网络传输与播放：为了改善低带宽网络环境下语 音传输的质量，对语音预处理算法、语音压缩和缓冲区的设计进行了研究，并应用在该系统 中。 第六章通过实验对系统的各个功能分别进行测试和分析，证明系统设计方案的有效性。 第七章对本文的研究工作进行了总结，并提出了一些有待改进的问题。 5 东南大学硕士学位论文 第二章开放式网络机器人系统平台 2 1 系统平台的分层模型 开放式网络机器人系统平台主要分为j a v a 客户层、网络机器人服务平台层以及机器人 控制层三层，如图2 1 所示。 i j a v a 客户层 ； 网络机器人服务平台层 机器人控制层 图2 1 网络机器人系统平台的分层模型 网络机器人服务平台层是整个控制系统的核心，它以提供服务的形式同j a v a 客户和机器 人进行连接。这种设计思想的优点体现在：服务的形式使得一个网络机器人服务平台能够为 多个j a v a 客户和多个机器人提供服务，同时也使得服务平台具有较好的可扩展性，可以随时 增加新的服务以适应新的应用。 该层主要由三个部分组成，包括网络机器人服务平台、w e b 服务器以及数据服务模块。 每一部分都具有较大的独立性，它们联合起来为客户和机器人控制层提供特定的服务。由于 j a v a a p p l e t 只能与其宿主机进行通信，因此w e b 服务器和网络机器人服务平台必须在同一机 器上，而数据服务模块可以运行于任何相连结的单独机器上。 对整个控制系统而言，w e b 服务器的功能可以分为四个：一是为用户浏览网络资源的请 求提供服务；二是为用户访问机器人提供身份验证；三是为用户提供人机交互接口；四是为 用户实现机器人任务的递交。而数据服务模块是系统数据的( 如用户名称和密码等) 存储器和 运行中数据( 用户提交的任务等) 的临时存放点，对其进行的数据操作，如添加、删除等，需 要满足完整性、一致性和原子性等要求。网络机器人服务平台由多个执行模块组( 包括视频、 状态等的接收与发送，控制命令的调度、资源管理等) 组成，这些执行模块组相互依存，为客 户层和机器人控制层提供接口清晰的连接服务。同时该平台也是系统中实现数据交换的唯一 通道，然而对于通道两端数据交换双方，无需了解各自的数据是如何到达对方的。 j a v a 客户层，由内嵌j a v a a p p l e t 小应用程序的h t m l 页面组成，利用通用浏览器为客户 提供动态的交互式接口。客户在访问开放式网络机器人网页时，从w e b 服务器下载相应的人 机交互接口，显示运行于客户端的机器上。用户所提交的任务或者发出的控制指令经本层， 通过不同的通道转交到网络机器人服务平台层。j a v a 客户层直接面向用户，因此其设计力求 简洁，避免复杂的操作。 机器人控制层即机器人的控制服务器，是真正实现机器人控制的部分。该服务器从功能 上可划分成网络和本地控制两部分。网络部分从j a v a 客户层接收用户递交的任务和控制指令， 交给机器人的本地控制。对于网络部分来说，它无需了解机器人如何完成所指定的行为；但 需从本地控制中获取视频、状态以及操作的返回结构等，传递给网络机器人平台层。而机器 6 第二章开放式网络机器人系统平台 人的本地控制部分，根据客户端提交的任务或指令，调度其各模块以驱动机器人的运动，它 可采用不同的控制结构以及算法等来实现相应的行为，以支持实际的应用。 2 2 移动机器人平台p 2 - d x 简介 网络机器人的研究是在移动机器人平台上进行的，实验过程中采用的是a c t i v m e d i a r o b o t i c s 公司生产的p i o n e e r 2 d x 型机器人【1 9 1 。p i o n e e r 系列机器人既有两轮驱动的，也有四 轮驱动的，如图2 2 。这是一类小型智能移