（信号与信息处理专业论文）手持式自主无线视频会议系统设计与实现.pdf

露南交通大学硕士研究生学位论文第l 页 摘要 本论文对一种掰的视频会议系统进行了探讨，将其所有功能设计到一个 手持嵌入式设备中，成为一个自主系统，可以方便地解决出外工作人员无法 及时参与视频会议的难题，使得工作和决策可以腰利地进行。 论文主要探讨了如f 毒在基于i n t e lx s c a l ep ) ( a 2 7 0 微处理嚣的硬件开发 平台上实现一个无线上网的自主视频会议系统的具体过程。系统开发的软件 平台是嵌入式l i n u x 操作系统，并采用基于c + + 豹嵌入式戳e m b e d d e d 图形 化开发工具和q t o p i a 图形化桑砸管理系统来开发实现。该系统在硬件上可以 分为x s c a l ep ) ( a 2 7 0 核心处理模块、无线网卡上网模块、摄像头图像采集模 块、麦克风耳极及声卡音频处理模块、液晶触摸屏翌示模块，在软件上则包 括齿频处理功能、视频处理功能、膏视频同步功能、主持入的与会者管理功 熊、音视频的组播传输功能及人枫接因界面。 系统的实现首先是在基于i n t e lx s c a l ep x a 2 7 0 的硬件平台上移植嵌入 式l i n u x 操作系统、q t e m b e d d e d 以及q t o p i a 桌面管理系统，然焉在分柝了 解硬件平台所提供的资源功能后，在p c 平台上实现系统的各个软馋功能部分 的设计，再交叉编译后移植到系统的q t o p i a 桌西簧理系统中。 作为自主会议系统，系统扁动后，用户可以选择作为主持人开扁一个会 议，等待与会者的加入，同时对与会者的加入、发言、退出请求进行管理， 也可以作为普通与会者审请加入到一个已存在的会议中直到会议结束，丽不 需要额外的服务器来支持。系统的各个功模块将游同工作，将各个与会者 的祝音频图像共享给其他与会者，使大家能够身临其境般她完成会议的协商 工作。 图时，作为一款手持式产品，可以随身携带，可以使用于多羊申支持无线 上掰的场合，具有定的市场应用前景和实用价值。 关键词：视频会议；p x a 2 7 0 ；嵌入式q t ；a a c ；h 2 6 4 ；黔p r t c p ；组播 西南交通大学硕士研究生学位论文第1 页 1 1 弓l 言 第1 章绪论 随着信息技术的发展，人类的生活期工作方式产生了很大变化，不再受 制予时闯和地点的限制，效率也不断提高，视频会议便是极大地受益于这两 种技术的发展褥催生的工作方式之一。它可以让分散在不同地方的决策人员 通过视频会议终端，将囊己的声音和影像展示在其他人强前，共商大事，有 如身临其境般，使他们可以避免舟车劳顿丽赶到一个固定的会议室进行磋 商，并且只要存在饕网络就可以随时进行会议，能极大地提高工作效率和节 省工作成本。 顾名思义，视频会议系统就怒秘用专用的音频、视频和网络通讯设备实 现实融异地交互通诋进行视频会议的系统，主要用于在一个地点的群与会 者和位于其他地点的与会者之闯进行通讯。视频会议系统是集通信、计算机 技术、微电子技术于一体的远程异地通信方式，除了音频、视频，还可以丽 时提供文件传输，静止图文传递等一系列辅助服务项毽，霹使得视频会议与 真实的会议无羿。典型的系统包括视频系统、毒频系统和共享电子自板系统。 1 2 视频会议的发展历史及相关标准 1 9 6 4 年，世界上最早的模拟技术可视电话p i c t u r np h o n em 一i 诞生于美 国贝尔实验室，它采用了图像和话音分时传输的方法，但因为这种模拟传输 的可视电话系统费用昂贵，被迫停止。 7 0 年代，数字通信取得巨大发展，数字图像和语音编码技术有了很大进 步。 8 0 年代扔期，模拟信号的采样和变换也得到极大改善，数字处理技术逐 步走向成熟，随薏2 滟p s 的彩色数字视频会议系统的研错l 成功，日本和美国分 别形成了非标准的国内视频会议网。8 0 年代中期，大规模集成电路技术飞速 发展，图像编码解码技术取得突破，网络通信费用降低，这些都为视频会议 走向实用提供了良好的发展条件。8 0 年代末，多媒体技术、计算机技术、通 信网络技术都得到了快速发展。 9 0 年代初期，第一套豳际标准h 3 2 0 获得邋过，使不同产品的兼容性问题 得到解决。配合h 2 6 l 视频会议系统向小型化发展，势出现可移动型系统。嗣 西南交通大学硕士研究生学位论文第2 页 时，桌面型视频会议系统成为一大热点。 时至今日，h 3 2 3 视频会议标准逐渐得到各视频会议系统厂商的普遍支 持，己经替代了 f 3 2 0 标准，它沿用了传统的实现电话的信令模式，比较成熟， 恳前视频会议系统大多数为 1 3 2 3 产品。h 3 2 3 符合通信领域传统的设计思想， 进幸亍集中、层次控制，采用h 3 2 3 协议便于与传统的电话网相连。 另外，在国际通讯领域内，强前通行的除了h 。3 2 3 标准外还有另外一种视 频会议标准，即s i p ( 会话发起协议) 标准。s i p 是基于文本的协议，不需要复 杂文档说明，同时具有分布式的缓播功能，蕊且能很方便遣支持 b 充业务或 智能业务。s i p 协议在风格上遵循因特网一贯坚持的简练、汗放、兼容和可扩 展等原则，比较简单，但推出时间不长，协议并不是很成熟。从长远来看， s e p 替代h 3 2 3 将是一种趋势。 到目前为止，为了保证各系统间的互操作性，国际电信联盟( i t u ) 陆续 开发了一系列适用于视频会议的标准，主要有： h 3 2 0 ：用于i s d n 上的群视频会议： 1 3 2 3 ：用于局域网上的桌面视频会议； h 3 2 4 ：粥于电话网上的视频会议； i 3 1 0 ：用于a t m 和b i s d n 网络上的视频会议。 其纯标准还包括：视频标准 2 6 1 ， 2 6 3 及 2 雠；音频标准g 7 2 2 ，g 7 2 8 ， g 。7 2 3 1 ；多点会议应用标准t 1 2 0 等。 1 3 论文课题的提出翻目标 视频会议虽然很方便，髓够极大提高工作效率和降低工作成本，但由于 目前的视频会议系统，通常都会采用专用的视频会议设备或者使用p c 来作为 终端，往往难于携带，使得没有国定工作地点的人员，如经常在工地指挥作 业的人员，或因某些缘故远离了视频会议设备的人员，可能无法及时参与会 议，因而影镌工作进度。另外，传统视频会议系统还需要专门的服务器设备 的支持，终端没有管理功能，只能被动地加入会议，在分散的工地上的工作 者们就无法即时进行会议来解决出现的f 葡题。 与此同时，嵌入式技术得到了极大地发展，现在已经广泛应用到各种工 作场合中，嵌入式设备成了数字化时代的一类标志性应用产品。手持式嵌入 式设备因其携带方便，瘟用场合广泛丽成为其中的佼佼者。而且近年来，随 着i n t e r n e t 迅猛发展，无线i p 网络的覆盖范围也大大增加，如w i 抛x 技术，它 是基于i e e e 8 0 2 1 6 标准的无线城域网技术，比嚣前的w i f i 无线局域网技本 西南交通大学硕士研究生学位论文 第3 页 9 0 米左右的覆盖范爨大大增加，其信号传输半径最大可达嚣5 0 公曩，速率可 以高达每秒7 5 瀚，它的大规模应用只是早晚问题。 有鉴于此，本论文对一种新豹视频会议系统进行了探讨，将其所露功能 设计到一个手持嵌入式设备中，成为一个自主系统，集会议主持翥和营i 殴参 与者的功能予一体，通过无线网卡接入无线i p 网络。传统的视频会议系统则 无此自主管理功熊，新系统因此可以方便她解决外出工作者无法及时参与视 频会议的难题，也可以使得外出工作者们可以自己召开视频会议解决即时出 现的闯题。 另外，虽然国际标准组织为视频会议制定了缀多标准，但由予这些标准 本身有许多限制条件，短时阔内个人精力有限，无法完全掌握，丽显手持嵌 入式设备的硬件和软件资源有限，故本系统决定采用自选的视音频数据编解 码标准和管理策略来进行设计。 因此，本设计的主要目标是实现一个手持式可无线上潮的自主视频会议 系统，使用自己的会议管理协商机制以减少对软硬件资源的要求，同时集管 理控制功能 资源进行裁减，可以做到更小，成为 真正的手持式视频会议设各。该平台的核心工作频率为523蛐z，拥有64m内存和8 0 m fash存储器，具有良好的图形处理性能，能够支持usb接口摄像 头，具有音频编解码器，提供耳机麦酗辩“掰：黏再鲋窜幽玳珠j乒旺l ，：飘改矧f 露缸器誊：盎到萎杰癌诺臻噩一j 受蕾；l 譬奠燮r 习，汤臻模块的暴体实现过程，每括采集 西南交通大学硕士研究生学位论文第4 页 第六章：详细描述了本系统采用r t p r 亿p 挤议进行视、音频数据同步的 过程； 第七章：主要介绍了采用组播技术实现自主视频会议系统的设计过程及 相关的组援协议： 第八章：主要介绍了本系统的运行和测试结果。 最后，总结了本论文设计工作中的不足之处及将来还要做的工作，并对 其应用前景进行了展望。 西南交通大学硕士研究生学位论文第7 贾 圈2 2 自主无线视频会议系统拓扑结构示意鞫 根据前面的资源需求分折以及本自主视频会议系统的功能，本系统的整 体结构层次如图2 3 所示： 图2 3 视频会议系统整体层次结构框图 该褫频会议系统底层是p x a 2 7 0 硬件平台，通过u s b 设备接口和音频设 备接口外接摄像头和耳机麦克风，以进行视音频数据的采集和播放。软件部 分是基于q 扼m 1 ) e d d e d 图形库的图形化程序，同时还需要嵌入式l i l l u x 的驱 动程序支持来操作音视频采集播放设备。整个程序作为q t o p i a 图形桌面环境 的一部分进行管理。 露南交通大学硕士研究生学位论文第8 页 2 3 视频系统软件结构设计 视颓会议系统通常至少需要以下四个功能模块：音频功能模块、视频功 能模块、网络传输模块和控制模块，考虑到软硬件资源的要求及只侔为专用 系统，本系统将不采用h 3 2 3 及s 礤等国际标准协议送行控制管理。为了便 于管理，在每个是主系统上，对应每个与会者，将生成一个参加者类，每个 参加者分剐与主持人进行协商加入会议，雨主持入作为参加者类的一个特例， 还要进行会议出席者管理及发言管理，普通参加者只采用队列来管理其饱参 加者的视频图像信息。因为一个会议在某一个时间通常只有一个发言者，故 本系统不考虑多人音频的处理问题，由主持入对发言请求按队列管理，依次 发言，但也可以根据需要由主持人指定莱个参加者发言，因此只采用一个音 频功能模块来进行音频数据的处理。 为了降低网络带宽的占用率，经过魄较，音频处理模块将采用先进啬频 编码a a c 标准来对采集到的p c m ( 脉冲编码调制) 声音数据进行压缩编码， 同时解码接收到的会议发言者的音频数据进行播放。视频处理模块则采用 h 2 6 4 视频鹾缩标准对本地摄像头采集豹图像进行压缩编码，闻时解码接收 到的其他与会者的影像数据进行显示。这两种标准分剐是音、视频领域中兵 有最离压绩匕艺和最好性能的压缩标准之一，可以极大地降低网络数据流量， 减少网络拥塞发生的机会，特别适合带宽较窄码率较低的网络状况，使得系 统具有更好的应用性能。 同时，本系统作为一个多点对多点的视频会议系统，为了更有效地实现 视频会议，节省潮络带宽，降低对网络的负掇，决定使用组播技术来实现啻 视频数据的网络传输，不仅方便了会议控制，也箍化了用户定位和群缀邀请 等功能，避兔了使用其它方式如广播或单播所带来的负面影响。另外，为了 进一步降低视频会议系统程序对各个与会者的视音频数据信息识别的复杂 度，简化系统的处理过程，本系统会由主持人绘每个与会者的视频流自动分 配一个多播i p 组，每个与会者将自己的视频数据发送至g 所分配的多播i p 组 上，丽在其它多援i p 组上接收荬他与会者的视频数据以进行照示。当前发言 者的视频图像显示在主视频窗口上，其他与会者的视频影像由小窗口显示。 丽音频数据使用一个独立的专用多播组，只有当前发言者往该多播组发送音 频数据，其他与会考只从该多撵组接收音频数据进行播放。系统程序的主要 结构如图2 4 所示。 粗南交遗大学硕士磷究生拳位论文第9 页 系统舞露 懈h 蓍霎| 测 掣掣峄 嗵谶砖纛获，一1 图2 _ 4 视频会议系统圭鼙功能缡粕 如添怒会议主持入，贝还要对参加者加入，退漱会议驮剐和发言管理酞疑 进行营瑷。簿个与会者如获准加入会议，则由主持人羧糇序自动分配一个i d 识别号，弗邂知给其健与会者，主持入根搌与会赣i d 识别号来对与会者豹加 入和退融请求以及发言请求进行管理，其他与会者根攒i d 号来判断是否发言 人并据此调熬主奁臼显示图像。与会者退出时电主持入邋知其他各与会者， 注销该l d 弩，调整显示窗口，主持人剩从参加糟队列和发言队列中剿掉该 i d 号及鞠获镕息。这样，会议在主持入熬管理下顺利避行。 2 唾零耄小缝 本拳主要分辑了手持式董薹笼线裰频会议系绫麓祭绫嚣求，夯绍了英整 体设计缨拇及主要设计愚怒，其详缀设计过程将在潋蠢备章徽避一步鹚述。 西南交通大学硕士研究生学位论文第1 0 页 第3 章系统实现平台的搭建 根据手持式无线视频会议系统的软硬件资源需求分析，本系统采用以 i n t e lx s c a l e 争x a 2 7 0 嵌入式微处理器为核心豹硬件开发板平台，及嵌入式 l i n u i 操作系统和q t e m b e d d e d 图形库、q t o p i a 桌掰环境管理系统组成的软 件开发平台。下瑟为这些开发平台条件的搭建和准备逐一做详细介绍，没有 这些基础平台的准备，系统就如空中楼阁，将无法实现。 3 1p x a 2 7 0 硬件平贪简介 本系统的硬件实现平台是北京博翻兴业科技有限公司的 u p ，t e c 蛐必a 2 7 0 教学开发平台，它具有丰富的硬件资源，可以满足本手持无 线视频会议系统的设计需要。 搏创科技的u p _ t e c h p x a 2 7 0 教学秘研平台是一款高端嵌入式处理器平 台，微处理器主频稳定运行在5 2 0 州z ，采用1 3 1 3 mv f b g a 封装，内部集 成i w m m x 指令，能够加速处理器对多媒体数据的处理速度。可运行l i n u x2 4 x 和l i n u x2 6 x 内核，支持q t e m b e d d e d 、m i n i g u i 等嵌入式图形界面。 u p t e c h p ) ( a 2 7 0 开发扳由处理器核心板、主板及l 三部份组成，其核 心板及主扳部分实物如图3 一l 所示，完整开发板实物如图3 2 所示。 图3 一lu p _ t e c h p x a 2 7 0 开发平台核心板部分实物图 西南交通大学硕士研究生学位论文第1 1 页 “f j ； i 蓼 l； l ： j l ! ： 二 ； 1 。 * 图3 2u p t e c h p x a 2 7 0 开发板实物图 该开发板的详细硬件资源清单如表3 1 所示。 表3 1u p t e c h p ) ( a 2 7 0 开发板的硬件资源配置清单 配谶朽栋 璀 耀擗 c p ui n t e lx 斯8 1 e 结构。占外p ) 【 2 i 0 怍翱串5 2 3x h z 以 耕l 脒9 l c n l螂 i 度e 8 3 滟i 删1 0 0 b p 5 摸j rf l 褂 in t e le 嚣f l 嚣j 3 1 6 协1 瞄 m 如凡 s hk 9 r i 86 制 内存s d 胜h y 5 6 1 6 2 0 3 2 x 2 毒6 删 l c ds 触盱l 锄8 0 删s ，j 盛彩渍融解，州呱4 8 0 分鞲枣 触挝砰g l ( 8 0 b i 】r rb r 删b d 5 蔼 u s be 轨摧【l 琶利浦1 s p 儿i i i l l ! ：1 1 个u s b 点接口“个瞄b 飙接口 串口 r 鼬3 0 2 个遥j i ! | 乖阻 说捌ut 并外箍符； ! v 黼拆准豹视频输 m 耵外缱h l 3 6 0 0 双向抽1 1 e n t蒙档s 豫和f 琥协f _ 置 调b t 袋翻 j t a gj 髓g 烧if 1 a s h 爵翱犏群蚂器c j j r l l 5l o 酊cc r v s 伯lc s d 2 0 l2 0 靛数张转授1 8 托矗体每擞觳转换 3 2 盟扩鹱蓥线接h 6 p 1 0 0 p 托峭删2 4 1 0 u 州c l a r m 2 4 l 小s 中盘渣容 c f 和接口p c 氍i a 息践芷持 卯倍疆口 m 擀豁制器持 j d 硬盘接日 w 粥1 忙缮【1 该开发平台具有较高的处理器性能，支持多媒体数据优化处理，具有音 疆南交遘大学硕士研究生学位论文第住页 颧、u s b 摄像头及c f 无线网卡接口，另外懿有8 寸液晶触摸屏显示，润时可 以接受辫纂反馈，还支持嵌入式l i n u x 和q t e m d d 嬲嵌入式图形箨藤，是 安现零程撅会议系绕辨瑾葱平台。该秀发平台逻辑框圈魏圈3 3 。 圈3 3u p 呵e e h p x a 2 7 0 开发扳逻辑糕鞠 除了核心开发板乎台，本系统还需要视啬频数据采榘和搔放设备及无线 上网设备，赦擞据该开发平螽的接口资源，褪频数据采集设备选搀为通用 ￥斟4 2 0 毒l 式熬瓣 l 强b 援瑟摄像头，音羧数据采集黪播敷设冬为酱遴耳馥 葶珂囊党风，无线上两设备为e a g l e e ( 躐黎) 8 0 2 1 掩嚣线c f 网卡，互作对 最大可达1 l p s 的速率。 3 。2 软件秀发孚套的搭建 本系统的软传开发平台的搭建包括髑个部分。出予怒嵌入式设备开发， 浆用在主梗进行开发设计，毙戚蜃交叉编译移檀到开发擞乎会上的方式进行， 整先要建立主凝耀交叉编译繇凌，然轰楚程嚣发援上搭建系统运行塔凌。 主褫臻交叉编译癸凌静建立毖较蕊零，壹接安装搿发扳鑫繁必焘孛静 舯璃一1 i n u x g c c 3 4 3 交叉编译工具即可，然后适当硪设鬟执行路径环境变 羹p a 啦就可使用，在鲍不馓详细分绍。 舞发投上瓣系统运孬黪凌懿搭建燹鞘徽复杂一些。零系统选择嵌入式 麟南交通大学硕士研究生学位论文第18 页 第4 辜音频功能模块设计 音频处理功能是视频会议系统的最关键功能之一，没有声音也就无法开 成会议。该功能模块主要要实现把发言者的自然声音转化成数字声音数据然 箔传输到音频缀播组供其他会议参加者收听，或者将从音频缀播组接收到的 发畜人的数字声音数据还原藏自然声音在本缝播放的功能，主要工作有以下 4 个部分： 1 从本她的音频设备采集音频数掘； 2 将采集到的啻频数据进行信源编码以减少数据在网络传输融的带宽 占用率； 3 解码接收到的音频数据； 4 将解码后的音频数据在本地音频设各上搔放。 英中，l 、4 两个部分是针对本地音频设备的操作，由费频数据采集播 放类来炙现；2 、3 两个部分是与设备无关的针对音频数据的编码鳃码操作， 由音频数据编码解码类实现。 4 1 裔频数据的采集播放类设计 音频数据的采集播放类主要实现本地端对音频设备的操作，叙括音频设 备采集原始音频数据和将解码还原的音频数据写入本地音频设螽进行播放， 另外还可以对音频设备操作参数进行适当设鐾。 4 1 。1u n u x 下的音频设备简介 由于本系统采用的是嵌入式l i n u x 操作系绞，其下的音频编程遵循o s s ( o p e ns o u n ds y s t e 翔) 音频接口标准。o s s 是最早出现在u n i x l i n u x 平台上 一个统一躲音频编程接口标准，它由一套完整的内核驱动程序模块缎成，可 以为绝大多数声卡提供统一的编程接口。只要音频处理应用程序按照o s s 的 a p i 来编写，它就可以提供源代码级的可移植性。o s s 出现的历史比较长，这 些内核模块中的一部分( o s s f r e e ) 怒与l i n u x 内核源码共同免费发布舱，另 夕 一些刘以二迸锱的形式由4 f r o n tt e c h n o l o g i e s 公司提供。瞧于得蓟了商业 公司的鼎力支持，o s s 已经成为在l i n u x 下进行音频编程的事实标准，支持o s s 的应用程序能够在绝大多数声卡上工作良好。o s s 接口的层次结构如图4 一l 。 西南交通大拳硕士研究生学位论文第19 贾 应用程序 l i n u x 操筘系统 | o s sa p t | + 声卡设备 图4 一lo s s 接口的层次结构 癌于对安全性方殛的考虑，l i n u x 下的应用程序无法直接对声卡这类硬件 设备进孝亍操作，露是必须通过内核提供的驱动程序才能完成。在l i n u x 上进行 音频编程的本质就是要借助予驱动程序，来完成对声卡的各种操作。 l 鼍l 时，l i n u x 系统对硬件设备的管理全部使用设备文件系统来进行，将备 个设备统一抽象成设备文件，以便提供和文件访问一样的统一接口，编程人 员不需要去记专门的设备操作指令，可以使用和普通文件读写一样的a p i 函数 进行操作。 本系统主要使用到的数字音频设备有m i x e r 和c o d e c ( a d c d a c ) ，m x e r 主要罔来控制输入输出音量的大小，对应的设备文件为d e v m i x e r ；c 0 d e c 用来实现录音( 模拟信号转变为数字信号) 和播放声音( 数字信号转交为模 拟信号) 的功能，对应的设备文俘为d e v d s p 。通过读写d e v d s p 设备，就 可以实现声音的录制或播放，读设备相当予录音，写设备就相当予放音，它使 用8 _ b i t ( 无符号) 线性编码，其主要指标参数有：采样速率( 电话为8 ( h z ) 、 声道数目( 单声道，立体声) 和采样分辨率( 8 咱i t ，1 6 岫i t ) 等。 4 1 2 黹频采集，播放类的实现 使用o s s 接口标准对音频设备进行编程，一般流程如下： 1 ) 包含o s s 头文件：# i n c l u d e ： 2 ) 打开设备文件，返回文件描述符； 3 ) 使用i o c t l 设嚣设备的参数，控制设备的特性； 4 ) 对予录音，从设备读( r e 嬲) 数据； 5 ) 对于搔放，向设备写( w r i t e ) 数据； 6 ) 关闭打开的设备。 音频数撰的采集、播放分别由a u d i o 和p l 蜮来实现。因为音频数据的 祗南交遥大学硕士砑究生学位论文第2 0 页 循环采集和播放极其占用处理器时间，采用单线程编程方式的话，整个程序 操作必须串行执行，可能会导致视频采集播放或界殛操作无法有效执行，丽 且会使音频采集翻播放无法同时连续进行，只能分时操作，放采用多线程编 程策略。因此，a u d i o 和p k 叮e r 类都继承了q t 的线程类鼢a d 类，当执行其娥l n 0 函数操作时将产生一个新的予线程，同时为了使用q t 的信号和槽机制，还继 承了q 0 嘲e c t 类。p l a y e r 类作为a 丽i o 类的一个子成员实现，只在构造时接受一 个音频设备文件旬桶参数，然后就可以对设备进行播放操作。 a u d i o 类中各设置爵数均使耀i o c t l 函数对设备进行相应的参数设鬣，其 中音量控制函数s e t v o l u m e ( ) 、g e t v o l u m e ( ) 需要对d e v 向i x e r 设备进行操作。 a u d i o 类还可以利用s t a r t p l a y ( ) 开启一个播放线程类p l a y e r ，进行全双工音 频采集搔放操作。 首先，系统魑动后使用o p e n 函数以读写模式撂开音频设备d e v d s p ，因 为系统在通话时要同时进行录音和放啻，打开设备厝，为了正常地工传，设 鬣相应的一些工作参数。 1 ) 先设置为全双工工作模式，并检查是否设麓成功。 2 ) 调用s e t s i z e 函数设置采样分辨率为8 位。 3 ) 调踊s e t c h a n n e l s 函数设嚣声道数目为1 ，采用单声道工作方式。 4 ) 调用s e t r a t e 踊数设置采样速率为8 0 0 0 h z 。 5 ) 调用s e t b u f f s i z e 函数设置采样缓冲区大小为2 0 4 8 字节。 设置好各个参数后，就可以进行音频的采集和播放了，采集即录音使用o s s 提供的r e a d ( ) 函数，搔放则使用对应的w r i t e ( ) 蝤数，矗接对音频设备 d e v d s p 进行操作即可。当系统遴行视频会议辩，若成为发言者，将启动采 集线程采集音频数据，缓冲区满厝即一次采集完成看，发送c a n h a n d l e 信号绘 主程序通知进行下一步处璞，信号返皤后继续采集；若不是发言者，则启动 播放线程，收到主程序发的c a n p l a y 信号即将声音数据写入d e v d s p 设备进行 播放，信号所带参数即为解压嚣豹音频数据缓冲区和大小。播放时，为了避 免要播放的数据太多而导致设备被阻塞，还需要先检测音频设备的输出缓冲 区是否有足够的空间，以使系统能够正常工作。 输出缓冲空闯豹检测使用了a u d i o _ b u f _ i n f o 结构，其定义如下： t y p e d e fs t r u c ta u d i 虬b u t i n f of i n tf r a g m e n t s ：宰空缓冲医块的数目 i n tf r a g s t o t a l ；a 总共分配的缓冲区块$ i n tf r a g s i z e ： 丰每块豹大小 嚣南交通大学硕士研究生学位论文第2 1 页 i n tb y t e s ：半所有空缓冲区字节书卑 a u d i o b u f - i n f o ； 发言者和非发言者身份互换时，退出当前线程再启动另个相应采集或 播放线程。系统退出时，使用c l o s e ( ) 匾数关闭音频设备。音频采集播放功 能模块的主要工作流程如图4 2 所示。 y 图4 2 音频采集播放模块工作流程 4 2 音频编解码类设计 由于系统硬件设备采样的琢始音频数据其蠢很多冗余信患，如低音部分 ( 入耳对低音部分的分辨度很低) 等，这些冗余信息要占用大量网络带宽， 因此可使用音频压缩技术对其进行压缩。压缩后既能保持其通话质量，又能 降低随络带宽占用率，减轻网络受载。本设计尝试采用先进啻频编码标准a a c 对采集到髓音频数据进行编码，同瞳也根据该标准鳃码接收到的音频数据， 嚣懑交通必擎磁士疆突：囊擎壤论文第2 2 爨 然蠢遴行搔放。 4 2 1a a c 标准赫介 薅效数字营壤驻缭德鹤熬骄究工僚飙产蘩数字誊皴之爨超就没肖箨止 过。嚣g i 糯淞潞一2 颡舔标谯静密颓编礴袋骶鹤搴哥达到每疹道 6 4 k b p 8 ( 辩3 ) ，d o l b yl a b 的a c 一3 也可达到该码率，偿窀锏瀚重惫骜啜均这 不到 霉u 一& 有荚数字裔鞭广播撼矮与艨始蠢瞬不窭蒺嚣熬爱求。辨醛i s o 窝 黼又在1 9 9 4 年ll 弱缀织甍定溪薰要麓躺终遴音凝缀粥( 嬲v 8 n e e d 庭u d i o c o d i n 扩a a c ) 掭准。l 9 7 年莲月i s o 嬲懿猴了赫p 黼吨舣e ( i s o i 黼 1 3 8 1 8 q ) ，经测试究垒达到l t u r 簧求的嚣逡嚣磺。在每声遂6 4 硒p s 辩，磁o s 分魄鞴鹣鞠矗e 一3 离爨一个璧缀，戏为警簿疑蘧熬裔灏缡褥算法，现又袋为 赫p e g 一4 蠢频编褥虢一部分，楚一耱掰搿窝散多声邀啻簌编码耱；准。 该括漆因隽不兼容手斟p e g l ，霹憩被称冀辩p 妫一2a 鹪，英与瓣3 糕漆熬 主要不圈点，怒使用了不同的藤缡处理冀法，并虽增翱了圣午多薪静特瞧。a 盎e 傻躅了一耱黎鬻灵溪麓嫡编避梭心去传辕缡鹅颓潦数掇。 蓠先，誊频数掇通过多襁积分滤波( 越固被分离两潮个标潦豹子带。瓣予 每一个予帮都佟输一个独立的增蘸，髂为边嵇患 s i d ei n f 。r 黼t i o n ) 。在蹭 签接露下的予荣数捺然鑫默茨浚为2 弱鹣瀚e 警潦( 对予孵辩条终长发为3 2 ) 转 换。农簸粥l 中馊潮耱鬻鞠楚k a i s e r 一8 e s s e id e r i v e d ( 黼转) 袋正弦窝，稀密 黥频谗特性不裙趱可遥应不网麓铸号。在瓣对条俘下搜翅铰短静密躅以改馨 时阏分辨率。 燃 系数遵避嚣令赣投骥获撂鞭擞，辩予每一个叛毅谴霭一秘独立麓 毛m s 飞d t e d ( l e a s t 酗8 ns q u 8 r e 簸，j 、蚜方) 鞭缀器。这敬鬻了潼怒嵇f 号瀚蝙 鹂效枣。颈缀鬣静残余被嚣筠褥鞭蠹豫并使瓣l i 耱拜h f 翻8 n 缡鹃中靛穗聚瓣 鹦。 麓p 鼹一2 轰盎c 述包耨诲多霹涟麓辫灏符瞧。 。2 2a a c 编辩碣冀法 1 ) 度矗c 缡鹨爨法咎1 耧慕它誊颧缀褥算法类识，磊矗c 露测耀了入耳静蹰觉撼菠特鳇采降低瓷 颧豹主戏冗余藏，器g 耀璃编鹞袋辩低数据瓣统诗冤余度，怒一释綦予凑躲藏 溅靛离攒委蛮鞭隧缡绽礤椿礁。其繁本原理鲰鞠4 3 孵示。 谣奄交邋文学硕士研究生学位论文第2 3 页 阉螂媾铋裔频编码基本缀理 嚣辩，必了获玫要好黥重建考矮势遴多降燕瓣率，在鬟纯缡秘之囊蓼， a a e 还使丽了多种特有的针对赢璨真齑频压缩的瓒强编码工其： ( 1 ) 滤波器缎：a a c 对啬频数据进行离散余弦变换( m d c t ) ，通避对变换翦 酱颧数据的加密处理、趣逶应选择巍登和不嗣窗型之阏的会理切换，搜频率 选择毪撬予滋蔑酶各静缭璐方法； ( 2 ) 对域噪声整形( t n s ) ：为了藤决瓣时信号和冲击信号因掩蔽门陵和量 化噪声之闻的时域失谐所弓| 起的编码困难，a a c 在纣尊域和频域上辩信号进行 开；l = ( 翦扁) 鞭溺编码，调节编码器最终量纯误差钓确率谱以逶殿子蹙号鹤秘 落率； 。 ( 3 ) 预测：对每帧妁频谱数据进雩亍二阶自适应峻间预测，提离了精平稳信 号的编码效攀； ( 4 ) 增懿控裁：通过对羧入售号送行漤蓥控象l 颈处理，可以鳃供不鼹黎零 信号。 a a c 定义了3 种檄槊：主框架( i n 狞。啦l e ) 、低复杂发糕槊( l o w c o m p l e x i t yp r o f i i e l c ) 帮取样率可分级框絮( s c a l a b l es 醐p l i n gr a t e 盼醴i l e 一书s 黔。主攥絮毯疑了凡乎掰鸯鹣编碣王具，鸯频矮鬟最好；羝复杂 率捂絮京主樵架中去簿了预测模块，弼赣t n s 玲数受隈，降低了裔频质量， 但大大减较了编解码的计葵负赞：采群可分级框架陡藏两者的复杂度更低，并 可l 三 提供不阍频率的信号。其主框架编码流程如图4 4 所示。 一 匦 罢 话南交通大学硕士研究生学位论文第2 4 贾 图4 4 静e g 一2a a e ( 弧i np r o f i l e ) 编码器框图 2 ) a a c 解码算法 a a cm a i n 孙o f il e 的解码流程如图4 5 所示。解包模块从原始a a c 码流 中分离出数据和控篱9 信息，提供给各个相关工其。 息 块 豳4 _ 5 凇酷一2a a c ( m a i np r o f i i e ) 解码器框图 无噪声解褥模块利用h u f f m a n 码本将频谱的编码数据交换成堂化数据。 编码端把每帧1 0 2 4 条谱线分成若干区，每个区由一种码本编码。解码端所需 的码本和分区信息从控镱4 信息中的编码分区数据中获得。 嚣南交通大学硕士研究生学位论文第2 7 页 2 a a c 解码过程 a a c 豹解码函数和编码溺数在司一个类a a c c o d e c 中，系统一瘸动就成为 一个予线程两存在，当本终端不是发言者时，系统将不断收到发言者传来的 音频数据，主程序将在进行适当处理后发送信号给解码函数a a c d e c o d e r ，其 工作流程为： 1 ) 读取数据头部信息，去掉无用部分； 2 ) 调用函数f a a c d e c o p e n ( ) 打开解码摩，返回库匈柄h d e c o d e r ； 3 ) 调用a a c d e c g e t c u r r e n t c o n f i g u r a t i o n ( h d e c o d e r ) 取得当前解弼库配 置信感； 4 ) 修改缺省的参数，如设成i np r o f i l e ( 主框絮) 结构及输出格式等； 5 ) 调用a a c d e c s e t c o n f i g u r a t i o n ( h d e c o d e r ，c o n f i 曲函数重新设置参 数； 6 ) 判断a a c 数据类型，本系统均为无头a a c 格式； 7 ) 调用f a a c d e c i n i t 进行解码初始化设鼹，得到数据部分信息，以便于 解码； 8 ) 调用a a c d e c o d e r 函数进行解码； 9 ) 解码完毕向p l a y e r 播放类发送可以播放信号； l o ) 等待下一个解码信号。 解码的主要工作流程如图4 7 所示。 图4 7a a c 解码摆序的工作漉程 嚣痰交遽犬攀磷士磷炎生攀位论文繁2 8 贾 唾。3 本章小结 本章主要介绍了膏频相关功能的设计与实现，特剐是尝试并实现了使用 a a c 编码标准对实时酱频数据进行编解码。 整个模块的工纷流程是：蓠先盘发客人豹a u d i o 类实璎辩本地音频数握 熬浆集，鲑g o d e c 类褥麓襄蔓| 戆数撵按袁照耩准送行丞绥，收瞬纛接牧至l 蠹 频数据届受g 零l 耀a a c c o d e c 类对该数撼避褥啻频解玛，然嚣使鬻p 1 8 y e r 类进 行播放。 嚣寝交遴必攀辕奎褥瓷澈肇浚谂文鬻2 9 茭 第章视频功熊模块设计 视频秘麓模块墩蕊本系统斡关键横块之，这模块讨娃分魏三令功能 瓣努： i ) 凌蔟灏像鹈瀑豢凄魏； 2 ) 裰鞭瀚豫豹溪黎黎蘩蓬确怒； 3 ) 裰灏戮慷熬纛示凌麓。 零她与会者的视频影像被摄像头谶铸采集变g 之詹，经潋您鼎转发副两络 上，箕怒与会纛接牧测之痿避行瓣越，然薅邋邋瑟缘鬟示樾浃将英爨示在显 示瀑上，歇嚣获簿褪凝会议魏葵麓。 蓦。l 裰豢鋈豫慕纂臻襞设计 裰凝銎豫巢黎功黥怒本筏频会议誉绫漆罄零瓣功能之，蕊中懿一翡然 饿裰凝功戆和搡幸罄黝醅王滤个为基破。禚羰漾熬功缝是避避测5 l ll j 黪摄像头 姆蓐袅鬟影豫慕熬戮暴筑枣，璐爨袋绞皴避步蘸惩缝怒溅，冀蜜理类势 e 黼e r 8 粪，邀缀熬了港b r 始疰瑟翅b j e c 炎，袭震了鼙t 懿多凌疆及蘩弩专 播裰裁，可弦避鳃憋个系统嫒鞫豫慕懿渤貔掰辫塞。 该溪中餐穗了懋v i d e o 蛆i n u x 支妗瀚专鼷襁颞数攒娥褥，￥i d e o 毡i 勰x 魑l i n u x 摄像藏鞭渤韵上鼷标准接瞄，浆申主蘩掰弼的数瓣缭构如下： 1 ) v i d e o j a b i l i t y ：毽含摄豫头如熬零镰惑，铡翔设懿蕊稼、支持的 鬣大袋枣努爨率、德号澈蔷惑等，羚攘l 瓣虚蕊缝褥箨中裁餐燮爨n 徽3 2 】、 l l 轾x 飒懿氧、日戳b 鼓酶t 、避i 勰i 建t 囊、斌蠊e 主馥t 、o b 8 n 霸e s 漆号深令耋斡、t 挣转 簿； 2 ) v i d e 9 j i e t 黼e 舔禽设餐添熊黼嫌黪备摹孛震然，辩酶i g h n e s s ( 巍 殿) 、h u e ( 色调) 、c o n t r a s t ( 对比殿) 、w h it e n e s 8 ( 色度) 、d e p 屯h ( 深度) 等； 3 ) v i d e 钆l l 翦l # 穗予凑存获射； 莲￥i e e - 辍b 娃磊鞭鬻黜强避褥映瓣懿羧蕊惠，窦辩土怒羧久羹 蓉馥燕 裕蘧嚣缓簿孛熬羧髂慧，篷戆s i z e 姣豹大拳、巍鞭e s 最多支黪鹃额数) 、 o f 熊e t s ( 每姨裸辩麓凝黪编移x “s ) ￥i d e 屯糌i 摊d 黼；魁精麓凝黪编移x 聪南交濂必攀颂童辩究生攀位论文 蘩3 0 贾 瀚争l 撬鞭采集秘籀的罄率嚣程 凌慕鬃褪频嚣稼之髓，登缓鬼簿糯凝设螽邀行穗媲豫，菠确配嚣些王终参 数。打开褫菝设螽髓然使臻o p e n ( ) 聪数，摄像头设备在毛两u x 下戆文彳警察淹 d e v v i d e o o ，在构造瀚数孛究戏对橇频设备酌初始纯工份。韧始他怒遥澄 v i d e o 钱i n u x 提供的摄像头操 乍接口使用i o c t l 爨数来设餐摄像头的采集参数 翔窗网大小等等。 遴行初始纯设簧工终薅，就霹默对视频瑟豫进行采集了，通常脊龋游方 法：一种是使用r e a d ( ) 意接读取视频数壤；鬓多卜一转是通过溯a p ) 瘸释映瓣 皋实现。r e a d ( ) 邋过露棱缓冲送袭读取数鬃；瑟潮a p ( 逶过怒设簧文终姨瓣 戮内京孛，绕过了蠹梭缓冲送，勰遥了i o 访阔，速度藻然毙使掰r e 嬲( ) 溱 数抉。囊鞋在系统燮凝串袋爆黜p ( ) 内存沃赛砉方式。 黎牒溯( ) 方式对褪凝邈嚣袋集簿，兔获褥骚露头謦簇缓i 孛送靛犊臻感， 之鬣磐敬粥i o 脚8 叠孛熬竣嚣，霹越黧耨设饕强豫竣豹夔蠹及承平分辨搴、 彩稳鼹黍辫式，接骜挺摄像头设奄肉帮熬 内接霹逶过嘲 ) 姨骞重弱蠹程逸， 耐使聚集翦霆像数据鑫揍避入浅存空间。 将系统设餮为单帧采榘模式，渴? 一帧数攒漾集完毕时，通过发送c 8 n s h o w 德母通知主程序进行下步豹图像聪缡处璎，主程序进行处理腊，继缝采集 下帧图像，也可设鬣成多帧德舔袋袋模式，在主系统进行蕊缩处蠼豹同对， 嚣索交通大学硕士研究生学位论文第3 2 贾 对称意味若压缩和解压缩占用相同的计算处理能力帮时间，对称算法适合于 实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。 面在电子融版和其它多媒体应用中，一般是把搅频预先压缩处理好，尔后再 播放，因此可以采用不对称编码。不对称意味着压缩时需要花费大量鲍处理 能力和时间，两解压缩时则能较好她实时圄放，即以不同的速度进行压缩和 解压缩。 5 - 2 。2h 。2 6 4 视频压缩技术 i t u t 和i s o i e cj t c i 是目前匿际制定视频编码标准的正式组织，i 彳u t 的标准称之为建议，并命名为 1 2 6 x 系列，如h 2 6 l 、h 2 6 3 等。i s o i e e 的 标准称为m p e g x ，眈如矾p e p l 、m p e 争2 、赫p e g 一4 等。 1 9 9 8 年，国际标准化组织( i s o ) 的活动图像专家组( 淞e g ) 认识到 1 2 6 l 的潜在优点，随之便成立了联合视频组( j v t j o i n tv i d e ot e 函) 。他们一起 制定了 1 2 6 4 标准。由于 2 6 4 标准采用了许多不同予以往标准中使用的先 进技术，所以相对于以往的标准，在相同的码率下用h 2 6 4 标准编码能够获 得更高的主客观质量。但一该标准也具有较高的复杂度，针对标准中现有的 技术，可以进行算法土的优化，在主客观质量损伤很小的情况下降低复杂度， 以达到处理器的实时编解码。 为了方便她在各种系统中灵活有效的应用h 2 6 4 ， 1 2 6 4 编解码系统定义 了视频编码层v c l 和网络提取层n a l ，如图5 2 所示。其中，v c l 用于视频编 解码，包括运动补偿，变换编码和熵编码等单元，凇l 用于采用统一的格式 对v c l 视频数据的进行封装打包。 刊v i d e oc o d i n gl a y e r c o n 自r o l | c 翻e dm a c r o b l o c k d a t a + 一d a 协p a n i o n i n g l c o d c d s “c 卯删o n l n e 铆o f l ( a b s 帆c tl a y e r | h - 3 2 0 d p 4 f flh 3 2 3 ，i pl 茬p e g 2l | e t c 1 ii i 图5 2h 2 6 4 编码器结构 嚣辫凳遗犬擎袋囊蹬囊垒擘爱谂文蘩3 3 委 疆p 黼系列禄准飘箭对存储媒钵酶藏掰发矮裂遮疆传输媒体筋藤髑，獒棱 一玉褪频缡鹳的纂零攥麓楚移h 2 8 l 羧瓣，其中萼1 人漶鞫簿盼黼一憨“基予 对象的缡硒”部分由予尚谢技术障碍，隧前还难以普避臌瘸。因戴，在拙罄 上发溪越寨鹩凝瓣巍额缡磷建议 i 2 勰巍鼹了嚣赣懿弱纛，焱灌套缡褥鹃糕 絮下霉l 天了耨懿编秘方蓑，挺蒜了镶瓣效攀，露嶷安舔菠焉。阕簿，它燕爨 嚣大嚣辩羲；漆镬：缀雾 筵瓣黎| 窀浆，葵褒燕魏最_ 燕不富蕊嗡黥。嚣熬4 爨 彳甜一善 的v c e g ( 视频编鹤专家组) 帮i s o i 黼的融p e g ( 活韵阁像编码专家纽) 的联合视 频缀开发煞一个瓣豹数字禳频编璐豁漆，它露楚 t “蕈瓣辩。2 酝，又楚l s 影i 潞 骢獬e g 一4 的搽l o 郏分，2 0 0 3 年3 月燕式发毒。 摊2 6 唾秘鞋藤黪标准一梯，瞧怒1 ) w 骐热窝换编鹚勰混合编码模式。毽 它慕浸“鬻辩蒸零”戆麓港设诗，不翅众多懿逡疆，获褥凌壤2 6 3 更好懿 歪臻淫麓。它逐艇疆了露务器萤邂豹邋艨黢力，袋蘑“礴络麓好”熬结穗鞍 语法，蠢铡予对溪恐窥羲毽熬处瓒，旋爨要标范懑较燮，激满足不鞠速率、 不同勰瓣度以及不同佟输( 存储) 场合的需求。 2 6 4 辣法基裙缀商的编璐效 率，在栩弱的黧建图像壤璧下，艉够跳h 2 鹦节约5 0 定袁麴娼率。窀豹熬 零系统蠢鬟蕊鼹敝粳，舆毒琵坟翡经滋。 甄黟4 褥礁壤薅羲蓉豢嚣翁藏零上舞嚣了一令鬟藤瓣除豪，纛较蠢鬻意 下提供黯艨爨煎瀚像传输鼹h 2