点到点的语音视频通信实验

多媒体通信实验——点到点的语音视频通信实验要求（1）发送端能够正确捕获视频、接收端正确显示视频；（2）视频需要选用一种编码方式（3）可选要求：使用RTP/RTCP监测视频流状态、同时传输音频；二．实验原理1VideoforWindows函数简介VideoforWindows函数是Windows环境下实现实时视频捕获的重要工具，主要包括vfw.h头文件和vfw32.lib函数库。由于VideoforWindows函数可以方便地实现视频、音频数据流到AVI文件的存储，在VisualC++中也将VideoforWindows函数称为AVIcap窗口类函数。通过使用AVIcap窗口类函数，可以在应用中方便地集成视频采集功能。AVIcap为应用提供了一个访问视频采集硬件简便的、基于消息的界面，并且能够控制视频流数据存储到磁盘的过程。1.1AVIcap窗口类的基本功能AVIcap窗口类是完成由视频捕获硬件获取数据，并按照需要的格式进行存储、转换的重要手段，它提供的主要功能包括：1)动态地同视频和音频输入器连接或断开；2)设置视频捕获速率；3)提供设置视频源，视频格式以及是否采用视频压缩的对话框；4)设置视频采集的显示模式为Overlay或者Preview模式；5)实时获取每一帧数字视频数据；6)将一视频流和音频流捕获并保存到一个AVI文件中；7)按用户要求捕获某一帧数字的视频数据，并将单帧图象以DIB格式的文件保存；8)创建、保存、或载入RGB格式下的调色板；9)将捕获图象和相关的调色板拷贝到剪切板；10)指定捕获数据的文件名，并能够将捕获的内容拷贝到另一个文件。合理使用以上主要功能是实现实时视频应用的关键。1.2AVIcap窗口类函数分类1)回调函数在Windows系统中，回调函数是一类特殊的函数，功能类似于中断函数。其调用过程由系统完成，而函数的具体内容则由用户自己设定。在系统中当某一回调函数被设定后，在某一特定的条件满足时，系统自动调用的该回调函数。在AVIcap窗口类中的回调函数如capVideo-StreamCallback，capStatusCallback等函数。该类函数在使用之前需要先由用户设定函数的内容，然后将其注册到系统中，判断调用条件是否满足以及对该函数的调用则都由系统自动完成，不需要显式的调用命令。(2)宏在AVIcap窗口类中，宏的使用完全类似于普通的函数，其功能等同于发送相应的窗口消息。例如capSetCallbackOnVideoStream与显式发送WM_CAP_SET_CALLBACK_VIDEOSTREAM消息所完成的功能完全相同。(3)普通函数AVIcap窗口类中的普通函数只有两个：capCreateCaptureWindow；capGetDriverDescription。1.3AVIcap窗口类中常用的结构家序在加AV增Ic毙ap梳窗已口类饭中有谅4景种姨常用各的结逗构：唐闯碎1)戴C状AP嫌ST平AT娱US蒜：贪定义陶捕获访窗口铸的当并前状觉态；婚株道2)度C豆AP芳DR半IV鼻ER碗CA蚕PS浸：缠定义树捕获谁设备淹的能先力，井如有捕无视蜻频叠阁加端(O旬ve遍rl章ay澡)耳能力步，有绸无控戒制视糖频源饼、视岗频格峰式的趴对话熊框等性；橡换3)淋C狡AP伪TU幼RE长PA装RM义S躲：包她含控暮制视俯频流套捕获涂过程略的参尺数，雁如捕也获帧雀频、嚼指定椅键盘丛或鼠磨标键盖以终希止捕从获，嫌捕获饱的时剥间限景制等宴；桐败4)淡V通ID亩EO辨HD纺R飘：定暗义了慨视频疫数据东块的穴头信辩息，巨在编告写回催调函缝数时蜡常用炒到其成数据迷成员葛l戚pD吧at王a(怎指趴向数节据缓慕存的袜指针洗)艘和努d粮wB涝uf隔fe宫rL借en辩gt论h(竹数芦据缓期存的咱大小奋)三。杆淋对其中番前孔3纤种结绵构都糊有相思应的已函数殊来设抓置和韵获得靠结构律包含让的信汉息。秘京2怕视频估捕获群基本砍结构腰流程丸爬士视频肺捕获翻的结毁构框揭图如顷图佩1母所示或。瓦图1僵视双频捕效获软砖件实渐现的干结构真框图秤要进枣行视零频捕呆获首刮先必贝须创饥建一谁个捕福获窗鞭，所懒有的匹捕获优操作逮及其损它设庭置都开是以灰它为清基础黄的。办它是捉通过鹿c挤ap浓Cr疯ea稠te刊-C扰ap洋tu惯re岛Wi论nd袍ow必函轰数创街建的匪。帜汉在系渣统回羽调函志数中愈常用魄的为册状态号设置俱、出绘错处胖理、凉流捕正获或妥帧捕挨获等祝回调您函数著，它基们的筐注册减是通毕过相腐应的输宏完朴成的锣。如嘉c芒ap盯Se佩tC匠al太lb案ac欢kO凡nE妥rr钱or灾将承系统匠出错到处理别的回扎调函嚼数注田册到诸系统皱中，汗当系坦统出缝错时咳自动响调用隔进行杆处理素。具圣体处市理的短内容哀由用环户自刊己编挖写。茅畜垒捕获础窗参妨数设聋定及故系统慈参数南设定纤需要朵根据济用户仅的具灵体要秃求决冈定。球这里羞主要导对视器频显都示的换两种乡模式营即：倘视频懂叠加滨模式耐(似Ov双er贷la致y恳模式饱)费和这预览切模式骑(纳Pr善ev任ie酱w哪模式待)壮加残以详妇细说战明。获余督1)门O撇ve康rl寒ay筹模锻式：夏该模贤式为笔部分总采集秘设备暂所具演有的跃能力顷，可工以通县过趁CA溉PD张RI既VE悄RC写AP唱S怜结构威中的撕f灿Ha薄sO桥ve练rl目ay影域干来判纪断设骡备是陵否具准备该拣模式母。在林O纸ve遵rl旗ay输模鸡式下撕所捕甚获的咸视频挂数据棉的显滤示不宵需要壳经过睛占用孝系统摆资源泊，显胃示速买度快仍，同稳时不诸影响桐系统砍的其峡它任处务。愁该显乓示模短式所城支持历的视祥频采顺集格姜式为肃Y跟UV稿格母式。腹通过诸c穗ap抚Ov座er合la韵y泰宏完斗成。简帖寄2)召P扇re藏vi笔ew幕模毫式：强在该煎模式穗下显防示要特占用毒C剧PU轧资震源，最视频却帧由亩系统随调用恶G钻DI帝函师数在宇捕获悟窗中棕显示郊。驾Pr鸣ev哄ie诊s重模式轿的显品示速将度慢澡，该研显示盘模式幅所支齐持的柱视频栽采集疲格式瓦为搏RG拳B耀格式中。通监过利ca手pP虎re舍vi踩ew极宏胸实现益。按杰Pr容ev截ie附w耍模式爱和材Ov厚er由la谁y司模式陡都只匀是用伴以显胸示。夹与采恢集的窜过程刚并无雁多大准关系耀。它挥主要纲应用廊于采馋集帧饥的本炸地回蝴显。绣吗途参洞数设怨置完瞧成之驶后，拢视频嚷数据泻的采雅集是番整个拜应用竞的关拾键，奔根据英应用号的不夹同可锣以将枕视频浆帧采斧集到利的文次件或黎采集拉的缓令存直劳接加忌以处暗理。衫在可为视电醉话的彩应用奴中需南要实锯时的有处卷理采独集下界来的旨帧志数据泪，因潮此我桌们采者用了突将视恼频数见据采辅集到疮缓存桐的方摧式。炕它的佣优势申是速宗度快拳，实服时性翠强。最完成创视频留帧到阶文件辈的存叹储可僻以利蹈用相辞应的乖宏实椅现，烫如耐ca吹pC毛ap旅tu板re毙Se贿qu甜en牛ce艺宏显将捕胆获帧债存储屡到指仁定的勒文件务。而述实现吼视频榴帧到队缓存默的捕脱获则坏需要碎应用渠回调泰函数红和相贝应的莫数据耗块结狭构远VI夸DE始OH樱DR瓜。呢这里诞c课al骆lb挪ac酷k阀函数爸可以俭使用嫩c国ap快Se霸tC顽al挪lb蜂ac蹦kO敞nF廉ra戏me压或与c敢ap伴Se兆tC份al踢lb说ac摇k-山On绑St妈re若am著来袍注册厨。其再不同缠点在摄于后雹者所膀能够码达到睡的采信集速童率比使前者收要高洋，但奶需要钓用攻ca梦pC脏ap弃tu森re区Se弄qu践en削ce尾No确Fi茫le领加供以激挺活。关其相宰应的阳回调半函数骄的接旷口及远内容钟可以养完全咳一致蔽。绞3庸基于顺UD识P的穴Wi武ns攀oc肺k编罩程樱UD姿P协叛议（龟Us台er鼠D荡at程ag强ra那m缸Pr脚ot异oc先ol氧），忙即用死户数顽据报蛋协议竹，是辫定义歉用来韵在互弱连网炎络环患境中逆提供康包交处换的狼计算摧机通洪信的歪协议膜。它睬是I钩nt甘er商ne队t上式广泛耗采用泰的通占信协致议之欢一。关U匠DP突协议临直接赴位于坐IP凶协议甲的顶锅层，雪属于腔传输个层协顾议，乞它提色供向上另一女用户货程序蜻发送雅信息萄的最撇简便茂的协梳议机且制胸。沫与T秩CP愧协议箱不同勒，U绪DP谨协议希是一泽个无简连接活协议寇，发冒送端姨和接雀收端扭不建例立连伸接；捕UD匪P协票议不师提供陵数据踪传送类的保告证机慌制，信可以览说它致是一王种不北可靠抖的传模输协舒议；情UD阻P协次议也黎不能饲确保壶数据穷的发回送和缎接收僵顺序客，实胶际上颈，这宏种乱华序性盆很少虎出现搁，通局常只祖是在花网络岩非常劣拥挤师的情递况下丢才可咱能发结生。错以下眠将给适出利鸣用W注in换So毕ck辆A剃PI朝实现承基于之UD康P协矿议的高网络页编程既的具奋体步煮骤庸初始毫化通偿信端嗓口鞠初始侦化W同in在do殊ws唐S辛oc沃ke惠ts第D化LL驶创建进流式鹅套接折字邪服务暗端绑谦定端鬼口墨注册趟网络揪事件束处理眼网络香事件类读取爪数据展发送徒数据材关闭凉套接羞字缓UD衬P实胆现框氧架为气：道三侄．实荡验内户容办本实网验程眠序模典块可迁以分坡为以受下几兼块：块在收田发双确方正箱确连莲接摄大像头内和麦犯克风边初始辰化通乌信网申络寄捕获毫抓取鬼视频威和音额频涉对抓之取的盛视频妇进行刘编码后对编捡码后即的慢视频堪码流录进行确传输铅对接捐收到耕的侦视频拾码流跪进行屋解码访对解孟码后艇的视占频进消行显脊示解··催··法··粘··敞··多··洪··丑··盆··缸··夫·筛选做框内容男··垫··父··茶··放··衣··炒··轿··锣··污··蒸··但··坝··丈··超·往音频市的发务送和甩接收巡四椒．实辞验具御体实饭现迹(1嗽)父在收梯发双同方正盐确连营接摄奴像头归和麦剑克风核微软幅为W秧in串do饭ws斗下的汪摄像记头操晕作提掌供了见Vi财de白o端fo馅r呢Wi浆nd讽ow烈s库右，通船过调蓄用相恨关的学函数训即可骆进行拐摄像拍头的原操作独。调聚用恼ca储pC餐re比at仆eC柱ap柄tu恰re捞-辅Wi陪nd些ow填()烦函数汉可以暴打开出摄像剃头，继其返塑回值顽（H良WN渔D类扎型）倚可用谣于设左置摄悬像头筒的相躬关参瞧数；棵ca震pD益ri掏ve易rC分on凶ne佣ct什()浇连接婶设备鼠；焦ca梁pP虹re贪vi钞ew筑()依设定熊为预驱显示货模式砍。给相关声程序冲请见丰Ca归pt际ur侮e.繁h和君Ca标pt疮ru隶e.普cp医p中夸In歌it苗Ca忆pt愧ur忆e(咏)朽。夸哗对于况麦克折风设挽备的驶连接死，调它用的姜是m旨ms唤ys胃te浊m和吼Wi鸣nd兆ow缸sX秒库函将数，妹通过膜调用叶wa涌ve伏In永Ge品tN帽um秀De戚vs早()施和饭wa员ve恨Ou慨tG团et弱Nu岛mD竟ev喂s墓()沃判断役语音贝输入哈输出静设备寺是否侵正确班连接锤，将匆音频驳波形册设置艇为P垄CM蹄调制翁。相槽关程牲序请纽见I李PP耀ho饰ne雅.h远和I叨PP肺Ho消ne谋.c算pp丹中。闯(2飘)硬初始番化通埋信网锁络孕冈通信廊的建庭立困调用恼Wi破nS挽oc更k2坚库函观数，拾分别辟建立庸视频拨收发字双方辱和音茄频收持发双回方的蛙连接跌，说先在梳配置握文件驶co苗nf曲ig野中，梁设置丧视频量和音疗频的绢应用触层端除口号乌，设藏置目浑的I眯P地营址携等，执然后慧再色建立罩so解ck塞et佳连接刑.主逐要程倘序模轮块见展MM援CD山lg索.h棕和M待MC棉D呆lg汪.c细pp易中I州ni欣tS抱oc跑ke效t(聋)部纱分。性(3属)捕疗获抓娃取视备频和用音频离通过辞C度ap编Gr言ab落Fr剥am闷e英(产)黎来抓盈取当拘前帧蝶，并稍用鄙ca巩p反()卵保存氏为音BM嘉P格谢式的盘位图杰文件挣在窗仰口显汁示散，视渔频b火uf签fe隆r设眼置为推容纳怨3帧稼的大利小并。紫而姥音频权文件贸另外冬保存套在湾音频揪bu乒ff块er蒸中，店音频红bu彻ff穿er忆的大势小底设置思为2它88要0b埋it把。吉(4兄)对烟抓取帆的视径频进棉行编到解码矩建从视斯频b姻uf抬fe倍r中赴读取桃视频肉文件伞，由机于编丑码器腿采用脊的M锹PE连G4育，接胳口输降入需凤要是裕YU虎V格士式的阵文件两，于倾是对持取出域的视买频文国件做葬RG联B2揪YU互V变吉换余，然傅后传捷入M撞PE温G4此编码受器，维对于夕编码尿器的悦使用园，直徐接旱添加帮其生若成的补库和诸调用乞头文乔件到敌当前掘工程破中就医可以言使用南。其档中，遵en蔽co闭re始()敏函数列的第低二个似参数能en猛c_舞op们t以需要籍分别躺设定黄为确EN哄C_新OP廉T_皂IN朵IT肠、镇EN纪C_钥OP企T_爸WR织IT秒E怖、鄙EN锻C_妈OP命T_彩RE虚LE丘AS在E划以完迹成编须码器钻的初晕始化我、编雹码、俩释放拉的工蹲作。冶相关拔程序泪请见仗En宣co泥de个Vi汁d居eo拿.h灯和E绕nc村od蹄eV度id傻eo辰.c圾pp纤(5钳)兼对编铲码后迈的码咬流进雨行传热输坊农对编凑码后厕获取廉的码貌流进叼行U斤DP饲传输流，传戏输时词以一怀帧一庸个码塌流进泉行传扭输，泡在传床输时罢不考舅虑网哲络的砖MT挤U问健题，业直接盟对产牙生的衡每个捕码流塘进行纪整包零发送饭具体番实现退时，始调用掩Wi断nS松oc知k2拖库中秩se喜nd撇to坚()美函数避进行巾数据且发送阴，并犹在参凡数中批设置虎数据爪传输剪流的伤大小木，相衰关程彻序见荒MM败CD山.c孤pp奶中的恢Vi筛de悠oS蒸en获di录ng掩Th怀re焦ad歼()倒.讯(6镜)对主接收脂到的宗视频铺码流奔进行占解码反接收虫端采股用U熄DP佩的挎re狐cv脉fr话om死()钳函数搜接收冠数据斥包。胶该函刮数是盲一个紫阻塞喉函数构，定先正确冠接收冷到了怒数据艳包籍，此慰时将穷该数得据包结进行聚解码尸。解塞码采背用的近是提窜供的鞋Mp站eg四4解泪码器裕。添狼加其呼生成派的库罩和调撞用头陷文件理到当况前工天程中壳就可判以使循用它霞。其课中，纳de瞧co枪re耽()厘函数隙的第李二个此参数敬de剧c_钟op偿t扮需要裁分别静设置狗为健DE卡C_躬OP势T_艇ME塌MO余RY解_R劣EQ咸S堡、类DE榆C_述OP校T_鬼IN息IT接、手DE惧C_事OP伴T_仿SE车TO舟UT荡、其址它(喂其余搁任意仪整数页)、贷DE铸C_简OP络T_雹RE拥LE特AS旺E顷以分竟别完继成内裕存计航算、遣解码闹器初顾始化翻、设哄置输作出格鹅式、肾解码肝、释梨放解亩码器羊的工撒作。撒相关瘦程序色见妈MM下CD捎.c霜pp四中的梅Vi管de柏oR英ec巴ei维vi驼ng升Th鸡re面ad倘()挖。藏(7尿)对案解码和后的锁视频电进行奸显示祸在火解码次中，只设置叹了解施码格烈式为盲RG聪B2饭4。睡设置精定时锈器，营每隔申一段滑时间毁检查牙解码恩缓冲锯中是忘否有服数据碌，若受有，瓶则设世置当鹿前窗录口失爆效，利使系瞒统发俗送重而绘消会息。爱在O臭n烂Pa溜in找t至()散函数泪中，有将当赚前的杂RG运B莫Bu吴ff评er峰绘制很到窗虹口中筝，完钉成视抱频显采示的能功能唱。缺(8串)音差频的现发送扛和接乒收格对于才音频总的处证理，反我们丸直接谱通过属麦克掘风，裳获取喇PC艇M格贸式的峡波形去，采谨样率擦设置盛为8条00级0，均每样史点的侍字节识数设江置为进2；却接收脊端缓食冲区