基于DSP的H.324可视电话研究与实现

1、基于dsp的h.324可视电话研究与实现h.324标准的可视电话系统实现办法，普通有如下同种方式：软件方式、通用方式及专用处理器和专用芯片方式。以pc机为平台，利用现有的声卡、视频要集卡和调制解调器作为输入和输出设备，采和基于windows的多线程技术软件实现h.263视频器、解码/发送、接收、显示等多个任务。在实际应用系统时需要考虑到pc的处理能力、与接收端的衔接和相应的图像格式等问题，可以在编码模块中采纳汇编语言，提高执行速度，并引入mmx技术，进一步提高执行速度。它的特点是成本低、配置少，便于移植和升级，但对计算机的处理能力、编解码的算法速率的要求比较高，普通难于达到实时要求。专用处理器

2、和专用芯片是另外一种硬件处理方式，它的优点是集成度高，价格低，但扩展性差。国外许多公司都热衷于视频芯片的讨论和开发。就国外来说，主要的视频会议芯片供给商是：lucent technology(avp-iii处理器)；8×8 inc.(vcp 处理器)；texasinstruments（c8x系列处理器）等。专用处理器和专用芯片方式的特点是能得到高的图像质量并能满足实时图像处理的要求。通用dsp方式是一种硬件实现方式。采纳通用dsp的缘由是因为它可通过编程实现多种功能，当针对硬件的软件功能升级和新的标准算法浮现时，只需要局部转变dps的微码就可以适应不同的应用。用dsp实现h.263时

3、，首先需要估量编码、解码等处理过程所需的计算量，并且这些计算量与详细视频编码过程有关，挑选时应当选用高速dsp。从以上三种实现方式来看，dsp具有开发灵便、适应面较宽和扩展性强等优越性，且目前已经能实时处理h.263算法的高速超强处理能力的dsp芯片有ad21065l、tms320c55x、tms320c6x等，所以采纳dsp实现可视电话等视频图像处理系统成为开发者的首选。1 h.324可视电话基本框架h.324是itu的适用于公共电话交换网（pstn）的低比特率多媒体通信终端的框架标准。它用法v.34调制解调器，可以实时传送语音、数据、视频图像或三者的组合。h.324包括甚低码率视频编码的h

4、.263建议、音频编码g.723建议、控制协议h.245和复接与复用协议h.223等。pstn的视频h.324可视电话框图1所示。在h.324编解码系统框图中，视频编码h.263提供低于64kbps的传输速率，是h.324的技术核心。视频主要完成对源图像序列的压缩，先按块的方式采纳dct变换，后对变换的dct系数举行量化，然后进入视频复接编码器。在编码过程中，要求对编码模式的挑选和码率的大小举行须要的控制；视频复接编码主要完成将每帧图像数据编成四个层次的数据结构，以便在各层次中插入须要的辅助数据信息。同时对沟通dct系数（ac）举行vlc编码，对直流系数举行固定长度（flc）的编码，并对压缩的

5、编码数据与控制信息复接。因为h.263的输出码率普通非恒定的，所以在实际应用中，受传输网络带宽的限制，必需要在发送端和接收端设置缓冲区，使得编码率的码流变换为固定码率码流，防止数据的走失和破坏。缓冲区的信息传给编码控制器，由编码控制器来控制编码器中量化器化步长，同时将步辅助信息送到视频复接编码中的各层次，以供用法。解码部分可以看作为编码的逆过程，但并非彻低对称。编码过程的运算量和复杂度要远大于解码过程。2 可视电话系统的性能需求在可视电话设计之前，先分离对可视电话的图像格式、视音频的编解码运算量和存储量举行分析。pstn上的可视电话，因为信道带宽较窄（传输速率最大不超过64kbits/s），故

6、图像不宜过大。图像格式上采纳qcif（176×144）格式，帧率为15fps（帧每秒）。以下视音频编解码计算和存储量均在上述条件下估量。h.263视频编码计算量主要集中在：运动估量与预测编码、离散余弦变换（dct）、可变长编码（vlc），这部分的运算量估量为90（兆个命令/每秒）。同样，解码计算量主要集中在：运动补偿（mc）、离散余弦逆变换（idct）、可变长解码（vld），这部分运算量估量为40mips。g.723.1音频编码的运算量比视频的运算量小得多，大约为30mips。再加上其它一些操作如音视频混合、数据的传输、外部器件的控制等，估量大约为60mips。因此dsp的计算量共为

7、220mips左右。存储器包括程序存储器和数据存储器。程序存储器和一些常数（dct系数、vlc系数等）开头存于rom，运行之后引导至ram中，这部分估量为400kbytes。数据存储器主要存放采样得来的视频数据以及待解码的数据流，也就是视音频信号的缓冲。qcif格式的每帧采样数据约为50kbytes，ram中起码要存45帧，这部分需250kbytes。为使视音频同步，音频数据缓冲为50kbytes左右。3 基于dsp的可视电话系统的实现按照资源分析，为实现上述以pstn为传输线路的可视电话，首先挑选合适的视音频编解码dsp芯片，再构建可视电话硬件流图，分配存储资源，然后编写与移植相关的协议软件

8、，使之适合dsp芯片的高效运行。3.1 视音频解码dsp芯片的挑选视频编解码芯片采纳ad公司的adsp-21065l。adsp-21065l是超级哈佛结构（sharc）adsp系列中功能强大的32bit dsp，高性能的核加上集成的外围器件，使其性价比很高、应用范围很广，它的主要特性有：·198 mflops（32bit浮点运算）；·180 mops（32bit定点运算）；·16k 32bit双端口片内存储器；·64m 32bit字长的外部扩展地址空间；·2个支持32个时分复用（fdm）通道的串口；·10个dma通道；·2个

9、时钟；·与32bit字长sdram的无缝口等。adsp-21065l的迅速运算能力（198mflops）和大的外部存储空间（64m），使其能完成h.324中的运算量大、存储容量大的部分，如视频编解码h.263、视音频混合h.223和控制h.245。adsp-21065l采纳多使dps核、i/o端口、内部双口存储器、外部同步dram之间数据能够高速传输。这对于视频数据的编码和传输很重要，由于视频数据有量大、传输快等特点，adsp-21065l的多总线结构能很好地解决这些问题。而且32bit字长的计算，能够提高视音频的信噪比。音频编解码芯片采纳adsp-2189m，其主要特性有：

10、3;片内存储器高达1.5mbit，可配置成32k字的程序存储器和48k字节的数据存储器；·运算能力为70mips，13ns的命令周期；·3个总线结构允许在每命令周期举行两个取数操作，并作运算；·4m的外部扩展存储器；·2个串口，可以自动缓冲数据；·6个外部中断；·丰盛的命令，低功耗等。监于adsp-2189m特点，以及由前研究的音频编解码g.723.1运算量和存储容量的需求，可以让adsp-2189m举行音频编解码g.723.1。此外，adsp-2189m的多功能串口，可以完成v.34调制解调器的任务。3.2 可视电话系统的硬件结构d

11、sp可视电话硬件结构2所示。图2中adsp-21065l是可视电话的核心，其主要作用是完成视频编码h.263、多媒体通信的复用协议h.223和传输控制协议h.245功能。h.263核心技术为基于块dct和运动估量与预测技术，前者是通过正交变换消退图像8×8子块数据中存在的空间冗余，而得到一定的数据压缩；对后者而言，首先对输入的每一图像举行层次的划分，直到分为8×8块作为运动估量算法的基本处理单元，然后举行运动估量与预测，消退图像序列间的时光冗余，达到运动图像压缩的目的。h.223低位率多媒体通信的复用协议，主要由al和mux两部分组成。al负责将从用户层和i/o层猎取的不同

12、数据流（al-sdu）转换成al-pdu。mux负责将al层数据送到物理层。al与mux层交换的规律单元称为mux-sdu，每个mux-sdu事实上就是al-pdu。al按照接收媒体不同，分3成种：al1、al2、al3。al1负责传送普通数据和控制信息，al2负责音频，al3负责视频。因为可能有多个al-pdu（mux-sdu）同时到达复用层，复用层按照一个预先定义的描述符表将不同的al-pdu复合到一个数据流中。该描述符表有16项，每个表项定义不同的al-pdu组合方式。h.245传输控制协议规定了控制h.324终端正确操作的端端信令。它定义了终端间通信开头时举行带内商议的控制过程、消息的

13、语法和语义，并定义了各种不同的服务。一些适于全部终端，一些只适于特别终端。它定义了各种过程以允许音视与数据能力的交换；哀求特定的音视与数据模式的传送；管理传输音视与数据信息的信道；为管理双向信道确定主终端与从终端；携带各种控制与指示信息；控制自立信道或囫囵复用层的位率；测试来回时延等。adsp-2189m是起到音频编码协议g.723和调制解调器v.34的作用。g.723音频编码协议有5.3kbps与6.3kbps两种速率，其主题是“5.3&6.3kbps多媒体传输对称速率音频编码器”。g.723编码器经过优化增强了有限的复杂度，获得了高质量的对话。它将语音或其它音频信号帧用线形预测综合

14、分析编码办法编码，6.3kbps的激励信号为mp-mlq（多脉冲最大相像量化），5.3kbps采纳acelp（算术码书激励线性预测）；帧长30ms，外加一探头7.5ms，算法延迟共37.5ms，附加延迟则取决于实现时的处理延迟、通信链路的传输延迟及复用协议的缓冲延迟等。v.34协议把数据流举行调制和解调，使之适用于电话线的传输。主要用于协议数据的流向和动态ram的刷新，用语言来设计规律控制和数据缓冲。视频采样芯片是ad公司的ad7185，它可以挺直输出yuv信号。音频转换芯片采纳ad1819，其特点是对于音频信号既可做模数转换，又可做数模转换。dram为1m字节，存取时光为6.7ns。用户界面

15、采纳89c52，处理界面操作，远程控制等。3.3 存储资源的分配和软件的编写移植问题按照应用特点，合理分配资源特殊是存储资源，向来是dsp设计的重要之处。在本系统中，频繁用法的dct系数、vlc系数等放置于adsp-21065l的片内ram，而其他数据放置了外部ram中。按详细功能要求，参考资料，开发出相应的下的h.324程序，编译链接生成执行文件执行并举行功能评估，举行详细的算法优化。评估程序执行的效率，详细分析出dct和运动估量与预测等耗时大的模块，按照adsp-21065的命令特点和硬件结构，采纳高效的汇编语言编写这部分汇编程序，进一步提高程序的执行效率和充分利用adsp的系统硬件资源，终于按要求