（信息与通信工程专业论文）音视频实时处理系统的设计与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 d s p ( 数字信号处理器芯片) 以其强大的数字信号处理能力，被广泛应用于各 种音视频处理系统中。但d s p 主要侧重于算法的实现，系统控制能力相对偏弱。 a r m 嵌入式芯片以其高性价比、丰富的外设资源，被广泛应用于各种需要复杂控制 和通信的系统中，与嵌入式操作系统结合，能够充分利用操作系统的多任务机制 及其支持的各种协议，缩短产品开发周期，具有较强的通用性和扩展性。 论文结合d s p 处理器与a r m 处理器的优点，研究设计了基于d s p 和a r m 的音 视频实时处理系统的软硬件平台。选用t i 公司的t m s 3 2 0 d m 6 4 2 和s a m s u n g 公司的 $ 3 c 2 4 1 0 作为核心处理器芯片。d s p 子系统采集音视频数据并负责其算法处理，通 过d s p 的h p i 接口把经过处理的音视频数据传输给a r m 子系统，a r m 子系统负责音 视频数据的存储以及网络传输。 论文着重论述了音视频实时处理平台的设计方案以及具体实现。首先介绍了 课题的相关背景，给出了总体设计方案。在硬件方面，给出了d s p 和a r m 子系统 的电路设计，利用d s p 的h p i 接口与a r m 实验板的外部存储接口实现了d s p 子系 统与a r m 子系统的通信连接。在软件方面，基于d s p b i o s 实时操作系统，构建了 d s p 子系统的系统软件框架；基于l i n u x 操作系统建了a r m 子系统的系统软件框架。 论文讨论了两种操作系统的特点以及设备驱动开发要点。作为论文工作的重点和 主要部分，论文给出了各子系统模块单元的软件编程实现，包括d s p 子系统上实 现的音频采集、视频采集模块，d s p 的1 2 c e d m a m c b s p 等外设，d s p 的c a c h e 处 理；a r m 子系统与d s p 子系统之间的h p i 通信；a r m 子系统上实现的网络传输、u s b 驱动、s d 卡驱动等。最后对整个系统平台进行了性能测试与分析，测试结果表明， 本系统运行良好，各项性能指标达到设计要求。 论文设计的系统作为一个可提供二次开发的通用的软硬件平台，音视频处理算 法能很方便的添加到系统中去，可以加快后继项目研发进度。 ， 主题词：t m s 3 2 0 d m 6 4 2 $ 3 c 2 4 1 0d s p b i o sl i n u x 多线程 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t t h ed s pw i t hi t sp o w e r f u la b i l i t yi ns i g n a lp r o c e s s i n gi sv a s t l yu s e di nv a r i o u s a v ( a u d i oa n dv i d e o ) s y s t e m s w i t ht h ef a s td e v e l o p m e n to fm o d e r ni n f o r m a t i o n t e c h n o l o g y , t h e r ei sm o r ei n f o r m a t i o nt ob eh a n d l e dw i t hw h i c hh a sm a d er e s e a r c ha n d a p p l i c a t i o no ft h er e a l - t i m ea vp r o c e s s i n gs y s t e mb e c o m ee s p e c i a l l yi m p o r t a n t b u t ，a s t h ed s pc h i pi sak i n do fc h i p sm a i n l yu s e df o rs i g n a lp r o c e s s i n g ，i ti se m p h a s i z e d p a r t i c u l a r l yo na l g o r i t h m i ce f f i c i e n c ya n dd on o th a v eg r e a tc o n t r o la b i l i t y a r mw i t h i t sh i g hp e r f o r m a n c e c o s tr a t i oa n da b u n d a n te x t e r n a ld e v i c e s ，i sw i d e l yu s e di n s y s t e m sw h i c hr e q u i r ec o m p l i c a t e dc e n t r e la n dc o m m u n i c a t i o n m o r e o v e r , w h e n i n t e g r a t e dw i t hl i n u x ，i tc a na l s ou s et h em u l t i t a s km e c h a n i s ma sw e l la st h ev a r i o u s p r o t o c o l so ft h el i n u xs y s t e m t 越sc o u l dr e d u c et h ed e v e l o p m e n tc y c l eo ft h ep r o d u c t a n de n h a n c ec o m m o n a l i t ya n de x p a n s i b i l i t yo ft h es y s t e m 。 t 1 1 i sp a p e rp u tf o r w a r dar e a l t i m ea v p r o c e s s i n gp l a t f o r mb a s e do nt h ed s pa n d a r m ，i n c l u d i n gs y s t e mh a r d w a r ed e s i g na n ds y s t e ms o f t w a r ei m p l e m e n t a t i o n h e r e ， w ec h o o s et h em u l t i m e d i am i c r o p r o c e s s o rt m $ 3 2 0 d m 6 4 2a n d $ 3 c 2 4 10a st h ec o r e p r o c e s s o rc h i p t h ed s ps u b s y s t e mi su s e di nd a t ac o l l e c t i o na n da r i t h m e t i ci m p l e m e n t a t i o n t h ep r o c e s s e dd a t ai st h e nt r a n s m i t t e dt ot h ea r m s u b s y s t e m v i at h eh p ii n t e r f a c e t h ea r ms u b s y s t e mi su s e df o rd a t as t o r a g ea n dn e t w o r kt r a n s m i s s i o n r n l ed e s i g np r o j e c ta n dc o n c r e t ei m p l e m e n to fa vp r o c e s s i n gp l a t f o r ma r e d i s c u s s e di nt h i sp a p e r f i r s t l y , t h er e l a t e db a c k g r o u n dk n o w l e d g ei si n t r o d u c e da n dt h e w h o l ed e s i g np r o j e c ti st a k e no u t 1 h ec i r c u i td e s i g no ft h ed s p a r m s u b s y s t e mi s g i v e nt ot h eh a r d w a r ea s p e c t 1 h es y s t e ms o f t w a r ef r a m e w o r ko ft h ed s ps u b s y s t e mi s b u i l tu p o nd s p b i o sr e a l t i m eo p e r a t i n gs y s t e ma n dt h es y s t e ms o f t w a r ef r a m e w o r ko f t h ea r ms u b s y s t e mi sb u i l tb a s e do nl i n u xo p e r a t i n gs y s t e mt ot h es o f t w a r ea s p e c t a f t e r w a r d s t h ec h a r a c t e ro ft w oo p e r a t i n gs y s t e ma n dt h em a i nd e v e l o p i n gp o i n to f e q u i p m e n td r i v e ra r ed i s c u s s e di nt h i sp a p e rt o o 1 1 1 em a i nw o r ko ft h i sp a p e ra r e a s f o l l o w s ：t h e s o f t w a r ep r o g r a m m i n gr e a l i z a t i o no ft h es u b s y s t e mm o d u l ew h i c h i n c l u d i n gt h er e a l i z a t i o no ft h e 斟c o l l e c t i o nb a s e do nt h ed s ps u b s y s t e m 。t h eo u t e r f a c i l i t i e so fd s ps u c ha s1 2 c e d m m c b s p ，t h ec a c h ep r o c e s s i n go fd s p ，t h eh p i c o m m u n i c a t i o nb e t w e e nt h es u b s y s t e m so f 删a n dd s p ，t h er e a l i z a t i o no f n e t - t r a n s m i s s i o nb a s e do na r ms u b s y s t e m ，t h eu s b d r i v e r ，t h es dc a r dd r i v e ra n ds o o n ，n l ep e r f o r m a n c et e s t i n ga n da n a l y z i n go ft h ee n t i r es y s t e ma r eg i v e ni nt h ee n do f t h ep a p e r ，n l es y s t e mr u n n i n gs t a b l y , a l lt h ed e s i g nr e q u i r e m e n ta r ea l s om e e t t h es y s t e ma sas e c o n d a r yd e v e l o p m e n to fac o m m o nh a r d w a r ea n ds o f t w a r e p l a t f o r mc a nb ea d d e di na vp r o c e s s i n ga l g o r i t h m se a s i l yt os p e e du pt h ep r o g r e s so f t h ef o l l o w - u pr e s e a r c ha n d d e v e l o p m e n tp r o j e c t s 第i i 页 国防科学技术大学研究生院硕士学位论文 k e yw o r d s - t m s 3 2 0 d m 6 4 2 d s p b i o s $ 3 c 2 4 10l i n u xm u l t i t h r e a d 第i i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1h c n t l 功能描述表9 表3 2a i c 2 3 控制寄存器1 8 表3 3a d v 7 1 8 1 b 控制寄存器设置2 3 第页 国防科学技术大学研究生院硕士学位论文 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图 图 图 3 3 3 0 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图3 1 8 图3 1 9 图3 2 0 图3 2 1 图3 2 2 图3 2 3 图3 2 4 图4 1 图目录 系统硬件框架设计5 e d m a 和双缓冲区机制工作原理6 t l v 3 2 0 a i c 2 3 与t m s 3 2 0 d m 6 4 2 连接示意图，7 数据信号与行、场同步信号时序关系图g a d v 7 1 8 1 b 与t m s 3 2 0 d m 6 4 2 连接示意图8 $ 3 c 2 4 1 0 与h p i 的接口设计1 0 $ 3 c 2 4 1 0 与c s 8 9 0 0 连接示意图1 0 d s p b i o s 配置界面1 2 类微型驱动结构模型1 3 1 2 c 的写操作流程图1 4 e d m a 参数存储结构_ 1 5 创建一个新设备对象并重命名2 0 设备属性设置2 0 音频数据采集流程图2 l 视频采集流程图2 2 视频通道参数设置2 5 y 数据e d m a 链接设置2 7 视频采集程序流程图。2 8 s c o m 模块使用机制2 9 唇同步实现流程图3 0 d s p 子系统框架程序设计流程图31 t m s 3 2 0 d m 6 4 2c a c h e 结构图3 3 s d r a m 测试流程图3 5 c c s 图像显示参数设置3 6 d s p 子系统采集的图像一3 6 c c s 数据存储设置3 7 原始语音波形图：3 7 d s p 子系统采集的语音波形图3 7 s t s 模块配置图3 8 t m s 3 2 0 d m 6 4 2 线程切换周期3 8 t m s 3 2 0 d m 6 4 2c p u 负荷图3 9 嵌入式l i n u x 开发模式图4 2 第v 页 国防科学技术大学研究生院硕士学位论文 图4 2v i v i 配置4 3 图4 3a r m 与d s p 的h p i 通信协议4 6 图4 4l i n u x 网络设备驱动体系框架图4 9 图4 5t c p i p 参考模型。5 0 图4 6 面向连接的程序函数调用流程图5 3 图4 7u s b 设备驱动框架图5 4 图4 8m - n l 子系统软件框架图5 7 图4 9h p i 口测试流程图5 8 图5 1客户端接收界面6 0 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：童塑频塞吐处堡丞统鲍遮盐生塞理 学位论文作者签名：狱生坚日期：h 加f 年f1 月7 【日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名： 作者指导教师签名： 翅磁 特芸亨 日期：6 年i1 月心日 日期：略年l 月r l 日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1音视频处理系统研究的背景及意义 我们的目的旨在构建一种音视频实时处理系统平台，该系统平台具有音视频 采集、音视频处理、网络传输、数据存储等功能。 自从2 0 世纪8 0 年代初期第一片d s p 芯片问世以来，d s p 就以数字器件特有的 稳定性、可重复性、可编程性和用于实现自适应处理等特点，给数字信号处理带 来了巨大的机遇。d s p 在声音、图像以及其它数字信号或数据处理方面的能力是 其它微处理器无法比拟的，不过由于d s p 是专门用于数字信号处理的芯片，主要 侧重于算法实现，各种高级和低级的控制能力有限，对于一些集算法与控制一体 的大型嵌入式系统来说，显然单一的d s p 芯片不能满足需要。具有a r m 核的处理 器被认为是世界上最先进的微控制器，它有非常丰富的外围设备接口( 以太网口、 u s b 主设备接口、删c 接口、液晶显示屏等) ，在监视控制、人机接口、支持实时 操作系统等方面具有强大的功能，但在运算处理方面的能力和速度相对d s p 显得 有限。于是基于d s p + a r m 微处理器的音视频实时处理系统便应运而生了，a r m + d s p 的组合能够充分发挥各自的优势口1 。其中，a r m 嵌入式芯片主要负责系统的控制， 包括任务管理、数据存储、网络传输、控制外部设备、运行嵌入式操作系统等， 而d s p 专门负责数据的运算处理。现在很多的音视频实时处理系统都采用了 a r m + d s p 双核处理器的结构，a r i 专门用于系统的控制，d s p 专门用于数字信号处 理。 本课题主要是研究设计一种音视频实时处理系统平台，能够把处理后的音视 频数据通过以太网接口实现网络传输，也可以不借助任何计算机系统而以文件形 式存储处理后的音视频数据。该系统可以为音视频信号处理提供一个性能可靠的 平台。我们都知道音视频处理的核心便是处理算法的实现，音视频实时处理系统 平台的基础建设涉及很多具体的硬件知识和软件知识，为了节约科研开发人员的 宝贵时间，我们设计了能够提供二次开发的软硬件基础平台，软件框架设计充分 利用了嵌入式操作系统的多线程概念，音视频处理算法能很方便地添加到系统平 台中去。因此，研究基于d s p + a r m 的音视频实时处理平台系统具有巨大的市场 价值和实用价值。 1 2 论文主要研究内容 本文构建了一种音视频实时处理系统的软硬件平台，提出了基于d s p + a r m 第1 页 国防科学技术大学研究生院硕士学位论文 的系统解决方案，其中a r m 子系统负责数据存储、网络数据传输，d s p 负责音视 频采集与处理，整个系统具有良好的灵活性、通用性、扩展性，可以广泛应用于 各种音视频实时处理开发项目中。本文主要研究内容包括以下几点： 1 系统硬件平台构建。由d s p 子系统和a r m 子系统两部分组成，其中d s p 子系统主要包括音频采集模块、视频采集模块、存储模块等，a r m 子系统主要包 括a r m 与d s p 通信模块、网络传输模块、数据存储模块等。由于时间的关系， 我们只对d s p 子系统的硬件平台进行了设计，a r m 子系统采用实验板。a r m 与 d s p 之间的通信通过a r m 外部扩展存储口与d s p 的h p i 接口连接实现，并给出 了h p i 接口设计原理图。 2 d s p 子系统软件设计与实现。研究了t i 公司提供的实时操作系统 d s p b i o s 及其设备驱动设计方法，编程实现了d s p 系统中的多线程软件框架， 编程实现了音视频采集的底层驱动程序，解决了d s p 系统涉及外设数据传输的 c a c h e 一致性问题。 3 a r m 子系统软件设计与实现。构建了嵌入式l i n u x 开发环境，重点研究 了l i n u x 下的t c p i p 协议包，利用l i n u x 操作系统下的s o c k e t 编程完成了基于客 户机服务器模式的网络传输模块设计。利用l i n u x 下的字符驱动设计方法，编程 实现了a r m 与d s p 通信接口的驱动程序设计。移植l i n u x 下的u s b g a d g e t 驱动以 及s d 卡驱动实现了音视频处理平台的存储功能。 4 实现音视频处理平台的实时性以及唇同步。本系统在音视频采集模块、 h p i 传输模块以及音视频数据处理的数据搬移中采用e d m a 方式和双缓冲区机制， 节约了c p u 资源，保证了音视频处理系统的实时性；d s p 子系统以音频采集为主 线程，激励启动视频采集线程和音视频处理、传输线程，实现了语音与图像的唇 像同步a 5 系统测试。对d s p 子系统的s d r a m 、音视频采集、线程切换周期、框架 软件的c p u 负荷等进行了详细的测试，对a r m 子系统的h p i 数据传输和网络传 输进行了分析，并对h p i 传输速率和网络传输速率进行了测试。最后利用h 2 6 4 编码软件对音视频实时处理系统平台进行了联合测试，验证了系统平台的可靠性。 全文共分为五部分： 第一章为绪论，主要介绍音视频实时处理平台的研究背景和意义，以及本文的 主要工作和论文结构安排。 第二章主要介绍了音视频实时处理平台的总体设计方案，然后分别介绍各模块 单元硬件设计。 第三章介绍d s p 子系统的软件设计，介绍了d s p b i o s 操作系统及设备驱动 设计方法，然后介绍了音视频采集模块的功能实现，最后介绍了d s p 子系统软件 第2 页 国防科学技术大学研究生院硕士学位论文 框架的实现以及d s p 子系统的测试。 第四章介绍a r m 子系统的软件设计，首先介绍了嵌入式l i n u x 开发环境的构 建，然后介绍了a r m 子系统的通信接口模块、网络传输模块、数据存储模块的功 能实现，最后介绍a r m 子系统软件框架的实现以及a r m 子系统的测试。 第五章为总结部分。通过h 2 6 4 压缩算法，对音视实时处理系统进行了联合测 试，然后总结了所做的研究工作，最后指出研究的不足之处以及音视频实时处理 平台未来的研究方向。 第3 页 国防科学技术大学研究生院硕士学位论文 第二章音视频实时处理平台总体设计 2 1 系统设计方案 2 1 1 系统硬件平台设计方案 由于音视频实时处理具有数据量大、算法复杂且数据传输频繁的特点，要求 实时处理平台具有较强的通信、控制等能力，如果采用以d s p 芯片为核心的单处 理器结构，当系统既要处理音视频数据又要进行网络数据传输或其它控制功能时， d s p 的负荷就会比较大，这样势必造成整个系统的瓶颈，所以我们选择双芯方案来 构建音视频实时处理平台。目前的双芯方案b 1 一般有以下几种选择： ( 1 ) 双d s p 结构。 双d s p 结构的计算量以及通信能力都可以得到保障，但是由于d s p 外围设备 接口不丰富，不利于功能扩展，而且采用双d s p 结构产品成本太高，不利于大规 模的推广与应用。 ( 2 ) d s p + 视频编码a s i c 结构。 d s p + 视频编码a s i c 结构中，主要是把音视频编解码单元独立出来，用专门的 硬件编解码芯片实现，这种结构的优点就是价格成本低，灵活的支持多种编解码 格式，缺点是芯片开发周期长，产品成型后修改压缩算法极不方便。 ( 3 ) d s p + a r m 结构。 d s p + a r m 结构弥补了前两种方案的不足之处，d s p 与a r m 的结合能够充分发挥 各自的特长，d s p 芯片完全用来实现音视频采集和算法处理，a r m 处理器具有丰富 的外围设备接口，用来实现系统控制、网络数据传输、压缩音视频数据存储等功 能，甚至还能给d s p 做一些协处理工作。目前，t i 公司提供了采用d s p + a r m 架构 的一芯双核芯片，如最近推出的达芬奇( d a v i n c i ) 数字媒体芯片，不过这种一芯 双核的处理器价格偏高，而且不利于系统扩展。 由此可见，采用d s p + a r m 的双芯组合方案具有灵活性、可扩展性、通用性的 优点，而且还可以根据市场的需求随意组合，价格上也有一定的优势，我们的系 统最终选择d s p + a r m 的双芯组合方案构建音视频实时处理平台。 2 1 2 系统软件平台设计方案 在音视频实时处理系统中，采用顺序处理和循环的单线程开发模式已经越来 越不能满足项目的需要，而采用嵌入式操作系统的开发模式，存在写代码容易( 各 个模块可独立开发) 、代码易于维护和修改、开发周期短等优点，最重要的是操 第4 页 国防科学技术大学研究生院硕士学位论文 作系统的多任务系统能够充分利用c p u 资源，有效的实现对多任务的管理。因此， 在本系统中，我们采用支持多线程技术的内核来构建音视频实时处理平台的软件 系统：采用t i 公司提供的d s p b i o s 实时操作系统构建了d s p 子系统软件平台， 采用嵌入式l i n u x 构建了a r m 子系统软件平台。 2 1 3 系统整体框架设计及工作原理 本系统的d s p 和a r m 处理器分别选用t i 公司的t m s 3 2 0 d m 6 4 2 、s a m s u n g 公司的$ 3 c 2 4 1 0 。其中$ 3 c 2 4 1 0 为实验板，d m 6 4 2 为我们设计的开发板。系统硬 件框架设计如图2 1 ，硬件平台实物图如附录a 所示。d s p 子系统主要包括音视频 数据采集、音视频数据处理、存储、m c b s p 等单元，a r m 子系统包括网络传输、 u s b 传输、存储( 包括s d r a m 、f l a s h 、s d 卡) 等单元。d s p 与a r m 之间的通 信通过h p i 口来完成。 图2 1 系统硬件框架设计 本系统主要实现了音视频数据的实时采集、实时处理、网络传输等功能。d s p 子系统负责音视频数据采集和处理，然后把处理后的音视频码字通过主机口( h p i ) 传输到a r m 子系统。a r m 利用丰富的外设资源，主要负责系统数据流的控制， 通过h p i 口读取t m s 3 2 0 d m 6 4 2 处理后的音视频数据，然后通过以太网接口把数 据传输到p c 机。另外a r m 也可以把处理后的音视频数据以文件形式保存在 n a n d f l a s h 或者s d 卡上，主机通过u s b 数据线可直接读取f l a s h 上的文件，如同 访问u 盘一样。 2 1 4 系统实时性实现及分析 对于数据量大、实时性要求高的音视频处理系统来说，首先应该选择合适的 第5 页 国防科学技术大学研究生院硕士学位论文 嵌入式微处理器。本系统选择了t i 公司专门针对音视频处理的t m s 3 2 0 d m 6 4 2 多 媒体处理器和s a m s u n g 公司的a r m 9 2 0 t 系列$ 3 c 2 4 10 微处理器。t m s 3 2 0 d m 6 4 2 多媒体处理器h 1 是在t m s 3 2 0 c 6 0 0 0d s p 平台上的高性能定点d s p ，具有极强的处 理能力、高度的灵活性和可编程性等特点，集成了视频端口、增强的直接存储器 访i n ( e d m a ) 控制器、多通道缓存串行接口、主机接h ( h p i ) 等外设，特别适合于音 视频处理领域。s 3 c 2 4 1 0 例作为一种1 6 3 2 位的高性能、低成本、低功耗的嵌入式 r i s c 微处理器，集成了丰富的片上，比如外部存储控制器、d m a 控制器、u s b 主从设备控制器、u a r t 、s d 卡控制器、p v v 2 v i 定时器等，特别是对嵌入式l i n u x 操作系统有很好的支持，非常适合系统控制、网络传输等方面的应用。 为了实现音视频采集与处理的实时性，我们在音视频采集功能实现中采用了 e d m a 加双缓冲区机制，工作原理图如图2 2 。e d m a 数据传输方式不占用c p u 资源，可以在后台进行数据传输。第一帧数据期间，采集的音视频数据通过e d m a 传输到b u f f e r o 缓冲区；第二帧数据期间，采集的音视频数据通过e d m a 传输到 b u f f e r l 缓冲区，同时把b u f f e r o 的数据送到处理单元进行处理；第三帧数据期间， 采集的音视频数据通过e d m a 传输到b u f f e r 0 缓冲区，同时把b u f f e r l 的数据送到 处理单元进行处理。如此循环，周而复始。采用e d m a 加双缓冲区机制以后，音 视频数据流可以连续不断的送到处理单元，实现采集与处理的实时性，但是这里 有个问题需要注意，就是d s p 处理一个缓冲区数据的时间要小于另一个缓冲区数 据的填充时间，否则，系统的实时性得不到保证，这将不符合系统实时性的要求。 图2 2e d m a 和双缓冲区机制工作原理 2 2 音视频采集模块设计 2 2 1 音频采集模块设计 本系统的音频采集单元采用了t i 公司的t l v 3 2 0 a i c 2 3 拍1 芯片，t l v 3 2 0 a i c 2 3 芯片包含3 个接口：串行控制接口，与t m s 3 2 0 d m 6 4 2 的1 2 c 接e l 连接；模 拟音频接口，用于接收来自双声道的模拟音频信号，或者输出模拟音频信号，这 里我们只用它的a d 功能；数字音频接口，用于t m s 3 2 0 d m 6 4 2 的多路缓冲串 第6 页 国防科学技术大学研究生院硕士学位论文 行接口m c b s p 进行数据传输。d m 6 4 2 通过1 2 c 接口对该芯片进行配置和控制。d m 6 4 2 通过1 2 c 接口对该芯片进行配置和控制。a i c 2 3 与t m s 3 2 0 d m 6 4 2 的硬件连接示 意图如图2 3 。音频数据进行采集的时候首先通过1 2 c 总线接口对t l v 3 2 0 a i c 2 3 芯片进行配置和控制，t l v 3 2 0 a i c 2 3 b 从模拟音频接口接收音频信号，进行a d 转换后，把数字音频信号通过数字接口逐位依次移入m c b s p 的接收移位寄存器 ( r s r ) ，当接收满1 5 b i t 数据后，r s r 中的数据被拷贝到m c b s p 的缓冲寄存器 ( m b r ) ，接着在拷贝数据到数据接收寄存器( d d r ) 的同时设置接收标志位r r d y ， 并通过串口事件触发e d m a 通道，此时e d m a 通过外部总线开始接收采集到的数 据，然后存储在外部s d r a m 或者片内s r a m 。 v p o ，a c l k x 0m o d e v p o a c l k r 0 b c l k v p o a f s x o l r c i n v p o a f s r 0 l i n e i n l l r c o u t v p o a h c l k r 0 l i n e i n r v p o ，a h c l k x 0 x t i ，m c l k v p l ，a x r o o d i n v p l 触r o l d o u t s c l o s c l k 咀d 上 s d a o s d i n d m 6 4 2 t l v 3 2 0 a i c 2 3 b 图2 3t l v 3 2 0 a i c 2 3 与t m s 3 2 0 d m 6 4 2 连接示意图 2 2 2 视频采集模块设计 视频采集单元采用美国模拟器件公司( a d o 推出的新一代的综合视频解码器 芯片a d v 7 1 8 1 b 口h 它能自动检测n t s c 或p a l 制式的模拟基带电视信号。我们的 系统采用了p a l 制式模拟摄像头输入，a d v 7 1 8 1 芯片输出的数据信号与行、场同 步信号之间的时序图如图2 4 所示。由图我们可以知道，视频信号包括奇场和偶场， 第1 行到第3 1 2 行为第一场，其中第2 3 行到3 1 0 行为有效视频信号，第3 1 3 行到 第6 2 5 行为第二场，其中第3 3 6 行到第6 2 3 行为有效信号。在对芯片进行采集参 数设置的时候，我们应该从有效数据行开始采集，否则采集到的视频数据会有无 效数据，表现在图像上就是有黑色边框。 第7 页 国防科学技术大学研究生院硕士学位论文 图2 4 数据信号与行、场同步信号时序关系图 a d v 7 1 8 1 b 与t m s 3 2 0 d m 6 4 2 的连接如图2 5 所示。图中，a d v 7 1 8 1 b 的y o u t 口与t m s 3 2 0 d m 6 4 2 的v p 2 直接连接，用于数据的传输。点阵时钟线和 t m s 3 2 0 d m 6 4 2 上v p 2c l k 相连，用于数据传输的时钟信号。a d v 7 1 8l 提供了 1 2 c 接口，可用于和d m 6 4 2 芯片相连，以对其内部的寄存器进行读写操作，从而 控制a d v 7 1 8 1 的工作状态。 c v b s “ v p 2 1 9 ：2 】p 1 1 5 ：8 】 a i n v p 2 c l k 日 s c l k ，p c l k i 一 v p 2 c t l 0 h s y n c v p 2 c t l l v s y n c v p 2 c t l 2f l d ，g l c o 2 7 m ii z _ _ s c l o s c l x t a l l s d a o s d a 撑r e s e l # r e s e l d m 6 4 2a d v 7 1 8 1 b 图2 5a d v t l 8 1 b 与t b l s 3 2 0 d m 6 4 2 连接示意图 2 3a r m 与d s p 系统的通信接口设计 在我们的系统中，利用t m s 3 2 0 d m 6 4 2 的h p i 口与$ 3 c 2 4 1 0 的存储器扩展口 连接，实现音视频处理数据的传输，如果采用i o 口连接或者双口r a m 的方式， 势必造成额外的系统软硬件开销。利用t m s 3 2 0 d m 6 4 2 特有的h p i 口，使得 $ 3 c 2 4 1 0 对t m s 3 2 0 d m 6 4 2 的访问变得更高效，充分利用了系统资源。 2 3 1h p i 接口及主要引脚功能 第8 页 重塞 。 ， ， 国防科学技术大学研究生院硕士学位论文 h p i ( h o s t p o r ti n t e r f a c e ) 阳1 是t m s 3 2 0 d m 6 4 2 上一个能够通过主处理器直接访 问c p u 的存储空间的并行口，可以方便的构建主从系统，是实现主处理器与从处 理器通信的重要接口。t m s 3 2 0 d m 6 4 2h p i 的接口有h p l 3 2 和h p l l 6 两种方式， 由于t m s 3 2 0 d m 6 4 2 本身是3 2 b i t 结构，为充分利用系统资源、提高数据传输速度， 我们的系统采用h p l 3 2 模式。h p i 接口主要引脚如下： ( 1 ) h d 3 1 - 0 】：并行三态双向3 2 b i t 数据总线，实现$ 3 c 2 4 1 0 与t m s 3 2 0 d m 6 4 2 数据通信； ( 2 ) h c n t l 1 0 】：h p i 访问类型控制，如前所述，主机访问t m s 3 2 0 d m 6 4 2 主要是通过控制h p i c ( 控制寄存器) 、h p i a ( 地址寄存器) 、h p i d ( 数据寄存器) - - 个 寄存器实现的。h c n t l 1 一o 】就是用于选择这几个寄存器，其功能描述如表2 1 。 表2 1h c n t l 功能描述表 h c n t l lh c n t l 0 功能描述 o0 h p i 控制寄存器( h p i c ) 读写操作 0l h p i 地址寄存器( h p i a ) 读写操作 1o h p i 数据寄存器( h p i d ) 读写操作( 地址自增模式) 11 h p i 数据寄存器( h p i d ) 读写操作( 地址固定模式) ( 3 ) h a s ：地址锁存使能或地址选通。 ( 4 ) h b e 1 0 】：字节使能。 ( 5 ) h r w 读写选择。 ( 6 ) h c s ：片选信号，与$ 3 c 2 4 1 0 片选信号连接。 ( 7 ) h d s 1 2 ：读选通、写选通、数据选通。 ( 8 ) h r d y 输出准备好。 ( 9 ) h i n t ：主机中断输入。 2 3 2h p l 接口读写时序 使用d s p 的h p i 接口，首先要考虑主机与d s p 的读写时序问题， t m s 3 2 0 d m 6 4 2 对h p i 接口操作的时间大概为1 6 n s ；$ 3 c 2 4 1 0 最高时钟频率可以 达到2 0 2 m h z ，约4 9 5 n s 。所以t m s 3 2 0 d m 6 4 2 的h p i 接口与$ 3 c 2 4 1 0 读写时序 满足要求，可以实现二者的正常数据传输。另外也可以通过控制h p i 信号线来控 制h p i 接口时序。 2 3 3h p i 接口硬件设计 t m s 3 2 0 d m 6 4 2 与$ 3 c 2 4 1 0 之间的连接通过h p i 接口完成，$ 3 c 2 4 1 0 做主机， t m s 3 2 0 d m 6 4 2 做从机。t m s 3 2 0 d m 6 4 2 与$ 3 c 2 4 1 0 具体连接如图2 6 。我们把 第9 页 国防科学技术大学研究生院硕士学位论文 $ 3 c 2 4 1 0 的3 2 条数据线e d 3 1 ：0 】和h p i 的3 2 条数据线h d 3 1 ：0 1 直接连接用来进 行数据传输；$ 3 c 2 4 1 0 的地址线e a 4 、e a 3 分别连接h p i 的h c n t l l 和h c n t l 0 ， 用来实现对h p i 三个寄存器的控制，e a 5 与h p i 的h r w 连接控制h p i 的读写操 作，$ 3 c 2 4 1 0 的片选信号n g c s l 接到h p i 片选h c s 上，将t m s 3 2 0 d m 6 4 2 作为 外设映射到$ 3 c 2 4 1 0 的内核空间，位于外部i o 接口b a n k l 地址 o x 0 8 0 0 0 0 0 0 - o x o f f f f f f f 上。 i - d 1 3 1 ：o i g d p l ：卅 h r v似卜一e a l 5 1 h c n