（控制科学与工程专业论文）基于omap的嵌入式数字音频延时系统设计与实现.pdf

h 、1 ，4it，0 d e s i g no fd i g i t a la u d i od e l a y b a s e do no m a pp l a n t f o r m s p e c i a l t y ：q 迪q ! 墅盟曼星丛亟墅q 丛q ! q 叙 m a s t e rd e g r e ec a n d i d a t e ： 里塑g 堑 s u p e r v i s o r ：监鱼星里! q 巡堑g 丑 c o l l e g eo fi n f o r m a t i o ns c i e n c e & e n g i n e e r i n g c e n t r a ls o u t h u n i v e r s i t y c h a n g s h ah u n a np r c 6眦7叭7吣7i jjj_71眦y 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获 得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的 同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：2 丕z日期： 地f 盘年上月4 日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允许学 位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以 采用复印、缩印或其它手段保存学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络 向社会公众提供信息服务。 作者签名：一丑签 导师签名丝 日期：2 竺尘年上月扯日 ，一 摘要 针对传统音频延时系统实现方案的不足，提出了基于德州仪器( t i ) 公司新一代开放式多媒体应用平台( o m a p ) 的数字音频延时系统的实 现方案。软件实现基于o m a p 软件技术，采用嵌入式l i n u x 与d s p b i o s r t o s 双操作系统完成系统控制和数字音频信号处理任务，满足了新一 代数字音频延时系统应用需求。 介绍了系统硬件结构。着重介绍了o m a p 3 5 3 0 处理器独特的a r m c o r t e x a 8 核和t m s 3 2 0 c 6 4 x + d s p 核双处理器核架构以及双核间内存 共享机制和基于i i s 音频总线标准的高品质音频信号预处理模块的具体 实现。 提出了通用操作系统嵌入式l i n u x 与实时操作系统d s p b i o s 实施双 操作系统信号处理的系统软件构架，详细阐述了双操作系统之间的通信 机制。在此基础上介绍了以l i n u x 操作系统为核心的多层软件构架，及 其建立过程。详细讲述了字符设备驱动程序的具体实现，分析了音频设 备驱动程序的实现机制。提出了多线程的应用程序实现方式，并详细介 绍了各个线程任务的实现流程。 最后，阐述了多频段音量增益控制和频域滤波算法，以及通过 d s p b i o sl i n k 通信机制利用o m a p 3 5 3 0 片上d s p 核资源实现这些算 法的具体方法。 测试结果表明，系统设计方案具有较高的延时精度，能够满足高品 质音效要求。系统在稳定性、可扩展性和可移植性方面表现出色。 关键词：o m a p 3 5 3 0 ，a r m 处理器，t m s 3 2 0 c 6 4 x + ，嵌入式l i n u x ， d s p b i o sl i n k l a b s t r a c t t oi m p r o v et h ed e f e c t so ft h ec u r r e n tm e t h o d s ，ad i g i t a la u d i od e l a y s y s t e mb a s e do nt e x a si n s t r u m e n t s so p e nm u l t i m e d i aa p p l i c a t i o np l a t f o r m ( o m a p ) w a sp r o p o s e d t h es o f t w a r e a r c h i t e c t u r ei sb a s e do no m a p s s o f t w a r et e c h n i c a l b yu s i n ge m b e d d e dl i n u xa n dd s p b i o sr t o st od e a l w i t hs y s t e mc o n t r o lt a s ka n da u d i os i g n a lp r o c e s st a s k ，t h es y s t e mm e e tw i t h t h ed e m a n d so fa p p l i c a t i o ni nt h en e wg e n e r a t i o nd i g i t a la u d i od e l a y t h ed e s i g no ft h eh a r d w a r ew a si n t r o d u c e d i n c l u d i n gt h eo m a p 353 0 a p p l i c a t i o n sp r o c e s s o r ss p e c i a la r c h i t e c t u r ea n dt h ea u d i od a t ap r e t r e a t m e n t m o d u l ew h i c hi sb a s e do ni i ss e r i a lb u si n t e r f a c es t a n d a r d t h es o f t w a r ea r c h i t e c t u r ew h i c hi sb a s e do ne m b e d d e dl i n u xg e n e r a l o p e r a t i n gs y s t e ma n dt h ed s p b i o sr e a lt i m es y s t e mw a si l l u s t r a t e d ， s p e c i a l l ya n a l y s i n g t h ec o m m u n i c a t i o nm e c h a n i s mb e t w e e nt h et w o o p e r a t i n gs y s t e m t h e nt h es o f t w a r ea r c h i t e c t u r ew h i c hi sm a i n l yb a s e do n e m b e d d e dl i n u xo p e r a t i n gs y s t e mw a si l l u s t r a t e d ，a n dt h em e c h a n i s mo f a u d i od e v i c ed r i v e ri s f u l l yd i s c u s s e d ，s oi st h er e a l i a t i o no fc h a rd e v i c e d r i v e r t h er e a l i a t i o no ft h e a p p l i c a t i o n si s b a s e do nm u l t i t h r e a d i n g m e c h a n i s m ，w h i c hi sa l s of u l l yd i s c u s s e di nt h i sp a p 既 t h ea l g o r i t h mo fa u t o m a t i cg a i nc o n t r o li n 疔e q u e n c yd o m a i na n dt h e a l g o r i t h mo fd i g i t a lf i l t e r i n gi n 丘e q u e n c yd o m a i na r ef u l l yp r e s e n t e d ，s o t h e i rr e a l i a t i o no nt h et m $ 3 2 0 c 6 4 x + d s pc o r eb yu s i n gd s p b i o sl i n k t e s tr e s u l t ss h o wt h a tt h i sd e s i g nw i t hh i g hd e l a yp r e c i s i o na n dh i g h a u d i oq u a l i t ya l s oh a v eg o o dp e r f o r m a n c e si ns y s t e ms t a b i l i t y , s c a l a b i l i t y , a n dp o r t a b i l i t y k e yw o r d s ：o m a p 3 5 3 0 ，a r m ，t m s 3 2 0 c 6 4 x ，e m b e d d e dl i n u x ， d s p b i o sl i n k i l 目录 摘要要l a b s t r a c t i i 第一章绪论1 1 1 研究背景1 1 2 嵌入式系统3 1 2 1 嵌入式系统的定义及特点3 1 2 2 嵌入式系统硬件的实现途径4 1 2 3 微处理器发展趋势4 1 2 4 嵌入式l i n u x 和软件开发理论5 1 3 开放式多媒体应用平台o m a p 6 1 3 1o m a p 技术提出的背景6 1 3 2o m a p 技术概述6 1 4 课题主要研究内容7 1 5 论文章节安排8 第二章系统硬件实现9 2 1 系统硬件结构9 2 2 处理器模块lo 2 2 1a r m 子系统l l 2 2 2d s p 子系统简介。1 2 2 2 3 双核间通信方式15 2 3 数据存储模块l5 2 4 音频信号预处理模块1 5 2 5 人机交互模块2 0 2 6 本章小结2 0 第三章系统软件实现方案2l 3 1o m a p 软件技术21 3 1 1o m a p 软件体系结构21 3 2 使用片上d s p 核2 2 3 2 1d s p b i o sb r i d g e 2 3 3 2 2d s p b i o sl i n k 2 3 3 3 音频延时系统软件结构2 5 3 4 主要功能模块的算法设计2 6 3 4 1 音频延时处理算法设计2 6 3 4 2 音效处理模块结构2 7 3 4 3 多频段音量增益控制2 8 3 4 4 频域滤波。3l 3 5 本章小结3 4 第四章嵌入式l i n u x 软件结构3 6 4 1 嵌入式l i n u x 软件结构一一一3 6 4 2 建立交叉编译环境3 7 4 3b o o t l o a d e r 移植3 8 4 3 1o m a pb o o t l o a d e r 的结构3 8 4 3 2 资源准备3 9 4 3 3x - l o a d e r 和u - b o o t 编译3 9 4 4l i n u x 内核版本的选择和内核移植3 9 4 4 1 内核源码资源获取4 0 4 4 2l i n u x 内核裁剪4 0 4 4 3 内核编译。4 l 4 5 建立根文件系统4 2 4 5 1 文件系统架构4 2 4 5 2 文件系统优化4 2 4 5 3 文件系统制作4 3 4 6l i n u x 设备驱动程序设计4 3 4 6 1 字符设备驱动程序实现4 4 4 6 2 音频设备驱动程序4 9 4 6 3 提高音频设备驱动程序性能5 0 4 7 应用程序设计5l 4 7 1 人机交互线程5 2 4 7 2 音频数据实时处理线程5 3 4 7 3 线程状态监测线程。5 6 4 8 本章小结5 6 第五章d s p 核实现多频段音量增益控制和频域滤波5 7 5 1 通过d s p b i o sl i n k 使用片上d s p 资源。5 7 5 2 1 资源获取和安装5 8 5 2 2 配置编译环境。5 8 5 2 3 编译。5 9 5 2 4 配置目标系统运行环境6 0 5 2d s p 端应用程序流程6 l 5 3 本章小结6 2 第六章系统功能验证6 3 6 1 延时精度测试6 3 6 2 多频段音量增益控制和频域滤波效果测试6 5 第七章总结与展望6 7 7 1 总结6 7 7 2 展望6 8 参考文献。6 9 中南大学硕士学位论文 第一章绪论 1 1 研究背景 第一章绪论弟一早三石了匕 数字音频延时系统属于嵌入式音频系统的范畴，是对声音信号进行延时处理的 音频设备，广泛应用于广播电视行业。使用意义在于： ( 1 ) 直播节目中将音频信号延时一段时间后播出，以避免节目主持人的口误 或者互动热线中听众的一些不健康言论通过广播媒体传播，保证直播节目的安全播 出； ( 2 ) 基于数字音频处理技术，利用多频段音量增益控制和频域滤波的处理方 法生成饱满而又和谐的数字音频。 近年来，随着我国广播电视事业快速发展，音频延时系统的应用越加广泛，其 数字化、功能集成化、网络化的发展趋势也日趋明显。目前的音频延时类产品功能 复杂多样，除了具有延时的基本功能之外，还集成有高保真、音效控制、网络控制 等功能。设备专业化和设备功能的复杂化，增加了音频延时系统的开发难度。 音频延时系统作为广播级音频设备，对音频信号动态范围、信噪比和频率响应 等性能指标要求很高，因此一般采用数字技术实现。就系统实现方案而言，多数音 频延时类产品采用了微控制器结合音频编解码芯片的方式或者d s p 芯片和微控制器 的主从式结构结合音频编解码芯片的方式，实现对音频信号的采集、延时、播放。 固1 - i 一种延时系统的硬件结构 图卜1 是一种d s p 和微控制器的主从式结构延时器的硬件结构。系统硬件结构主 中南大学硕士学位论文 第一章绪论 要由微控制器m 6 8 h c 0 5 c 8 和d s p 芯片t m s 3 2 0 c 3 2 和音频信号编解码芯片组成。 m 6 8 h c 0 5 c 8 是整个系统的控制核心，完成系统的控制功能。t m s 3 2 0 c 3 2 作为系统 的运算核心，完成音频信号的延时和处理功能。音频编解码芯片及音频输入输出模 拟电路共同完成音频信号的模拟数字和数字模拟转换【1 1 这种系统实现方案有的优点在于：充分发挥了d s p 芯片优秀的数字信号的处理 能力，以及微控制器在控制过程中优越的稳定性和实时性能，能够实现对数字音频 信号的精确延时。方案的缺点在于：一则，由于采用传统的单片机开发方式，软件 开发周期长，增加了产品研发时间和研发成本，并且不利于系统的更新和扩展；二 则，广播电视行业发展迅速，设备网络化日趋明显，这种设计方案网络功能扩展方 面的局限性已经不能满足要求。 随着微电子设计与电子制造工艺的发展，集成电路设计从晶体管的集成发展到 逻辑门的集成，到现在的i p 集成，即s o c ( s y s t e mo nac h i p ) 设计技术。性能优秀 的微处理器产品百花齐放，音频延时类产品的实现方案也愈加丰富。微处理器性能 方面，新一代基于a r m 体系的微处理器的数据处理能力日趋强大，片上资源日趋丰 富。软件方面，由于l i n u x 开放源代码、易于移植、驱动资源丰富等优点，使得它在 嵌入式领域越来越流行。对于音频延时系统而言，嵌入式l i n u x 操作系统掩盖了底层 硬件的复杂性，拥有丰富的、成熟的设备驱动程序资源，提高了软件的开发效率和 软件的可维护性。因此，基于a r m l i n u x 结构的嵌入式系统设计方案在音频延时系 统应用领域优势日趋明显，渐渐成为音频系统开发的主流方案【2 1 。 在实际音频应用过程中，要满足高的音效标准，往往需要对所采集的音频信号 进行频域内的数字信号处理。处理过程需要进行如f 兀 、i f f t 、卷积等复杂的运算。 由于单位时间内音频数据量大，采样频率为4 8 k h z 的3 2 位立体声音频数据1 秒钟的数 据量就达至t j 3 4 8 k 字节。在满足实时性要求的时间内完成这些大量数据的复杂处理过 程，目前的a r m 芯片已经不能胜任，需要专用的d s p 处理器才可以完成。如果采用 a r m 处理器芯片结合外部d s p 处理器芯片的方式实现，在很大程度上增加了系统实 现成本和软件开发难度。 结合嵌入式l i n u x 的开发经验，经过一段时间的研究工作提出了新的系统实现方 案。这种方案的硬件实现以德州仪器( t i ) 公司新一代开放式多媒体应用平台o m a p ( o p e nm u l t i m e d i aa p p l i c a t i o np l a t f o r m ) 为核心，模数和数模转化、数字音频数据 编码和解码过程采用专用音频芯片实现。在o m a p 先进的软件技术基础上，提出了 嵌入式l i n u x 和d s p b i o s 双操作系统实施系统资源控制和数字信号处理的软件实现 方案，充分利用了o m a p 片上a r m 和d s p 双处理器核资源。基于o m a p 的嵌入式数 2 中南大学硕士学位论文第一章绪论 字音频延时系统的特性如下： 双声道2 4 位量化处理高品质音频质量； 支持模拟音频信号或a e s 3 数字音频信号输入输出； 延时时间1 - 1 2 0 秒可调，毫秒级延时精度； 实时音量指示、系统参数显示； 系统状态网络控制： 音频数据多频段音量增益控制； 音频数据频域滤波。 下文将通过介绍相关知识背景，从系统硬件实现、软件实现、算法实现等方面， 详细介绍嵌入式数字音频延时系统的设计方案和实现过程。希望本文对从事嵌入式 音频、o m a p 平台相关应用的研究人员提供帮助。 1 2 嵌入式系统 1 2 1 嵌入式系统的定义及特点 嵌入式系统是以应用为中心，以计算机技术为基础，并且软硬件可裁剪，适用 于应用系统，对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统【3 1 。 嵌入式系统作为计算机应用系统的一个重要分支和p c 机系统相比，有其自身的 特点： 在性能方面，嵌入式系统往往对实时性、可靠性、安全性、可扩展性等性能 有特殊的要求； 在应用系统成本方面，嵌入式系统要求尽可能的降低应用系统实现成本。既 要满足市场需要，又要在系统实现成本上富有竞争力； 在功耗方面，具体应用要满足其供电方面的需求。对于移动通讯、移动多媒 体设备而言，对嵌入式系统功耗的要求很高，较低功耗的移动产品往往在消 费电子市场中具有更高的竞争力； 嵌入式应用系统的体积要满足对体积敏感的应用需求。在体积敏感的应用系 统设计中，要从系统稳定性、实现成本多个层面具体考虑，尽量减少应用系 统的体积； 嵌入式系统往往面向当今消费电子市场中的主流应用，因此对系统的开发周 期要求十分严格。开发周期的长短，是决定系统是否具有市场竞争力的重要 因素。 中南大学硕士学位论文 第一章绪论 1 2 2 嵌入式系统硬件的实现途径 嵌入式系统硬件实现的主要途径包括以下四种方式： ( 1 ) 采用嵌入式微处理器，作为硬件系统的核心。这种实现途径的特点是：系 统可编程度高，应用灵活，易于功能扩展，从而方便产品升级；系统实现成本相对 低廉；但由于微处理器通用度较高，系统实现上针对性相对较差。主流的嵌入式微 处理器的代表是8 0 5l 系列和a r m 体系结构的处理器群。目前a r mc o r t e x m x 、a r m c o r t e x - a x 系列的微处理器以其体系结构方面独特的优势和对高级嵌入式操作系统 的完美支持，占据了处理器市场巨大份额。 ( 2 ) 采用数字信号处理d s p 芯片，作为硬件系统的核心。这种实现途径的特点 是：系统数字信号处理能力强，处理h 叮等复杂的高密度数字处理算法的能力强， 能够满足数字信号处理系统的实时性要求；缺点是实现成本相对较高，开发周期相 对较长，系统扩展性相对较差。主流的d s p 芯片的代表是t m s 3 2 0 系列、a d ib l a c k f i n 系列等。 ( 3 ) 采用f p g a 作为系统硬件系统的核心。采用这种实现方式的应用系统并行 性高，能够达到很高的数据吞吐率，从而满足实时性高、数据量巨大的应用要求。 由于f p g a 可硬件实现信号处理过程，信号处理效率卓越，可以满足高性能嵌入式 计算的要求。但是这种实现方案的成本相对较高，系统功耗偏大。由于f p g a 开发 技术相对复杂，因此产品开发周期也相对较长。主流的f p g a 芯片制造商有：x i l i n x 、 a l t e m 、a c t e l 、l a t t i c e 等。 ( 4 ) 专用集成电路a s i c 实现。针对特定的应用，设计专用芯片。这种实现方 式开发难度大，开发成本十分昂贵。但能够定制出高性能、低功耗、低成本的芯片， 满足特定应用需要。 ( 5 ) 混合实现。同时采用多种实现技术，各实现技术相互渗透，取长补短。随 着s o c 技术的发展，一些半导体厂商推出了多处理器核的芯片，如t i 的o m a p 平台 就是将嵌入式微处理器核和d s p 核设计在一块芯片上，使o m a p 平台既能够很好的 支持嵌入式通用操作系统，又能够在保证较低的系统功耗的情况下进行高性能的数 字信号处理运算。 1 2 3 微处理器发展趋势 嵌入式微处理器市场发展迅速，发展特点总结如下： 采用多核技术，提升微处理器整体性能，降低微处理器功耗； 4 中南大学硕士学位论文第一章绪论 混合采用数字、模拟、m e m s 技术提高片上资源集成度； 对软件开发工作提供更加良好的支持：提供调试接口、开发环境，建立和支 持开源社区等； 针对不同的应用领域优化处理器设计； 采用可重构技术提高处理器对应用系统的适应能力； 微处理器处理器、d s p 、f p g a 相互融合，相互渗透。 1 2 4 嵌入式l i n u x 和软件开发理论 1 9 9 1 年l i n u x 操作系统诞生，经过近2 0 年的发展历程，l i n u x 早已羽翼丰满，被 广泛移植到a i t m 、p o w e r p e 、m i p s 、a m dx 8 6 6 4 、i n t e li a 3 2 、i n t e li a 6 4 、m o t o r o l a 6 8 0 0 0 等各种体系结构上。它覆盖的领域小到手表，大到超级计算集群。l i n u x 作为 开源项目，吸引了全世界项尖的开发者对其内核代码进行修改和完善，形成了著名 的开源社区w w w k e m e l o r g 。无论是在嵌入式系统，还是在桌面应用环境领域，l i n u x 应用前景越来越被看好。 嵌入式l i n u x 的基础组成部分包括：l i n u x 内核、c 函数库、系统基本工具。其中， 内核是嵌入式l i n u x 的核心，系统的其他部分必须依靠内核这部分软件提供的服务， 比如管理硬件设备资源，分配系统资源等等。按照操作系统理论，内核是由负责响 应中断的中断服务程序，负责管理多个进程从而分享处理器时间的调度程序，负责 管理进程地址空间的内存管理程序和网络、进程问通信等系统服务程序共同组成【4 】。 对于l i n u x 内核而言，内核独立于上层的应用程序，处于系统态，拥有受保护的内 存空间和访问硬件设备的所有权限。这种系统态和被保护起来的内存空间，称为内 核空间。相对而言，应用程序在用户空间执行它们只能使用允许它们使用的部分 系统资源，并且不能使用某些特定的系统功能，不能直接访问硬件，还有其他一些 使用限制。当内核运行的时候，系统以内核态进入内核空间。应用程序以用户态使 用用户空间。应用程序通过系统调用和内核进行通信【5 l 。 基于嵌入式l i n u x 的嵌入式软件开发，实际上是在l i n u x 内核的基础上进行的软 件开发。软件开发工作包括设备驱动程序开发和应用程序开发两个部分设备驱动 程序开发，需要在内核源码的基础上进行，需要使用内核提供的函数接口编译生 成相应的设备驱动模块后，供内核加载运行，从而实现对硬件资源的读写和控制。 对于应用程序开发，l i n u x 内核提供的丰富的符合p o s i x 标准的操作系统接口函数， 供开发人员利用，很大程度上便利了应用程序开发工作。编译生成的应用程序二进 制文件，可以直接运行于操作系统之上。 中南大学硕士学位论文第一章绪论 1 3 开放式多媒体应用平台0 m a p 1 3 10 m a p 技术提出的背景 近年来移动多媒体终端电子市场发展迅速，市场潜力非常巨大，相关的技术发 展十分迅速。短短几年时间，移动多媒体终端设备的年销售量增加到了数亿台。在 市场对移动多媒体终端需求数量增加的同时，消费者对于移动多媒体终端所提供的 服务也提出了更高的要求。从单纯的语音服务到如实时英特网体验、智能语音识别、 高清音视频播放等复杂的多媒体体验；从普通的具有基本移动通信手机，到如今的 i p h o n e 、i p a d 等这些移动多媒体终端的新宠。移动多媒体终端设备在通信和信号处 理的复杂度大大提高，从而使硬件和软件设计与实现的复杂度更高，设备电能消耗 更大。为了实现这些看似矛盾的要求( 既能处理各种复杂的应用，又不增加体积和 功耗) ，t i 公司提供了一种很好的解决方案，即开放式多媒体应用平台o m a p 。o m a p 既能够很好的支持嵌入式通用操作系统，又能够在保证较低的系统功耗的情况下进 行高性能的数字信号处理运算。通过o m a p 硬件和软件技术可以方便实现数据流的 实时解码、编码，功耗比最好性能的a r m 架构的精简指令集( r i s c ) 处理器还要 小很多【6 】o o m a p 的高性能和低功耗使其逐渐成为一种事实上的工业标准。许多著名的移 动多媒体终端设备制造厂商，如n o e a 、s o n ye r i c s s o n 、h t c 、n e c 、m o t o r o l a 等， 都已经宣布将o m a p 平台作为其下一代产品的处理器解决方案【7 1 。 1 3 20 m a p 技术概述 o m a p 技术的特点在于其高性能和低功耗特性。o l v l a p 系列处理器，在一块硅 片上无缝地集成了一个a r m 架构的r i s c 处理器核，以及一个高性能、超低功耗的 超长指令字( v l i w ) d s p 核，并且在片上为双处理器核之间开辟了共享的存储结构， 以方便双核之间的数据交换。其中，r i s c 处理器用于实现整个系统的控制和资源管 理，包括运行通用操作系统、硬件设备资源管理、人机交互控制、网络控制和d s p 数据处理的控制等；d s p 核主要用来实现各种媒体数据高效处理，包括图像、音频、 视频等【钔。 o m a p 的软件结构建立在两个操作系统上，一是运行于a r m 架构处理器之上的 嵌入式通用操作系统，如嵌入式l i n u x 、g o o g l ea n d r o i d 、w i n d o w sc e 等；二是基于 d s p 处理器核的实时操作系统d s p b i o s t o 。为实现两个操作系统之间的数据通讯， 6 中南大学硕士学位论文第一章绪论 在软件层面t i 公司提供了多种通讯机制，并对这些通讯机制的源码资源进行很好的 支持和维护。这些通讯机制是充分利用和管理o m a p 平台双处理器核资源的关键。 对于应用程序开发者来说，这些通讯机制提供了一组使用d s p 资源的应用程序接口， 允许开发者在a r m 处理器上层操作系统上使用标准应用编程接口访问并控带i j d s p 的运行环境。使应用程序开发人员无须深入了解d s p 基础硬件架构或算法即可利用 这些高级功能，编程工作大为简化【1 0 1 1 4 课题主要研究内容 本文介绍基于o m a p 的嵌入式数字音频延时系统的设计与实现，主要工作内容 如下： 1 t io m a p 平台研究 研究o m a p 平台在国内的应用环境，以及国内外成功的开发案例。在熟悉o m a p 平台硬件资源和软件结构的基础上，进行开源开发套件的选购。着重研究o m a p 平 台d s p 核的使用方法。 2 系统硬件实现 与通常的嵌入式系统开发类似，系统的硬件实现是在处理器制造商或供应商提 供的开发套件基础上进行的二次开发和定制。系统硬件的实现过程的主要工作包括 对开发套件的学习，典型音频信号处理电路的学习，在此基础上结合音频系统的具 体要求，定制和实现应用系统的实现方案。对于本系统而言，硬件的二次开发与定 制过程的实现难点在于音频信号预处理模块的设计。 3 构建开发环境 建立l i n u x 下开发环境是系统设计流程的第一步设计中使用的工具包括使用 c v s 进行版本控制，使用m a k e f i l e 进行工程管理，以及v i m 、g d b 、g c c 等。灵活和 熟练的使用这些高效的开发工具，将会加快开发进度，起到事半功倍的效果。学习 嵌入式l i n u x 开发中的交叉编译机制，以及交叉编译环境在开发平台的构建。对于本 系统而言，需要建立嵌入式l i n u x 开发环境和d s p 核资源开发环境。 4 音效处理算法的研究和实现 在对数字音频处理的相关理论知识学习的基础上，研究音频延时、多频段音量 增益控制、频域滤波的处理算法，以及这些算法在d s p 上的实现。 5 搭建目标平台 目标平台的搭建，是进行音频应用系统软件开发的前提这部分主要内容包括 x - l o a d1 4 1 和u - b o o t1 3 3 的定制和编译、嵌入式l i n u x 的配置和编译、j f f s 2 文件系统 7 中南大学硕士学位论文第一章绪论 的优化和编译。目标平台搭建过程中有许多与目标平台和开发环境的实际特点紧密 相关，需要通过查阅文献资料、多次试验，解决实际问题。 6 系统软件实现 系统软件实现过程相对复杂，具体包括l i n u x 设备驱动程序开发和调试、a l s a 音频设备驱动程序实现机制的学习、l i n u x 应用程序开发技巧与调试方法、o m a p 软件平台结构的研究、d s p b i o sb r i d g e 与d s p b i o sl i n k 通讯机制的可行性研究、 d s p b i o sl i n l 澍片上d s p 核资源的利用与管理的具体实现、音频数据多频段音量增 益控制和频域滤波的d s p 实现等研究内容。 1 5 论文章节安排 论文各章主要内容安排如下： 第一章：绪论。介绍数字音频延时系统及其研究现状，提出基于o m a p 的嵌入 式数字音频延时系统的实现方案，介绍方案的特性，以及相关技术背景。 第二章：系统硬件实现。重介绍o m a p 3 5 3 0 处理器独特的a r mc o r t e x - a 8 核和 t m s 3 2 0 c 6 4 x + d s p 核双处理器核架构以及双核间内存共享机制和基于i i s 音频总线 标准的高品质音频信号预处理模块的具体实现。 第三章：系统软件实现方案。在对o m a p 软件体系结构研究的基础上，提出片 上d s p 核资源利用与管理的实现方案。提出音频延时系统软件结构，分配系统软件 方面上的主要任务。并详细介绍了音频延时系统主要功能模块的算法设计与实现。 第四章：嵌入式l i n u x 软件结构。介绍系统a r m 端嵌入式l i n u x 四层软件结构。 介绍交叉编译环境建立、b o o t l o a d e r 移植、l i n u x 内核内核配置与编译等实现过程， 完成开发环境和目标环境的建立。之后详细介绍设备驱动程序、应用程序的具体实 现。 第五章：d s p 核实现多频段音量增益控制和频域滤波。着重介绍利用d s p b i o s l i n k 通讯机制，实现片上d s p 核实现实时性高、复杂度高的运算过程的具体方法。 第六章：系统功能验证。 第七章：系统功能验证与总结展望。 3 中南大学硕：f = 学位论文 第二章系统硬件实现 第二章系统硬件实现 本章介绍基于o m a p 平台的嵌入式数字音频延时系统的硬件实现方案。系统硬 件结构采用模块化设计，由五个主要模块构成。本章在介绍系统硬件结构的基础上， 着重介绍o m a p 3 5 3 0 处理器独特的双核处理器核架构以及双核间内存共享机制和基 于i i s 音频总线标准的高品质音频信号预处理模块的具体实现。 2 1 系统硬件结构 数字音频延时系统硬件实现采用模块化设计，分为五个主要模块：处理器模块， 数据存储模块，音频信号预处理模块，人机交互模块和开发调试模块。系统硬件实 现结构框图如图2 - 1 所示。 f 。： 臣t 2 - 1 系统硬件实现 处理器选用t i 公司的一款高性能开放式多媒体应用平台o m a p 3 5 3 0 。 o m a p 3 5 3 0 m - - 个实现控制功能的a r mc o r t e x a 8 内核的r i s c 处理器和一个实现数 据处理功能的高性能、低功耗的t m s 3 2 0 c 6 4 x + d s p 核组成。处理器模块负责数字音 频信号的采集、延时系统的逻辑控制，以及音频信号的数字滤波、音效处理等高密 9 中南大学硕士学位论文 第二章系统硬件实现 度算法实现，是整个数字音频延时系统的核心模块。 系统的数据存储模块包括n a n df l a s h 和s d r a m 两个部分。n a n df l a s h 存储介质 用于存储b o o t l o a d e r 、l i n u x 系统内核镜像、j f f s 2 根文件系统，以及相关数据文件。 s d r a m 为操作系统和应用程序提供内存空间。 音频信号预处理模块主要完成模拟音频信号的滤波、整幅、模数和数模转化、 数字音频数据编码和解码的预处理过程。由c i r r u sl o g i c 半导体公司专用音频芯片结 合相应的模拟电路实现，有成熟的解决方案。 人机交互模块由l c d 和键盘组成，l c d 和键盘设备由o m a p 3 5 3 0 处理器的通用 输入输出口控制。调试模块由串口调试模块和以太网调试模块组成。串口调试模块 用于实现与p c 机串口终端交互，以太网调试模块用于通过n f s 文件系统共享机制通 过交叉编译环境实现对应用程序的快速调试，同时为系统网络功能扩展提供硬件支 持。 2 2 处理器模块 o m a p 3 5 3 0 是t i 公司2 0 0 9 年三季度推出的一款开放式多媒体应用平台应用平 台。o m a p 3 5 3 0 处理器在结构上的显著特点是其独特的双处理器核结构：一个a r m c o r t e x a 8 内核的r i s c 处理器和一个t m s 3 2 0 c 6 4 x + d s p 核。其中主频为7 2 0 瑚z 的 a r mc o r t e x a 8 内核拥有超过当今3 0 0 m h za r m 9 架构处理器4 倍的处理性能； 5 2 0 m h z 的t m s 3 2 0 c 6 4 x + d s p 与t i 目前的单核d s p 处理器运算能力相比计算性能可 提升高达3 0 。 o m a p 3 5 3 0 处理器的主要特性与优势如下： 7 2 0 瑚za r mc o r t e x a 8 内核，1 6 l ( b 一级指令缓存；1 6 k b 一级数据缓存； 2 5 6 k b 二级数据缓存； 5 2 0 m h zt m s 3 2 0 c 6 4 x + d s p 内核，3 2 k b 一级指令缓存；3 2 k b 一级数据缓存； 6 4 k bl 2 缓存； 内置了p o w e r v rs g x 图形处理加速单元，能更好的对视频和游戏等应用 中的图形处理过程进行加速，提升应用系统在图形、图像系统中的表现； 整合电源与时钟管理方案，实现高性能低功耗工作模式和低功耗待机等多种 工作模式，提升了软件设计层面处理性能与功耗矛盾的灵活性； 支持的操作系统包括：嵌入式l i n u x ，w i n d o w sc e ，s y m b i a no s ，g o o g l e a n d r o i d ，p a l mo s 等主流嵌入式操作系统； 与t lo m a p 3 5 x 系列处理器芯片引脚兼容，从而使原始设备制造商能够在相 l o 中南大学硕士学位论文第二章系统硬件实现 对统一的硬件平台基础上高效的进行产品升级。 在下文中，将其中r i s c 微处理器单元简称为a r m 子系统，a r m 子系统以t i 增强 型a r mc o r t e x a 8 内核为核心结合其他一些组件构成。将其中d s p 核处理单元称为 数字信号处理器子系统，简称d s p 子系统。该d s p 子系统由t it m s 3 2 0 c 6 4 x + d s p 核 以及其他一些组件构成。 2 2 1a r m 子系统 a r m 子系统的结构如图2 2 所示，主要包括a p , 2 v lc o r t e x a 8 处理器核、中断控制 单元、a x l 2 0 c p 桥和1 2 a s y n c 桥、时钟模块、仿真调试模块。其中a r mc o r t e x a 8 处 理器核是整个a r m 子系统的核心【l l 】。下面主要介绍一下a r mc o r t e x a 8 处理器核、 中断控制单元、a x l 2 0 c p 桥和1 2 a s y n c 桥三个模块在删子系统中的作用 1 a r mc o d e x a 8 处理器核 图2 2a r m 子系统构成【1 2 】 中南大学