（微电子学与固体电子学专业论文）mpeg2+aac音频解码器原型芯片设计与实现.pdf

m p e g 2 a a c 音频解码器原型芯片设计与实现摘要m p e g 2a a c ( a d v a n c e da u d i oc o d i n g ，a a c ) 是m p e g 一2 标准中一种非常灵活的声音感知编码标准。支持4 8 个主声道、1 6 个低频音效声道。压缩比为1 1 ：1 ，并且在每个声道的数据率为6 4 k b i t s 时达到高保真的效果。与m p 3 相比，相同音质的条件下数据率是m p 3 的7 0 。一方面，多声道和高采样率的特点使得它非常适合未来的d v d a u d i o ；另一方面，低码率下的高音质则使它也适合移动通讯、网络电话、在线广播等领域。本文以m p e g 一2a a c 为研究对象，提出串行解码和并行解码两种系统方案，设计并实现m p e g 2a a c 音频解码器原型芯片，用实际的f p g a 开发系统验证音频解码器的功能与性能。本文的主要贡献是：( 1 ) 分析当前硬件m p e g 2a a c 解码器的系统级方案。从功耗、面积和实现的灵活性等方面提出全硬件m p e g 2a a c 解码器的实现方案，并提出串行解码和并行解码两种方案。虽然采用串行解码方案完全能够满足双声道音频文件的播放，但是为了便于向多( 大于2 ) 声道模式扩展，采用并行方案。( 2 ) 设计m p e g 2a a c 解码器的主要电路模块。重点优化并实现m p e g 一2a a c 预测和时域噪声整形模块。预测模块使用流水方法，将对一个频谱值的预测压缩到3 0 个时钟周期，并使用查找表的方法实现浮点除法运算。在时域噪声整形模块比较了串行和并行i i r 滤波器结构，提出了i i r 串行实现方案。利用t n s 运算的分散性，提出乘法器复用的方法，用以节省资源。( 3 ) 设计并实现了m p e g 2a a c 音频解码器原型芯片。采用v e r i l o gh d l 语言描述m p e g 2a a cr t l 级解码电路，使用s a t r i x l ie p 2 s 1 8 0 开发板实现a a c 音频解码器，整个f p g a 原型芯片占用2 4 1 1 6 个a l u t ，1 8 9 1 7个寄存器，3 3 9 7 9 6 0 位存储器。使用开发板上集成的s t e r oa u d i oc o d e c模块可以很好的实现音频文件的播放，音质良好。关键词：a a c 解码器；f p g a ；v e r i l o gh d l ；硬件设计d e s i g na n di m p l e m e n t a t i o no ff p g ap r o t o t y p ef o rm p e g - 2a a ca u d i od e e o d e ra b s t r a c tm p e g 2a d v a n c e da u d i oc o d i n g ( a a c ) i sav e r yf l e x i b l ec o d i n gs t a n d a r d ，w h i c hs u p p o r t s4 8m a i nc h a n n e l s ，16l o w - f r e q u e n c yc h a n n e l sa n di t sc o m p r e s s i o nr a t i oi su pt o11 ：1 m o r ee v e r ，t h eq u a l i t yo fa a cc a ns t i l lb eh i - f i ，w h e nt h eb i tr a t er e a c h e s6 4 k b p s c o m p a r i n gt om p e gl a y e r3 ，a a co n l yn e e d s7 0 b i tr a t et om a i n t a i nt h es a m ea u d i oq u a l i t y s oi ti sw i d e l yu s e di nd v d a u d i o ，m o b i l ec o m m u n i c a t i o n ，n e t w o r kp h o n ea n do n l i n er a d i o i nt h i se s s a y ，a nm p e g 一2a a cd e c o d e ri sd e s i g n e da n dv e r i f i e du s i n gf p g a s e r i a la n dp a r a l l e lm o d e l so fs y s t e m 1 e v e la r c h i t e c t u r ea r ef i r s t l ye s t a b l i s h e d t h e nt h em p e g - 2a a ca u d i od e c o d e rp r o t o t y p ec h i pw a sd e s i g n e da n di m p l e m e n t e di nf p g a t h ec o n t r i b u t i o no ft h ee s s a yi ss u m m a r i z e da sf o l l o w s ：( 1 ) t h es y s t e m l e v e lm o d e l so fm p e g - 2a a cd e c o d e rw e r ee v a l u a t e d ah a r d w a r ei m p l e m e n t a t i o ns o l u t i o no fa a cf p g ap r o t o t y p ew a sp r o p o s e dc o n s i d e r a t i n gt h ep o w e r , a r e aa n df l e x i b i l i t y p a r a l l e la n ds e r i a la r c h i t e c t u r e sa r ep r o p o s e d t h ep a r a l l e la r c h i t e c t u r ew a si m p l e m e n t e db e c a u s ei tc a nb ee a s i l ye x t e n d e dt om u l t i - c h a n n e li nt h ef u t u r e ( 2 ) t h eh a r d w a r ec i r c u i t so fs e v e r a lm a i nm o d u l e sw e r ed e s i g n e d ，w h i c hm a i n l yf o c u s e do nt h ei m p l e m e n t a t i o na n do p t i m i z a t i o no fp r e d i c t i o na n dt n sm o d u l e s p i p e l i n e dm e t h o dw a sa d o p t e di np r e d i c t i o nm o d u l e ，w h i c hc o m p r e s s e dt h ep r e d i c t i o nr e s u l tr a t et oo n ep e r30 - c l o c kc y c l e s t h ef l o a td i v i s i o nw a si m p l e m e n t e db yu s i n gm u l t i p l i c a t i o nb a s e do nl o o ku pt a b l e s i nt n sm o d u l e ，s e r i a la n dp a r a l l e la r c h i t e c t u r e so fi i rf i l t e rw e r ep r o p o s e d f o rt h ec o n s i d e r a t i o no fs i m p l i f y i n gt h ec o n t r o ll o g i c ，s e r i a la r c h i t e c t u r ew a si m p l e m e n t e d ( 3 ) t h em p e g 一2a a cd e c o d e rp r o t o t y p ew a si m p l e m e n t e d t h ec h i pw a si m p l e m e n t e du s i n gv e r i l o gh d l ，a n dr u no ns a t r i x l ie p 2 s18 0d e v e l o pb o a r d t h et o t a lr e s o u r c eo c c u p i e di s2 41 16a l u t s ，18 917r e g i s t e r sa n d3 3 9 7 9 6 0m e m o r yb i t s t h ea u d i oq u a l i t yo ft h ed e c o d e ri sg o o db yu s i n gs t e r e oa u d i oc o d e co nt h eb o a r d k e y w o r d s ：a a cd e c o d e r ；f p g a ；v e r i l o gh d l ；h a r d w a r ed e s i g ni i插图清单图1 1m p 3 编码流程图2图1 2m p e g 2a a c 编码流程图3图1 3s n r 对照图4图2 1a d i f 帧结构7图2 2a d t s 帧结构：8图2 3 双声道音频文件r a wd a t ab l o c k 结构8图2 4 实时回放需求1 0图2 5 串行实现方案1 2图2 6 并行实现方案1 3图2 7a a c 解码流程模块图1 5图2 8 短窗的分组情况1 7图2 - 9 同一组中的窗公用比例因子带1 7图2 1 0 未被整形和时域噪声整形后对照1 9图2 1 l 离散余弦变换过程2 0图3 1 解码器原型芯图2 2图3 2 比特流格式器工作流程图2 3图3 3 码流解析单元2 4图3 - 4a a c 音频预测原理示意图2 5图3 5 单个预测器结构2 6图3 6 预测器的滤波结构2 6图3 - 7 指数表和尾数表制表方法2 9图3 。8 预测器硬件结构3 0图3 - 9 预测器模块流水31图3 1 0 预测器计算模块结构3 2图3 11 预测器流水线工作图3 4图3 1 2c 2 流水工作图3 5图3 1 3 数的定点表示和浮点表示一3 6图3 1 4 定点转浮点算法状态机图3 7图3 1 5t n s 硬件模块结构3 9图3 1 6t n s 附加信息结构4 0图3 1 7g e t _ t n s 模块硬件结构“4 1图3 1 8l p c 计算流程图4 4图3 1 9t n s 各子模块在解码流程中计算顺序4 4图3 2 0l p c 算法状态机图4 5v i图3 2 1l p c 计算硬件结构图4 6图3 2 2 定点乘法计算4 6图3 2 3i i r 滤波器示意图4 7图3 2 4i i r 滤波器串行结构图4 8图3 2 5i i r 滤波器算法状态机图一4 9图4 1c o d e e 接口模块图5 1图4 2v c 中截取内存中的频谱值5 4图4 3t n s 滤波系数内存初始化5 5图4 4 单个模块的测试平台5 6图4 5 仿真过程中观测的波形图5 7图4 6 系统级验证平台示意图5 8图4 7 软件解码同硬件解码对照5 9图4 8 验证流程6 0v i i表格清单表3 1 预测器分组方式2 8表3 2 预测器变量内存偏移位置一2 9表3 3 指数和分数查找表偏移位置2 9表3 - 4 尾数分数计算方法3 0表3 5 指数分数计算方法3 0表3 6c 1 个状态操作3 2表3 7c 2 各状态操作3 3表3 8c 3 各状态操作3 3表3 - 9 浮点加减法器和乘法器占用资源3 4表3 1 0 时域噪声整形最大比例因子带3 9表3 1 l 比例因子带起始位置查找表4 2表3 1 2 反量化查找表( 精度为4 ) 4 3表3 1 3 滤波器系数对应偏移量4 5表4 1s a t r i x i i 器件资源5 1表4 2r e a d m e m h 例程5 4表4 3c 程序定点化算法5 5表4 4t n s 边信息5 6表4 5t n s 各模型计算数据对照5 6表4 6 各模块资源占用和频率6 0v i i i独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得金目曼王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签字：袈久走、签字日期：0 1 年午月v 7 日学位论文版权使用授权书本学位论文作者完全了解金g 垦王些态堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权金目里工些太堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文者签名：鳢杰奴日签字眺彳年午月7 日日if学位论文作者毕业后去向：工作单位：通讯地址：- ；。= 一i 导师签名：j ；乏i - 二i i 之签字日期：年月电话：邮致谢本研究及学位论文是在我的导师高明伦教授的亲切关怀和悉心指导下完成的。高明伦教授严肃的科学态度，严谨的治学精神，精益求精的工作作风，深深地感染和激励着我。从课题选择到项目最终完成，高老师都始终给予我细心的指导和不懈的支持。两年多来，高老师不仅在学业上给我以精心指导，同时还在思想、生活上给我以无微不至的关怀，在此谨向高老师致以诚挚的谢意和崇高的敬意。本论文的研究工作受到以下项目的资助：( 1 ) 8 6 3 计划“基于n o c 的片上多处理器系统结构及实现方法研究( 项目编号：2 0 0 8 a a 0 1 2 1 3 5 ) ；( 2 ) 教育部博士点青年基金资助项目“基于可重构通讯的m p s o c 硬件原型技术研究”( 项目编号：2 0 0 7 0 3 5 9 0 3 2 ) ；( 3 ) 安徽省自然科学基金资助项目“嵌入式多核s o c基础研究 ( 项目编号：0 7 0 4 1 2 0 3 1 ) 。对此表示感谢。感谢杜高明老师、张多利老师、宋宇鲲老师和耿罗峰博士。感谢他们在研究所期间给予我诚恳和无私的帮助。他们对工作的激情和执着无时无刻不在激励和督促我努力拼搏，这些将使我受益终生。感谢尹勇生老师、邓红辉老师，他们的热心指导和严谨的治学态度，深深感染着我。感谢王白露、杜福慧、付强、马亮、张云同学，作为同一项目组成员，我们共度了无数个紧张兴奋的日日夜夜。在与大家的讨论中，我得到了很多启发，受益匪浅。在此，我还要感谢一起愉快的度过研究生生活的科技楼九楼的各位同仁，林微老师、贾靖华老师、范月红、胡剑和木子一，正是由于他们的帮助和支持，我才能克服一个一个的困难和疑惑，直至本文的顺利完成。最后，我要感谢我的父母。没有他们的鼓励、关怀和支持，我不可能完成学业。他们的付出以及对我的帮助我将铭记在心，他们的谆谆教诲将伴我终生。第一章绪论1 1m p e g 2a a c 音频编码技术自从m p e g 1l a y e r 3 标准在1 9 9 1 年发布至今，感知音频编码技术不断进步，高品质高压缩率的音频编解码器层出不穷。m p e g - 2a a c ( a d v a n c e da u d i oc o d i n g ) 是在1 9 9 7 年由以b r a n d e n b u r g 、j o h n s t o n 等为首的音频编码研究者提出的，它总结了m p e g 1 、m p e g 2 和a c 3 等的长处，在m p e g 系统上进一步改进了很多新的功能，大大增强了编码的灵活度，在保证音质的同时更大限度的压缩了码率。m p e g 2a a c 已经成为m p e g 4 标准中高质量音频编码的核心，是下一代音频压缩标准。m p e g 2 和m p e g l 都基于感知音频编码【l 】，相对于以声音波形为基础的波形编码方法而言，感知音频编码的目的是要保证对于人耳来说，重建的声音听起来与原始声音一样。而不是要使重建的波形和原始波形完全一样。其核心编码算法感知编码利用对人听觉心理的先验知识，丢弃原始声音中人耳无法感知的部分。通常，感知编码算法将时域信号转换成频域信号，再将频域信号分裂到各子带上，然后利用人耳感知特性去除人耳听不到的部分。相比于波形编码，感知编码能获得更高的压缩比。m p e g 2 音频标准有两个版本，一个是向后兼容的m p e g 2 b c 另一个则是m p e g 2 a a c 标准。m p e g 2 b c 主要是保持对m p e g 1 音频的兼容( 如3 层编码方案和心理声学模型) 并对其进行扩充，提高低采样率下的声音质量( 包括l6 k h z ，2 2 5 k h z ，2 4 k h z 的采样率) ，支持5 1 多声道环绕立体声和多语言技术。m p e g 2 a a c 标准则是真正的第二代通用音频编码，它放弃对m p e g 一1 音频的兼容性，扩大编码范围，支持1 到4 8 个通道和8 k h z 到9 6 k h z 采样率的编码，每个声道可以获得8 1 6 0 k b p s 的高质量声音，能够实现多通道、多语言和多节目编码。1 2a a cv s m p 3a a c 是在m p 3 基础上发展出来的，所以两者的编码系统有一些相同之处【2 1 【3 l 。但是对比一下两者的编码流程图图1 1 和图1 2 ，便可发现a a c 的编码工序更为复杂。i n p u ts i g n a lm p 3 数据流图卜lm p 3 编码流程图从图中可以看出，虽然a a c 编码方案延续与m p 3 编码相同的步骤( 高频精度的滤波器组，非均匀量化，h u f f m a n 编码和迭代循环结构) 。但是相对于m p 3 编码在细节方面有很大的改进，并使用新的编码工具来增强低比特率音频的音质。首先，a a c 的频率精度更高。a a c 采用多达1 0 2 4 个频谱线，而m p 3 仅仅使用5 7 6 个频率线。其次，a a c 增加可选的预测模块( p r e d i c t i o n ) 。通过对频谱数据进行预测，使编码效率大幅度提高( 这一技术应用在语音信号中的效果尤为明显) 。再次，a a c 的联合编码技术相对于m p 3 来说更加新颖。相对于m p 3 来说，a a c 的m s 立体声编码和强度立体声编码技术更加灵活，通过使用这两种技术可以更加灵活的减少波特率。无论是m p 3 编码还a a c 编码都使用了h u f f m a n 编码技术。但在a a c 中使用四元频率线编码，这使得编码端对h u f f m a n 码书的应用更加灵活。相对于m p 3 来说，a a c 除了在编码效率上的提升，还采用新的编码工具来提升编码后音频的音质效果。首先，增强了块转移技术。m p 3 编码技术使用混合滤波器组( h y b r i df i l t e r b a n k ) 。在4 8 k h z 时仅能相应1 8 6 m s 宽度的脉冲，由此会带来预回声效应。相比于m p 3 ，a a c 采用标准的m d c t 滤波器组。该滤波器组在4 8 k h z 下可以响应5 3 m s 宽的脉冲，极大的减少预回声效应。2其次，a a c 采用时域噪声整形技术( t n s ) 。这项技术通过在频域使用开环预测来修整信号的时域噪声。t n s 技术被证明可以极大的提高语音信号的质量。图卜2m p e g 一2a a c 编码流程图图1 3 是a a c 和m p 3 音频信号的平均信噪比，从图中可以看出，a a c 在各种模式的音频质量要明显优于m p 3 ，并且a a c 在9 6 k b p s 的音质要比m p 3在1 2 8 k b p s 的时候要好一些。虽然m p 3 作为当前最流行的一种音乐格式，已经占据了大量的网络资源，深受广大音乐爱好者的喜爱。随着时间的推移，将m p 3 越来越不能够满足人们的需要，比如m p 3 压缩率落后于o g g 、w m a 、v q f 等格式，低码率下的音质也不够理想，仅有两个声道。3g e n r e ：i n s t r u m e n t a ls n r g r a p h案6 0 0 0 0 0苎24 0 0 0 0 0塞薹2 0 0 0 0 0 - * u u u葛芷喜0 0 0 0 0嚣酲圜i tl 副。# 山k _ r “_ r 翻“6 49 61 2 8i d o sk b sk b s瞰r a t e图1 - 3s n r 对照图a a c 支持的采样频率可以从8 k h z 到9 6 k h z ，a a c 编码器的音源可以是单声道的，立体声的和多声道的声音。a a c 标准可以支持4 8 个主声道、1 6 个低频音效加强通道l f e ( l o wf r e q u e n c ye f f e c t s ) 、1 6 个配音声道( o v e r d u bc h a n n e l ) 或者叫做多语言声道( m u l t i l i n g u a lc h a n n e l ) 和1 6 个数据流。m p e g 2a a c 在压缩比为1 1 ：1 ，即每个声道的数据率为( 4 4 11 6 ) 、l1 = 6 4 k b i t s ，而五个声道的总数据率为3 2 0 k b i t s 的情况下，很难区分还原后的声音与原始声音之间的差别。与m p e g 1 的第二层相比，m p e g 2a a c 的压缩率可提高一倍，而且质量更高，与m p e g 1 的层3 相比，在质量相同的条件下比特率是它的7 0 。同时，为了改善误码的消除，支持在存在误码的情况下维持码流同步的机制和误码消除机制。同时，开发m p e g 2a a c 标准采用的方法与开发m p e g 1a u d i o 标准所采用的方法也不相同。后者采用的方法是对整个系统进行标准化，而前者采用的方法是模块化的方法，把整个a a c 系统分解成一系列模块，用标准化的a a c工具( a d v a n c e da u d i oc o d i n gt o o l s ) 对模块进行定义。另外，g m o 公司针对m p 3 侵犯音乐出版物的版权问题，采用a t & t 授权的基于m p e g 2a a c 的a 2 b 音乐，并将其命名为m p 4 ，其用意是表明m p 4 是继m p 3 之后的一种升级换代技术。a 2 b 技术主要由以下三个部分组成【9 】。第一，a t & t 的音频压缩技术专利，以“知觉编码”为关键技术可以将a a c 压缩比提高到2 0 ：l 而不损失音质。第二，安全数据库，它可以为a 2 b 音乐文件船舰一个特定的密钥，并将此密钥置于其数据库中，只有a 2 b 的播放器才能播放含有这种密钥的音乐；第三，4协议认证，这个认证包含复制许可、允许复制副本数量、歌曲总时间、歌曲可以播放时间以及经营销售许可等信息。1 3a a c 音频格式的普及a a c 在低速率数据传输的情况下实现了高质量的输出，高级音频编码比m p 3 格式文件的压缩效率高很多并且可以同未压缩的c d 音质相媲美。鉴于其卓越的性能和音质，a a c 音频编码标准作为m p e g 。4 的音频部分而被人们广泛接受。著名的n o k i a 在手机领域推广a a c 格式，包括万众瞩目的n g a g e 、3 g 网络的7 6 0 0 、媒体手机7 7 0 0 、时尚娱乐的3 3 0 0 、全新登场的6 2 3 0 和可做手机附件的音乐播放器h d r 1 ，它们都可以播放存储在m m c 卡上的a a c 文件。重量级的i p o d 和i p o dm i n i 全都能播放1 6 3 2 0 k b p s 的a a c 文件，加上苹果倾力打造的i t u n e 音乐播放器，为制作播放a a c 文件提供了一条捷径。著名的w i n m a p 等流行的音频软件播放器也早已开始支持a a c 格式。支持a a c 的消费电子产品正成为未来市场上需求的热点并逐渐成为市场上便携式播放器必备功能之一。1 4 本文的内容和结构m p e g 2a a c 音频编码技术较之m p e g 1l a y e r 3 音频编码技术是一个飞跃，同时也是m p e g 4 音频编码部分的核心编码技术。本文以m p e g 2a a c 为研究对象，在分析m p e g 2a a c 标准和a a c 解码各个模块的算法基础上，比较a s i c 、d s p 和f p g a 实现方案，详细阐述a a c 硬件解码器原型芯片的设计。在完成原型芯片的r t l 级设计之后，采用基于c 软件模型的验证方法对其进行验证。在功能仿真正确的后，将设计下载到s a t r i x l i1 8 0f p g a 开发板上实现该原型芯片的f p g a 原型验证，播放a a c 格式的音频文件。本文共分为5 章：第一章：绪论。介绍m p e g 2a a c 音频编码标准，通过比较m p 3 和a a c编码流程，论述a a c 音频编码技术相对于m p 3 音频编码技术的优越性。第二章：首先分析a a c 音频文件的格式，解释a d i f 同a d t s 文件格式的不同。论述r t l 级音频解码器实现方案相对于当前流行的音频解码器实现方案的优势。提出音频解码芯片的串行和并行实现方案，并充分比较两种实现方案的可行性，最终给出结论。第三章：在第二章给出的解码芯片方案的基础上，重点介绍a a c 编解码器中的关键模块比特流格式器、时域噪声整形和预测模块的算法优化和硬件实现。充分利用硬件实现的并行性和灵活性等优势，优化各模块的算法，使得解码器的性能达到最优。5第四章：介绍仿真验证的基本理论，对a a c 解码模块进行仿真验证，采用基于c 参考模型的验证方法，从主观方面和客观方面对a a c 解码器原型芯片的解码结果进行评测，并给出f p g a 的综合结果。第五章：对本文的工作进行总结，并提出展望。6第二章m p e g 2a a c 解码器系统结构m p e g 2a a c 采用很多最新的音频编码技术来提高音频质量，如：更高的频域分辨率、预测、改进的霍夫曼编码和时域噪声整形等。在本章中，将结合解码过程，对m p e g 2a a c 的各个功能模块进行介绍，对当前主流的音频解码方案进行介绍和比较，然后提出两种全硬件a a c 解码器原型芯片的系统结构，并对其进行比较。2 1a a c 文件格式a a c 标准定义了两种文件格式：a d i f ( a u d i od a t ai n t e r c h a n g ef o r m a t ) 和a d t s ( a u d i od a t at r a n s p o r tf o r m a t ) 。当解码是从码流的起始位置而不是中间开始时，使用a d i f 格式，因为a d i f 文件只有一个头文件，因此往往应用于从文件头部开始解码的解码系统，比如解码本地的存盘音频文件。a d i f 文件包含了用于解码和播放音频文件的所有必备信息，因此它可以作为一种交换格式，这一文件主要用于对解码器解码算法的研究，很少用于实际情况中。图2 1 是a d i f 文件的结构图，a d i f 文件结构主要由三部分组成：a d i f 帧头、对齐字和r a wd a t as t r e a m 。a i d f 头部的a d i fi d 一般为0 x 4 1 4 4 4 9 4 6 表明这一文件是a d i f 格式的文件。b i t r a t e 表明该文件是固定比特率比特流或可变比特率比特流。a d i f 文件的主体部分r a wd a t as t r e a m 是由多个r a wd a t ab l o c k 组成的序列。在a d i f 文件格式中文件头只有一个，之后只有r a wd a t a b l o c k 数据而不再有头信息。a d i fi d版权信息ib i t r a t el 比特流类型及程序配置单元a d i f 帧头b y t ea l i g n m e n tr a wd a t as t r e a m图2 1a d i f 帧结构与a d i f 文件不同，a d t s 文件的每一帧都包含一个头文件，a d t s 的帧头包含同步字和一起用于解码和播放音频文件的信息，因此可以从码流的任何位置开始解码。特别适合于网络传输等实时音频播放情况。本文设计的a a c 解码器主要针对a d t s 码流进行解码。7图2 - 2a d t s 帧结构在a d t s 帧中，码流是按照固定帧头、可变帧头、r a wd a t ab l o c k 和对齐字的顺序排列的。图2 2 是a d t s 帧的结构示意图。为了对a a c 原型芯片整体的解码流程有一定的了解，下面介绍一下a a c 码流的结构：其中，固定帧头( a d t sf i x e dh e a d e r ) 包含帧同步码字、声道配置信息、采样率、版权保护信息；可变帧头( a d t sv a r i a b l eh e a d e r ) 则包含帧长信息和r a w d a t ab l o c k 的个数等信息。这些信息主要用于r a wd a t ab l o c k 数据的解析与解码。r a wd a t ab l o c k 包含解码过程中的主要可操作单元。r a wd a t a 一b l o c k 的内容可以是各种语法单元，p c e 语法单元用作传输整体配置数据，多用于多声道数据传输；d s e 语法单元用作数据传输，可以在音乐码流中传输其他数据；f i l 语法单元用作填充数据，以满足规定的比特速率，同时也可以作为扩展工具的载体，如s b r 工具等；c c e 语法模块用于多声道传输时各个声道之间的联合编码；s c e 语法模块包含单声道的码流信息；l f e语法模块包含应用于超低频音频码流；c p e 语法模块主要包含双声道的码流信息。图2 - 3 双声道音频文件r a w _ d a t a b l o c k 结构通过对大量双声道主框架结构的音频文件分析，双声道码流主要是由c p e语法单元组成的，a a c 编码器对于左右声道都是单独编码的，所以解码的主要工作就是解码i c s ( i n d i v i d u a lc h a n n e ls t r e a m ) 语法单元。图2 3 是双声道音频文件中，r a wd a t ab l o c k 的结构。i c si n f o 部分给出窗类型、比例因子带分组，预测信息等。这些信息用于解码流程中各个模块的控制。i c s 单元是8r a w d a t a b l o c k 的主要组成部分，包含频谱分量、比例因子值和各种边信息，是解码器操作的数据主体部分。2 2m p e g - 2a a c 解码器的框架结构a a c 定义了3 种框架：主框架( m a i np r o f i l e ) 、低复杂度框架( l o wc o m p l e x i t yp r o f i l e 一l c ) 和可变采样率框架( s c a l a b l es a m p l i n gr a t ep r o f i l e一一s s r ) 。2 2 1 主框架结构在该框架中，a a c 系统能对任何给定的比特率码流提供质量最好的重建音频。除增益控制模块之外，其对于存储器和c p u 处理能力的要求是三种框架中最高的。同时，采用主框架结构的a a c 解码器能够对低复杂度框架的码流进行解码。2 2 2 低复杂度框架在这种框架中，不使用预测模块和预处理模块，t n s 滤波器的级数也有限，并且t n s 的阶数也有一定的限制。低复杂度框架的解码器在音频质量很高时，对存储器和处理器能力的要求比主框架结构小。2 2 3 可变采样率框架在这种框架中，使用增益控制模块对信号做预处理，不使用预测模块，t n s滤波器的级数和带宽都有限制，因此它比主框架结构和低复杂度框架都简单，可用来提供可变采样频率信号。当带宽降低时，s s r 框架的复杂度也可降低，特别适于网络带宽变化的场合。2 3m p e g 2a a c 解码器系统结构的设计2 3 1 解码芯片系统结构的选择由于便携式播放器的目标主要是价格敏感的消费市场因此它的基本要求是硬件软件最小化，还要提供好的音质和较低的耗电量，这需要高效低耗电的a a c 嵌入式解决方案来满足这一需求。这对a a c 解码器的实现提出更高的要求，它要求更低的c p u 占有率更少的存储器使用。由于a a c 的算法比较复杂，现在的很多解决方案都是基于d s p 的i s j ，由d s p 来实现复杂的算法来提高效率。像计算量比较繁重的h u f f m a n 解码和i m d c t 等部分，都采用基于d s p 的a a c 解码器方案。为在满足音频信号处理的同时还能进行系统控制，基于d s p的实现还需要一个单独的处理器来做系统控制的部分，这样在d s p 和处理器9之间还要有数据交换，大大增加了系统的复杂度，同时增加了硬件成本。一般在通用d s p 上，通过软件的方法实现a a c 解码器的方案比较灵活，在产品的初期能迅速占领市场，但需要的m i p s 和功耗相对较大。这种方案如果应用于移动电话会造成移动电话的待机时间和通话时间急剧的减少。而目前市面上绝大多数a a c 解码产品都是基于d s p 的软件实现方案。也有一些方案是采用高性能r i s cc p u 实现【7 】，例如a r m 公司的a r m 7或a r m 9 芯片。由于a r m 7 或a r m 9 都是3 2 位的处理器，相对于目前1 6 位d s p 具有一定的优势，但是由于a r m 不是专门为信号处理而设计的，所以在实现m p 3 功能时，对于乘加运算较多的i m d c t 、子带综合滤波等处理步骤，效率会不如d s p 处理器。在基于软件的a a c 解码器实现中，由于受到处理单元数目的限制，解码的各个环节只能串行进行，介于实时性的要求，解码一帧数据不能超过特定的时间，如图2 4 所示，这就使得这一类的实现必须提高时钟频率，使得单位时间内能完成的运算量增加，从而满足实时性的要求。然而提高时钟频率使得系统的功耗相应增加。图2 4 实时回放需求目前大部分d s p 还是1 6 b i t s 字长，一般来说，a a c 解码的声音质量要达到类似c d 的音质，需要的字长为2 0 b i t s 以上。所以基于d s p 的a a c 解码器要用两个字表示一个数，即用3 2 b i t s 字长。这使得d s p 处理数据的运算量和存储量增加。而a r m 系列处理器一般是3 2 b i t s 的字长，所以在精度上比d s p 有优势，因而a r m 需要的存储量比d s p 小。另外，d s p 适合做数值运算，而不适合做逻辑操作，所以a a c 解码中的同步算法、h u f f m a n 解码等部分并不适合d s p 。所以造成d s p 处理效率不高。而a r m 系列处理器和d s p 刚好相反，适合做逻辑操作，不适合做数值运算，相对于乘法运算较多的i m d c t 、子带综合1 0滤波等运算的处理效率不高。f p g a 有着规整的内部逻辑块阵列和丰富的资源，特别适合细粒度和高并行结构特点的数字信号处理任务，如f i r 滤波器等，相对于串行运算起主导作用的通用d s p 芯片来说并行性和扩展性都更好。f p g a 当中有很多自由的门，将这些自由的门连接起来可以形成乘法器、寄存器以及地址发生器等等。这些只要在r t l 级完成，可以用简单的门将f i r ( 有限冲激响应) 和f f t ( 快速傅立叶变换) 在很高的级别完成。在基于芯片的设计中可以减少芯片数量，缩小系统体积，降低能源消耗，提高系统的性能指标和可靠性。最重要的是，基于f p g a 的设计可以根据各步骤的运算量来提供运算资源，例如，对于运算量大的步骤，例如i m d c t 和子带综合滤波等部分，可以设置多个乘法器和加法器并行运算，以加速运算。同时，只要解码的各个环节之间不存在数据相关性，就可以并行进行。而且，各个部分可以采用最合适的结构，使得处理效率达到最好，这些措施会极大的降低系统的时钟频率，从而降低功耗。同时，基于f p g a 的设计不受字长的限制，可以根据标准结合面积、功耗、精度等面的考虑，限定字长。考虑到f p g a 实现a a c 解码器相比于软件实现在功耗和面积以及速度方面的灵活性，本文将采用f p g a 实现a a c 解码器原型芯片。f p g a 的硬件运算能力要远远大于软件的速度，这样用f p g a 的r t l 级编码实现解码运算，能充分利用硬件资源，作为可重用i p 可以方便的集成到s o c 系统中，降低成本和复杂性。2 3 2 解码芯片的系统结构基于上面的分析，本论文的目标是设计全硬件r t l 级的a a c 解码器原型芯片，目的是在能够满足实时性解码需求的前提下，使用最低的资源和成本，满足低功耗，并从内核到外围完全自主设计，拥有自主知识产权的a a c 解码芯片。a a c 音频处理的信息量比较大，所以对于音频解码硬件架构的性能要求很高，在硬件资源有限的条件下，a a c 音频解码器能否以较少的资源达到较高的性能是整个项目成功的关键。在现有硬件允许的条件下，本文的设计方案是支持a a c 主框架结构的低成本f p g a 全硬件解码器。解码器的要求是：符合i s 0 i e c1 3 8 1 3 7 ：2 0 0 3 ( m p e g 一2a a cs e c o n de d i t i o n ) m a i np r o f i l e标准；支持a d t s 格式双声道立体声音频文件的解码；所有解码功能用v e r i l o gh d l 编码实现；支持4 4 1 k h z 音频文件的播放；满足实时性播放要求；接口简单，可作为i p 核复用；a a c 的编码是以帧为单位实现的，每一帧包含1 0 2 4 个p c m 值。按照一帧1 0 2 4 个p c m 值，采样率4 4 1 0 0 h z 计算，每秒钟需要解码4 4 1 0 0 1 0 2 4 = 4 3 0 7 ( 帧)以达到实时性的要求，既一帧的解码时间要控制在2 3 2 2 ( 毫秒) 内。每一帧可以有不同的声道数，最多可以支持4 8 个声道，每帧的长度各不相同。对于当前绝大多数的便携式音频播放器来说，最常用的还是双声道的方案，所以在a a c解码器的架构设计上，采用双声道解码方案。时域数据图2 5 串行实现方案针对以上提出的a a c 解码原型芯片的要求，可以在两种翻案之间进行选择：串行方案、并行方案。图2 5 是串行方案的系统结构图，它的工作流程是，比特流格式器在检测到声音文件的同步字后，开始读入音频码流并进行解析。并将编码后的频谱数据送入无噪声解码模块，同时给出无噪声解码模块的启动信号。无噪声解码模块首先解出左声道的音频数据，然后解出右声道音频数据，并将它们分别存放在左右声道r a m 中。串行解码系统，在每一个时间单位只可能有一个模块对左右声道r a m 进行1 2操作，这一方案中仅设置一个r a m 来保存左右声道频谱数据。对于仅对单声道频谱数据操作的预测、强度立体声、时域噪声整形模块和滤波器组则先对左声道r a m 进行操作后再对右声道r a m 进行操作。在左右声道都解码完成后将解码后的左右声道时域数据传输给外部的播放模块进行播放。频域数据左声道p c m右声道p c m图2 - 6 并行实现方案图2 - 6 给出并行方案的系统结构，与串行方案相比所不同的是，这一方案对左右声道频谱分别设置相应的左声道r a m 和右声道r a m 。同时为左右声道分别设置预测、时域噪声整形和滤波器组模块( 例化两次) 。对于需要同时操作左右声道r a m 的无噪声解码、m s 立体声和强度立体声模只例化一次，供左右声道共同使用。并行解码方案的优势在于，左右声道并行解码，提高系统的解码速度。并行方案与串行方案的比较：并行方案，原型芯片中例化多次预测、时域噪声整形、和滤波器组模块，增大了原型芯片的面积，但由于同时左右声道并行处理，提升了解码的速度，13相对于串行解码，速度提高将近一倍。串行解码方案对左右声道采用顺序解码，先对左声道进行解码，在左声道音频数据解码完成后，再对右声道数据进行解，码，解码速度比并行方式慢将近一倍，但是原型芯片的面积相对于并行方案有很大的减少。对于本论文的设计目标，在相同的时钟频率下，即使采用串行的实现方案也完全可以满足播放的实时性要求。但是在向多声道模式扩展中，串行方案不容易扩展，因为串行方案要顺序对多个声道解码后才能播放音频，不能满足系统的实时性要求。并行方案对每个声道并行处理，可以很容易的向多个声道扩展，而不会显著降低系统的工作速度。为便于将来使设计向多声道扩展，本论文采用并行设计方案。2 3 3 解码程序定点化在对a a c 解码流程进行模块划分之后，要对各个模块的运算定点化，这样系统的设计有个准确的基准，适合硬件设计。m p e g 组织发布了完全按照a a c标准解码的标准a n s ic 参考程序。虽然这一程序对的数据结构和算法结构都是完全按照标准定制的，但没有进行有效的优化，并不适合直接转化为基于f p g a 实现的硬件结构。但是通过分析该程序可以加深对各模块算法的理解，并对算法的复杂度进行估量，针对硬件平台对该算法进行优化l l 引。该软件模型采用3 2 位3 2 位的浮点运算