（通信与信息系统专业论文）系统芯片中媒体增强数字信号处理器核设计研究.pdf

浙江大学博十学位论文 摘要 媒体系统芯片设计开发中的关键问题 就是如何最有效地利用硅片上可用的硬件 资源 提供支持目标多媒体应用的单芯片高性加比解决方案 基于总线互连的由一个 或多个指令集处理器核 一个或多个专用硬件l p 核 一片或多片片上存储器构成的异 质体系结构成为媒体系统芯片的合理选择 在国家8 6 3 计划的支持下 我们开展了系 统芯片中媒体增强的数字信号处理器核的设计研究 本文作为部分成果 着重探讨了 处理器核指令集结构的媒体处理增强 处理器核微结构的设计和优化以及系统总线设 计和媒体数据流调度的问题 在系统芯片中媒体数字信号处理器核的设计中 在分析媒体处理应用算法特点的 基础上 本文提出对m i p s i 指令体系相兼容的基本指令集结构进行媒体增强扩展 通 过支持s i m d 亚字并行操作 媒体专用指令和运算结果特殊处理等增强单发射结构处 理器的媒体处理性能 借鉴i n t e lm m x s s e s s e 2 媒体扩展指令集的思想生成初始指 令功能集合 通过与常用媒体处理核心算法的互动进一步优化媒体指令集结构 创新 性地对与m i p s l 相兼容的基本指令体系实现了后向兼容媒体增强扩展 在硬件上通过 构造可拆分的数据通道等实现了对媒体增强指令集的支持 以极小的硬件附加开销获 得了媒体处理性能的显著提高 在系统芯片中媒体数字信号处理器核的设计中 在具体分析c p u 流水线竞争和处 理器异常的基础上 本文提出并实现了一种基于有限状态机的流水线运行控制方案 并从提高钟频和降低c p i 值两个方面优化处理器性能 为避免流水时钟频率受制于某 些复杂运算指令较长的运算时间 又要达到单周期完成一条运算指令的吞吐量指标 本文提出对e x 级进行可伸缩超流水扩展的思想 提出并实现了一种高性加比的切换 控制方案 对于单发射结构的处理器 降低c p i 值的根本途径在于通过各种软硬件技 术减少流水线的停顿 本文构造了一个r a w 相关环路模型用于分析流水线中寄存器 操作数的r a w 竞争现象 并提出了一种 动态 数据旁路优化策略 可以最大程度 地减少复杂流水线中因数据的r a w 竞争而导致的互锁停顿 理论分析和实测结果充 分表明 动态 数据旁路机构可以有效地降低流水线因r a w 互锁导致的平均c p l 增 最 总线设计和媒体数据流的调度是实时媒体系统芯片设计中极其关键的问题 本文 以v c d h d t v 解码系统芯片的设计为具体个例 探讨了m p e g 1 2 视频解码软硬件 实现中的数据流调度策略 在分析视频码流输入 解码处理和视频显示的时间参数后 提出以3 帧组合为软件解码的调度粒度 以及基于启动期限和完成期限的两种解码调 度策略 较好地均衡了处理器性能需求和数据缓存需求 提出了一种基于静态分时复 用调度 动态固定优先级仲裁的混合二级总线仲裁策略 通过分割总线时间片静态调度 媒体数据流d m a 传输 使之与解码流程同步配合 有效地分配和使用总线带宽 降 低了片上数据缓存等硬件开销 关键词 媒体数字信号处理器核 亚字并行 超流水 数据旁路 总线仲裁 壹 璧登锄黼嚏 i 矗 颤穗 1 一7 塑坚点兰竖主兰些堡塞 a b s t r a c t h o wt ou t i l i z et h ea v a i l a b l eh a r d w a r er e s o u r c e so ot h es i l i c o nc h i p e f f e c t i v e l yi s ak e y i s s u ei n h i g hp e r f o r m a n c e c o s tm e d i as y s t e m o n c h i p s o c d e v e l o p m e n t ab u ss h a r e d h e t e r o g e n e o u sa r c h i t e c t u r ec o n s i s t i n go fo n eo rm o r ei n s t r u c t i o ns e tp r o c e s s o rc o r e s o n e o rm o r ed e d i c a t e dh a r d w a r ei pc o r e sa n do n eo rm o r eo n c h i pm e m o r i e su s u a l l yp r o v i d e sa g o o ds o l u t i o n t h er e s e a r c hw o r ki n t r o d u c e di nt h i sp a p e rm a i n l yc o n c e r n st h ep r o c e s s o r c o r ed e s i g nf o rm e d i as u e m e d i ae n h a n c e m e n tb a c k w a r de x t e n s i o nt om i p s ic o m p a t i b l e1 s ai s p r e s e n t e di n t h i s p a p e r b a s e d o nt h e a n a l y s i s o fi n h e r e n tc h a r a c t e r i s t i c so fm e d i a a p p l i c a t i o n a l g o r i t h m s t h eb a s i cm i p s ic o m p a t i b l ei s ai s e x t e n d e dt o s u p p o r ts u b w o r dp a r a l l e l s i m do p e r a t i o n s p e c i a lr e s u l t h a n d l i n g a n dd e d i c a t e dm e d i ai n s t r u c t i o n s t h em e d i a e n h a n c e m e n te x t e n s i o nt om i p s ic o m p a t i b l ei s ai s p h y s i c a l l yr e a l i z e di nt h ep r o c e s s o r c o r e a n di m p r o v e sm e d i ap r o c e s s i n gp e r f o r m a n c ee f f e c t i v e l y 2 4 x w i t hn e g l i g i b l e a d d i t i o n a lh a r d w a r ec o s t 2 7 af i n i t es t a t em a c h i n e f s m b a s e dc e n t r a l i z e dc o n t r o ls c h e m ei sp r e s e n t e di nt h i s p a p e rt os u p e r v i s et h ec p up i p e l i n ea c t i v i t y a n ds o m ee f f e c t i v et e c h n i q u e sa r ed i s c u s s e d t ol o w e rt h ec l o c kp e r i o da n dc p i c y c l e sp e ri n s t r u c t i o n o ft h ep i p e l i n e t oe l i m i n a t et h e c l o c kf r e q u e n c yl i m i t a t i o nb ys o m ec o m p l e x i n s t r u c t i o n s l o n ge x e c u t i n gt i m ea n da c h i e v e s i n g l e c y c l et h r o u g h p u t as c a l a b l es u p e r p i p e l i n i n ge x t e n s i o nt e c h n i q u et o g e t h e rw i t h a h i g hp e r f o r m a n c e c o s tp i p e l i n es h i f tm e c h a n i s m i sp r e s e n t e di nt h i sp a p e r f o rs i n g l e i s s u e p r o c e s s o ra r c h i t e c t u r e t h er a d i c a l s o l u t i o nt oc p ir e d u c t i o ni st od e c e a s ep i p e l i n es t a l l s e x p l o i t i n g a v a i l a b l es o f t w a r e o rh a r d w a r e t e c h n i q u e s ar a w r e a da f t e rw r i t e d e p e n d e n c yl o o pm o d e li sd e v e l o p e di nt h i sp a p e r t oa n a l y z et h er a wh a z a r d so f r e g i s t e r o p e r a n d si nc o m p l e xp i p e l i n e b a s e do nt h i sm o d e l a d y n a m i c d a t af o r w a r d i n gp o l i c yi s s u g g e s t e dt or e d u c et h ep i p e l i n es t a l l sc a u s e db yd a t ar a w h a z a r d s t h e o r e t i c a la n a l y s i s a n dp r a c t i c a le x p e r i m e n t sb o t hs h o wt h a tt h ea v e r a g ec p ii n c r e m e n tc a u s e db yd a t ar a w h a z a r d sc a nb er e d u c e de f f e c t i v e l yb yt h ed y n a m i cd a t af o r w a r d i n gs t r a t e g y b u sd e s i g na n dm e d i ad a t as t r e a ms c h e d u l i n ga r ek e yi s s u e si nr e a l t i m em e d i as o c d e v e l o p m e n t d a t as c h e d u l i n gp o l i c i e sf o rm p e g 1 2v i d e od e c o d i n gi s d i s c u s s e di nt h i s p a p e ra c c o r d i n gt o s o f t w a r eo rh a r d w a r ei m p l e m e n t a t i o nc a s e t w o3 f r a m e s g r a i n e d s c h e d u l i n gp o l i c i e sa r es u g g e s t e dt om a k eg o o dt r a d e o f f b e t w e e np r o c e s s i n gd e m a n d sa n d o n c h i p b u f f e rd e m a n d si ns o f t w a r e d e c o d i n gi m p l e m e n t a t i o n a s t a t i ct i m ed i v i s i o n m u l t i p l e x e ds c h e d u l i n g d y n a m i c f i x e d p r i o r i t y a r b i t r a t i o nb a s e d2 l e v e l h y b r i d a r b i t r a t i o ns c h e m e i n c o r p o r a t e dw i t hs y n c h r o n j z a t i o nc o n t r o l i si n t r o d u c e di nt h i sp a p e r t ou t i l i z et h eb u sb a n d w i d t he f f e c t i v e l ya n dl o w e ro n c h i pb u f f e rd e m a n d si nm e d i as o c k e y w o r d s m e d i a p r o c e s s o rc o r e s u b w o r dp a r a l l e l i s m s u p e r p i p e l i n i n g d a t ab y p a s s i n g b u sa r b i t r a t i o n l l 塑兰查兰竖主兰竺笙 兰 兰竺笙 第1 章绪论 近年来 多媒体产业飞速发展 随着互联网和通信技术的广泛应用 图像与视频压 缩技术的进步 多媒体处理己成为主流计算 在目前的信息处理业务中 多媒体己经占 据了很重耍的计算份额 并且将继续大幅增长 随着用户对更多更新更好的多媒体服务 的需求 多媒体应用的处理性能要求也迅速提升 当今很多媒体应用已经超越了一般微 处理器的处理能力 新一代多媒体应用必将提出更高的处理能力需求 媒体处理系统需 要更大的灵活性和计算能力以充分支持未来多媒体应用 深亚微米和0 1 微米的半导体技术已使得在一块芯片上布置几亿个晶体管成为可能 随着芯片集成度的飞速提高 一个电子系统或分系统可以完全集成在一块芯片之上 集 成电路的设计已经进入系统芯片集成时代 单片系统级芯片在速度 功耗 成本上较多 芯片系统有很大的优势 在单块芯片上集成原来分离的媒体处理器芯片 构造媒体系统 芯片 已成为媒体处理系统的发展趋势 比如v c r d v d 和h d t v 信源解码等 媒体系统芯片设计开发中的关键问题 就是如何最有效地利用硅片上可用的硬件资 源 提供支持目标多媒体应用的单芯片高性加比解决方案 基于总线互连的由一个或多 个指令集处理器核 一个或多个专用硬件l p 核 一片或多片片上存储器构成的异质体系 结构成为媒体系统芯片的合理选择 在国家8 6 3 计划的支持下 我们开展了系统芯片中 媒体增强的数字信号处理器核的设计研究 本文作为部分成果 着重探讨了处理器核指 令集结构的媒体处理增强 处理器核微结构的设计和优化以及系统总线设计和媒体数据 流调度的问题 本章为绪论 第1 节简单介绍了多媒体的演进历史 第2 节综述了媒体处理系统的 三种典型实现结构 第3 节介绍了媒体系统芯片的设计方法学 第4 节介绍了系统芯片 中3 2 位媒体数字信号处理器核m d 3 2 的设计工作 最后简单介绍了本文的主要贡献和 其它章节的内容安排 1 1 多媒体的演进 与面向其它应用的信息处理系统一样 媒体处理系统的发展也与多媒体产业的发展 息息相关 多媒体信息处理业务和通用信息处理业务都已存在很长时间了 不同的是 通用信息处理应用已趋于稳定 而多媒体处理业务则仍在迅速发展 对处理性能的要求 也不断提高 因此 为有效地设计媒体处理系统 不但需要考察多媒体产业的历史和现 状 更需要把握其未来发展趋势 要考察多媒体的演进历史 首先有必要了解 多媒体是什么 从本质上看 多媒 体只是一种交流的方式或媒介 具体地说 就是利用多种通信媒介 通过多方位人体感 官渠道 传送各种信息 对于难以或不能有效地通过人们正常交谈而进行的信息交流 彩媒体显得尤为重要 以多媒体的形式能够更好地表达的一些信息包括感觉和情绪等等 几千年来 艺术家们通过绘画 雕塑 音乐 戏剧等有效地表达他们的思想 多媒体能 够以相同的形式记录历史 将它们传送给后人 传统的多媒体表现为史前石器时代遗留的象形文字 代代传颂的诗歌 书面记载的 浙江人学博士学位论文 第1 章绪论 历史等等 自从上个世纪 导体和计算机技术出现以米 以电磁介质表示的多媒体随之 迅速发展 电子多媒体包括模拟多媒体和数字多媒体 但现在绝大部分都以数字的形式 表达 目前 电子多媒体通常通过人的视觉和听觉器官传送信息 偶尔也通过触觉 如 何通过其它的感觉系统传送信息 我们尚拭目以待 当前主导的电子多媒体类型包括视 频 图像 音频 图形和语音等 1 基于规器曲多媒体表示 为更好地考察多媒体的演进过程 不妨从早期的基于机器的多媒体表示开始 这儿 的机器包括电气系统和机械系统 多媒体以一种只有电气 机械系统能理解的形式表示 由机器对之进行必要的处理 并翻译成人类感官能够接收的信息表达 在基于机器的多媒体表示的假设下 现代数字多媒体可以追溯到1 9 世纪中期出现的 照相术 参图1 1 1 8 4 5 年出现的静态图像照相可以认为是最早的用机器来储存视觉信 息的技术 尽管照相术只使用了单一的媒介 它代表了基于机器的多媒体表示的开始 在此最早的可视媒介出现之后不久 1 8 6 6 年出现了电报 1 8 7 6 年出现了电话 1 8 7 7 年 出现了留声机 标志着用机器表示听觉信息的各种媒介不断萌现 类似地 各种可视媒 介开始涌现 1 8 8 9 年出现了活动电影放映机 用不断翻动的照片序列来模拟视频 到1 8 9 5 年终于形成连续的运动图像 1 8 9 5 年无线电技术的发明标志着无线媒体的出现 尽管直 到1 9 2 0 年才出现商业化的无线电广播 这些媒体中的每一个对于多媒体来说都是很重要 的 但它们都只是单一的交流媒介 1 9 2 6 年有声电影的出现 才标志着真正多媒体的诞 生 l s 4 5 1 8 6 6 1 矗7 7 1 8 s 9 1 毫9 5 1 9 0 5 1 9 2 0 1 9 2 6 1 9 3 j 1 舛0 s 盘键激 1 9 6 0 s 1 9 7 0 s 1 9 9 0 喾 e a r l y1 9 9 0 s l a t e1 9 9 0 s 2 l 2 0 0 5 s t i l li m a g e p h o 协g m p 姆 t e 峪a r h p h o n o g r a l a t e l e p h o n e k i n e t o z c o p e r a d i o m o v i ew o j e c t o r m o v i e s c o m m e r c i a la v a i l 0 r a d i o c o r n m e r e i a la v a i l f o l e y i s l 眦s o t m di nm o v i f r e q a e u e ym o d u l a t i o n f c o l o r t 址c a b kt v t m l 盯i s i o n c 聃n m 盯c 耻a v a i l 0 s t e r e om o v i e s s t e r e ol t c c r d i r i g s c o m m e r c m la v a i l s o l i d s l a t et v v c 飚d i 耐a ll n u l t i m e d i a s t e m ot v c 腿r o m v i d e o c o n f i e r e n c i n g h d t v j p e gc o d i n g m p e g ie o 曲1 誉m p e b 2c o d i n g d v d m p e g 4c o d i n g m p e g 7 c o d i n g m p e g 2 1c o d i n g 图1 1多媒体演进中的重大历史事件 2 4 1 5 1 6 7 1 如图l 一1 所示 此后多媒体技术出现了更多其它的进展 包括1 9 2 6 年出现的电视 虽 然直到1 9 4 5 年二战结束后才开始商业化的推广应用 2 0 世纪4 0 年代出现的彩色电视 以及5 0 年代出现的立体声等 这些技术进步都限于模拟多媒体 直到7 0 年代数字多媒 一2 一 浙江大学博 一学位论文 第1 章绪论 体初现于电子计算机中 当然 数字多媒体并没有立即取代模拟形式的多媒体 模拟多 媒体直到今天还以备种形式继续存在 包括大部分电视行业 磁带录像机 照相机以及 很多语音会话系统 但是 尽管模拟多媒体将继续存在使用 目前数字多媒体已经开始 成为多媒体的主导形式 2 数字多媒体 数字多媒体时代开始于2 0 世纪7 0 年代 其时早期的计算机用户开始意识到计算机 除科学计算之外还可以做更多其它的事情 计算机用户最初在计算机上试验图形和音频 处理 很快发现数字多媒体需要相当大的计算能力来处理大量的数据 但是 多媒体使 计算机使用趋于大众化 尤其是计算机游戏和娱乐 尽管刚开始时计算机多媒体的质量 很受限 还是成功地吸引了一大批新的计算机用户 如同数字时代之前的多媒体 多媒体的大众化驱使多媒体在数字时代不断发展演进 但不同的是 数字时代之前多媒体的演进主要依赖于工程师的聪明才智来发明新技术 设计新系统 数字时代多媒体的演进主要受限于已有计算机系统的处理能力 多媒体计 算密集度很高 因为多媒体使用大量的数据 且通常有实时处理约束 必须在限定的时 间内完成处理 因此 多媒体产业的发展受限于计算处理能力的支持 随着处理系统性 能的提高 新的 质量更好的多媒体应用逐步成为可能 处理器性能从根本上推动着数 字多媒体的演进 图像和视频的压缩就是数字多媒体演进趋势中的一个实例 计算机对数字视频和图 像的支持起始于图像处理 因为视频处理大大超越了早期计算机的处理能力 早期的图 像处理技术使用未经压缩的原始数据来存贮和传输图像 但是 未经压缩图像的数据量 极大 使得存贮和传输这些图像的成本过于昂贵 于是 人们发明了诸如j p e g 1 之类的 一些技术用于图像的压缩和解压缩 一开始使用压缩算法对图像进行处理很慢 但一旦 处理能力发展到能实现图像的快速压速和解压缩处理 计算机工业便开始普遍使用数字 图像了 与此同时 视频也开始进入数字多媒体 最初 人们用j p e g 算法对单独的图 像帧进行压缩处理 但是视频是由大量的图像帧序列构成的 即便对每个单独的帧都用 j p e g 压缩处理 总的数据量还是很大 因此在当时的计算机中视频应用很少 随着处 理能力继续提高和更有效的压缩技术的出现 如m p e g 垆j 进一步利用了视频信息的时 间域冗余性来压缩数据 视频开始成为可实现的媒体 目前 计算机的处理能力已能支 持相当高质量的m p e g 视频的实时解码 视频处理已普及于计算机应用中 无论根本的制约因素是人的发明天才还是计算能力 任一方面大的进步都带动多媒 体向新的阶段发展 而多媒体的每一次演进也需要相应处理技术的进步来支持 需要构 造新的甚至完全不同的系统来实现 本文上面对计算机中图像与视频多媒体演进过程的 讨论 充分说明了这一点 只有当计算技术达到必需的性能指标后 所提出的新的压缩 技术才能实际得到应用 图1 2 示意了处理器性能的发展曲线与演进中的数字多媒体对 处理性能的需求之间的大致关系 电视的发展就是一个很好的例子 电视出现于数字多媒体时代之前 它不仅将视频 媒体与音频媒体组合在一起 而且需要无线电技术支持 并使用比此前任何形式的媒体 都大得多的带宽 电视在1 9 2 6 年就试验成功了 但由于其复杂性 直到二战后的1 9 4 5 年才得到广泛的商业化应用 尽管电视业有极重要的大众化市场 但彩色电视从出现到 商业化实用仍然化了十几年时间 与电视类似 一代新的多媒体技术系统从产生到商业 化实用至少需要几年的时间 通常要十年或二十年的时间 在数字多媒体时代 这个时 一3 一 浙江大学博士学位论文 第1 章绪论 间大为缩短 因为计算系统可以很灵活地通过软什升级换代 但是 由于数字多媒体的 演进仍然受制于计算系统的处理能力支持 因此软件升级并不足以解决所有问题 图1 2 处理器性能的发展与数字多媒体的处理性能需求 3 基予对象的多媒体表示 当前数字多媒体又进入了一个新的阶段 不同于已有的用夔幅图像 声道和视频帧 序列描述多媒体的表示方式 m p e g 4 1 m p e g 一7 1 v i d e ol i b r a r i e s 1 1 1 和m p e g 一2 1 f 1 2 l 等用更高级的表示方式来描述多媒体 比如 m p e g 4 标准就是用对象流1 1 3 1 来描述多媒 体 这些对象代表了现实世界中的实体 每一个都拥有自己的音频 视频和图形特性以 描述其空间的和时间的行为 这种面向对象的多媒体表示可以达到更高的压缩率 实现 更多的交互式媒体和基于内容的处理 基于对象的多媒体表示提供了新的自由度和灵活 性 也提出了更高的处理能力需求 与以往的多媒体相比 新一代多媒体的应用需要能 够支持更高等媒体处理i i 州的系统 1 2 媒体处理系统的实现结构 本节综述了当前媒体处理系统的三种主要实现结构 包括功能单元集成结构 通用 微处理器的扩展结构和可编程媒体处理器结构 1 2 1功能单元集成结构 功能单元集成结构提供了一种支持多媒体处理的专用硬件解决方案 在某种意义上 来说 这种方式可以看作是早期基于机器的多媒体表示技术的扩展 那时计算机还没有 出现 专用硬件支持是唯一的解决方案 在这种方式中 系统设计者仔细研究某一特定 应用或具有足够相似性的一类应用的具体特征 然后构造专用的硬件以有效支持这些应 用 功能单元集成结构能够针对应用中最关键的部分优化硬件设计 取得最高的性能 一4 8 e8bk u蔗 o星 浙江大学博上学位论文 第l 章绪论 很多多媒体应用将相当多的处理时间花在很小的密集调用的处理任务一k 比如m p e g 视 频编码中 基本的处理任务包括d c t 运动补偿和变字长编码等 芯片没计者将相当一 部分硅片面积专用于这些功能单元 设计中尽可能开发可能的力 行性以实现这些关键任 务的快速处理 由于现在v l s i 技术能够提供很高的集成度 功能单元集成结构不仅可以把这些高 度优化的专用功能单元集成在单块芯片上 而且还可以放置很多其它系统硬件 包括 访问片外存储器时用于数据缓存的片内存储器 用于存放专用数据的片内只读存储器 管理片上存储器 片外存储器和存储预取技术的硬件逻辑 数字媒体数据输入输出接口 与模拟媒体设备的数模转换接口 不同类型媒体问的同步控制 多芯片支持的互连接口等等 通过将很多系统逻辑集成在芯片上 功能单元集成结构可以为特定的应用提供最高性能 的单芯片解决方案 对于具有大批量市场需求的产品 系统成本也很低 c c u b e 微系统公司推出的z i v a 一3d v d 解码芯片i l 就是采用功能单元集成结构的 专用媒体处理芯片的一个实例 如图1 3 所示 c c u b ez i v a 一3 芯片为集成了音频d s p 支持的先进d v d 解码器 支持d v d v c d 和c d d a 格式 如图所示 芯片提供了外 存接口 最大可接1 6m b i ts d r a m 宿主机接口 d v d c d 输入接口和音视频输出接 口 d v d c d 格式的媒体输入芯片后 首先执行解扰和解密 然后解复用成分离的音频 流和视频流 视频流同时送至m p e g 1 2 解码器和子图解码器 解码结果送给视频混合 器 视频混合器组合m p e g 视频流 子图视频流和独立的o s d 流 生成最终的视频输 出 音频流被送至3 个音频解码器 分别支持m p e g 格式 杜比数字格式 c d d a 和 l p c m 格式 为实现全音频支持 z i v a 3 集成了一个音频d s p 用于更多的音频增强和 支持 包括3 d 音频 d v d 音频 p r ol o g i c 解码 以及c c u b e 的r e a l s o n i c 技术 图i 3c c u b e 推出的d v d 解码专用芯片z i v a 3 1 6 1 5 一 浙江人学博士学位论文 第1 章绪论 功能单元集成结构的专用媒体处理芯片的最大缺点在于灵活性差 因为它是针对特 定的应用在最低的成本上作高度的性能优化 在很多专用媒体处理芯片中 灵活性由一 组寄存器提供 允许爿j 户从预定义的一组应用中选择目标应用 以及配置特定应用的一 些参数 冈此 这些处理器芯片只能支持已有的特定应用 无法支持其它应用甚至所支 持应用的升级 新一代的多媒体应用 如m p e g 4 1 4 使用了更高级的媒体表示 要设计专用硬件 支持这些应用 尽管并1 f 完全不可能 但至少很难 m p e g 4 标准定义了基于对象的媒 体表示语法 每个对象拥有很多相关联的媒体类型 包括视频 音频 计算机图形 以 及其它可能的媒体类型 而且 与每个对象相关联的媒体处理并不局限于特定的工具集 可以针对每个对象分别定义 使用各种媒体类型的灵活性和每种类型媒体处理方式的自 由度 导致处理的个性化和不规则性 使得完全由专用硬件支持近乎不可能 对于处理 较规整的确定应用 专用硬件能够提供极好的性能支持 但对于新一代多媒体应用 需 要更具灵活度的解决方案 1 2 2通用微处理器的多媒体扩展结构 这种结构直接将媒体处理算法映射到通用微处理器之上 利用通用微处理器完善的 开发环境 如成熟的编译器和操作系统 来实现多媒体应用支持 通用微处理器是设计 用于通用信息处理的 但对其指令集结构作些附加的多媒体扩展 可以很小的硬件开销 提高对媒体处理的性能支持 近年来 通用微处理器的多媒体扩展结构在媒体处理支持 上已经取得了很大的成功 并且在工作站和个人计算机系统中得到了普及应用 通用微处理器多媒体扩展的基本根据主要是多媒体应用的两个特性 一是多媒体信 号处理通常使用8 比特或1 6 比特等较窄位宽的数据类型 二是多媒体处理将很大一部分 时间花在内循环上 每次循环迭代对不同的数据执行相同的高度规则的处理 使用通用 微处理器核内部3 2 比特或6 4 比特宽度的数据通道 对多媒体应用中8 比特或1 6 比特宽 度的数据元素逐个单独处理 实在是浪费数据通道资源 如果将几个位宽较窄的数据元 素打包到一个寄存器中 则可以对这些数据元素同时执行相同的操作 这种很有效的 s i m d 并行方式通常被称之为亚字并行 s u b w o r dp a r a l l e l i s m 多媒体扩展通常提供很多亚字并行运算操作指令 也提供一些数据元素打包和解包 操作的指令 对于6 4 比特宽度的数据通道 一个打包的寄存器可以容纳8 个8 比特数据 元素 或4 个1 6 比特数据元素 或2 个3 2 比特数据元素 一旦几个数据元素组合成打 包数据格式 就可以执行多种亚字并行运算操作 包括算术运算 逻辑运算 比较运算 和移位运算等 图1 4 a 示意了一个亚字并行加法运算的例子 当然 设计一些用于 打包数据混合和数据元素换位的附加指令 也是很有必要的 图l 一4 b 示意了一个将 两个打包数据中的数据元素相混合的例子 1 9 9 4 年 h p 公司对p a r i s c1 0 指令集作了多媒体扩展m a x 一1 i l 首次引入了亚 字并行的思想 增强后的数据通道在芯片面积上仅增加了0 2 而多媒体处理性能却得 到了显著提高 m a x 1 只提供了最初步的亚字并行 随后推出的m a x 2 指令集作 了进一步扩展 之后其它通用微处理器也作了基于亚字并行的多媒体扩展 包括i n t e l 的m m x 指令集1 2 l s u nu l t r a s p a r c 微处理器的v i s 指令集口 d e ca l p h a 微处理器的 m v i 指令集 m i p s 微处理器的m d m x 指令集 以及m o t o r o l a 的a l t i v e c 指令集口 1 2 一6 一 浙江大学博十学位论文 第i 章绪论 这些晟初的多媒体扩展只对整型数据执行哑字并行操作 使用时将8 比特 1 6 比特 3 2 比特宽度的整型数据元素打包成3 2 比特或6 4 比特宽度数据格式 a m d 的3 d n o w 扩展 鲫增加了对浮点数据的亚字并行支持 将2 个3 2 比特表示的单精度浮点数打包成1 个 6 4 比特数据 n t e l 的s s e 指令集则增加了1 2 8 比特打包数据寄存器 可放4 个单精度 浮点数 s s e 2 扩展则进一步引入了对2 个双精度浮点数的亚字并行操作 a b 图1 4 亚字并行操作的典型例子 a 4 路亚字并行加法 b 2 组打包亚字混合操作 除亚字并行操作指令外 多媒体扩展指令集通常还包含一些用于增强媒体处理性能 的特殊指令 s u nu l t r a s p a r c 微处理器的v i s 指令集就是一个很好的例子 它提供了一 些附加的指令用于有效地执行边界处理操作 3 d 寻址和像素距离计算等 其它很多多媒 体扩展也提供了各种媒体处理特殊指令 文献 1 对通用微处理器的多媒体扩展作了很好 的总结 通用微处理器的多媒体扩展技术非常成功 因为它以最小的附加开销获得了多媒体 处理能力 为在硬件上支持亚字并行操作 需要构造可拆分的数据通道和运算功能部件 图1 5 示意了支持亚字并行的可拆分a l u 结构模型 图1 5 支持亚字并行的可拆分a l u 结构 一 一 p r t 妯n e d a w l 浙粗大学博士学位论文 第1 章绪论 对于加法器米说 可拆分性可通过控制进位链实现 运算功能部件上可能还需要增 加一些支持数据打包 解包以及数据元素换位的逻辑 此外就不太需要什么了 特别指出 与其它形式的数据并行处理不同 亚字并行不需要增加寄存器文件的读写端口 为支持 媒体处理特殊指令 还需要增加一些硬件逻辑 但通用微处理器的多媒体扩展通常只在 总的芯片面积上增加0 1 h p 的m a x 2 扩展 到3 s u n 的v l s 扩展 上述这些多媒体扩展的最大缺点在于目前的编译技术还不能有效地支持使用这些媒 体扩展指令 包括亚字并行操作指令和媒体处理特殊指令 因此 多媒体扩展指令集的 使用需要程序设计者在程序中明确地调用亚字并行操作指令或媒体处理特殊指令 考虑 到在汇编级编写代码是一件很繁琐的工作 通常在高级语言编程环境中提供使用多媒体 扩展指令的库函数 但是 不同处理器提供的这些函数库不尽相同 使得应用程序在不 同微处理器平台的移植中需要修改相关代码 即使有了函数库的支持 媒体处理性能的 增益仍然受制于其它一些因素 比如有限的s i m d 并行性 数据打包解包开销和代码调 用开销等 对于大多数多媒体扩展的微处理器来说 尽管媒体处理的峰值性能增益有4 到8 倍 但典型的性能增益通常只有2 到4 倍p 指令集的多媒体扩展 尤其是亚字并行的操作模型 使得通用微处理器的多媒体处 理性能获得了非常成功的提高 以极小的硬件代价换取2 到4 倍的性能改善 当然是非 常值得的 但是 单靠多媒体扩展 并不足以支持新一代的多媒体应用 较之功能单元 集成的专用硬件结构 多媒体增强的通用微处理器提供了足够的灵活性 但也只提供了 一定程度的性能改善 此方案的根本局限在于通用微处理器是面向通用处理应用而优化 设计的 而不是针对多媒体应用而优化设计的 通用微处理器将很大一部分硅片面积用 于复杂的存储管理 t l b 多级c a c h e 结构以及动态调度逻辑等 这些复杂的硬件逻辑 对于多媒体应用并不重要 对多媒体应用更有利的是多个并行的功能单元 数据的预取 技术等 为满足未来多媒体应用的处理能力需要 有必要设计专用的可编程媒体处理器 1 2 8 2 与其它面向特定应用市场的专用处理器的设计一样川 媒体处理器的设计需要优 化利用芯片面积 以取得最大的媒体处理效能 同时提供由高级语言可编程支持的灵活 性 最好不再需要专用函数库或汇编级编程 1 2 3可编程媒体处理器结构 数字信号处理器d s p 可视为可编程媒体处理器的前身 也支持多种类型的媒体处理 可编程媒体处理器与传统的d s p 处理器之间 通常以在处理能力上是否支持视频或计算 机图形相区分 t i 公司推出的t m s 3 2 0 c 8 0 多媒体视频处理器m v p p q p m u l t i m e d i a v i d e op r o c e s s o r 是最早的商业化媒体处理器之一 m v p 采用多处理器结构 集成了4 个3 2 比特整数d s p 核和1 个在5 0 m h z 下可达1 0 0 m f l o p s 的浮点r i s c 核 尽管m v p 很快被其它一系列媒体处理器取代 相对生命期很短 但还是成功地铺平了通向可编程 媒体处理器的道路 从某种角度看 m v p 具有特别的重要性 因为它是第一个也是最后一个采用传统数 字信号处理系统体系结构的媒体处理器 在传统的数字信号处理系统中 通常有一个主 处理器h j 于执行系统控制 余卜i 的数字信号处理任务交给分离的d s p 协处理器 t im v p 只是将主处理器和d s p 协处理器简单地直接集成到一块芯片上 这种体系结构存在的一 个很大问题是难以编程 早期的d s p 处理器只能在汇编级编程 即使在已获得c 编译器 一8 一 浙江人学博士学位论文 第l 章绪论 支持的今天 d s p 编程也仍然需要繁琐的手工优化以及使用专用函数库等 以取得适当 的处理性能 为了编程简单方便和缩短开发周期 有必要设计能获得高级语言编程更好 支持的体系结构 这也是后续媒体处理器采用v l i w 结构的缘由 v l i w 结构之所以吸引d s p 有很多的原因 3 4 o 其中首要的原因是数字信号处理廊 用能够提供大量的指令级并行 i l p i n s t r u c t i o nl e v e lp a r a l l e l i s m 而编译技术对1 l p 的支持已经很成熟 因此采用v l l w 结构可以获得较好的高级语言编程支持 不需要烦 琐的手工优化而取得极好的性能 超标量结构同样能有效支持指令级并行 但却使用复 杂的硬件控制逻辑 以在控制密集的通用应用中取得较高的处理性能 如果要支持大量 的并行功能部件 提高每个周期发射的指令数 相应硬件控制逻辑的复杂度将急剧增长 通常认为v l l w 处理器能更好地支持多媒体应用 通过编译静态调度开发i l p 只需要 简单的硬件逻辑米支持大量的并行功能部件 并且 简单的硬件设计意味着更低的成本 和更小的功耗 这对很多嵌入式多媒体系统来说很重要 在t im v p 之后 媒体处理器的设计欣然转向采用v l l w 结构 这些媒体处理器产 品包括p h i l i p s t r i m e d i a 的t m 1 0 0 0 3 5 3 c h r o m a t i c r e s e a r c h 的m p a c t 一1 1 3 7 和m p a c t 2 3 m i c r o u n i t y 的b r o a d b a n dm e d i a p r o c e s s o r i j s a m s u n g 的m s p 1 1 4 e q u a t o r h i t a c h i 的 m a p l 0 0 0 以及t i 推出的v e l o c i t l 结构1 4 包括定点处理器t m s 3 2 0 c 6 2 x 和浮点处 理器t m s 3 2 0 c 6 7 x 在这个使用v l i w 结构的潮流中 最大的例外是n e c 的v 8 3 0 r a v 处理器 3 j 1 4 采用2 发射超标量结构 用于嵌入式多媒体应用 文献i l 对上述很多媒体 处理器作了较好的综述 图1 6 所示为p h i l i p st r i m e d i at v 1 2 0 0 0 4 5 i n 6 脚l 4 s l 处理器内部的v l l w 核结构 t m 2 0 0 0 与t m 1 0 0 0 在很多方面很相似 也使用5 发射的v l l w 结构 指令级并行与亚 字并行并用 并集成专用硬件用于加速处理v l d 解码 图像滤波和缩放以及色彩空间 变换 t m 2 0 0 0 的设计目标是取得6 倍于1 0 0 m h zt m 1 0 0 0 的处理性能 通过使用新的 电路设计技术可在钟频上取得3 倍增益 通过将数据通道宽度由3 2 比特扩展到6 4 比特 有2 倍的潜在亚字并行增益 其它的改造还包括硬件t l b 物理双端口数据c a c h e 多 媒体处理关键功能专用指令 使用4 个操作数的超操作指令等 图1 6p h i l i p s t r i m e d i a t m 一2 0 0 0 处理器内部的v l i w 核结构 除上述的媒体处理器外 图形处理器也有很大的市场 并具有媒体处理器的很多显 著特点 但关于这些图形处理器的技术文献很少 主要的图形处理器生产商有a t i 4 3 1 5 0 1 和n v i d i a l 5 1 1 等 都提供了一系列的图形处理器芯片 这些处理器的核心为6 4 比特 一 9 一 浙江大学博士学位论文 第1 章绪论 1 2 8 比特或2 5 6 比特的绘制引擎 支持计算机图形处理应用 此外还有很多专用硬件以 同时支持视频和图形处理 图形相关的有纹理 光照 阴影和a l p h a 混合处理等 视频 相关的有内插 缩放 色彩空问变换 运动估计 d c t 变字长编码等 由于图形是数 字多媒体不可或缺的组成部分 比如m p e g 4 已经将图形和其它形式的多媒体结合在一 起 因此图形处理器必将融入到可编程媒体处理器中 以有效支持所有形式的多媒体 如上所述 t r i m e d i a 的t