（通信与信息系统专业论文）可编程媒体处理系统芯片（soc）结构设计研究.pdf

浙江大学博士学位论文摘要 摘要 媒体处理系统s o c 是v l s i 的研究热点，本文主要研究了可编程媒体处理系统的结构、 任务调度、总线数据调度和存储体系结构等关键问题。 媒体处理系统结构根据其实现方式的不同，可划分为两种体系结构：专用集成电路媒体 处理系统芯片和可编程媒体处理系统芯片。近年来随着半导体技术和微处理器技术的发展， 业界倾向于可编程媒体处理系统芯片。本文在微处理器的媒体增强结构设计中，针对媒体处 理算法特点，并结合m d 3 2 体系结构，进行了媒体指令扩展设计的讨论，提高了媒体增强 微处理器核的性能。通过对两种体系结构的探讨，作者提出了一种基于双核的可编程媒体处 理系统芯片的硬件结构，并实现了兼容m p e g 的数字音视频解码系统芯片的设计。另外， 本文还展开了m d 3 2 在媒体处理系统s o c 中重用性研究，通过媒体处理器m d 3 2 核在媒体 处理系统中的重用，使整个系统协同工作，并提商了系统的灵活性和可编程性。 媒体处理系统是一个复杂的实时处理系统，众多的任务在系统内部有限的硬件资源上运 行。软硬件任务调度成为实时媒体系统芯片设计的重要问题。本文以浙江大学自主开发的基 于双核的可编程数字音视频处理系统为倒，采用软硬件协同设计方法，通过系统的任务映射 将系统中各个任务分解为两类：一类是与主控微处理器r i s c 3 2 相关的任务，而另一类是与 媒体处理器m d 3 2 相关的任务。对于主控微处理器内的任务，通过分析软件任务中程序流 和数据流的特点，提出相应的任务调度方案；而对于与媒体处理器相关任务，通过结构和任 务的优化，在提高处理器核计算资源利用率的同时，提出了数据驱动的控制策略以实现视频 的实时解码。 本文针对媒体系统芯片设计中的总线调度和数据传输问题，提出了一种增强式的总线接 口结构进行批量数据传输，并在此总线接口结构的基础上对总线仲裁方案进行优化，提出 种“最高固定优先级”和“动态优先级”相结合的仲裁策略，从而不仅满足片内严格实时性 任务的要求，而且也满足了媒体系统整体性能的要求。鉴于存储结构也是媒体处理系统的关 键问题之一，本文再提出了一种适合于媒体应用的分层存储结构，系统可以通过该存储结构 对媒体数据进行“预取”，使系统的数据计算和搬运在时域上达到并行，提高系统整体性能a 根据媒体数据调度特点和系统结构，我们还设计了多通道的二维d m a 控制器采用二：维 d m a 进行数据传输，进一步发挥了这种分层存储结构的性能。 关键词： 町编程性、媒体处理系统芯片、任务调度、总线总裁、存储结构 a b s t 删丫 浙江大学博士学位做 a b s t r a c t m e d i a p r o c e s s i n gs o c i sar e s e a r c hh o t p o to fv l s i t h er e s e a r c hi nt h i sp a p e rf o c u s e so nt h e s e v e r a lk e yi s s u e so f p r o g r a m m a b l em e d i ap r o c e s s i n gs o c ，s u c ha sa r c h i t e c t u r e ，t a s ks c h e d u l i n g ， b u sa r b i t r a t i n g , a n dm e m o r ys u b s y s t e me t c t h ea r c h i t e c t u r eo fm e d i ap r o c e s s i n gs o cc o u l db ef a i l e di n t ot w oc l a s s e sb a s e do ni t s i m p l e m e n t a t i o nm e t h o d ：a s i c sa n dp r o g r a m m a b l e o n e s a n dt h el a t e ri st h et r e n di nt h ei n d u s 仃y w i t ht h eh i g h - s p e e dt e c h n i c a ld e v e l o p m e n to fs e m i c o n d u c t o ra n d m i c r o p r o c e s s o r m e d i ae n h a n c e d e x t e n s i o ni si n t r o d u c e db a s e do nt h ea l g o r i t h m so fm e d i a p r o c e s s i n ga c c o r d i n gt ot h ea r c h i t e c t u r e o fm d 3 2 a f i e rt h ed i s c u s s i o no ft h et w oa r c h i t e c t u r e s ，t h ea l l t h o rp r o p o s e sah a r d w a r es t r u c t u r e o f p r o g r a m m a b l e m e d i a p r o c e s s i n gs e e w i t hd u a l - c o r e ，a n di m p l e m e n t st h ed e s i g no f d i g i t a la v d e c o d i n gs e e ，c o m p a t i b l ew i t hm p e gs e r i e s a l s o ，h o wt oe m b e d m d 3 2i n t ot h i sm e d i a s y s t e m o r g a n i c a l l yi s a l s od i s c u s s e d ，a n dt h er e u s eo fm d 3 2c o r em a k e st h es y s t e mw o r ks m o o t h l y , p r o m o t i n g t h ef l e x i b i l i t ya n dp r o g r a m m a b i l i t y m e d i ap r o c e s s i n gs e ei sac o m p l i c a t e dr e a l t i m es y s t e m ，w i t h i nw h i c hs om a n yt a s k sa r e r u n n i n go nt h el i m i t e dh a r d w a r er g s o u r c e s t h es c h e d u l i n go f s o f t w a r e h a r d w a r ei so n eo f k e y p r o b l e m so f t h er e a l t i m em e d i ap r o c e s s i n gs y s t e md e s i g n i n g a sae a s e ，t h ed i g i t a la nd e c o d i n g s o cw i t hd u a l - c o r ei s d i s c u s s e d u s i n gs o f t w a r e h a r d w a r ec o - d e s i g nm e t h o d ，t h et a s k s a r e m a p p e d i n t o2c l a s s e s ：o n ei sr e l a t i v et om a s t e rp r o c e s s o r ( r i s c 3 2 ) t h eo t h e ri sr e l a t i v et om e d i a p r o c e s s o r ( m d 3 2 ) a s t ot a s k so nt h em a s t e rp r o c e s s o r , t h ec o r r e s p o n d i n gt a s k - s c h e d u l i n gm e t h o d i sp r o p o s e dt h r o u g ha n a l y z i n gt h ec h a r a c t e r i s t i c so f p r o g r a ma n dd a t as t r e a m so f s o w w a r e f o rt h e t a s k sr e l a t i v et om d 3 2 ，t h es t r u c t u r ei so p t i m i z e dt oi m p r o v et h eu t i l i z a t i o no fc a l c u l a t i o n r e s o u r c e so f t h em e d i a p r o c e s s o rc o r e t oa c h i e v e r e a l t i m ev i d e od e c o d i n g ，ad a t a - d r i v e nc o n t r o l s t r a t e g yi sp r o p o s e d t os o l v et h eb u sd e s i g na n dd a t at r a n s f e r , a ne n h a n c e db u si n t e r f a c es l r a c t m ei sa d o p t e dt o t r a n s f e rb u l kd a t a b a s e do nt h i ss w o c t u r e ，a no p t i m i z e db u sa r b i t r a t i o nm 乱h o di ss t u d i e d c o m b i n i n g t h eh i g h e s tf i x e dp r i o r i t yw i t hd y n a m i co n e s ，w h i c hi st e s t i f i e dt om e e tt h er e q u i r e m e n t o fh a r dr e a l - t i m et a s ka n ds y s t e mp e r f o r m a n c eb o t h a st h em e m o r ys u b s y s t e mi so n eo ft h ek e y i s s u e s 、ah i e r a e h i c a lm e m o r ys t r u c t u r ei sd e s i g n e d , t h r o u g hw h i c h ，s y s t e mc a l lb e “p r e f e t c h ”t h e m e d i ad a t a ，e x p l o i t i n gt h ep a r a l l e l i s mo fc a l c u l a t i o na n dt r a n s p o r t a t i o n i nt e m p e r a ld o m a i n ， p r o m o t i n gt h es y s t e mp e r f o r m a n c e m u l t i - c h a n n e l2 - d i m e n s i o nd m a c o n t r o l l e ri sa l s od e s i g n e d t oa r c h i e v ef u r t h e rp e r f o r m a n c eo f t h eh i e r a c h i c a lm e m o r ys t r u c t u r e k e y w o r d s ：p r o g r a m m a b i l i t y , m e d i ap r o c e s s i n gs o c ，t a s ks c h e d u l i n g , b u s a r b i t r a t i o n ， m e m o r y s t r u c t u r e i i 浙江大学搏士学位论文 第一章循论 第一章绪论 随着信息技术的发展，用户对系统的要求不再局限于原先的简单控制、文本操作，而是 要求系统图像化可实现静止图像的操作浏览，甚至是高分辨率的多媒体娱乐。这样，嵌入 式系统的不断发展也对处理系统构架和性能指标提出了更高的要求。近年来，多媒体产业飞 速发展。随着互联网和通信技术的广泛应用图像与视频压缩技术的进步，多媒体处理已成 为主流。用户对多媒体服务提出更多更新更高的要求，多媒体应用的处理性能要求也迅速提 升。 深旺微米半导体技术己使得在一块芯片上布置几亿个晶体管成为可能。随着芯片集成度 的飞速提高，一个原先需要多芯片搭建的庞大电子系统或分系统可以完全集成在一块芯片之 上，集成电路的设计已经进入系统芯片( s o c ；s y s t e m o n c h i p ) 集成时代。单片系统级芯片在 速度、功耗、成本上较多芯片系统有很大的优势。在单芯片上集成原来分离的媒体处理器芯 片，构造媒体系统芯片，己成为媒体处理系统的发展趋势，比如v c r 、d v d 和h d t v 信源 解码等。 媒体处理系统需要更大的灵活性和计算能力以充分支持未来的多媒体应用。媒体系统芯 片设计开发中的关键问题，就是如何最有效地和用硅片上可用的硬件资源，提供支持目标多 媒体应用的单芯片高性价比解决方案。基于总线互连的由。个或多个指令集处理器核、一个 或多个专用硬件l p 核、一片或多片片上存储器构成的异质体系结构成为媒体系统芯片的合 理选择。 1 1 嵌入式系统的发展 h e n n e s s y 和p a t t e r s o n 将计算机系统体系结构分为桌面计算、服务器和嵌入式应用三大 类【1 1 。桌面计算强调程序执行性能，不注重程序大小和处理器的功耗。服务器主要是指数据 库、文件服务和网络应用的多用户服务系统。与它们不同，嵌入式应用则强调实时、成本和 功耗问题。嵌入式系统和桌面系统的最大区别是，前者具有静态结构，大多数应用软件存下 终端用户不可见的只读存储器中，且终端用户不能访问处理器的可编程接口，不能对嵌入式 处理器的行为进行修改或者重新编程。 图1 - 1 概括的表示了嵌入式处理器的发展过程。长久以来，在嵌入式系统领域，8 位机 和i 6 位机一直占有垄断地位。由于这个时代的嵌入式处理器结构简单，所以常常并不被称 为微处理器( m i c r o p r o c e s s o r ) ，而是被称作微控制器( m i c m c o n t r 0 1 1 e r ) 。随着应用对嵌入式系统 的要求越来越高，处理器结构不断发展，嵌入式系统也越来越复杂，8 位和1 6 位处理器已 经不能胜任复杂应用系统的需求，3 2 位嵌入式处理器应运而生。许多嵌入式处理器结构从 第一章循论 浙江大学博士学位论文 过去的主要用于桌面系统的结构( 如m i p s 、s p a r c 等) 中衍生出来，与桌砸处理器之问的不 同也不再仅仅局限于寄存器组织、基本指令集、流水线结构，而扩展到了诸如功耗、成本、 外设集成度、中断响应时间、片上r a m 或r o m 的容量等诸多问题l “。 九十年代中期，更多的3 2 位处理器推向市场，开始出现多媒体扩展结构卧吼同时， r i s c 与d s p 的融合结构将目标瞄准了高端的嵌入式处理器市场。九十年代末期，芯片制造 1 ：艺更加先进，集成度越来越高，不同用途的处理器核可以集成在一块芯片中实现，使得整 个嵌入式系统进入片上系统发展时代8 1 。 随着s o c 研究的逐步深入，要求嵌入式系统具有更强的熬合性、更注重软，硬件的协同 设计，对多媒体处理能力和功耗问题提出更高的要求。嵌入式系统处理器也向着多元化的趋 势发展，不同的体系结构间相互融合，取长补短体现为l ” - i 8 】： p 采用超蚝指令字结构( v l i w ：v e r yl o n g i n s t r u c t i o nw o r d ) 、超耘量结构( s u p e r s c a i n r ) 提高性能； 采用适台于多媒体技术需要的分裂运算模式，即单指令多数据( s i m d ：s i n g l ei n s t r u c t i o nm u l t id a t a ) 等技术提高性能； 采用更深的流水级结构来提高系统频率； 将i u s c 与d s p 处理嚣的特点相互融台。 侧重于控制 功能和外设 刮著辫 嵌奎式i 设、秉 系统l 法器 为提高性能 增加了功能单元 嵌入式 控制器 包括筛p 曲能单页 嵌入式 娃理器 包括 乘法器 具有i ) s p 、多媒体、 图像的高墙处理能力 一 一一 高性能 联 式 处理器 包括d s p 叻脆单而 高性能 嵌入式 处理器 有丰富 多攥体 e 理能力 k 一毅控制器，k 一般处理器啊 图1 1嵌入式处理器的发展过程 嵌入式系统的快速发展以枚不胜举、繁杂多样应用系统需求为主要动力，比如现在的图 形游戏控制台，其处理8 9 力就相当于不久以前的s i l i c o n 图形工作站。目前，嵌入式系统的 应用领域几乎涵盖了所有的日常生活范围： 需要卓越图形性能的视频游戏控制台； 需要虚拟存储管理和标准辨设的掌上系统、掌上电脑、刚络p c 、汽车信息系统： 要求低功耗，并提供岛性能数字信号处理能力的蜂窝电话和移动个人通讯系统： 要求低成奉组成部件的调制解调器、传真机、打印机； 要求低成本和高可靠度的自动化装置； 需要高集成度和低成本的机顶盒、d v d ( d i g i t a lv e r s a t i l ed i s k ) 、电祧电话； 需甍通用性和图像处理能力的数码相机、数字摄像机、m p 3 播放机。 l 呈 湖 憾 啪 柏 抽 m 孟；： 桫 浙江大学博士学位论文 第一章循论 1 2 媒体处理技术发展 媒体信息的产生源于用户对其它应用的信息处理系统的要求的提高，而媒体处理系统的 发展推动多媒体产业的发展。通用信息处理应用趋于稳定，而多媒体处理业务则仍在迅速发 展，对处理性能的要求也不断提高。图1 2 展示了媒体技术不断发展的历史l 即口”。1 9 2 6 年 出现的电视( 虽然直到1 9 4 5 年二战结束后才开始商业化的推广应用) ，2 0 世纪4 0 年代出现的 彩色电视，以及5 0 年代出现的立体声等技术的进步都限于模拟多媒体。直到7 0 年代数字多 媒体初现于电子计算机中。 1 9 0 5 1 8 蛄 1 8 黔 1 8 7 7 协“ 1 8 4 5 m p e g - 2 1c o d i n g m p e g - 7c o d i d e j ；髓墨嚣德般。椭g ；胁g 撕。d i n g s t e r e o t v ：c d - r o m ；v i d e o c o n f e l e u c i n g ；h d t v v c 黔d 砰瑚盘n 撕r e e d 括 s o l i d s t a l et v s t e r e or c c o r d i n g s ( c o m m e r c i a la v a i l ) s t t l e om o v i 曲 c o i o r t v ；c a h i e t v ；t e l e v i s o n ( c o m m e r c i a la v a i l ) f r e q u e n c ym o d u h 旺蛐( f m ) t e l e v i s i o n ；s m u m di i i im o v i e s r a d i o ( c o m m e r c i a l a v a i l ) m o v i e s ( c o m m e r c i a la v a i l 1 r a d i o ；m o v i ep r o j e c t o r k i n e t o s c o p e p h o n o g r a p h ；t e l e p h o n e t e l e g r a p h s t i l li m a g ep h o t o g r a p h y 图1 2 媒体技术发展的重大历史事件 模拟多媒体赢到今天还以各种形式继续存在，包括大部分电视行业、磁带录像机、照相 机以及很多语音会话系统。始于2 0 世纪7 0 年代数字多媒体已经开始成为多媒体的主导形式。 数字多媒体时代早期的计算机用户就开始意识到计算机除科学计算之外还可以做更多其它 的事情。计算机用户最初在计算机上试验图形和音频处理，很快发现数字多媒体需要相当大 的计算能力来处理大量的数据。但是，多媒体使计算机使用趋于大众化，尤其是计算机游戏 和娱乐。尽管刚开始时计算机多媒体的质量根受限，但还是成功地吸引了一大批新的计算机 用户。 多媒体的大众化驱使多媒体在数字时代不断发展，但是多媒体计算密集度很高，因为多 媒体使用大量的数据，且通常有实时处理约束，必须在限定的时间内完成处理。这时多媒体 技术的发展不再仅仅依赖于工程师的聪明才智来发明新技术、设计新系统，而且受限于已有 计算机系统的处理能力。随着处理系统性能的提高，新的、质量更好的多媒体应用逐步成为 可能。 早期的图像处理技术使用来经压缩的原始海量数据来存贮和传输图像，其存贮和传输这 些图像的成本相当昂贵。诸如j p e g l l 9 l 之类的图像的压缩和解压缩技术使用于计算机工业便 开始广泛使用数字图像。最初，人们用j p e g 算法对单独的图像帧进行压缩处理，但是视频 是由大量的图像帧序列构成的，即便对每个单独的帧都用j p e g 压缩处理，总的数据量还是 揣勰撕眺裟嚣躲 e v ， c y h 盯 h 盯 第一章循论 浙江大学博士学位论文 很大，因此在当时的计算机中视频应用很少。随着处理能力继续提高和更有效的压缩技术的 出现，如m p e g b ，进一步利用了视频信息的时间域冗余性来压缩数据，视频开始成为哪 实现的媒体。e t 前，计算机的处理能力已能支持相当高质量的m p e g 视频的实时解码，视 频处理已普及于计算机应用中。 与电视类似，- - 4 9 新的多媒体技术系统从产生到商业化实用至少需要几年的时间，通常 要十年或二十年的时间。在数字多媒体时代，这个时问大为缩短，因为计算系统可以很灵活 地通过软件升级换代。但是，由于数字多媒体的演进仍然受制丁计算系统的处理能力支持， 因此软件升级并不足以解决所有问题。 当前数字多媒体又进入了一个新的阶段，不同于已有的用整幅图像、声道和视频帧序列 描述多媒体的表示方式，m p e g 4 1 2 ”、m p e g 一7 【2 8 l 、v i d e ol i b r a r i e s l 2 9 1 和m p e g 2 1 3 0 瞎用更 高级的表示方式来描述多媒体。比如，m p e g - 4 标准就是用对象流p ”来描述多媒体。这些对 象代表了现实世界中的实体，每一个都拥有自己的音频、视频和图形特性以描述其空间的和 时间的行为。这种面向对象的多媒体表示可以达到更高的压缩率，实现更多的交互式媒体和 基于内容的处理。基于对象的多媒体表示提供了新的自由度和灵活性，也提出了更高的处理 能力需求。与以往的多媒体相比，薪一代多媒体的应用需要能够支持更高等媒体处理洱j 的 系统。 1 3 嵌入式媒体处理系统的实现结构 媒体处理系统要求具有高性能的数据计算能力，数据吞吐量大，并对系统实时性提出了 严格要求。本节综述了当前媒体处理系统的三种主要实现结构，包括功能单元集成结构、通 用微处理器的扩展结构和可编程媒体处理器结构。 1 , 3 1 功能单元集成结构 功能单元集成结构提供了一种支持多媒体处理的专用硬件解决方案。在某种意义上来 说，这种方式可以看作是早期基于机器的多媒体表示技术的扩展，那时计算机还没有出现， 专用硬件支持是唯一的解决方案。在这种方式中，系统设计者仔细研究某一特定应用或具有 足够相似性的一类应用的具体特征，然后构造专用的硬件以有效支持这些应用。 功能单元集成结构能够针对应用中最关键的部分优化硬件设计，取得最高的性能。很多 多媒体应用将相当多的处理时间花在很小的密集调用的处理任务上，比如m p e g 视频编码 中，基本的处理任务包括d c t 、运动补偿和变字长编码等。芯片设计者将相当一部分硅片 面积专用于这些功能单元，设计中尽可能开发可能的并行性以实现这些关键任务的快速处 理。 由于现在v l s i 技术能够提供很高的集成度功能单元集成结构不仅可以把这些高度优 化的专用功能单元集成在单芯片上，而且还可以放置很多其它系统硬件，包括： 访问片外存储器时用于数据缓存的片内存储器： 浙江大学博士学位论文 第一章循论 用于存放专用数据的片内只读存储器： 管理片上存储器、片外存储器和存储预取技术的碗件逻辑； 数字媒体数据输入输出接i s i ； 与模拟媒体设备的数模转换接口； 不同类型媒体问的同步控制； 多芯片支持的互连接口等等。 通过将很多系统逻辑集成在芯片上，功能单元集成结构可以为特定的应用提供最高性能 的单芯片解决方案，对于具有大批量市场需求的产品，系统成本也很低。 c c u b e 微系统公司推出的z i v a 3d v d 解码芯片p ”，就是采用功能单元集成结构的专 用媒体处理芯片的一个实例，如图1 3 所示。c c u b e z i v a 3 芯片为集成了音频d s p 支持的 先进d v d 解码器，支持d v d 、v c d 和c d - d a 格式。如图所示，芯片提供了外存接口( 最 大可接1 6m b i ts d r a m ) 、宿主机接口、d v d c d 输入接口和音视频输出接口。d v d c d 格 式的媒体输入芯片后，首先执行解扰和解密，然后解复用成分离的音频流和视频流。视频流 同时送至m p e g 1 2 解码器和子图解码器，解码结果送给视频混台器。视频混合器组台m p e g 视频流、子图视频流和独立的o s d 流，生成最终的视频输出。音频流被送至3 个音频解码 器，分别支持m p e g 格式、杜比数字格式、c d - d a 和l p c m 格式。为实现全音频支持，z i v a 一3 集成了一个音频d s p ，用于更多的音频增强和支持，包括3 d 音频、d v d 音频、p r ol o g i c 解码，以及c c u b e 的r e a l s o n i c 技术。 图1 3c c u b e 推出的d v d 解码专用芯片z i v a 3 功能单元集成结构的专用媒体处理芯片的摄大缺点在于灵活性差，因为它是针对特定的 应用在最低的成本上作高度的性能优化。在很多专用媒体处理芯片中，灵活性由一组寄存器 提供，允许用户从预定义的一组应用中选择目标应用，以及配置特定应用的一些参数。因此， 这些处理器芯片只能支持已有的特定应用，无法支持其它应用甚至所支持应用的升级。 1 3 2 通用微处理器的多媒体扩展结构 通用微处理器技术的发展和完善馒其性能有了极大的提高：对其指令集结构作稍许多媒 体扩展，即可以很小的硬件开销提高对媒体处理的性能支持。通过多媒体扩展，可以将媒体 处理算法直接映射到通用微处理器之上来实现多媒体应用支持。近年来，通用微处理器的多 塑二里堡堡! 堂望查i 堂土望笪垒兰 媒体扩展结构在媒体处理支持上已经取得丁很火的成功并且在工作站和个人训算机系统中 得到，普及应用。 通用微处理器多媒体扩展的基本依据主要是多媒体应用的两个特性：一是多媒体信号处 理通常使用8 比特或1 6 比特等较窄位宽的数据类型；二是多嫦体处理将很大一部分时间花 在内循环上，每次循环迭代对不同的数据执行相同的高度蜘则的处理。如果将几个位宽较窄 的数据元素打包剑一个寄存器中则可以对这些数据元素同时执行相同的操作这种很有效 的s i m d 并行方式通常被称之为亚字并行p “( s u b w o r dp a r a l l e l i s m ) ，图i - 4 表小r “乘加”的 难字并行操作。利用通用微处理器枝内部3 2 比特或6 4 比特宽度的数据通道，对多媒体应用 中多个8 比特或1 6 比特宽度的数据元素进行处理。 攀、! 生t + 塑掣! | w o r da 口 e 叵 正圊 ，xx x “r db 口 匠 亘圊 圈1 4 砸宇并行操作的典型例子：乘女 ( m u l t i p l y a d d ) 1 9 9 4 年，h p 公司对p a - r i s c1 - o 指令集作，多媒体扩展m a x 一俨”，茸次引入了砸宇并 行的思想，增强后的数据通道在芯片面积上仅增加丁o 2 而多媒体处理性能却得到丁显 著提高。m a x 1m 提供了壤初步的亚字并行随后推出的m a x 一2 驯 3 6 1 指i 夸集作了进一步扩 展。之后其它通用微处理器也作了基于亚字并行的多媒体扩展，包括i n t e 的m m x 指令集p ”、 s u nu l t r a 邬a r c 微处理器的v i s 指令集p ”、d e ca l p h a 微处理器的l v w i 指令集”j 、m i p s 微 处理器的m d i v l x 指令集”9 1 以及m o t o r o l a 的a l t i v e c 指令集柏1 【4 “。这些最初的多媒体扩展只 对整型数据执行弧字并行操作，使用时将8 比特、1 6 比特、3 2 比特宽度的整型数据元素于j 包成3 2 比特或6 4 比特宽度数据格式。a m d 的3 d n o w i 扩展【4 “增加了对浮点数据的亚字拜： 行支持，将2 个3 2 比特表示的单精度浮点数打包成1 个6 4 比特数据。i n t e l 的s s e 指令集 则增加了1 2 8 比特打包数据寄存器可放4 个单精度浮点数，s s e 2 扩展则进一步引入了对 2 个顾精度浮点数的亚字并行操作。 除亚字并行操作指令外多媒体扩展指令集通常还包含一些用于增强媒体处理性能的特 殊指令。s u nu l t r a s p a r c 徽处理器的v i s 指令集就是一个根好的例子，它提供了一些附加的 指令用于有做地执行边界处理操作、3 d 寻址和像素距离计算等。其它很多多媒体扩展也提 供r 各种媒体处理特殊指令。文献 4 3 1 对通用微处理器的多媒体扩展作了很好的总结。 通用微处理器的多媒体扩展技术非常成功，因为它以最小的附加开销获得了多媒体处理 能力。为在硬件上支持亚宇并行操作，需要构造可拆分的数据通道和运算功能部件。图j 一5 示意了支持亚字并行的可拆分a l u 结构模型。为支持媒体处理特殊指令，还需篁增加一些 硬件逻辑，但通用微处理器的多媒体扩展通常只在总的芯片面积上增加0 1 ( h p 的m a x 一2 6 浙江大学博士学位论文第一章循论 扩展) 到3 ( s u n 的v i s 扩展) 。 图1 - 5 支持亚字并行的可拆分a l u 结构 指令集的多媒体扩展，尤其是亚字并行的操作模型，使得通用微处理器的多媒体处理性 能获得了非常成功的提高。以极小的硬件代价换取2 到4 倍的性能改善，当然是非常值得的。 但是，单靠多媒体扩展，并不足以支持新一代的多媒体应用。较之功能单元集成的专用硬件 结构，多媒体增强的通用微处理器提供了足够的灵活性，但也只提供了一定程度的性能改善。 此方案的根本局限在于通用微处理器是面向通用处理应用而优化设计的，而不是钎对多媒体 应用而优化设计的。通用微处理器将很大一部分硅片面积用于复杂的存储管理、t l b 、多级 c a c h e 结构以及动态调度逻辑等。这些复杂的硬件逻辑对于多媒体应用并不重要，对多媒体 应用更有利的是多个并行的功能单元、数据的预取技术等。为满足未来多媒体应用的处理能 力需要，有必要设计专用的可编程媒体处理器1 4 4j 1 4 “。与其它面向特定应用市场的专用处理 器的设计一样1 4 6 ，媒体处理器的设计需要对芯片面积进行优化，以取得最大的媒体处理效 能，同时提供高级语言可编程的灵活性，最好不再需要专用函数库或汇编级编程。 1 3 3 可编程媒体处理器结构 新一代的多媒体应用( 如m p e g 4 1 2 4 】【2 7 1 ) 使用了更高级的媒体表示，要设计专用硬件支持 这些应用，尽管并非完全不可能，但至少很难。m p e g - 4 标准定义了基于对象的媒体表示语 法，每个对象拥有很多相关联的媒体类型，包括视频、音频、计算机图形，以及其它可能的 媒体类型。而且，与每个对象相关联的媒体处理并不局限于特定的工具集可以针对每个对 象分别定义。使用各种媒体类型的灵活性和每种类型媒体处理方式的自由度，导致处理的个 性化和不规则性，使得完全由专用硬件支持近乎不可能。对于处理较规整的确定应用，专用 硬件能够提供极好的性能支持，但对于新一代多媒体应用，需要更具灵活度的解决方案。 数字信号处理器d s p 可视为可编程媒体处理器的前身，也支持多种类型的媒体处理。 可编程媒体处理器与传统的d s p 处理器之间，通常以在处理能力上是否支持视频或计算机 图形相区分。t l 公司推出的t m s 3 2 0 c 8 0 多媒体视频处理器m v p 4 7 1 1 4 8 t ( m u l t i m e d i av i d e o p r o c e s s o r ) 是最早的商业化媒体处理器之一，箕结构如图i - 6 所示。m v p 采用多处理器结构， 集成了4 个3 2 比特整数d s p 核和1 个在5 0 m h z 下可达1 0 0 m f l o p s 的浮点r 1 s c 核。尽管 m v p 很快被其它一系列媒体处理器取代，相对生命期很短，但还是成功地铺平了通向可编 程媒体处理器的道路。 第一章循论 浙江大学博士学位论文 。“f 。l 。擎v a n e ”，l 。f d s p i 。i 叫 厄 3 2 ， l “一 7 x 2 帆， 7 身 6 4茗箬 ， o ”，卜 ， 、一 瓶 晤卜o( 粉矗一- o ：一：l ： ，、， ex ：上： t 髭h ： - 耀2 蟹l ： 7 x 二| = - = ： x ：，、x _ ri 一“， 工丫、 蛋 # l 。 罢 ， ，l f l l l ，1 ； j 至 皇上du 蚕 ；呈 8 ili|i g； i 8 0 2 s j g 自 矗受 ：m e m o r y： 日 se = 2 量iii j ii i i 童童i 5 0 妞 i 基 ： 罟 m 。呈 芒 。 2 = 图1 - 6 t m s 3 2 0 c 8 0 m v p 结构图 从某种角度看，m v p 具有特别的重要性，因为它是第一个也是最后一个采用传统数字 信号处理系统体系结构的媒体处理器。在传统的数字信号处理系统中，通常有一个主处理器 用于执行系统控制，余下的数字信号处理任务交给分离的d s p 协处理器。t im v p 只是将主 处理器和d s p 协处理器简单地直接集成到一块芯片上。这种体系结构存在的一个很大问题 是难以编程。早期的d s p 处理器只能在汇编级编程，即使在已获得c 编译器支持的今天， d s p 编程也仍然需要繁琐的手工优化以及使用专用函数库等，以取得适当的处理性能。为了 编程简单方便和缩短开发周期，有必要设计能获得高级语言编程更好支持的体系结构。这也 是后续媒体处理器采用v l i w 结构的缘由。 v l l w 结构之所以吸引d s p ，有很多的原因一j 。其中首要的原因是数字信号处理应用能 够提供大量的指令级并行( 1 l p ：i n s t r u c t i o nl e v e lp a r a l l e l i s m ) 。而编译技术对i l p 的支持已经 很成熟，因此采用v l i w 结构可以获得较好的高级语言编程支持，不需要烦琐的手工优化 而取得极好的性能。超标量结构同样能有效支持指令级并行，但却使用复杂的硬件控制逻辑， 以在控制密集的通用应用中取得较高的处理性能。如果要支持大量的并行功能部件，提高每 个周期发射的指令数，相应硬件控制逻辑的复杂度将急剧增长。通常认为v l i w 处理器能 更好地支持多媒体应用，通过编译静态调度开发i l p ，只需要简单的硬件逻辑来支持大最的 并行功能部件。并且，简单的硬件设计意味着更低的成本和更小的功耗，这对很多嵌入式多 媒体系统来说很重要。 在t i m v p 之后，媒体处理器的设计欣然转向采用v l i w 结构。这些媒体处理器产品包 括p h i l i d st r i m e d i a 的t m 1 0 0 0 5 0 】【5 1 1 ，c h r o m a t i cr e s e a r c h 的m p a c t 1 旧和m p a c t 。2 1 5 ”， m i c r o u n i t y 的b r o a d b a n dm e d i a p r o e e s s o r l 5 钔，s a m s u n g 的m s p 。1 【5 邹，e q u a t o r - h i t a c h i 的 m a p l 0 0 0 5 “，以及t i 推出的v c l o c i t l 结构【5 7 】，包括定点处理器t m s 3 2 0 c 6 2 x 和浮点处理器 t m s 3 2 0 c 6 7 x 。在这个使用v l i w 结构的潮流中。最大的例外是n e c 的v 8 3 0 r a v | 5 8 】酬处 理器，采用2 发射超标量结构，用于嵌入式多媒体应用。文献【4 3 】对上述很多媒体处理器作 了较好的综述。 一8 浙江大学博士学位论文第一章循论 图1 - 7 所示为p h i l i p st f i m e d i at m - 2 0 0 0 6 0 | 6 q 处理器内部的v l l w 核结构。t m 2 0 0 0 与 t m 1 0 0 0 在很多方面很相似，也使用5 发射的v l i w 结构，指令级并行与字并行并用， 并集成专用硬件用于加速处理v l d 解码、图像滤波和缩放以及色彩空间变换。t m 2 0 0 0 的 设计目标是取得6 倍于1 0 0 m h zt m 1 0 0 0 的处理性能。通过使用新的电路设计技术可在钟 频上取得3 倍增益，通过将数据通道宽度由3 2 比特扩展到“比特有2 倍的潜在亚字并行增 益。其它的改造还包括硬件t l b 、物理双端口数据c a c h e 、多媒体处理关键功能专用指令、 使用4 个操作数的超操作指令等。 图1 7 p h i l i p s t r i m e d i a t m 、2 0 0 0 处理器内部的v l l w 核结构 除上述的媒体处理器外，图形处理器也有很大的市场。并具有媒体处理器的很多显著特 点。但关于这些图形处理器的技术文献很少。主要的图形处理器生产商有a t i 【6 2 l 、s 3 6 3 1 和 n v i d i a 6 4 1 等，都提供了一系列的图形处理器芯片。这些处理器的核心为“比特、1 2 8 比特 或2 5 6 比特的绘制引擎，支持计算机图形处理应用。此外还有很多专用硬件以同时支持视频 和图形处理：图形相关的有纹理、光照、阴影和a l p h a 混合处理等；视频相关的有内插、缩 放、色彩空间变换、运动估计、d c t 、变字长编码等。由于图形是数字多媒体不可或缺的组 成部分，比如m p e g 4 已经将图形和其它形式的多媒体结合在一起，因此图形处理器必将 融入到可编程媒体处理器中，以有效支持所有形式的多媒体。 如上所述，t r i m e d i a 的t m - 2 0 0 0 处理器通过综合应用指令级并行、亚字并行和专用硬 件来提高处理性能。与t m 2 0 0 0 类似，其它现有的媒体处理器也通过综合使用多种技术来 获得高性能。这些技术可以归纳为5 类： 第一种技术为亚字并行，即对短字长类型数据执行s i m d 并行操作，1 3 2 节所述的通 用微处理器多媒体扩展就广泛使用了亚字并行。对于媒体处理器而言，亚字并行也是高度可 行的技术，得到了广泛的应用，如表1 - 1 所示。 第：二种技术为使用专用硬件功能部件。13 i = 簪所述的功能单元集成结构就是倾向于使 用全专用硬件解决方案。很多可编程媒体处理器也使用一些专用硬件功能部件来加速特定的 多媒体处理任务，如运动补偿、色彩空间变换、变字长编码、图像滤波和三角绘制等。可编 程媒体处理器核对专用硬件功能部件的使用，通常通过特殊的指令调用来实现。因此，从易 了：高级语言可编程支持的观点来看，使用专用硬件和亚字奠： 亍技术一样，并不是很理想。 一9 一 第一章循论 浙江大学博士学位论文 第三种技术为指令级并行，设置多个并行_ l 作的功能部件，采h j 多发射处理器结构，如 v l i w 结构或超标是结构。表1 - 1 考察了指令级并行在现有一些媒体处理器中的使用情况。 其中例外的有三个处理器，没有使用i l p 技术：一是t im v p ，采用多处理器结构；二是 m i c r o u n i t y 的b r o a d b a n dm e d i a p r o c e s s o r ，三是s a m s u n g 的m s p 1 ，此两者都广泛地使用了 亚字并行和其它形式的s i m d 并行技术。 第四种技术为粗粒度并行处理。