（通信与信息系统专业论文）基于fpga的视频压缩ip核设计.pdf

西北工业大学硕士论文:基于 f p g a的视频压缩 i p核设计 摘要 目 前， 设计和制造复杂电子系统的主要手段已 经由“ 芯片+ p c b板”模式发 展成为“ i p +s o c ”模式。 系统级芯片 ( . 布局规划 器( f l o o r p l a n n e r ) 能 够灵活的 改变f p g a内 部c l b 和i o b的 连接配 置情况。 1 .4 视频压缩协议概述 随着多媒体技术的 广泛应用，图像压缩编码技术得到了学术界和工业界的重 视，获得了长足的进展。i t u , i s o等组织制定了许多成功的视频编码标准，如以 j p e g和j p e g 2 0 0 0 为代表的静态图像压缩标准。以m p e g - 1 和m p e g - 2 为代表的 中高码率多媒体编码标准。 其中视频图像压缩标准是其主要内容。 以h .2 6 1 , h .2 6 3 , h .2 6 3 + 和h .2 6 3 + 十 等为代表的 低码率、 甚低码率运动图 像压缩标准， 以 及覆盖范围 更宽面向对象应用的mp e g - 4 。 这些标准之间在码率、图像质量、 实现复杂度、 差 错控制能力、延时特性及可编辑性上有着很大的差别， 从而满足了 各种图像应用 的不同需要。 1 .4 . 1 各种图 像压缩标准的 应用目 标和主要技术 每一个图像压缩标准的制定， 都针对它的最适合的 应用目 标。 h . 2 6 1 是最早出 现的视频编码标准， 它首次使用了运动补偿预测编码+d c t 变换的方法. 其输出 码 率为6 4 k b p s 的整数倍 ( 1 3 1 ) , h . 2 6 1 主要针对i s d n 的 会议电 视和可视电话等 应用制定的，通过缓冲器控制产生恒定的输出码率。 与h . 2 6 1 不同， m p e g - 1 标准不是针对通信领域的双向应用，而是为了满足视 频存储媒体 ( 如v c d ) 的 应用. 该标准在典型的运动补偿预测编码 ( m c p c ) 框架的 基础上， 应用了 半象素的双向预测技术， 可提供更好的编码质量和更高的压缩比。 其主要应用目 标为在1 m b p s -1 . 5 m b p s 的 情况下， 提供2 5 帧c i f ( 3 5 2 x 2 8 8 ) v h s 质量的图像。 m p e g - 2保留了m p e g - i 的 基本技术， 并针对分场的图像格式， 使用了 帧、 场联合的编码结构，能够更好的支持高分辨率的图像和高质量的音频编码。目 标 码率在3 m b p s - 3 5 m b p s 的 传输速率 条 件下， 提 供目 前 广播 级t v 直到h d t v的图 西北工业人学硕士论文:基于f p g a的视频压缩i p 核设计 h d l及原理图输入方式。 1 .3 .3 .4 实现工具 i s e集成的实现工具主要有约束编辑器 ( c o n s t r a i n t s e d i t o r ) 、引脚与区域约束 编辑器( p a c e ) 、 时序分析器( t i m i n g a n al y z e r ) , f p g a底层编辑器( f p g a e d i t o r ) , 芯片观察窗 ( c h i p v i e w e r ) 和布局规划器 ( f lo o r p l a n n e r ) 等。 . 约束编辑器 ( p a c e ) 帮助工程师设计用户约束文件 ( u c f ) . u c f 指导实现过 程。 . 引脚与区域约束编辑器 ( p a c e )可将信号指定到 i / o管脚，并对设计进行面 积约束 . 时 序分析器 ( t i m i n g a n al y z e r ) 分 析实 现结果是 否满足约束 条件、 芯片的 工作 速率以及关键路径等时延信息。 . f p g a底层编辑器 ( f p g a e d i t o r )读取f p g a的布线信息 ( n c d)文件，用 图形化界面显示f p g a内部c l b及i o b模块结构，根据用户的设置与修改生 成物理约束 ( p c f ) . 布局规划 器( f l o o r p l a n n e r ) 能 够灵活的 改变f p g a内 部c l b 和i o b的 连接配 置情况。 1 .4 视频压缩协议概述 随着多媒体技术的 广泛应用，图像压缩编码技术得到了学术界和工业界的重 视，获得了长足的进展。i t u , i s o等组织制定了许多成功的视频编码标准，如以 j p e g和j p e g 2 0 0 0 为代表的静态图像压缩标准。以m p e g - 1 和m p e g - 2 为代表的 中高码率多媒体编码标准。 其中视频图像压缩标准是其主要内容。 以h .2 6 1 , h .2 6 3 , h .2 6 3 + 和h .2 6 3 + 十 等为代表的 低码率、 甚低码率运动图 像压缩标准， 以 及覆盖范围 更宽面向对象应用的mp e g - 4 。 这些标准之间在码率、图像质量、 实现复杂度、 差 错控制能力、延时特性及可编辑性上有着很大的差别， 从而满足了 各种图像应用 的不同需要。 1 .4 . 1 各种图 像压缩标准的 应用目 标和主要技术 每一个图像压缩标准的制定， 都针对它的最适合的 应用目 标。 h . 2 6 1 是最早出 现的视频编码标准， 它首次使用了运动补偿预测编码+d c t 变换的方法. 其输出 码 率为6 4 k b p s 的整数倍 ( 1 3 1 ) , h . 2 6 1 主要针对i s d n 的 会议电 视和可视电话等 应用制定的，通过缓冲器控制产生恒定的输出码率。 与h . 2 6 1 不同， m p e g - 1 标准不是针对通信领域的双向应用，而是为了满足视 频存储媒体 ( 如v c d ) 的 应用. 该标准在典型的运动补偿预测编码 ( m c p c ) 框架的 基础上， 应用了 半象素的双向预测技术， 可提供更好的编码质量和更高的压缩比。 其主要应用目 标为在1 m b p s -1 . 5 m b p s 的 情况下， 提供2 5 帧c i f ( 3 5 2 x 2 8 8 ) v h s 质量的图像。 m p e g - 2保留了m p e g - i 的 基本技术， 并针对分场的图像格式， 使用了 帧、 场联合的编码结构，能够更好的支持高分辨率的图像和高质量的音频编码。目 标 码率在3 m b p s - 3 5 m b p s 的 传输速率 条 件下， 提 供目 前 广播 级t v 直到h d t v的图 西北工业人学硕士论文:基于f p g a的视频压缩i p 核设计 h d l及原理图输入方式。 1 .3 .3 .4 实现工具 i s e集成的实现工具主要有约束编辑器 ( c o n s t r a i n t s e d i t o r ) 、引脚与区域约束 编辑器( p a c e ) 、 时序分析器( t i m i n g a n al y z e r ) , f p g a底层编辑器( f p g a e d i t o r ) , 芯片观察窗 ( c h i p v i e w e r ) 和布局规划器 ( f lo o r p l a n n e r ) 等。 . 约束编辑器 ( p a c e ) 帮助工程师设计用户约束文件 ( u c f ) . u c f 指导实现过 程。 . 引脚与区域约束编辑器 ( p a c e )可将信号指定到 i / o管脚，并对设计进行面 积约束 . 时 序分析器 ( t i m i n g a n al y z e r ) 分 析实 现结果是 否满足约束 条件、 芯片的 工作 速率以及关键路径等时延信息。 . f p g a底层编辑器 ( f p g a e d i t o r )读取f p g a的布线信息 ( n c d)文件，用 图形化界面显示f p g a内部c l b及i o b模块结构，根据用户的设置与修改生 成物理约束 ( p c f ) . 布局规划 器( f l o o r p l a n n e r ) 能 够灵活的 改变f p g a内 部c l b 和i o b的 连接配 置情况。 1 .4 视频压缩协议概述 随着多媒体技术的 广泛应用，图像压缩编码技术得到了学术界和工业界的重 视，获得了长足的进展。i t u , i s o等组织制定了许多成功的视频编码标准，如以 j p e g和j p e g 2 0 0 0 为代表的静态图像压缩标准。以m p e g - 1 和m p e g - 2 为代表的 中高码率多媒体编码标准。 其中视频图像压缩标准是其主要内容。 以h .2 6 1 , h .2 6 3 , h .2 6 3 + 和h .2 6 3 + 十 等为代表的 低码率、 甚低码率运动图 像压缩标准， 以 及覆盖范围 更宽面向对象应用的mp e g - 4 。 这些标准之间在码率、图像质量、 实现复杂度、 差 错控制能力、延时特性及可编辑性上有着很大的差别， 从而满足了 各种图像应用 的不同需要。 1 .4 . 1 各种图 像压缩标准的 应用目 标和主要技术 每一个图像压缩标准的制定， 都针对它的最适合的 应用目 标。 h . 2 6 1 是最早出 现的视频编码标准， 它首次使用了运动补偿预测编码+d c t 变换的方法. 其输出 码 率为6 4 k b p s 的整数倍 ( 1 3 1 ) , h . 2 6 1 主要针对i s d n 的 会议电 视和可视电话等 应用制定的，通过缓冲器控制产生恒定的输出码率。 与h . 2 6 1 不同， m p e g - 1 标准不是针对通信领域的双向应用，而是为了满足视 频存储媒体 ( 如v c d ) 的 应用. 该标准在典型的运动补偿预测编码 ( m c p c ) 框架的 基础上， 应用了 半象素的双向预测技术， 可提供更好的编码质量和更高的压缩比。 其主要应用目 标为在1 m b p s -1 . 5 m b p s 的 情况下， 提供2 5 帧c i f ( 3 5 2 x 2 8 8 ) v h s 质量的图像。 m p e g - 2保留了m p e g - i 的 基本技术， 并针对分场的图像格式， 使用了 帧、 场联合的编码结构，能够更好的支持高分辨率的图像和高质量的音频编码。目 标 码率在3 m b p s - 3 5 m b p s 的 传输速率 条 件下， 提 供目 前 广播 级t v 直到h d t v的图 西北工 业大学硕士论文:基于f p g a的视频压缩i p 核设计 像编码，同时，能够提供质量、时间、空间等多种可伸缩性的 ( 分级)编码模式。 m p e g - 2 不像m p e g - 1 只是用于静态存储媒体，而是把应用目 标扩展到单向 通道 的视频广播领域，如卫星数字电视和有线电视信号。 考虑到双向的视频传输仍然有重要的应用，i t u分析了h . 2 6 1 失败的原因， 提出了h . 2 6 3 标准， 主要面向 低码率的视频应用， 可以支持在电话线上传输可视 电话和会议电视。 h . 2 6 3 是为了支持低码率的通信而制定的标准， 但也能够适应较大的动态范 围， 不 仅限 于 低码率。 对c i f 图 像， 在1 2 8 k b p s -1 m b p s 码率范围内 ， h . 2 6 3 - - 般可以获得比mp e g - 1 更好的压缩效果。 由于共用电话网 ( p s t n)和无线网络上的传输速率仍然有限，而且误码率较 高，因此，人们又提出了h . 2 6 3 的改进版本，以满足高压缩效率和强信道容错能 力的应用要求。 h . 2 6 3 +以及后来的h . 2 6 3 十+能很好的解决低码率视频应用问 题，它们在提高编码压缩效率的同时，提高了码流对有误码信道的容错能力。这 il l 标准的容 错能力， 都是通过 选项 ( o p t i o n ) 的 形式 实现的， 方便灵活， 并且能 够 兼容本标准的以前版本。h . 2 6 3 +是在 h . 2 6 3的基础上以增加编码的可选项形 式改进的，在语法上与h . 2 6 3 兼容，但编码效率有很大提高，适用范围也更大。 由于其主要的应用方向仍是低码率视频业务，用于 p s t tt 以及无线接入的有误码 的通信环境，因此在h . 2 6 3 +中既增加了一些改进编码效率的方法，同时也提高 了抗误码性能的能力。由于实现成本较低， h. 2 6 3 +标准己经越来越多的被采用。 h . 2 6 3 系列标准具有里程碑的性质，在其中首次提出的很多概念，如变块大 小的运动估计、初始运动矢量预测、无限制运动估计、多参考帧运动补偿等都被 其后的很多标准沿用。h . 2 6 3 标准的压缩比也是相当出色的，其后一些标准的功 能和码流的可操作性确实有所提高。 但是压缩比和h . 2 6 3 系列相比并没有质的进 步。 与h . 2 6 3 系列相对应， m p e g - 4 标准也能够支持码率低于6 4 k b p s 的视频应 用。与其他标准相比，mp e g - 4 标准在块d c t编码的基础上扩展了视频对象的概 念，并引入了基于对象、内容的编码技术，从而在理论上具有更高的压缩效率。 但由于实际实现上目 前仍存在的对复杂视频序列进行自 动分割的困难，实时实现 mp e g - 4编码器实际未能实现真正的面向对象的编码技术。在mp e g - 4众多的档 ( p r o f i l e )中，目 前看来， 最流行的也最成功的是简单档 ( s i m p l e p r o f i l e ) 和增强 档 ( a d v a n c e d p r o fi l e ) 。 前者 基本和h . 2 6 3 类 似， 后者 在h . 2 6 3 的 基 础上引 入了 1 / 4 象素估计和全局运动估计技术， 对象基的 概念和技术并未包含在这两个档里， 因此，目前mp e g - 4 编码器在低码率应用条件下， 仍处在和h . 2 6 3 / h . 2 6 3 + 大致 相同的压缩能力的水平。 不过mp e g a提供了一些h . 2 6 3 所没有的功能， 如f g s 等， 这使得它在有噪信道上的传输性能比h . 2 6 3 要好一些。 h . 2 6 4 协议是由j v t ( j o i n t v i d e o t e a m ，视频联合工作组) 制定， 它具有视 频的高压缩比、 高图像质量、 良 好的网络适应性等特点。 该标准在i s o内称为a v c ( a d v a n c e d v i d e o c o d i n g ) 标 准， 是m p e g - 4 的 第1 0 部分， h . . 2 6 4 标 准可 分为 三档:基本档次 ( 其简单版本，应用面广) ;主要档次 ( 采用了多项提高图像质量 和增加压缩比的技术措施，可用于s d t v , h d t v和 d v d等) :扩展档次 ( 可用 于各种网络的视频流传输) . h . 2 6 4 不仅比h .2 6 3 和mp e g 一节约了5 0 %的码率， 而且对网络传输具有更 好的支持功能。它引入了面向i p包的编码机制，有利于网络中的分组传输，支持 西北工业大学硕士论文:基于f p g a的视频压缩 i p 核设计 网络中视频的流媒体传输。 h . 2 6 4 具有较强的抗误码特性，可适应丢包率高、 干扰 严重的无线信道中的视频传输。 h .2 6 4 支持不同网络资源下的分级编码传输， 从而 获得平稳的图像质量。h .2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 1 .5 本文主要研究工作及内 容安 排 随着 i p +s o c时代的到来，系统级芯片 ( s o c ) 设计的将采用以i p为主的 预定制模块， i p己经成为未来主流芯片设计的核心构件. 1 p 十s o c ” 的设计制造 模式是电 子设计业和芯片制造业自 基尔比 ( j a c k s . k i lb y ) 4 6 年前发明 集成电路以 来 最重要的发展里程碑之一。 如今，一方面，人们对多媒体的需求已经有了很大的发展。人们不仅仅需要 文本， 还希望有高保真的音视频享受， 逼真的3 d虚拟现实体验或者实时的视频通 信等等，视频压缩技术得到了长足的发展。令一方面，根据系统整合的思想，又 希望将系统做的越小越好，具有多媒体处理功能的单芯片解决方案 ( s o c )将得 到很大发展，而这种单芯片设计的基础就是具有视频压缩功能的i p核。 从实现难度和应用范围两方面考虑，本次毕业设计的研究设计工作就是设计 一个基于h . 2 6 3 协议的视频压缩i p 核，以满足多媒体终端s o c芯片的需要. 本文的内容安排如下: 第一章:绪论。 重点介绍s o c , i p 核的概念，i p +s o c技术的发展，利用可编程器 件f p g a开发i p 核的流程， 视频压缩协议的发展以 及视频压缩i p 核设计 的意义，用途。 第二章:视频压缩i p 核f p g a仿真验证平台设计。 介绍本次毕业设计i p核硬件仿真验证平台的设计思想及各部分硬件 组成的详细设计方案。同时简要介绍适用于i p 核设计调试的软件解码平 台以及完全独立于硬件的软件h d l 仿真平台。 第三章:视频压缩 i p 核设计与验证。 介绍编码内 核及解码内 核的系统规划及各部分的 模块设计。 编码 i p 核设计中， 详细阐述了 系统设计思想， 并着重介绍 s ha m控制器、 运动 预测 ( m e ) 和变长编码 ( v l e )设计。在解码 i p核中，着重介绍了状态 机与 v l d相结合的解码电路，提高了解码速度，并减小了电路规模。最 后，采用 f p g a仿真验证平台对编解码 i p核进行了验证，采用软件仿真 与硬件仿真相结合的验证流程。经过验证，编码 i p核与解码 i p核设计 正确，可以完成不同 信道速率下实时可靠的编解码同步进行。 第四章:结束语。 回顾论文各章节的重点并总结此次视频压缩 i p核设计中取得的收 获。最后对 i p 核的升级改版给出了设想。 西北工业大学硕士论文:基于f p g a的视频压缩 i p 核设计 网络中视频的流媒体传输。 h . 2 6 4 具有较强的抗误码特性，可适应丢包率高、 干扰 严重的无线信道中的视频传输。 h .2 6 4 支持不同网络资源下的分级编码传输， 从而 获得平稳的图像质量。h .2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 1 .5 本文主要研究工作及内 容安 排 随着 i p +s o c时代的到来，系统级芯片 ( s o c ) 设计的将采用以i p为主的 预定制模块， i p己经成为未来主流芯片设计的核心构件. 1 p 十s o c ” 的设计制造 模式是电 子设计业和芯片制造业自 基尔比 ( j a c k s . k i lb y ) 4 6 年前发明 集成电路以 来 最重要的发展里程碑之一。 如今，一方面，人们对多媒体的需求已经有了很大的发展。人们不仅仅需要 文本， 还希望有高保真的音视频享受， 逼真的3 d虚拟现实体验或者实时的视频通 信等等，视频压缩技术得到了长足的发展。令一方面，根据系统整合的思想，又 希望将系统做的越小越好，具有多媒体处理功能的单芯片解决方案 ( s o c )将得 到很大发展，而这种单芯片设计的基础就是具有视频压缩功能的i p核。 从实现难度和应用范围两方面考虑，本次毕业设计的研究设计工作就是设计 一个基于h . 2 6 3 协议的视频压缩i p 核，以满足多媒体终端s o c芯片的需要. 本文的内容安排如下: 第一章:绪论。 重点介绍s o c , i p 核的概念，i p +s o c技术的发展，利用可编程器 件f p g a开发i p 核的流程， 视频压缩协议的发展以 及视频压缩i p 核设计 的意义，用途。 第二章:视频压缩i p 核f p g a仿真验证平台设计。 介绍本次毕业设计i p核硬件仿真验证平台的设计思想及各部分硬件 组成的详细设计方案。同时简要介绍适用于i p 核设计调试的软件解码平 台以及完全独立于硬件的软件h d l 仿真平台。 第三章:视频压缩 i p 核设计与验证。 介绍编码内 核及解码内 核的系统规划及各部分的 模块设计。 编码 i p 核设计中， 详细阐述了 系统设计思想， 并着重介绍 s ha m控制器、 运动 预测 ( m e ) 和变长编码 ( v l e )设计。在解码 i p核中，着重介绍了状态 机与 v l d相结合的解码电路，提高了解码速度，并减小了电路规模。最 后，采用 f p g a仿真验证平台对编解码 i p核进行了验证，采用软件仿真 与硬件仿真相结合的验证流程。经过验证，编码 i p核与解码 i p核设计 正确，可以完成不同 信道速率下实时可靠的编解码同步进行。 第四章:结束语。 回顾论文各章节的重点并总结此次视频压缩 i p核设计中取得的收 获。最后对 i p 核的升级改版给出了设想。 西北工业大学硕士论文:基于f p g a的视频压缩i p 核设计 第二 章 视频压缩i p 核f p g a 仿真验证平台设计 在软硬件协同的s o c设计流程中，设计的完成只是整个流程的一小部分，仿 真和验证在整个流程中占据了越来越重要的作用。随着设计复杂度不断提高和越 来越短的上市时间( t i m e - t o - m a r k e t ) 压力， 对仿真和验证平台也提出了 越来越高的要 求。 在视频压缩i p核的设计中，仿真验证也是其中至关重要的一个环节。针对视 频压缩i p 核的特点， 我们设计了f p g a协同仿真验证平台， 采用基于平台的设计方 法，快速实现了视频压缩i p 核的仿真和验证。 本次设计主要包括3 个平台:基于i p 库的硬件平台、具有分层结构可与硬件 平台通信的软件平台、以及完全独立于硬件的软件仿真平台。 2 . 1 软硬件协同设计与s o c 验证 随着近来日益明显的灵活性需求，系统级芯片 ( s o c )设计采用软件来实现 设计中的一部分硬件功能， 而不再采用单一用途的硬连接。 在一个复杂的系统级芯 片应用中， 如视频解码器， 设计者将集成硬件模块， 应用软件， r t o s ， 片上总线， 可编程嵌入处理器1 / o外围设备，内 存模块，即 所谓嵌入式内 核系统级芯片框架。 硬件设计团队利用v e r i l o g 和v h d l 完成硬件部分， 然后用硬件模拟器做验证。 软 件设计团队利用汇编，c ,c + + 语言完成s o c所需的r t o s内 核软件或其他功能软 件如通信协议软件的设计，利用处理器模型和i c e来测试软件。传统上，软件团队 等到硬件原型完成才可进行最终的系统集成。很多问题会产生在系统集成的过程 中。这些问 题产生源于对规范的误解，不适宜的接口 定义，和稍后的设计变化。 通过软件递归设计可以消除这些错误，但这样可能会影响系统的性能。如果利用 修改硬件的方法会十分耗费金钱和时间，特别是当其中包含循环设计集成电路。 把系统的集成阶段移到设计周期的前期可以 较早的消除系统集成的问题。这可以 通过创建一个软件/ 硬件协同验证环境来解决这个问题。 大部分软硬件协同仿真技术采用软件仿真器( v h d l 或者v e r i l o g 仿真器) 作为 虚拟硬件仿真器， 同时采用运行于上位机上的高级语言( 如c 或a d a ) 程序作为软件 仿真器，软硬件仿真器之间通过u n i x工 p c 或s o c k e t s 等方式进行通讯。基于h d l 软件仿真器的协同仿真技术具有仿真设计简单，调试方便，便于发现设计中的错 误等优点。然而，这一方法的缺点是仿真速度太慢。例如，对 3 0帧/ 秒的实时视 频处理算法，则处理一帧的时间需要 1 / 3 0 秒，在m o d e l s i m上仿真一帧的时间大 约需要5 . 5 小时。而对于帧间编码等等动态算法， 往往需要至少仿真2 到3 帧的 图 像，因 此一次仿真往往需要十个小时以 上。同时，由 于实时输入输出仿真模型 设计困难，基于h d l 的软硬件协同 技术往往难以实现算法的实时仿真。 针对软件仿真速度慢的弱点， 硬件加速仿真验证技术逐渐在媒体处理器的设计 中得到了广泛的引用。硬件加速仿真验证技术是指采用硬件仿真器或通过开发芯 片原型验证环境对设计进行仿真和验证的方法和手段。 在媒体处理器的开发阶段， 西北工业大学硕士论文:基于f p g a的视频压缩i p 核设计 第二 章 视频压缩i p 核f p g a 仿真验证平台设计 在软硬件协同的s o c设计流程中，设计的完成只是整个流程的一小部分，仿 真和验证在整个流程中占据了越来越重要的作用。随着设计复杂度不断提高和越 来越短的上市时间( t i m e - t o - m a r k e t ) 压力， 对仿真和验证平台也提出了 越来越高的要 求。 在视频压缩i p核的设计中，仿真验证也是其中至关重要的一个环节。针对视 频压缩i p 核的特点， 我们设计了f p g a协同仿真验证平台， 采用基于平台的设计方 法，快速实现了视频压缩i p 核的仿真和验证。 本次设计主要包括3 个平台:基于i p 库的硬件平台、具有分层结构可与硬件 平台通信的软件平台、以及完全独立于硬件的软件仿真平台。 2 . 1 软硬件协同设计与s o c 验证 随着近来日益明显的灵活性需求，系统级芯片 ( s o c )设计采用软件来实现 设计中的一部分硬件功能， 而不再采用单一用途的硬连接。 在一个复杂的系统级芯 片应用中， 如视频解码器， 设计者将集成硬件模块， 应用软件， r t o s ， 片上总线， 可编程嵌入处理器1 / o外围设备，内 存模块，即 所谓嵌入式内 核系统级芯片框架。 硬件设计团队利用v e r i l o g 和v h d l 完成硬件部分， 然后用硬件模拟器做验证。 软 件设计团队利用汇编，c ,c + + 语言完成s o c所需的r t o s内 核软件或其他功能软 件如通信协议软件的设计，利用处理器模型和i c e来测试软件。传统上，软件团队 等到硬件原型完成才可进行最终的系统集成。很多问题会产生在系统集成的过程 中。这些问 题产生源于对规范的误解，不适宜的接口 定义，和稍后的设计变化。 通过软件递归设计可以消除这些错误，但这样可能会影响系统的性能。如果利用 修改硬件的方法会十分耗费金钱和时间，特别是当其中包含循环设计集成电路。 把系统的集成阶段移到设计周期的前期可以 较早的消除系统集成的问题。这可以 通过创建一个软件/ 硬件协同验证环境来解决这个问题。 大部分软硬件协同仿真技术采用软件仿真器( v h d l 或者v e r i l o g 仿真器) 作为 虚拟硬件仿真器， 同时采用运行于上位机上的高级语言( 如c 或a d a ) 程序作为软件 仿真器，软硬件仿真器之间通过u n i x工 p c 或s o c k e t s 等方式进行通讯。基于h d l 软件仿真器的协同仿真技术具有仿真设计简单，调试方便，便于发现设计中的错 误等优点。然而，这一方法的缺点是仿真速度太慢。例如，对 3 0帧/ 秒的实时视 频处理算法，则处理一帧的时间需要 1 / 3 0 秒，在m o d e l s i m上仿真一帧的时间大 约需要5 . 5 小时。而对于帧间编码等等动态算法， 往往需要至少仿真2 到3 帧的 图 像，因 此一次仿真往往需要十个小时以 上。同时，由 于实时输入输出仿真模型 设计困难，基于h d l 的软硬件协同 技术往往难以实现算法的实时仿真。 针对软件仿真速度慢的弱点， 硬件加速仿真验证技术逐渐在媒体处理器的设计 中得到了广泛的引用。硬件加速仿真验证技术是指采用硬件仿真器或通过开发芯 片原型验证环境对设计进行仿真和验证的方法和手段。 在媒体处理器的开发阶段， 西北工业大学硕士论文:基于f p g a的视频压缩i p核设计 硬件仿真器和媒体处理器原型通常实现在f p g a 硬件平台上，通过把待验证的设计 映射到这一可配置、 可编程的硬件上， 对这样一个等效系统进行仿真和验证。 f p g a 仿真验证能够方便用户在设计的早期建立芯片的硬件模型并可以方便用户在设计 的早期调试芯片软件。f p g a仿真验证速度比软件仿真器仿真快很多，在某些情况 下可以按照实时速度进行仿真。 例如，假设f p g a 运行在2 7 m h z( 实践证明， f p g a 仿真速度完全可以 超过这一速度， 达到2 7 m h z 的2 - 3 倍) ， 则每秒能够运行2 7 * 1 0 个周期， 这一速度是软件仿真的 5 - 1 0万倍! 对于上述的视频处理算法，仿真一帧 图像只需要约0 . 2 秒，仿真2 - 3 帧也只需要不到一秒的时间。然而，f p g a 仿真验 证也存在自己的缺点。首先，f p g a硬件仿真调试比软件仿真困难。软件仿真能够 随时观察任何信号的值， 而f p g a 硬件仿真只能通过有限的测试点引出有限的信号 进行观测。 其次， f p g a 硬件仿真设计包括硬件p c b 设计和f p g a 设计， 往往需要比 软件仿真花费更多的设计时间和成本。 2 . 2 视频压缩i p 核硬件平台设计: 针对视频压缩 i p核设计的特点，为了加快其仿真和验证的速度，必须采用 f p g a硬件仿真，同时必须克服 f p g a硬件仿真的缺点。因此，我们设计了 基于 f p g a的软硬件协同仿真验证平台。 仿真平台由一个基于f p g a的硬件子平台和 一个运行于p c主机上的软件子平台相互通信共同构成。 作为视频压缩核的载体， 本次毕业设计中制作了一块视频压缩核仿真验证板。 验证板的核心器件为x i l i n x 公司f p g a x c 2 v 3 0 0 0 。它具有3 0 0 万逻辑门，4 4 8 k b 分布式r a m. 1 7 2 8 k b 块r a m, %个乘法器，1 2 个时钟管理单元， 可以 满足我 们的视频压缩i p 核图像处理速度及对r a m的需求。 2 . 2 . 1 硬件子平台的 特点 硬件子平台采用基于f p g a的结构，基于i p 库的设计方法，软硬件相结合的 调试手段，具有如下特点: 1 )可配置性 由于硬件子平台采用基于f p g a的结构， f p g a的可编程性决定了硬件子平台 具有可重配置性。同时， 在硬件子平台设计中的i p 模块库也具有可配置性， 每一 模块均可针对不同的仿真规划和系统约束进行配置。 通过重配置 mp s p硬件子平 台，这一平台能够快速的应用于不同的媒体处理器和不同的仿真要求。 2 )可重用性 硬件子平台的可重用性首先表现在 f p g a仿真验证板的可重用性上，通过重 用通用 f p g a仿真验证板能够减少重新做板所花费的大量时间和金钱，加快设计 进行。 mp s p 硬件子平台的可重用性还表现在f p g a设计的可重用性上。 f p g a设 计采用了基于i p 模块库的设计，通过重用i p 模块，加快了f p g a设计过程。 西北工业大学硕士论文:基于f p g a的视频压缩i p核设计 硬件仿真器和媒体处理器原型通常实现在f p g a 硬件平台上，通过把待验证的设计 映射到这一可配置、 可编程的硬件上， 对这样一个等效系统进行仿真和验证。 f p g a 仿真验证能够方便用户在设计的早期建立芯片的硬件模型并可以方便用户在设计 的早期调试芯片软件。f p g a仿真验证速度比软件仿真器仿真快很多，在某些情况 下可以按照实时速度进行仿真。 例如，假设f p g a 运行在2 7 m h z( 实践证明， f p g a 仿真速度完全可以 超过这一速度， 达到2 7 m h z 的2 - 3 倍) ， 则每秒能够运行2 7 * 1 0 个周期， 这一速度是软件仿真的 5 - 1 0万倍! 对于上述的视频处理算法，仿真一帧 图像只需要约0 . 2 秒，仿真2 - 3 帧也只需要不到一秒的时间。然而，f p g a 仿真验 证也存在自己的缺点。首先，f p g a硬件仿真调试比软件仿真困难。软件仿真能够 随时观察任何信号的值， 而f p g a 硬件仿真只能通过有限的测试点引出有限的信号 进行观测。 其次， f p g a 硬件仿真设计包括硬件p c b 设计和f p g a 设计， 往往需要比 软件仿真花费更多的设计时间和成本。 2 . 2 视频压缩i p 核硬件平台设计: 针对视频压缩 i p核设计的特点，为了加快其仿真和验证的速度，必须采用 f p g a硬件仿真，同时必须克服 f p g a硬件仿真的缺点。因此，我们设计了 基于 f p g a的软硬件协同仿真验证平台。 仿真平台由一个基于f p g a的硬件子平台和 一个运行于p c主机上的软件子平台相互通信共同构成。 作为视频压缩核的载体， 本次毕业设计中制作了一块视频压缩核仿真验证板。 验证板的核心器件为x i l i n x 公司f p g a x c 2 v 3 0 0 0 。它具有3 0 0 万逻辑门，4 4 8 k b 分布式r a m. 1 7 2 8 k b 块r a m, %个乘法器，1 2 个时钟管理单元， 可以 满足我 们的视频压缩i p 核图像处理速度及对r a m的需求。 2 . 2 . 1 硬件子平台的 特点 硬件子平台采用基于f p g a的结构，基于i p 库的设计方法，软硬件相结合的 调试手段，具有如下特点: 1 )可配置性 由于硬件子平台采用基于f p g a的结构， f p g a的可编程性决定了硬件子平台 具有可重配置性。同时， 在硬件子平台设计中的i p 模块库也具有可配置性， 每一 模块均可针对不同的仿真规划和系统约束进行配置。 通过重配置 mp s p硬件子平 台，这一平台能够快速的应用于不同的媒体处理器和不同的仿真要求。 2 )可重用性 硬件子平台的可重用性首先表现在 f p g a仿真验证板的可重用性上，通过重 用通用 f p g a仿真验证板能够减少重新做板所花费的大量时间和金钱，加快设计 进行。 mp s p 硬件子平台的可重用性还表现在f p g a设计的可重用性上。 f p g a设 计采用了基于i p 模块库的设计，通过重用i p 模块，加快了f p g a设计过程。 西北工业大学硕士论文:基于 f p g a的视频压缩 i f 核设计 2 . 2 . 2 通用视频压缩 i p 核f p g a 仿真验证板设计 2 .2 .2 . 1 总体设计方案: 1 .设计思想 硬件平台采用基于f p g a的结构，基于i p 库的设计方法，软硬件相结合的调 试手段。本设计f p g a仿真验证平台以f p g a为核心，针对视频压缩i p核应用仿 真要求设计外围电路，将构建一个视频压缩i p 核的仿真原型。仿真电路板的设计 是整个硬件平台设计中最耗费时间和金钱的步骤，为了减少重复设计，加快设计 过程，仿真电路板必须设计为通用仿真平台以适应不同的仿真要求。因此，针对 本次设计i p 核的特点我们设计了视频压缩i p核仿真验证板 2 .硬件平台功能: a .一路图像信号采集，转换成数字信号 ( y u v 4 : 2 : 2 ) b 利用f p g a实现视频压缩算法，对数字图像信号进行处理， 直接复合视频 信号 ( 模拟)输出 。 .f p g a实现视频解码i p 核功能， 同时进行v g a转换， 通过l c d显示器实 现视频恢复 d ，对f p g a提供两种下载模式， 可以从p c端下载， 也可以从e e p r o m进行 下载 e .通过网络接口实现与计算机通信，将压缩后的视频数据送到p c端利用软 件解码实现播放 f . f p g a内部实现p c i 总线核，通过p c i 总线实现与p c端通信，软件解码 视频压缩数据 3 结构框图 f p g a仿真验证板结构框图如下: 电谭转换芯片 ( max 1 6 9 5 ) d r amprom 电面接口 视频输出口 图 像 采 集 视频转换昌 ( o v7 6 4 0 ) po w rj 4 5日 串 口 阴 ; r 单片机 ( me g a1 2 8 ) 网络芯片 ( r t l 8 0 1 9 等) r s 4 8 5 接u 图2 - 1视频压缩 i p 核 f p g a仿真验证板 西北工业大学硕士论文:摧于f p g a的视频压缩i p核设计 针对视频压缩i p 核设计需要，在f p g a外围连接了p r o m, s d r a m等作为 存储器。其中， p r o m可以作为f p g a下载用; s d r a m容量大，速度快，可以 用于存储大量的视频数据。除了存储器外，板上还在f p g a外围连接了视频a d , 负责视频数据流的采集。为了与软件相通讯实现软硬件协同仿真并增强 f p g a的 可调试性，在f p g a外围还连接了p c i 接口 和网络接口 等通讯接口以支持不同通 信带宽和资源约束要求。电 源管理单元负责产生各芯片所需的不同的电源， 频率 管理单元则负责产生仿真所需的各频率时钟信号。除了用于在设计的早期用于进 行f p g a仿真验证之外， f p g a验证板还可以在流片回来之后作为芯片的验证板。 因此，视频压缩i p核即可以实现在f p g a内部，也可以作为独立的芯片和f p g a 连接。为此，在f p g a板上还可以设计接插件接口以进行扩展。 2 .2 .2 .2详细设计方案: 根据系统设计思想，视频压缩i p 核仿真验证板按功能划分为五个部分 1 .电 源模块: 电源接口为 1 2 v的直流变压器输入。 在仿真验证板的整个电路中， 需要 3 .3 v , 2 . 5 v和 1 2 v三种伏值的电源。其中3 . 3 v电源有二类，一类供f p g a及内存等周 边器件， 为3 . 3 v ; 一类供单片机等， 为+ 3 .3 v ; 供o v 7 6 4 0 的模拟部分， 为a 2 . 5 v a 结合板子的整体供电需求， 选择m a x 1 6 8 5 芯片。 m a x 1 6 8 5 提供2 .7 v - 1 4 v 的输入范围，标准的3 . 3 v输出或可调节的 1 .2 5 v - 5 . 5 v的输出。 月曰月班u 曰 从从了 i 叼 a n m h 1 1 6 8 5 l x in on 耳 扔 网阳 9 怕甲 i c v l . s y n c r w i bo o t 险 p g n 0 1 il i m i 5 s删。 ;d c ” a. 图2 - 2电源转换芯片ma x 1 6 8 5 可调节电压输出 图2 - 2 中r i , r 2 为调节电阻， 通过调节它们的比值可达到不同的输出电压。 其计算公式如下: 一 。 ， 二 一1 2 % ( i 2 . 单片机设计: 单片机模块主要由一个单片机芯片构成，框图如图所示。整个模块的主要功 能是对周边的一些器件起配置、 控制作用。 例如用i z c 对视频转换器o v 7 6 4 0 和网 西北工业大学硕士论文:基于f p g a的视频压缩i p核设计 络芯片r t l 8 0 1 9 进行配置;对网络模块的控制;提供对外下载口。同时，单片机 的一些控制线也由f p g a提供，如主时钟、复位等等。 图2 - 3单片机模块框图 3 .视频模块设计: 视频部分的设计框图如下，c mo s镜头采集到图像后，输出一路复合的视频 模拟信号;视频转换器把从c mo s 镜头输出的模拟信号进行a / d转换，再把数字 信号送到f p g a ; 由f p g a进行编码处理后， 再经过网络模块与外部进行网络连接。 司时 1_ 1 上 ，从c m o s 镜头输出的复合视频模拟信号也可以 直接接到一个对外的视频接 图2 - 4视频模块框图 视频转换芯片采用o m i v i s i o n 公司o v 7 6 4 0 ，它是低功耗c mo s 图像传感器，最 大分辨率6 4 0 x 4 8 0 , 输出 支持r a w r g b , r g b ( g r b 4 :2 : 2 ) , y u v ( 4 : 2 :2 ) 和y c b c r 西北工业大 学硕士论文: 纂于f p g a的 视频压缩 p 核设计 2 ) 格式，本设计中采用y u v ( 4 : 2 : 2 ) .其内 部结构图如下: 贬 带 明瓶 a . pm月 0-e 曰 mux卜 日 姗 茎 立 奚 ;州 w x 洲 阴 曰甘月.0 匕 . . 直 a ny 弓 目宜月 的】 口. 白. 诵白. p .d c m, rn日 翻. .几 . 户 丫 丫 . ， . . ， 门 二为 . 侧. 口创自 创 肠 叼. . . 伪 ad . 目 白1 三二 翻 c . 加门 .恤 . . 一洲朴!朴 图2 - 5 o v 7 6 4 0 内部结构图 4 .网 络模块设计: 系统中网络模块的功能是与p c 机通信传输视频压缩码流。主要用到的芯片为 r t l 8 0 1 9 ， 它与 f p g a 的 接口 有: 地 址总 线 i s a a 0 . . .4 ， 地 址总 线 i s a d 0 . . .7 , 及相应操作的控制1 / o 线.9 3 4 6 是1 k 位的 e e p r o m， 存储了 r t l 8 0 1 9 的配置资源， 如图2 - 6 所示。可以通过跳针接高来配置r t l 8 0 1 9 ，图中还接