（微电子学与固体电子学专业论文）视频图像格式转换芯片的算法研究.pdf

中文摘要 视频格式转换技术一直以来都是视频处理领域中的项关键技术。对大多 数显示设备来讲，视频信号的输入格式与显示设备所要求的格式在图像刷新速 率、扫描方式、屏幕分辨率等方面都有很大差异。正是为解决以上格式上的差 异，格式转换芯片爿成为显示器系统不可或缺的关键部件。 本项目的研发目标是一款新型多功能视频图像格式转换芯片，该芯片将包 括隔行转逐行、尺寸缩放、帧频提升功能，并具有图像视频重迭和人机对话界 面等功能。成功地研发具有自主知识产权的格式转换s o c ，将打破国外公司在 该领域的垄断，有力地支持我国电视及相关产业的发展，将产生巨大的社会效 益和经济利益。 而设计一种高质量、低成本、易于a s i c 实现的格式转换算法一直是丌发 视频格式转换芯片的核心内容。经过笔者对多种算法进行模拟、分析和比较， 分别建立了用于去隔行和帧频提升的经过优化的运动自适应算法。其中用于去 隔行的运动自适应算法是基于场间均值和十字滤波：用于帧频提升的运动自适 应算法是基于线性时间平均和带运动补偿的直接插补，该算法无论是对静止区 域还是运动区域都有较好的效果。同时，在设计帧频提升算法的过程中，笔者 以三步搜索为基础实现了一种运算量低，运动矢量估算准确，便于a s i c 实现的 运动估计算法，为帧频提升算法的硬件实现打下了基础。 关键词视频图像格式转换去隔行帧频提升运动估计运动补偿 a b s t r a c t t h ev i d e os t a n d a r d sc o n v e r s i o ni sak e yt e c h n o l o g yi nv a r i o u sa p p l i c a t i o n so f d i g i t a lv i d e op r o c e s s i n g f o rm o s tt y p e so fm o n i t o r s ，t h e r e a r em a n yd i f f e r e n c e s b e t w e e nt h ei n t e r n a lv i d e of o r m a t sa n dt h ei m a g ef o r m a t st h em o n i t o rd e v i c e sn e e d e d ， w h i c hi n c l u d es c a nr a t e ，s c a ns t a n d a r d ，r e s o l u t i o n ，e t c b e c a u s et h e s ed i f f e r e n c e st h e v i d e o i m a g es t a n d a r d sc o n v e r s i o na s i ci sa l li m p o r t a n tm o d u l eo fm o n i t o rs y s t e m t h i sp r o j e c tf o c u s e so nd e v e l o p i n gan e wm u l t i f u n c t i o n sv i d e o i m a g es t a n d a r d c o n v e r s i o na s i cw h i c hc a nr e a l i z et h ec o n v e r s i o no fi n t e r l a c e ds c a nt op r o g r e s s i v e s c a n ，f r a m er a t e 叩c o n v e r s i o na n dd i m e n s i o ns c a l i n g f u r t h e r m o r et h ef u n c t i o n so f g r a p h i c so v e r l a ya n dm a n m a c h i n ei n t e r c o m m u n i c a t i o na r ei n t e g r a t e di nt h i sc h i p a n dd e v e l o p i n go u ro w nv i d e o i m a g ec o n v e r s i o ns o ch a sg r e a tm e a n i n g si n b r e a k i n gt h em a r k e tm o n o p o l i z a t i o no ff o r e i g nc o m p a n i e sa n ds p e e d i n gt h ep r o g r e s s o fo u rt va n dr e l a t e di n d u s t r i e s a n da l lt h e s et a s k sa s kf o rh i g h - - q u a l i t ya sw e l la sc o s t - - e f f i c i e n ts t a n d a r d s c o n v e r s i o na l g o r i t h m a f t e rt h es i m u l a t i o n s ，c o m p a r i s o n sa n da n a l y s i s ，t h ea u t h o r e s t a b l i s h e st h em o t i o na d a p t i v ea l g o r i t h mf o rd e i n t e r l a c i n ga n df r a m er a t eu p c o n v e r s i o n t h e a l g o r i t h mf o rd e i n t e r l a c i n gi sb a s e do nt h ef i l e da v e r a g i n ga n dc r o s s f i l t e r i n g ；a n dt h ea l g o r i t h mf o rf l a m er a t eu pc o n v e r s i o ni sb a s e do nt e m p o r a ll i n e a r a v e r a g i n ga n dm o t i o nc o m p e n s a t e ds t r a i g h ti n t e r p o l a t i o n n om a t e rt h e s t i l lf i e l do r m o t i o nf i l e d ，t h i sa l g o r i t h mc a nm a k eg o o dr e s u l t i na d d i t i o n ，t h ea u t h o rr e a l i z e da h i g hp e r f o r m a n c ea n de a s yr e a l i z e dm o t i o ne s t i m a t i o na l g o r i t h m ，w h i c hi sb a s e do n t h et h r e es t e ps e a r c h i n ga l g o r i f l t ma n db e c o m et h eb a s eo ft h ea s i cr e a l i z a t i o no f f r a m er a t eu pc o n v e r s i o n k e y w o r d s v i d e os t a n d a r dc o n v e r s i o n ，d e - i n t e r l a c i n g ，f l a m er a t eu pc o n v e r s i o n ， m o t i o na d a p t i v e ，m o t i o ne s t i m a t i o n 独创性声明 本人声明所呈交的学位沦文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得盔盗盘堂或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意。 学位论文作者签名 荻i 吹 签字日期：夕口d 厂年2 月3 矿日 学位论文版权使用授权书 本学位论文作者完全了解 丞洼盘茎 有关保留、使用学位论文的规 定。特授权盘洼盘兰可以将学位论文的全部或部分内容编入有关数据库进 行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同 意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：豸( i 吹导师签名：旃悬旷咖 签字目期：2 毋丁，年2 月z 口日 签字日期：州r 年 月矽日 第一章绪论 1 1 课题背景 1 1 1 背景和必要性 第一章绪论 随着科技的进步，各种各样的显示器在市场中出现，主要包括： 1 )等离子显示屏( p d p ) 2 )液晶显示屏( l c d ) 3 1数字光处理系统( d l p ) 4 )阴极射线管( c r t ) 5 )背投电视( r p t v ) 6 )正向投影电视 7 ) v a c u u mf l u o r e s c e n td i s p l a y ( v f d ) 8 ) l i g h t e m i s s i o nd i o d e ( l e d ) d i s p l a y 9 ) l i q u i dc r y s t a lo ns i l i c o n ( l c o s ) 对大多数显示器来讲，视频信号的输入格式与其本身所要求的格式( 原始格 式) 有很大差异。这些差别在于： 1 )图像刷新速率( 如视频源为每秒6 0 或5 0 帧而显示器须每秒3 0 帧或 2 5 帧) ； 2 1扫描方式( 视频源为隔行扫描而显示器为逐行扫描) ； 3 )屏幕分辨率( 如视频源为7 2 0 4 8 0 而显示器是1 9 2 0 1 0 8 0 ) ； 第一章绪论 4 )像素的宽高比( 如视频源为正方形像素而显示器为长方形像素) ； 5 )色度图的差异。 正是为解决以上格式上的差异，格式转换芯片才成为显示器系统不可或缺的 关键部件。 1 1 2 国内外现状和技术发展趋势 视频图像格式转换技术是当今信息领域的研究热点之一，以美国和台 湾公司为主相继推出多种芯片，象g e n e s i sm i c r o e l e c t r o n i c s ，g e n n u m c o r p o r a t i o n ，t r i d e n t ，t r u m p i o n ( t a i w e n ) ，e t r o nt e c h n o l o g y ( t a i w e n ) ， m a c r o n i xi n t e r n a t i o n a l ( t a i w e n ) ，p h i l i p ss e m i c o n d u c t o r ，s u n p l u st e c h n o l o g y 等，但这些芯片都在一定程度上存在使用缺陷，国内在该方面目前尚处于起 步阶段。 目前该领域的发展趋势如下： 1 ) 提高集成水平，即怎样把更多的功能电路集成到一个芯片上( s o c ) ， 以降低整个系统的成本； 2 )寻求优化动态补偿实现隔行转逐行算法，在提高图像质量的基础上减 小芯片面积，降低成本； 3 )视频数据输入界面正从模拟的v e s a 到全数字d v i 发展； 4 )在底端和低价位系统中，动态自适应性隔行转逐行没有被实现。但在 高端产品如p d p 中，此项技术是必须的，因为图像的质量是第一位 的。 l - 1 3 市场需求分析 根据市场预测，在未来的5 年以内各种类型的高端显示产品( l c d 、 p d p 、r p t v ) 将呈现强劲的增长。 c r t 目前仍处于主流地位，技术最成熟，产品性能价格比具有很高的竞 争力，今后的应用重点是投影电视和高清晰度电视，但c r t 技术必须进一步 第一章绪论 4 )像素的宽高比( 如视频源为正方形像素而显示器为长方形像素) i 5 )色度图的差异。 正是为解决以上格式上的差异，格式转换芯片才成为显示器系统不可或缺的 关键部l 牛。 1 1 2 国内外现状和技术发展趋势 视频幽像格式转换技术是当今信息领域的研究热点之一，以美国和台 湾公司为主相继推出多种芯片，象g e n e s i sm i c r e e l e c t r o n i c s ，g e n n u m c o r p o r a t i o n ，t r i d e m ，t r u m p i o n ( t a i w e n ) ，e l r o nt e c h n o l o g y ( t a i w e n ) ， m a c r o n i xi n t e r n a t i o n a l ( t a i w e n ) ，p h i l i p ss e m i c o n d u c t o r ，s u n p u st e c h n o l o g y 等，但这些芯片都在一定程度上存在使用缺陷，国内在凌方面目前尚处丁起 步阶段。 目前该领域的发展趋势如下： 1 ) 提高集成水平即怎样把更多的功能电路集成到一个芯h 上( s o t ) ， 以降低整个系统的成本； 2 )寻求优化动态补偿实现隔行转逐行算法，在提高图像质量的基础上减 小芯片面积，降低成本； 3 )视频数据输入界面正从模拟的v e s a 到全数字d v i 发展； 4 )在底端和低价位系统中，动态自适应性隔行转运行没有被实现。但在 高端产品如p d p 中，此项技术是必须的，因为图像的质量足第一位 的。 1 1 3 市场需求分析 根据市场预测，在束来的5 年以内各种类型的高端显示产品( l c d 、 p d p 、r p t 7 ) 将呈现强曲的增长。 c r t 目前仍处于主流地位，技术最成熟，产品性能价格比具有很高的竞 争力，今后的应用重点是投影电视和高清晰度电视，但c r t 技术必须进一步 争力，今后的应用重点是投影电视和高清晰度电视，但c r t 技术必须进一步 第一章绪论 发展，着重开发大屏幕以及1 6 ：9 宽屏幕等技术。l c d 由于体积小、重量轻 和环保等优点，近年来发展迅速，主要应用在笔记本电脑、壁挂式电视和通 讯终端。p d p 显示性能优于l c d ，视角广、色彩丰富、结构工艺简单、易制 作大尺寸，主要应用于大屏幕壁挂式彩电，随着技术的发展其价格已有了大 幅度下降。 2 0 0 3 2 0 0 5 年中国高端电视机的整体市场销量将以每年平均9 5 6 的 速度稳步递增，尤其是在2 0 0 3 年和2 0 0 4 年，受到高端电视机整体价格水平 下降明显因素作用和国家数字电视试播的影响，中国高端电视机市场总量增 长速度较快。面对如此巨大的国内外高端视频终端市场需求，各种类型视频 图像格式转换芯片的需求量亦将呈现同比增长。 我国是电视、各类显示器生产大国。但是，此类产品中的关键芯片目前 全部被美国或台湾的芯片厂商所控制。自主开发该芯片对推动我国的i c 产 业和家电产业的健康、快速发展具有特别重要的意义。 成功地研发具有自主知识产权的格式转换s o c ，将打破国外公司在该 领域的垄断，有力地支持我国电视及相关产业的发展，将产生巨大的社会效 益和经济利益。 1 2 主要研究内容 1 2 1 概述 本项目的研发目标是一款新型多功能视频图像格式转换芯片，并开发 出一种可重构和再配置的s o c 平台以方便研发各类对成本和配置有不同要 求的面向p d p 、液晶、背投等薪型显示器的转换芯片。此s o c 将成为具有 独立自主知识产权的大规模集成电路产品，其各项性能指标将达到或超过世 界先进水平，国内领先。 该芯片将包括隔行转逐行、帧插入、行插入和点插入功能，并具有视 频图像处理，图像视频重迭( g r a p h i c so v e r l a y ) 芹1 1 人机对话界面等功能。该芯 片将是一款集成了数字信号图像处理，嵌入式m c u 以及大规模存储器于 第一章绪论 一体的s o c 。 1 2 2 研究目标 2 ) 3 ) 4 ) 研发一个司重构和再配置的s o c 平台( 包含面向p d p 和视频编辑系 统的高端应用和面向r p t v 、l c d 等的中低端应用的s o c 平台) ，根 据图像刷新率、扫描方式和分辨率的不同，在最大程度上支持其相应 的显示方式。经过参数配置，该平台将自动产生相应的r e g i s t e r t r a n s f e r - l e v e l ( r t l ) 级源代码、模拟仿真环境、c 模型、逻辑综合的 批文件以及最终的物理层设汁流程，从而提高效率，缩短芯片的研发 周期，实现大批量低成本的应用要求。 利用该平台研发一款能够适应大多数图像输入输出格式的芯片，以 适应p d p 、l c d 和r p t v 等不同类型的显示器。 该平台将应用并完善新型算法以实现对像素、行和帧等各级的最优 滤波、采样速率转变，以及基于帧内插值的边缘探测和动态自适应的 隔行逐行转换。 该平台的研发成功将满足国内在该领域的大量需求，填补图像格式 转换s o c 芯片的国内空白，并建立具有自主知识产权的i p 。 1 3 主要技术特点和创新点 1 3 1 主要技术指标和水平 支持8 位和1 0 位的数据输入； 内含广播质量的二维滤波，方便地实现放大或缩小功能。各维数均 可实现独立的和可编程的多相位滤波器，并具有完全可编程的系数 表和屏幕位黄； 第一章绪论 通过非线性缩放技术实现图像的比例校正( 例如比例为4 ：3 的内容以 1 6 ：9 的全屏模式显示) ； 支持最大到2 0 4 8 15 3 6 的输入输出图像分辨率； 高质量的帧场内插值，包括边缘探测，以去除阶梯效应； 用基于帧的上采样和下采样技术实现不同刷新率图像之间任意转 换。( 现有的方法采用3 ：2 下拉，只支持有限的转换) ； 基于帧的内插法以实现帧场分离( 逐行到隔行转换) ； 消除隔行显示扫描线闪烁； 利用双层控制寄存器实现实时操作； 可以灵活支持r g b y u vc 4 ：2 ：0 ，4 ：2 ：2 ，4 ：4 ：4 ) 分量输 入和分量串行输入，以及其它通用的视频界面格式，如d i g i t a l v i s u a l i n t e r f a c e ( d v i t m d s l 和v i d e o e l e c t r o n i c s s t a n d a r d s a s s o c i a t i o n ( v e s a ) ； 所有处理单元的都是完全可编程，并符合流行的工业标准( 准备采 用1 2 c 标准) ； 支持视频旁路模式。； 采用图像增强模式：包括对比度增强，噪声抑制，g a m m a 修正和 可编程输出增益控制等； 可编程背景色生成； 提供与外部常见s d r a m 或d d rs d r a m 的无缝接口； 内含o s d ( o n s c r e e n d i s p l a y ) 功能和一个8 或1 6 位的m c u 以及 用于暂存扫描线数据的大规模存储器。 1 3 2 创新点、关键技术、专利和知识产权 本项目的主要创新点有： 动态自适应隔行转逐行算法，具备像素级动态探测以及帧场内插值 的功能。将申请美国及中国专利： 事件( 或任务) 驱动双层控制寄存器结构。将申请美国及中国专利； 第一苹绪论 参数化的s o c 重组和再配置方法和平台。将申请美国及中国专 利； 基于图形最相近化原理的边缘探测算法。将申请美国及中国专利； 单芯片架构以实现显示器所需控制功能； 国内具有自主知识产权的显示器s o c 控制芯片。 1 3 3 技术工艺路线 在项目实施中，为缩短研发周期降低风险，共分为两步完成：首先，根 据所提出的s o c 系统的所有功能，开展设计、仿真，所有功能均由f p g a 实现；在系统级、结构级、芯片级通过f p g a 完全验证且芯片功能最后确 定后，将面向s o c 芯片的开发，采用某一工艺技术，批量生产。 在项目中，我们构建了一个结构、设计、建模、验证、综合和物理设 计可以完全链接在一起的开发环境和平台。根据用户的要求，选择芯片的特 征参数集合，其将自动产生不同设计阶段所需要的文件。这将大大改善专用 芯片的研发效率和时间周期。 对于隔行逐行转化技术，我们将开发具有独立知识产权的先进算法， 这是本方案所提出技术的关键。同时需要开发良好的动态补偿和边缘探测算 法。对于高质量的帧速率转化，我们采用真速率转换方法( 而不是帧剪切或 复制) ，我们需要使这一方法更经济有效，风险低。 第二章系统基本结构 第二章系统基本结构 2 1 系统概述1 1 7 i i ”】 图2 一l 图像格式转换芯片系统架构 2 1 1 芯片组成 如图2 1 所示，粗虚线框内为格式转换芯片核，主要由以下几个部分组 成： a d 部分：用来将外部电视( p a l ，n t s c ) 模拟y u v 信号或计算 机模拟r g b 信号数字化； 第二二章系统基本结构 数字处理部分：对完成y u v 到r g b 转换和隔行转逐行算法的电 视r g b 信号和计算机r g b 信号进行尺寸缩放处理、伽马校正、对 比度和色度调节以及去抖动和o s d 的叠加： 1 2 c 接口：用来实现m c u 对内部各模块的控制； o s d 部分：提供良好的人机交互界面。 2 1 2 主要芯片指标 视频源： 支持不同制式的电视视频信号输入( y u v ) ：n t s c ( 6 4 0 4 8 0 ) ，p a l ( 7 6 8 5 7 6 ) 支持v g a ，x g a 的计算机模拟r g b 信号 y u v 处理部分 数字y u v 到r g b 转换 视频格式处理部分( 如图2 2 ) ：一一一一一。一一一一。： ；视频格式处理l 图2 2 ：格式处理 隔行转逐行算法( 针对电视视频信号) 水平和垂直方向上的比例缩放 不同帧频间的转换 其他处理( 见图2 一】) r g b 亮度调节 r g b 对比度调节 伽马校正 视频模式识别( 电视制式，计算机显示格式) 水平和垂直同步的探测 第二章系统基本结构 o s d 1 2 8 个r o m 格式的1 6 1 6 的字符 6 4 个可编辑的r a m 字符 支持单窗口o s d 显示 支持可编辑的字符闪烁功能 支持字符不透明效果 支持1 6 种o s d 面板前景和后景颜色的选择。 m c u 接口 支持1 2 c 总线 显示终端 支持单像素显示 内建显示时钟的控制 显示分辨率达x g a1 0 2 4 7 6 8 6 0 h z 2 2v g a 信号的转换电路0 2 l j 对于来自p c 机的v g a 信号，需要将其r 、g 、b 模拟分量经过a d 转换后成为各为8 b i t 的r g b 数字信号，然后将这2 4 b i tr g b 信号送入 显示格式处理单元进行相应的处理，最终输出显示器可接受的数据格式。 在本系统中，v g a 信号转换电路的核心器件选用了a d 9 8 8 3 a 。它是 a n a l o gd e v i c e s 公司生产的三路高速8 位a d 转换：吝片，专门设计用于 r g b 图形视频信号的数字化。其转换速率高达1 4 0m s p s ，能支持的显示 分辨率达s x g a ( 1 2 8 0 1 0 2 4 ，7 5h z 帧频) ，因此它有足够的输入带宽来精确 地数字化每个像素。同时，使用其可编程的内部锁相环( p l l ) 能方便地从 v g a 同步信号中提取a d c 采样时钟。 a d 9 8 8 3 a 的特点为： 高速8 b i ta d 转换，转换速率高达1 4 0m s p s ； 3 0 0 m h z 模拟带宽； 低功耗( 3 3 v 供电，典型功耗为5 0 0 m w ) ； 支持的显示分辨率达s x g a ( 1 2 8 0 1 0 2 4 ，7 5h z 帧频) ； 模拟输入范围：0 5 v 1 0 v ； 第二章系统基本结构 1 2 c 总线编程： 图像有效区域自动定位 增益可编程调整。 图2 - 3 即为a d 9 8 8 3 a 的功能框图 r a i n 图2 - 3a d 9 8 8 3 a 功能框图 r o o t a g o u t a b o u t a 嘲i o s c v d 1 阻c k h s o u t v s o u t s o g o u t r e f 8 y p a s s 其中r a i n 为模拟r g b 信号的r 输入；g a i n 为模拟r g b 信号的g 输 入；b a i n 为模拟r g b 信号的b 输入。 h s y n c 和v s y n c 为水平同步和垂直同步输入信号。 c l a m p 为外部箝位输入信号，主要用于控制输入信号被筘位至低电平 l l 絮嚣 第二章系统基本结构 的时间。 s d a ，s c l 分别为1 2 c 总线的时钟线和数据线。 r o u t ，g o u t ，b o u t 分别为8 位数字r o b 信号输出。 h s o u t 和v s o u t 为水平同步和垂直同步输出。 2 3 视频转换电路2 0 1 本节将介绍系统的前端电视信号处理部分，即用电视解码芯片把c v b s 或s - v i d e o 信号解码成数字y u v 信号。 本系统中选用的电视解码芯片( v i p ) 是p h i l i p s 公司的s a a 7 1 1 1 a 它 在s a a 7 1 1 1 的基础上增加了对s e c a m 制信号解码的功能。两者只是在内 部寄存器上稍有差别外，其他功能和管脚都相互兼容。 它的主要特点是： 支持四路模拟输入，可以是四路c v b s 信号或两路s - v i d e o 信号或 一路s - v i d e o 和两路c v b s 信号； 有两个模拟通道，对每个通道可以选用可编程的静态增益或自动增 益控制： 可以作开关切换的白峰控制： 有两个内建的模拟防混叠滤波器以及两个8 b i t 视频a d 变换器； 内建数字锁相环，用于行同步处理和时钟的产生； 自动检测5 0 6 0 h z 场频，并自动在p a l 和n t s c 制之间切换。支 持对p a l b o h i 和p a l n ，p a l m ，n t s c m ，n t s c n ，n t s c j a 队n 和 s e c a m 制信号的亮度和色度处理； 用户自编程的亮度峰值控制和孔径校正； 对于n t s c 制信号使用色度梳状滤波器来减少色间串扰，对于p a l 制信号使甩延迟线来校正p a l 相位失真； 在片的亮度，对比度，饱和度控制。 第二章系统基本绐构 图2 4s a a 7 1 1 1 a 系统框图 s a a 7 l l l a 内部建有一个双通道模拟预处理电路( 包括输入信号源选择 电路、限制输入信号带宽以防止混叠的滤波器、a d 变换器) ，自动箝位和 增益控制电路，时钟发生器电路，多制式解码器，以及一个用干r g b y u v 转换的色空问矩阵。解码器的工作是基于锁定行频时钟的解码原理， 从而可以把p a l ，n t s c ，s e c a m 制信号解码成c c i r 6 0 1 c c i r 一6 5 6 兼 第二章系统基本结构 容的色分量值。s a a 7 l l l a 还提供一个1 2 c 接口，用于和外接主控芯片相连 接，从而可以对其内部的寄存器进行读写操作。s a a 7 1 1 l a 的内部框图如图 2 - 4 所示。 其中，a 1 1 l ，a 1 1 2 ，a 1 2 1 ，a t 2 2 是模拟输入端，可以分别输入四路c v b s 信号或两路s - v i d e o 信号或者两路c v b s ，路s - v i d e o 信号。但s a a 7 1 1 1 a 一次只能处理路输入视频。输入源的选择由寄存器r e g 0 2 h 控制。 i i c s a 是1 2 c 从地址选择输入端。如果连到地，芯片的1 2 c 的读地址为 4 9 h ，写地址为4 8 h 。如果连到电源，芯片的读地址则为4 b h ，写地址为 4 a h 。 s d a ，s c l 分别为1 2 c 总线的时钟线和数据线。 t d o ，t d i ，t m s 用于边缘扫描检测用途。 a 。是模拟测试输出，用于测试模拟输出通道。 l l c ：行锁定时钟( 2 7 m h h z ) 。l l c 2 ：1 2 的行锁定时钟。 c r e f ：时钟基准输出。 r e s ：r e s e t 输出( 低有效) ，当r e s e t 为低时，所有的数据输出端 都进入三态状态，且1 2 c 也被复位。用于复位其后的数字图像处理系统。 c e ：芯片使能。当连到地时，将强制复位。 h s ：位置可编程的行同步输出。 v s ：场同步输出。 h r e f ：行基准输出信号。用于表明y u v 总线上的数据是否有效。 v p o ( 0 - 1 5 ) ：数字视频输出口。输出格式由o f t s i ，o f t s 0 来控制。 f e i ：快速使能输入，用于控制v p o 总线的快速切换，低有效。 2 41 2 c 协议简介0 1 8 j 由于在整个硬件系统中用到的集成芯片都提供了1 2 c 总线接口，因此在 整个设计中1 2 c 接口的设计是十分重要的一个组成部分。 第二章系统基本结构 2 4 11 2 c 总线的基本概念 1 2 c 总线是p h i l i p s 公司推出的芯片间串行传输总线，它以二根连线实 现了完善的全双工同步数据传送，可以方便的构成多机系统和外围器件扩展 系统。1 2 c 总线支持任何i c 生产过程( n m o s 、c m o s 、双极性) 。两线一 串行数据s d a 和串行时钟s c l 线在连接到总线的器件间传递信息。每 个器件都有一个唯一的地址识别( 无论是微控制器，l c d 驱动器，存储器 或键盘接口) ，而且都可以作为一个发送器或接收器( 由器件的功能决定) 。 举例来说，很明显l c d 驱动器只是一个接收器而存储器则既可以接收又可 以发送数据。除了发送器和接收器外，器件在执行数据传输时也可以被看作 是主机或从机( 见表2 1 ) 。主机是初始化总线的数据传输并产生允许传输的 时钟信号的器件，此时任何被寻址的器件都被认为是从机。 术语描述 发送器发送数据到总线的器件 接收器从总线接收数据的器件 主机初始化发送产生时钟信号和终止发送的器件 从机被主机寻址的器件 多主机同时有多于一个主机尝试控制总线但不破坏报文 仲裁是一个在有多个主机同时尝试控制总线但只允许其中一 个控制总线并使报文不被破坏的过程 同步两个或多个器件同步时钟信号的过程 表2 - 11 2 c 总线术语的定义 2 4 21 2 c 协议的基本工作原理 1 2 c 总线是一个多主机的总线，这就是说可阱连接多于一个能控制总线 的器件到总线。图2 5 是一个典型的1 2 c 总线应用系统。 由当时数据传输的方向决定传输数据的过程如下： 假设微控制器a 要发送信息到微控制器b 微控制器a ( 主机) 寻址微控制器b ( 从机) 第二章系统基本结构 微控制器a ( 主机) 发送器发送数据到微控制器b ( 从机) 接收 器 微控制器a 终止传输 如果微控制器a 想从微控制器b 接收信息 微控制器a ( 主机) 寻址微控制器b ( 从机) 微控制器a ( 主机) 接收器从微控制器b ( 从机) 发送器接收数 据 微控制器a 终止传输 甚至在这种情况下主机微控制器a 也产生定时而且终止传输。 连接多于一个微控制器到1 2 c 总线的可能性意味着超过一个主机可以 同时尝试初始化传输数据，为了避免由此产生混乱发展出一个仲裁过程，它 依靠线与连接所有1 2 c 总线接口到1 2 c 总线，如果两个或多个主机尝试发 送信息到总线，在其它主机都产生0 的情况下，苒+ 先产生一个1 的主机将 丢失仲裁。 图2 5 使用两个微控制器的1 2 c 总线配置举例 在1 2 c 总线上产生时钟信号通常是主机器件的责任。当在总线上传输 数据时，每个主机产生自己的时钟信号，主机发出的总线时钟信号只有在以 下的情况才能被改变：慢速的从机器件控制时钟线并延长时钟信号或者在发 生仲裁时被另一个主机改变。 第二章系统基本结构 s d a 和s c l 都是双向线路，都通过一个电流源或上拉电阻连接到正的 电源电压，当总线空闲时这两条线路都是高电平。连接到总线的器件输出级 必须是漏极开路或集电极开路才能执行线与的功能。1 2 c 总线上数据的传输 速率在标准模式下可达1 0 0 k b i t s ，在快速模式下可达4 0 0 k b i t s ，在高速模 式下可达3 4 m b i t s ，连接到总线的接口数量只由总线电容是4 0 0 p f 的限制 决定。 2 4 31 2 c 协议的工作时序 1 2 c 总线具体信号传输只需s d a 数据和s c l 时钟两根线，其中的s d a 数据线用来传输各控制信号的数据及这些数据占有的地址等内容，s c l 时 钟线用来统一主控器件与被控制器件的之间的时序。 依据1 2 c 总线的传输协议，总线工作时的具体时序图2 - 6 如示： 一一!i 一一? s d a1 _ f 叵二 口c 一】= 口 ：厂_ r 1 筑。1 丁乙n ，讥， 盯 s l a r | t a c k s t “ c o n d i t i , c x lc o n d i t i o n 图2 - 6 1 2 c 总线工作时序 起始信号( s t a r tc o n d i t i o n ) ：在时钟s c l 为高电平期间，数据线 s d a 出现由高电平向低电平的变化，用于启动1 2 c 总线，准备开 始传送数据。 停止信号( s t o pc o n d i t i o n ) ：在时钟s c l 为高电平期间，数据线 s d a 出现由低电平向高电平的变化，用于停止1 2 c 总线上的数据 传送。 应答信号( a c k ) ：1 2 c 总线的第9 个脉冲对应应答位，若s d a 总线 上显示低电平则为“应答”( a ) ，若s d a 线上显示高电平则为 “非应答”( a ) 。数据传输必须带响应，相关的响应时钟脉冲由 第二章系统基本结构 主机产生，在响应的时钟脉冲期间发送器释放s d a 线，在响应的 时钟脉冲期间接收器必须将s d a 线拉低，使它在这个时钟脉冲的 高电平期间保持稳定的低电平。通常被寻址的接收器在接收到的每 个字节后必须产生一个响应( 应答信号) 。当从机不能响应时( 例 如它正在执行一些实时函数不能接收或发送，从机必须使数据线保 持高电平) ，主机然后产生一个停止条件终止传输或者产生重复起 始条件开始新的传输。 数据传送：1 2 c 总线起始信号或应答信号之后的第1 8 个时钟脉 冲对应一个字节的8 位数据传送。在脉冲高电平期间，数据串行传 送；在脉冲低电平期间，数据准备，允许总线上数据电平变化。发 送到s d a 线上的每个字节必须为8 位，每次传输可以发送的字节 数量不受限制，每个字节后必须跟一个响应位。首先传输的是数据 的最高位( m s b ) 。如果从机要完成一些其它功能后( 例如一个内 部中断服务程序) 才能接收或发送下一个完整的数据字节，可以使 时钟线s c l 保持低电平迫使主机进入等待状态，当从机准备好接 收下一个数据字节并释放时钟线s c l 后数据传输继续。 第三章视频玄隔行算法研究 第三章视频去隔行算法研究 3 1 去隔行问题的提出 在当今的广播系统中，绝大部分的视频信号是隔行采样的。采用这种扫 描格式，能够大幅度地减少视频的带宽，但同时图像的主观质量又不会下降 太多。这是因为它巧妙地利用了人眼的一个视觉特性，即：相比大区域的闪 烁，人眼对于局部细节的闪烁较为不敏感。因此，对于两个具有完全相同带 宽的视频信号3 0 h z 逐行与6 0 h z 隔行，人们会明显觉得后者看起来更 舒服。 隔行扫描方式的引入成功地缓解了视频系统对带宽的要求，但同时它也 给很多视频处理工作，如格式转换、运动估计、压缩编码等，带来了更多的 难度。因此视频去隔行就成了许多视频处理系统中的一个重要组成部分。下 面，我们用图示与数学表达式这两种方法来定义视频去隔行的任务。 图3 ，1 是隔行转逐行的示意图。其中，实心的圆点表示每一场中的己知 信号，而空心圆点表示每一场中待求的点。而隔行转逐行的任务就是根据场 中己知点求得未知点的信息。 我们也可以用公式( 3 1 ) 表达为： 届( x ，行) = f ( x , n ) , ( x 2 m o d 。2 。砌。d 2 ) ( 3 1 ) 其中x = ( x l ，。2 ) 为像素点的坐标矢量，x 2 为垂直坐标，n = ( 一2 ，一1 ，o ，1 ，2 ) 为各场的序号，f ( x ，n ) 为各隔行场中原有的像素值，f j ( x ，n ) 为各场中新插入 行的像素值。f o ( x ，n ) 为最后输出的逐行图像的像素值。 第三章视频去隔行算法研究 y 图3 1 隔行转逐行示意图 3 2 常用的隔行转逐行算法4 1 1 3 4 1 3 2 1 线性滤波算法 x 线性滤波算法，最早出现在上世纪7 0 年代末，具有简单易实现的优 点，仍在计算机图形显示领域内被广泛应用。其基本思想是，各场中需要补 齐的像素点等于它的若干相邻点的加权和。用公式表达为： f ( x ，”) ，( x 2m o d 2 = n m o d 2 ) f , ( x + k u y ，n + m ) h ( k ，m ) ，( o t h e r s ) ( 3 2 ) ( a ，小f ，一1 0 1 k ( + m ) r o o d 2 = 1 ) 其中，u ，= ( 0 ，x 2 ) 为垂直方向上的单位向量，h ( k ，m ) 为加权系数。 n = ( ，一2 , - 1 ，o ，1 2 ) 为当前场的序号，m 为参与当前场隔行转逐行运算的相 邻场序号。从上式可以看到，线性滤波的相邻点包括两类，即同一场上的相 邻像素( 空间相邻点) 以及相邻场上的像素( 时间相邻点) 。对于相邻点的 分类就引出了三种不同的滤波器类型：空问滤波( s p a t i a lf i l t e r i n g ) ，时间 第三章视频去隔行算法研究 滤波( t e m p o r a lf i l t e r i n g ) ，以及时一空滤波( s p a t i a l t e m p o r a lf i l t e r i n g ) 。 3 2 1 1 空间滤波( s p a t i a lf i l t e r i n g ) 所谓空间滤波，就是在求取未知点的时候只使用同一场内相邻点的信 息。最简单的空间滤波就是扫描线重复( l i n er e p e t i t i o n ) ，即一场中未知的 像素点直接取它上面相邻点的值。如果用公式( 3 - 2 ) 的形式来表示的话，那 就是取h ( 一1 ，0 ) = l ，而其它所有的h ( k ，m ) 都为0 。一种稍微复杂一 点的形式为线平均( l i n ea v e r a g i n g ) ，即未知的像素点等于其上下两个相邻 已知点的值的平均。即：h ( 1 ，0 ) = h ( 1 ，0 ) = o 5 ，而其它所有的h ( k ， m ) 都为0 。空浏滤波有一个共同的特点，即它们在时间频率方向上是全通 的，这说明使用空间滤波器不会造成视频运动信息上的损失。但是，由于其 频谱在垂直方向上的低通形状，使得视频信号在垂直方向上的一些高频分量 被抑制，从而降低了图像在垂直方向上的清晰度。 3 2 1 2 时间滤波( t e m p o r a lf i l t e r i n g ) 与空间滤波正好相反，时间滤波器就是使用所有相邻场内的点来求取当 前场的未知像素。最简单的时问滤波就是场重复( f i e l dr e p e t i t i o n ) ，即一 场中未知的像素点用上一场对应的已知像素值来代替。如果用公式( 3 2 ) 的 形式来表示的话，我们取h ( 0 ，1 ) = 1 ，而其它所有的h ( k ，m ) 都为0 。 如果视频中没有运动的话，这一滤波器就是最优滤波器。 时间滤波器在垂直方向上是全通的，回此不会造成图像垂直清晰度上的 损失，但其在时间频率上的频谱的衰降，会造成视频运动信息的损失。 3 213 时空滤波( s p a t i a l - - t e m p o r a l f i l t e r i n g ) 所谓时空滤波，就是在计算像素点的值的时候综合考虑空间邻点与时间 邻点。从理论上说，如果视频信号满足采样定理，即其频谱没有混叠的话， 那么使用时空滤波器就能完美地从隔行信号恢复出逐行信号。一个常用的时 空滤波器的系数为： j 1 , 8 ，8 ，1 ，( t = 一3 , - 1 ，1 ，3 ) n ( m = 0 )，。 1 8 h ( k ，所) = 一5 ，1 0 ，一5 ，( i = 一2 , 0 ，2 ) n ( m = 0 ) 【o ( o t h e r s ) 2 0