（电子科学与技术专业论文）便携数字视频转换及显示装置研究.pdf

摘要 目前主流的数字相机都配备c a m e r al i n k 标准接口，为接收o u n e r al i n k 标 准相机信号使用专门c a m e r a l i n k 八口的图像采集卡通过p c i 接口与p c 机相连 形成有效的信号接受通路。本文提出针对该类接口数字相机的一种便携图像显示 方法，将原始相机信号变换成装置适应的相机信号，最后在装置配备的液晶显示 器上显示。 在数字视频应用过程中，依据分辨率和帧频差异产生众多视频制式标准。本 文主要研究针对工业数字相机输出的来经过各种编码算法的原始视频数据使用 文中算法将相机输出视频图像变换成可显示的特定一种视频标准着重分析了变 换算法的理论依据，并举例说明转换机制。 本文使用低压差分信号解码芯片组将低压差分信号解码成l v n l 信号利 用f p g a + s d r a m 建立实验平台在f p g a 内部搭建系统以完成整个功能的实 现用c m 0 s 相机模拟c a m e r al i n k 相机完成图像显示实验给出实验效果及分 析。 关键词：c a m e r al i n k 标准插值视频标准变换 a b s t r a c t n o w a d a y s m o s td i g i t a lc a m e r ai se q u i p p e dw i t hc a m e r al i n ks t a n d a r di n t e r f a c e t h ei m a g ea c q u i s i t i o nb o a r di su s e dt oc a p t u r et h es t a n dc a m e r a s i g n a lf r o mc a m e r a l i n kb yc o n n e c t i n gt h ec a f l e r aa n dt h ep cw i t hp c ii n t e r f a c e1 1 1t h i st h e s i san e w p o r t a b l et e c h n o l o g ) rf o rc a m e r al i n ks i g n a l sa n dd i s p l a y si si n t r o d u c e di tc a nb eu s e d t oa n yk i n do f c a m e r al i n kt od i s p l a yt h es i g n a li nt h e o r e t i c a l l y i nt h et h e s i s t w os o l u t i o n sa r ef i g u r e do u tf o rt h eb a s i cp r o b l e mo f d i g i t a lv i d e o c o n v e r s i o n ：o n ei st h ec h o o s eo f t h ep o s i t i o nt oi n t e r p o l a t i o n 卸o t h e ri st h em e t h o dt o g e tt h ev a l u eo ft h ep l x e lm e a n w h i l e b yc o m p a r i n gt h ei n t e r p o l a t i o na l g o r i t h m s u s u a l l yu s e di nh a r d w a r er e a l t i m eo p e r a t i o n t h em o s ta p p r o p r i a t ea d g o f i t h mf o rt h i s a r t i c l esr e q u i r e m e n ti sc o n c l u d e dv i ae x p e r i m e n t s t h e s y s t e ma l g o r i t h m i s s u p p o r t e db y t h e s t r u c t u r e o f s i l m 却一c h i p f p g a + s d r a ma n du s ec m o sc a m e r at oc o m p l e t et h ed i s p l a yo l lt h el c d k e y w o r d s ：c a m e r a l i n ks t a n d a r d i n t e r p o l a t i o n v i d e os t a n d a r d s c o n v e r s i o n 目录 摘要 a b s t l a c t 目录 第一章绪论 11c a m e r al i n k 数字相机现状 l _ 2 数字视频标准变换技术背景 1 3 课题的提出及意义 】4 主要研究内容 第二章数字视频转换原理综述 2 1 数字视频的参数 2 2 视频转换综述 2 3 适应硬件的插值算法 2 4 小结 第三章数字视频标准变换分析 3 1 分辨率变换插值 3 2 帧频转换插值 3 3 像素、转换系数的选取 3 4 色域转换 3 5 实验与分析 36 小结 第四章数字视频转换装置硬件设计 4 1c a m e r al i n k 解码器 4 2 视频转换装篝的f p ( ；a 设计 43l e d 显示单元 44 本章小结 第五章数字视频转换显示实验 ji 处理器f p g a 介绍 52 系统硬件调试 53 视频转换实验 j4 实验分析 55 本章小结 第六章总结 61 论文完成的研究工作 62 未来展望 致谢， 参考文献 第一章绪论 11c a m e r al in k 数字相机现状 工业相机技术自诞生以来其在工业中的应用将人类从特殊岗位中解救出来，以电 子眼代替人跟的技术革新大大提高生产效率对安全生产可谓巨大进步。随着技术不 断发展，工业相机的应用已渗透到社会生产中的各个地方监控、医疗，航天、交通 等都有它的贡献。 从而数字相机也不断发展以满足社会生产更高性能的需要，随着工业相机输出图像 细节的丰富数据量增大采集图像速率提升，相机的输出接口为满足更高数据传输 速度先后由较早的u s b 20 ，13 9 4 发展到现在的c a m e r a l 砒、千兆网o i g e 以至未来 的c a m e r a l i n k 2 、u s b 3 0 、h s u n k 等4 传输速率从u s b 2 0 的4 8 0 m b p s 到现在g i 吐 的1 0 0 0 m b p s 束来u s b 3 0 速率达到5 g b p s ，作为当前相机主流接口的c a m e r al i n k 速率大约为8 5 0 m b p s ，h s - l i n k 是它的四倍，c a m e r al i n k2 则有可能达到4 0 g b p s 。 c a m e r a l i n k 作为当前唯真正点对点相机接口，成为蕞重要的相机标准接口之一。 早在十年前该标准就允许以最大大约8 5 0 m b s 的数据率将数据直接传输到p c 采集卡 一端。c a m e r a l i n k 标准规定了接口模式、相机信号、端口配置、图像数据位配置、连 接器引脚定义及连接线、标准接收器芯片组等内容，这使得工业数字相机的数据接口 输出可以采用更少的线数，连接电缆更容易制造，且更具有通用性，传输距离更远。 目前来说c a m e r al i n k 数字相机的分类常常按照以下4 娄标准划分相机种类： 按芯片技术分类可以分成c c d 和c m o s 相机；按靶面类型可以分成面阵相机和 线醉相机：按照信号输出模式可以分成模拟相机和数字相机；按照相机数掘输出 模式可以分成彩色相机和黑白相机。 相机制造商d a l s a 最新推出的f a l c o nh g 系列三款机型配各d a l s a 高质 c m o s 成像芯片满足诸多行业对相机产品的需求比如电子，半导体检测工业测 量( 计算) 和其他机嚣视觉血用领域。而s p y d e r 3 c o l o r 彩色取线阵相机是d a l s a 公 司针对更高图像质量及更加严格的成本控制视觉行业量身打造，诸如食品、瓷砖和纸 张检测棉纺，食物，药品和烟草检测再利用分类色选等行业。 而在c a m e r al i n k 相机实现机器视觉的研发过程中，解码c a m e r a l i n k 信号需要使 用专门的图像采集卡及一定性能的p c 机。但在某些外场实验情况不具备c a m e r a “k 相机显示环境，所以迫切需要一个可携带的c a m e r a l i n k 相机显示效粜装置。 12 数字视频标准变换技术背景 要将相机的输出图像按照某种标准显示，就需要将相机输出的视频进行变换，变成 另外种格式输出。各种麴字视频系统，在不同应用和技术中对数字视频具有不同的 时空分辨率需隶，由此导致不同格式的存储、传输和显示数字视频的标准出现。数字 视频由一种格式变换至另一种格式的工作被称为：标准变换( s t a n d a r d s c o n v e r s i o n ) 问 题i 。 在过去几年里单片芯片集成度提高，数据处理能力增强同时伴随着国内i c 制 造生产线的完备，在数字电视技术推广的背景下，许多有实力的公司纷纷自行设计视 频转换芯片，解决模拟信号和数字电视机的兼容问题，产生许多在单片上实现的数字 视频处理芯片。在国内，视频转换领域出现一些高端的视频处理芯片比如1 9 9 4 年 西安交丈的数字视颇格式转换与专用集成电路立项后，历经6 年诞生国内首枚数字视 频转换处理芯片，之后随着2 0 0 0 年国家政镶鼓励和2 0 0 2 年国家重大科技专项的正式 启动国内i c 生产线的能力不断完备，覆盖从低端到高端的多种生产工艺，众多有实 力的公司也致力于视频标准变换处理芯片的设计上比如海尔“h i 2 0 1 1 ”，海信“信芯” 等。国际上，作为最早开发视频处理芯片的厂商之一的p h i l i p s ，在1 9 9 6 年推出了定位 于数字电视方便的产品t r i m e d i a ，蘸后又不断出现改进产品：而n 作为数字信号处理 芯片行业的老大也借着数字视频行业的机会，推出t m s 3 2 0 d m 6 4 x 系列数字信号处理 芯片占据视频处理的重要位置。 尽管国内设计i c 的技术条件已经成熟但自行设计专用芯片的高成本不是任何 个公司都能承担而且专用的芯片一般只针对几种固定功能设计，难咀大范围灵活使 用，在硬件上实现视频标准变换亟需一种更灵活的方式。f p g a 高集成度很高，它的硬 件可编程逻辑使它独具灵活，同时它可以完成极其复杂的时序与组合逻辑电路功能， 适用于高速、高密度的高端数字逻辑电路设计领域。f p g a 灵活和高速性弥补专用转换 芯片不足使在硬件上灵活实现视频标准转换成为可能。新型f p g a 规模越来越大， 成本越来越低，资源越来越丰富高端的f p g a 包古d s p 或c p u 等处理器内核使 f p g a 成为系统级的设计平台。同时与a s i c 的融合使f p g a 包含功能丰富的硬件内核 ( h a r d i p c o r e ) 并通过结构化技术加快占领部分a s i c 市场，使f p g a 正垤步成为复 杂数字电路设计的苜选器件。 在f p g a 上实现数字视频标准变换为小成本项目应用提供便利尤其在本文的情况 中使用f p g a 来实现数字视频标准变换是合理的选择。 t3 课题的提出及意义 由于c a m e r a l i n k 已经成为现阶段工业犬分辨率数字相机首选接e l 标准，专业国像 采集设备作为连接相机和计算机的桥梁已经成为不可或缺的部分。相机信号经过图像 采集卡之后传送给计算机，最后得虬在计算机中存储、显示、运算等。 如果任务需求只需要直观的显示相机信号，不需要进一步处理图像，上述设置就有 些臃肿所以针对这种情况提出基于数字工业相机的视频信号便携显示装置的课题。 在脱离计算机的工业相机显示上，目前有针对某一款相机的装置其利用一块主控 芯片同时做控制器和处理器完成视频信号接受、变换利用数模转换芯片柬完成输出 到外部显示器的显示o 。但在接入另外一款相机的时候需要重新设计代码。不具灵 活性。 针对以上不足，本文提出一款可以兼容多种相机的显示装置，此装置可以自动识别 信号格式并自动调整转换系数，最后送给由系统直接驱动的液晶模块显示。 1 4 主要研究内容 本文主要针对工业相机视频信号便携显示技术展开研究。使用系统配备的液晶作为 显示器件来显示c a m e r al i n k 相机图像。选定一种标准的数字视频作为视频源，围绕该 标准进行实验以及分析实验。 第一章主要夼绍了数字视频标准变换的背景及c a m e r al i n k 相机现阶段状况，说明 针对该类相机提出便携显示的优越性及前景。 第二章主要介绍数字视频变换的原理。因为不同应用，产生众多不同标准的数字视 频，本章总结目前较流行的数字视频标准，并简要概括对现阶段数字视频标准变换常 用的算法，根据算法消耗算法单元数，分成两类插值算法一类是易于硬件实现的插 值算法，另一类是不易于硬件实现的插值算接。 第三章着重分析易于硬件实现的插值算法在该类算法中较常用的是线性插值和就 近插值线性插值有物体轮廓模糊的缺点，而就近插值有锐化物体边缘的优点，结合 两者特点，通过判断是否为物体边缘再选择插值算法。同时提出视频标准变换问题的 解决方法，即插值的位置和插值的获取。 第四章主要介绍实验平台硬件结构，系统是由f p g a + s d r a m 组成的硬件平台 搭配l v d s 信号解码芯片组以及l c d 显示器件：分析了c a m e r al i n k 信号的特点及解 码原理，给出设计原理图提出针对板上l v d s 信号设计的信号完整性建议，并用示 波器抓取解码后的视频信号通过示波器观察解码后的信号主要有行同步帧同步 像素同步，像素数据及像素时钟组成。 第五章主要进行了硬件平台搭配相机的硬件调试及显示验证，本章电录了硬件调试 的过程并分析遇到的问题，给出调试步骤及实验结果利用信号成分与解码后工业相 机信号一致的c m o s 摄像头代替工业相机作为视频来源展开实验研究。 第六章是全文的总结及展望，总结全文的研究工作及下一步改进的方向，分析现有 研究工作的不足之处，提出针对性的改进方法及建议希望后续的工作中可以把无失 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 。_ _ 。_ _ 。_ 。_ 。_ _ _ _ 。_ _ 。_ 。_ 。_ _ _ _ 。_ _ 。1 。 i 真缩放技术应用到本装置中，搭配高性能的处理器，提高系统的运算能力和运算速度， 再结台便携机对电源的特殊需要将蓄电池设计整台到一起，实现真正的脱离计算机显 示终端。 第二章数字视频转换原理综述 数字视频标准变换有使用p c 机软件方法来完成一种视频标准变换到另一种视频 标准还有一种用硬件措建平台完成视频标准变换。前一种变换在本文中称为基于软 件的视频标准变换。多为一种压缩标准变换为另一种压缩标准，如r m v b 到珥的 变换。后一种变换称为基于硬件平台的视频标准变换，具有实时性的特点，处理数据 多为相机输出的实时图像对硬件时序有很高要求。本文主要研究基于硬件平台的标 准变换。 在当前数字视频行业中，由于不同方面的需要产生了各种不同的数字视频标准而 目前较流行的部分数字视频分辨率标准为表2 - i 所列，尤其自从数字电视技术诞生以 来。数字视频标准转换技术逐渐成为热点。纵观相关文献内容，当前基于硬件平台的 标准变换主要有以下两种途径实现： 1 自主研究视频变换芯片： 2 通过可编程逻辑器件。 前者需要实力雄厚的公司或科研单位才可以完成，往往开发出来的芯片是某一场合 的特定使用；后者利用可编程逻辑器件完成标准变换随着可编程逻辑器件性能不断 提高成本不断降级，这种方法已经被广泛用于中小型项目中。 基于可编程逻辑器件的标准变换，因为具有实时效果，所以在选择算法的时候需要 考虑算法的时效性和硬件资源占用率，好的实时算法应具有硬件资源占有小，算法效 粜好的特点。本章着重分析当前视频标准变换算法的背景及特点。 数字视频始于静态图片，连续静态图片按照一定速度就彤成连续、连贯的运动图 像。不同图片分辨率的大小以及每秒图片的数量形成了千差万别的数字视频标准。 不同标准视频之间的变换，也主要围绕分辨辜和帧频展开。所以实现视频标准变换， 需要完成分辨率变换和帧频变抉。分辨率变换还分为水平分辨章变换和垂直分辨率变 换，其中帧频变换是在时f b j 上的变换，即在一个未知时间点产生一帧图像，分辨率变 换是像素空间的变换即在像素空间中未知点产生一十像素。 21 数字视频的参数 视频图像的垂直分辨率：该参数表明一帧图像的扫描行数。行数越大垂直分辨率 越高，相反则越低。 视频圈像的水平分辨率：该参数表明视频图像一行上的像素点数，决定视频的水平 清晰度像素点数越多水平分辨率越高细节表现力越强相反6 越低。 视频图像的帧频：该参数表明视频图像每秒钟播放的静态图像数，即视频在时间上 的图像密度帻频越大视频图像越连贯平滑相反则否 表2 - 1 计算机处理中部分敷字视频分辨率标准定义厦名称 名称有救像素数有效分辨宰 q q c i f 6 3 3 68 8 7 2 s u b q c i f 1 2 2 8 81 2 8 x 9 8 q q v g a 1 9 2 0 01 6 0 】2 0 o c i f1 7 6 1 4 4 0 v g a 7 6 8 0 03 2 0 2 4 0 3 5 2 x 2 8 8 v o a3 0 7 2 0 0 6 4 0 4 8 0 ( v i d e og r a p h i c a r 。y ) s v g a4 8 0 0 0 0 8 0 0 x 6 0 州s u p e r v i d e o g r a p h i c a r r a y x g a ) 8 6 4 3 2 1 0 2 4 7 6 8 ( e x l e n d e dg m p m a m y ) x w g a1 0 2 4 0 0 0 1 2 8 0 x8 0 0 s x o a 1 2 8 0 1 0 2 4 f $ u p e r e m e n d e d p a r r a y ) u v g a1 2 8 0 9 6 0 s x g a p l u sj 4 7 0 0 0 01 4 0 0 1 0 5 0 u s v g a】9 2 0 0 0 0 1 6 0 0 1 2 0 0 2 0 7 3 6 0 0 1 9 2 0 x 1 0 8 0 2 3 0 4 0 0 0 1 9 2 0 1 2 0 0 s u v g a2 7 6 4 8 0 01 9 2 0 1 4 4 0 u x v g a3 1 4 5 7 2 8 2 0 4 8 1 5 3 6 u w x g a4 0 9 6 0 0 02 5 6 0 x1 6 0 0 u s x g a 5 2 4 8 8 0 2 5 6 0 2 0 4 8 表2 1 是计算机世界中规定的部分数字视频分辨率标准定义及名称。而一定速率 的图片就可以成为一种国标税频标准，比如v g a 的国际标准是每秒6 0 帧图片。 表2 - 2 是在广播电视领域中被制定的视频信号规格。 表2 - 2 广播领域中部分视频标准信号 有蛙分擗率 隔秆比 扫描行敷行频( h z ) 场颤( h z ) 7 2 0 x4 8 62 ：i5 2 51 57 5 6 0 6 4 0 x4 8 02 ：】5 2 51 5 7 5 7 6 8x57 6 2 ：】15 6 2 55 0 7 2 0 5 7 6】：】 6 25 3 1 - 2 5s 0 1 2 8 0 x7 2 0 1 ：16 0 1 9 2 0 x 1 0 8 02 ：13 3 7 5 在广播领域中考虑信号传输速度的原因，多将一幅图片隔行扫描来压缩带宽，方 便传输。 表2 - 1 和表2 - 2 可以看出，分辨率越大的图片有效像素越高，需要处理的数据就 越高对应的硬件趾理平台性能要求就越高。 22 视频转换综述 由以上参数介绍可知，视频问的差异主要在于分辨率和帧频的不同，实现视频转换 机制，要完成在空间上水平，垂直分辨率的转换和在时间上帧频的转换。 像素空间的标准变换，即图像分辨率的变换在数字图像处理技术中成为图像的缩 放，时间上的标准变换是帧频的提升和下降。 图像缩放是以图像分辨率为对象改变图像在水平和垂直方向上尺寸的过程。何时， 根据缩放前后两幅图像的比例关系图像缩放分为图像放大和图像缩小，同时伴随着 宽高比的变化。在信号处理角度讲，图像缩放的实现是利用备种数学模型把离散的 数字图像重建成帽应的连续信号，再采用另个频率对这个连续信号进行重采样。放 大和缩小在运算本质上也没有区别+ 制式放大时采用上采样缩小时采用下采样。 从变换效果的角度出发，得到傈护边缘信息的算法和不做边缘信息保护的算法。不 做边缘信息保护的算法，属于早期的算法比如几何变换、最近邻域法、双线性内插 算法、三次内插法及卷积法等这一娄算法在一定范围内计算精确度高，但在局部物 体边缘处会产生较大误差，优点是运算量小，复杂程度低，硬件易简单，不足是会在 放大时使边缘产生模糊，有明显的锯齿，影响视觉效果。另一类算法正是弥补边缘 模期的不足，该算法在图像放大时。采用一系列自适应方法，找出正确的边缘强度和 边缘方向同时要防止边缘误判避免错误引入人为边界，以减少物体边缘的锯齿模 糊从而提高了图像质量但是在不是物体边界的时候也运用相同的边缘运算法则， 势必增加运算时间产生不必要的浪费，不但运算时间增加，运算量加大，硬件还难 以实现“。 23 适应硬件的插值算法 231 插值算法原理 在理论上讲，插值算法与信息论中的采样定理，信号处理中的多抽样率信号处理、 滤波、信号重构理论、数学的逼近理论等理论密切相关。 在数字图像处理上讲，插值算法的实现可以看作是采样率自适应调整的过程。具体 米说，是由两步操作来完成的：第一，根据离散函数重构成一个连续函数，然后用不 同的采样频率来采样就可以得到不同分辨率。第二根据临近点的象素值柬估计采 样点的象素值。 囝21 只是概念的分解第一步算法的重构和采祥，实际上信号处理过程插值和重 采样在一个操作中完成。 氛 闰21 图像分辨率转化过程 第一步操作相当于确定了转换后图像像素点的位置但是像素点的值还没有算出， 第二步就是来计算像素点的值。例如，就一个二维图像来讲，该过程可以表述成离散 国像采样点和2 d 滤波器作卷积： s ( x y ) = s ( k ，f ) ：。h ( x ky ，) ， ( 2 - 1 ) 其中s ( s ，j ，) 代表插值点的值：s ( k ，) 代表采样点的值。通常对称可分离的核用于降低 计算的复杂程度： ：。h ( x ，y ) = h ( x ) h ( y ) 232 易于硬件实现的插值算法 ( 2 2j 在实时图像处理中常用的插值算法( 未作边缘保护) 有邻近插值法、就近插值法、 线性内插值法、立方插值法、样条插值法和卷积插值等插值方法“。其中还因为参与 运算的像素点数不同而分为简单插值算法和复杂插值算法。 倚单插值算法原理是利用原始图像上2 2 共4 个像素参与运算其中邻近插值法、 就近插值法、线性插值法就是这类算法。立方插值、样条插值、卷积插值等高级插值 方法则利用原始图像上4 x 4 的像素单元来实现运算量大精度也更高，所以称为复杂 插值算法。”。它们实现难易不同、效果不同，前者因为简单易实现，成为插值算法中 使用最多的算法后二者进行曲线拟合得到像素值，精度离效果好而使图像质量明显 提升。便于理解将二维空间上的图像降为一维空间来描述说明各自的特点。 临近插值涟，插值实现恩路是对于2 2 单元模块其中的某一点直接选取该点的 坐标和象素值为算法结果，即以2 2 规模的像素块为一个运算对象，取这个对象中第 一行第一列的点为结果像素的值。临近插值操作简单理解直观但是处理后的图像质 量有限，图像信息误差较大，优点是速度很快。 将憔近插值法稍微演变一下，2 2 规模的像素块为一个运算对象，按每个点值划 分为四个区域，所求的像素点在某个已知像索区域内就取该点像素的值。就是就近取 值法。如图2 2 所示将二维图像变换在一维空间上之后a 、b 是原始图像上的两个 点，而未知的像素点x 是待求的象索值。经过计算可趴确定x 与a 、b 的距离d j ，d 2 ， 经比较可以得出x 较b 点近一些，那么就将x 处的象紊值取为b 点的象素值。相同原 理类推在二维平面上未知像素点在2 x 2 矩阵中的位置离哪点最近，就将壤近的那个 像素点的值赋予未知像素点的值。 绉 圈22 就近取值法 如果说就近取值法是刀切的算法，不够准确，邪进一步演化，就是线性插值注 如图23 ，a 、b 两点之间被认为是直线变化的就是线性内插_ ；去。此时x 点的象素值 不是距离近像素的象素值而是一条线性函数在点x 的取值，该线性函数由a 、b 两 个点的象素值来确定。在二维平面上，需要在水平和垂直方向上计算两次线性插值， 最后得到结果像素。可以先做纵坐标方向的线性插僵得u 两个横坐标相同的象素值， 再对这两个像素做横坐标方向的线性插值最终得到目的像素。因为线性内插法需要 重构线性函数，所以计算量较前两个插值方法有所增加相应的结果图像的质量也有 明显提升，像素连续性好。但是在水平和垂直方向上的双线性插值具有低通滤波器的 她 图24 复杂插值方法 土文分析丁简单插值算法和复杂插值算法的各自特点，复杂算法需要参与运算的像 豢点数较多，算法精度较高，效果较好。简单算法需要参与运算的像素点数较少，运 算简单速度较快。考虑到算法在硬件上的快速性选用简单第一类插值算法作为硬 件插值主要算法；复杂插值算法消耗较多硬件资源及时问不易于硬件实现。 24 小结 本章主要介绍数字视频变换的原理及在数字标准变换中较常用的插值算法。因为不 同应用产生众多不同标准的数字视频，本章总结目前较流行的数字视频标准。并简 要概括对现阶段数字视频标准变换常用的算法，根据算法消耗算法单元数分成两类 插值算法，一娄是易于硬件实现的插值算法另一类是不易于硬件实现的插值算法。 在硬件实现的数字图像缩放中，以速度快、计算量小为原则所以在总结分析之后 将酋选算法定位在简单插值算法中。 第三章数字视频标准变换分析 视频标准变换是指视频中单幅图片分辨率的变换和前后图片时间甘j 隔的变换等t 对应的是图像的缩放和帧频变换，要完成这些变换，需要得到对应的变换系数t 即插 值运算的系数“。图像尺寸变换和每秒帧数变换的操作对象分别是空间上和时间上的 插值变换首先得到目标视频标准和原始视频标准之间的对应系数包括空间对应系 数和时间对应系数，时间对应系数包括一帧周期内像素数个数的变换t 空间对应系数 包括一个行周期内像素个数变换和一帧周期内行个数变换，然后视频标准变换单元则 根据这两个参数进行插值运算，就可以得到目标待显示的数字视频。 效果不错但是时间消耗多，运算器也消耗的多，硬件实现上较为困难，所以本文主 要研究易于硬件实现的简单插值算法。 在易于硬件实现的插值算法中，邻近插值法、就近插值法、线性插值法是比较常用 的插值算法它们的数学表达式模型如下所示”“。通常，可以用公式( 3 1 ) 来表示这 三种插值法，依据函数盯r ) 的不同，( 3 1 ) 可以表示不同的算法，衷3 - 1 别出了不同插 值方法对应的函数j ( z ) 。 0 。，= 4 1 8 1 c 】 ( 3 - 1 ) = s s ( 1 - v ) 】( 3 - 2 ) = 阮黝 ， c l = 睽j c ，4 ， 表3 1 各种插值法的函数表达式 算岳5 ( 神 邻近插值法 s = 怯未 就近插值法 叫x ) _ ：鬈曩； h 线性插值法 ( x ) = 1 - x 由表3 - 1 的各插值法的函数表达式可知不同插值法的原理。经过比较分析可得，邻 近取值硬件实现最简单但是图像走样严重，效果摄差所以在实际应用中价值有限。 就近取值法和线性内插法效果比较满意所蚍在实际应用中多采用这两种算法但是 他们又各有缺点，比如使用就近取值法得到的图像会产生断续但是边界清晰，使用线 性内插得到的图像会产生边界模糊但是图像连续困此，业界还提出结合两种算法的 优化算法，在图像物体边界的时候使用就近取值法，在像素平滑的时候使用线性内插 法的另外一种边缘保护效果内插法。它的s ( x ) 公式由( 3 - 5 ) 表示。它的运算公式( 3 6 ) 是由就近取值和线性插值得来，其中异舢。如公式f 3 - 7 ) 所示，s 似川和，忸) 如公式( 3 - 8 ) 和( 3 9 ) 所示。 s ( x ) _ i p , - 矧p , i 一黼值 限蚋 。一。 牌) n 。，i ：m 。 。， 说明：，= ，时州2 b w 一：y = j + l 时p ，一2 p n 州 s 阱熙： f 3 7 1 肿船鬣鼢愀沌吣m ，b 。， 根据就近取值法、双线性插值法和运动估计内插法的算法公式可以得出各自硬件实 现需要的运算器表3 - 2 ( 不考虑高级插值方法，故表格没有列出) 列出了三种方法在 处理个像素单元模块时候所需要的这三种硬件赉源的个数。 表3 2 就近取值发，线性内插法和运动估计插值法的硬件资源占用情况 算法比较器f 个数)乘法器( 个数)加法嚣( 个敷) 就近取值方法 2j无无 政线性插值方法 无】 63 l 政进的边缘保护效 63 果内插葬击 由表3 - 3 可看出，就近取值法所占用的资源只有两个比较器，而运动估计的算法要 消耗5 个比较器，6 个乘洼嚣和3 个加法器其次是线性插值法的乘法器消耗6 个，与 运动估计的算法一样多加法嚣消耗也与运动估计一致，比较器消耗0 。 下面介绍简单插值算法中备插僵法的特点。表3 - 3 出示了主要插值算法的优点和缺 点“。 表3 - 3 算法问优缺点比较 算法 优点告毛点 有跳跃，出现严重的 邻近插值法计算量小，易实现，连度快马赛克和走样像素 不连续。 计算量小，较简单易实现 就近插值法有跳跃像素不连续 速度快 计算量较太，速度较 线性插值法图像质量高、像素连续性好 - 艟边界出现模糊。 国像质量高，图像连续性 运动估计拓值计算量较走速度慢 好，克服了边界模糊现象 豪 和r 篮佶甚 ” 民s 通过比较可得，运动估计插值硬件占用资源路高于另外两种插值法，但是图像表现 效果要明显好于就近插值法和线性插值法，所以分辨率变换选用运动估计插值法作为 插值算法。 32 帧频转换插值 帧频转换的实现也要用插值算法来完成，与图像缩放道理相似，只是圈像的分辨率 转换是在二维平面上做插值运算，而帧频转换是在时间上做插值运算。同样的，插值 算法有两种，参与运算的帧数分别为2 帧和4 帧：2 帧的插值算法是临近插值、就近取 值、线性插值到等一般插值算法，4 帧的插值算法是立方插值、样条插值和三次卷积插 值等高级插值方法。高级插值算法的连续函数重构是采用曲线拟合实现的完成运算 需要4 帧数据运算量较大、耗时较多的同时需要较多的帧存储器。硬件软件实现都 增加难度所以本文只考患一般的插值算法或基于一般算法改进的算法如就近取值 法、运动估计插值法。 33 像素、转换系数的选取 依图3 2 所示，f t 和f t + l 为临近的两帧视频图像实线圆圈表示源图像格式的像 素数据前后两帧各4 点共8 个实线圆圈则为参与像素处理单元模块的原始图像像素 值，中间虚线一帧f 表示处理后生成的新点像素位置及其值。像素处理单元从f t 和f 什1 中提取2 阶矩阵的单元模块，像素坐标尸( f ，j r ) 中，i 表示泼点像素的行坐标，j 表示该 点的列坐标t 表示该点所在帧的时间坐标。那么点尸“ ，) ，p ( i + 1 ， t ) 、，( f j + 1 ，) 、 尸( 1 j + i ，r ) 和点p ( i j i + i ) 、尸( ，十1 ，+ 1 ) 、，“+ 1 ， t + t ) 、尸( ，+ 1 ，j + l ，f + i ) 为像蒙 处理模块所需的8 个像素点的坐标位置。根据该8 点计算，可以得出中间虚线帧中的 像素值p ( i + u j + v ，+ 二) 其中，u 、v 、为大于0 小于1 的数tu 代表处理后像素点 与原始像索点的水平距离v 代表处理后像素点与原始像素点的垂宣距离t 代表处理 后像素点所在帧与原始帧的时间距离，所以u v 、用来确定结果图像的像素与原始 图像的像素数据空间和时间上的距离。虚线框及圈代表处理后得到的结果帧和像素点。 下面分析u 、v 和的计算过程。 ；一一一一! 目32 像素处理单元模块桃制及不恿 u 、v 和的计算如图33 所示6 是输入视频和输出视频图像格式中的每行中的像 素数、每帧中的行数、每秒的帧数的比例系数。 以分辨率变换为例，假设输入视频分辨率为2 0 4 8 x 2 0 4 8 输出分辨率为6 4 0 x 4 8 0 ， 则6 最大值为2 0 4 8 6 4 0 = 32 放t 值不会出现大于5 的情况。 因此条件满足0 t l 时h 执行一次k = t ，f c + 8 ； 当条件满足1 - 1 2 时，f = 卜】并执行一次k = 【爿+ 8 ： 当条件满足2 气妈时，t = l - 2 并执行一次k = t ，爿+ 6 ； 当条件满足3 = t 4 时，斟3 并执行一次k 气t 阿+ 6 ： 当条件满足4 i 州 i o w ra l t e r aa v a l o np 1 0d i r e c t i o nc 1 2 cs d ab a s e o u t i o w r ；也t e r aa v a l o np i od a t a 怔2 cb d ab a s e ，1 ； i o w ra l t e r aa v a l o np i od a t ac 1 2 cs c lb a s e ，1 ) ； u s l e e p ( 1 0 0 ) j i o w ra l t e r aa v a l o np l od a t a f l 2 cs d ab a s e ，0 ， u s l e e p l 5 0 1 ； i o w r _ a l t e p , aa v a i a o n _ p i o - d i r e c t i o n l l 2 0 j a a - b a s e o u t i o w ra l t e r a _ a v a l o np i o - d a t a ( 1 2 c _ s d a _ b a s e 0 l ； i o w r ；l t e r a _ a v a l o n p i o - d a t a ( 1 2 c _ s c l - b a s e ，0 ) ； u s l e e p l o b ) ； i o w ra l t e r aa v a l o np i od a t ac i 2 cs c lb a s e 1 ； i o w ra l t e r a _ a v a l 。n - p i o _ d i r e c t i o n ( 1 2 c 一$ d ab a s e ，t f o rc i = 0 ；i 8 ；i 十+ ) i o w ra l t e k aa v a l o np i od a t ac 1 2 cs c lb a s e ，0 ) j u s l e e p ( 5 0 j i m p 。( d a t o x s 0 1 71 ：0 ： d a t ”1 ： i o w r _ a l t e b a _ a v a l o n - p i o _ d a t a ( 1 2 t s d a _ b a s e , t r a p u s l e e pc 5 0 ) ； 1 0 ”k a l t e 啦a n - p i o - d a t a l l 2 c - s c l _ b a s e ，i ) ； u s i e e p ( i 0 0 ) ； 在验证i i c 配置是否成功时，可以根据o v 7 1 1 0 的标志信号f o d d 来判断o v 7 1 1 0 初始输出为隔行扫描f o d d 波形为方波如果u c 配置成功，则f o d d 为高电平c 如图示5 1 所示。 - _l i 1 一 热啦爨熙 i 黔 s ；5 j ；臻 蔷：竹_ 。；喘tj 2 = 嚣 宦，翌贾嚣蔓! 雯囝 囝51f o d d 隔行扫描时波形 整个系统的原理视图如下图5 2 所示包括核心处理器n i o s 软核、l c d 驱动、相 机与n i o s l l 的接口单元，硬件电路搭建完毕之后需要对设计进行调试。 图52 完整系统原理圈 为验证从c m o s 输出的数据与n i o s 中接收的一致在q v a r t u s 工程中调用s i g n a l t a p 来监控各部分数据，其中在n i o s i i 软核里舔加串口组件，用串1 2 3 打印的数字与s i g n a l t a p 监控到得数据比对，两者一致则认为实验成功，图53 、图5 4 是实验数据截圈。s i g a a l t a p 作为调试工具可虬实时抓取f p g a i o 的数据但由于添加一个s i g n a l t a p 占用f p o a 资源巨大，所以可抓取数据的量受到约束，它消耗的主要是f p g a 上存储器的资源t 在本例中存储器占用已经达到6 0 以上。所以以抓取开始几个数据为准，对比抓到的 数据与串口中打印的数据作为判断依据。 4 、州r 。：o b - 一 - - 训。自i ；：一日 。l - _ 二- 一；i 一日 盖裔鼍丁 卑暴堂訾剀蹬u 螋譬一二二i i 二= j 岳i - i i i i i i ；- 岫 - 日 一一 ，_ o “j e i = ”_ ! 一”t j j f i = e t j = = = e = j i = j i = 一8 【i ! i ：竺! 竺竺墨登：! ! 翌! 茎兰翌兰：! 二： “f 豆j 三云士董j 三至f 三羔兰三f 三主要三盂 图54s i g n a l t a p 抓取数据与串口打印数据对比( 2 ) 从图5 4 中看出，s i g n a r a p 抓取的开始几个数据为7 b e f , 7 3 8 e ，d e d b ，e 7 1 c ，d e d b ， 系统通过串口返回到上位机的数据为7 b c 7 3 8 e ，d e d b ，e 7 1 c ，d s d b ，串口波特率为 9 6 k b p s 两者数据比对一致，则认为程序设计没有失误，输入到f p g a 的图像数据与 f p g a 接收到得数据一致，系统接收的数据与输入的数据相同，认为从c m o s 与f p g a 的通信调试成功可以进行下一步实验。 522f p g a 与l c d 通信调试 本小节为驱动l c d 液晶实验，液晶驱动原理在前文中已经阐述，所以本小节主要 为验证驱动程序正确性。液晶显示器分辨率为q v g a 。可以显示3 2 0 x 2 4 0 大小的图片 在程序中用软件将一张静态图片转换成十六进制数的c 文件。方式如下图55 所示。在 工具软件中，设置输出数组类型扫描模式，输出灰度等图像相关参数。 亲晶鑫。a 。0 ；鑫筹 露磷j 五广矿口 l 一。 移国。i i “目t m r 一自# i & i # 一自自镕 ： 一i e n m s ef i 喀d e 嚣 圈55 图片字符转换器 生成的文件为标记每个像素点值的十六进制数组，数组大小为整个囝片的像素数。 以上实验证明从c m o s 到f p g a 的数据通路正常可用，下面应确保l c d 显示功能 的正确性此部分通过在程序里加载此静卷图片的代码文件，观察l c d 显示效果来验 证。图57 ( a ) 为原始目片，图5 6 ( b ) 为在液晶上显示的图片。通过比对可以证明 l c d 驰动成功，可以正常显示系统笈送的图像数据。 a ) 用于验证液晶显示