（无线电物理专业论文）视频格式转换关键算法研究.pdf

厦门大学 厦门联创微电子股份有限公司博上后科研t 作报告 视频格式转换关键算法研究 摘要 当前飞速发展的数字视频技术使我们的生活日新月异 各种功能的数字视频 系统层出不穷 从高清晰度数字电视到可视电话 从广播电视到通信网络 尤其 是数字电视的发展 已成为信息产业新的增长点 并从一个侧面反映了一个国家 i t 产业的综合实力 不同的数字视频应用 具有不同的时空分辨率需求这就导 致大量视频格式标准的并存 其多样性适应了视频应用的广泛性和专业性 但同 时也造成了不同格式视频信号之间难以交流信息的现状 因此 研究多种视频格 式问的转换就有其必要性和紧迫性 本文以视频格式转换为研究对象 重点研究 视频格式转换中的关键算法 图像插值算法和图像增强算法 论文首先简要回顾常规的图像插值方法 指出常规方法具有硬件实现方便的 特点 但容易导致插值后图像模糊和锯齿现象 这与消费者对于图像质量的追求 不符 论文通过实验比较发现常规的三次多项式插值 当插值邻域取6 点而不是 常规的4 点时 可以在插值效果和硬件实现复杂度方面达到较好的折中 从而为 中低端应用提供一种性价比较好的图像插值方法 在基本不损失插值效果的前提 下 论文从硬件实现角度对c u b i c 6 点图像插值方法进行简化 通过对插值点位 置离散化 滤波器系数取整逼近 查表等措施简化f p g a 硬件实现复杂度 针对缩放比例要求较大或插值后图像具有较好的视觉效果等应用 论文详细 讲述了一种新兴的基于方向多项式的边缘插值方法 该插值方法将图像分为边缘 区和非边缘区 边缘区采用方向多项式进行插值 非边缘区采用常规的插值方法 针对方向多项式边缘插值原理较为复杂 难于硬件实现的不足 论文对方向多项 式插值的s o b e l 算子 方向角计算 直方图分析 滤波等子模块分别进行简化 并从整体对方向多项式的数据流程进行优化 从而在基本不损失插值效果的前提 下 利用较少的f p g a 硬件资源实现了方向多项式插值 论文通过对边缘方向进 行量化以减小硬件实现复杂度 并通过将非边缘区归类为某个方向的措施将边缘 区插值和非边缘区插值统一起来 进一步降低硬件实现复杂度 消费者对于图像质量的追求在不断提高 而随着集成电路等技术的发展计算 丁兴号 视频格式转换关键算法研究 复杂度等问题必将不断被克服 为此 论文探讨了图像插值的发展趋势 并提出 一种新的各向异性的图像插值方法 基于非参数核估计的图像插值方法 该方 法从信号估计角度出发 利用已知点在待插值点处的泰勒展开作为待插值点的初 步估值 利用高斯核函数对估计误差进行加权 构造估计的代价函数 利用优化 的方法通过使代价函数最小获得待插值点处的最终估值 论文对核估计方法进一 步扩展 使得核估计中的核函数能够依据图像数据的结构特征作自适应调整 使 基于核的方法更加适应图像的各向异性特性 在图像插值过程中更好地复原或保 护图像边缘和纹理等结构信息 进一步提高插值后图像的视觉效果 针对图像增强算法 论文首先简要介绍几种常规的图像增强算法 其次介绍 一种易于硬件实现的狄度图像增强算法 反锐化掩模算法 并针对该算法对噪 声敏感和易出现过增强现象的缺点 提出改进的区域自适应反锐化掩模图像增强 算法 并给出具体的f p g a 实现及相关优化过程 很好地达到了速度与硬件资源 占用的平衡 自然界和日常生活中 接触的大多是彩色图像 和灰度图像相比彩色图像还 存在色彩信息 直接将灰度图像的增强方法移植到彩色图像增强领域容易使增强 后图像产生失真或色偏等现象 为此 论文介绍一种适于彩色图像增强的模型一 一r e t i n e x 模型 并给出几种常用的基于r e t i n e x 模型的彩色图像增强模型 在 此基础上 论文结合人类视觉系统的全局和局部自适应特性 提出一种新的仿生 彩色图像增强方法 用于增强不均匀光照或低照度情况下的图像 该方法主要包 括全局自适应亮度调节 局部对比度增强和颜色恢复三个部分 即全局亮度调节 主要用来增强暗区域的亮度和压缩图像的动态范围 局部对比度增强利用当前点 与其邻域象素的双边滤波输出之间的关系 调节当前点的亮度 以增强图像局部 对比度 再通过一种简单的线性颜色恢复算法恢复图像色彩 相关实验表明 仿 生彩色图像增强方法能够有效增强彩色图像 增强后的图像细节更突出特别是暗 区域的细节特征 且增强后的图像色彩生动 逼真 较国际上新近提出的彩色图 像增强算法更为优越 关键词 视频格式转换 图像插值 方向多项式 非参数核估计 图像增强 反 锐化掩模 r e t i n e x 人类视觉系统 双边滤波 f p g a 厦门大学 厦门联创微电子股份有限公司博上后科研工作报告 r e s e a r c ho nk e y a l g o r i t h mo fv i d e of o r m a t sc o n v e r s i o n a bs t r a c t r e c e n t l y o u rl i v e sa r ed e e p l yi n f l u e n c e db yt h er a p i dd e v e l o p m e n to fd i g i t a l v i d e op r o c e s s i n gt e c h n o l o g y m a n yk i n d so fd i g i t a lv i d e os y s t e m sw i t hm u l t i p l e u s a g e sa n dh i g hd e f i n i t i o nc o m ef o r t h f r o mh d t v h i g hd e f i n i t i o nt v t ov i s i b l e t e l e p h o n e f r o mb r o a d c a s tt e l e v i s i o nt oc o m m u n i c a t i o nn e t w o r k p a r t i c u l a r l y t h e d e v e l o p m e n to fd i g i t a lt v w h i c hh a sb e c o m ean e wg r o w i n gp o i n to ft h ei n f o r m a t i o n i n d u s t r y r e f l e c t st h ec o m p r e h e n s i v ep o w e ro fi ti n d u s t r yf o rac o u n t r yi no n ea s p e c t d i f f e r e n td i g i t a lv i d e oa p p l i c a t i o n sh a v ed i f f e r e n ts p a c e t i m er e s o l u t i o n w h i c hr e s u l t i nan u m b e ro fv i d e of o r m a t ss t a n d a r d sc o e x i s t a sar e s u l t d i f f e r e n tv i d e of o r m a t s b e c o m eh a r dt oe x c h a n g ei n f o r m a t i o nw i t he a c ho t h e r t h u s t h e r eh a sb e e na l l e m e r g e n c yd e m a n df o rr e s e a r c ho nv i d e of o r m a tc o n v e r s i o n i nt h i sp a p e r v i d e o f o r m a tc o n v e r s i o ni s s t u d i e d f o c u s i n go nt h ek e ya l g o r i t h mo f v i d e of o r m a t s c o n v e r s i o n 一i m a g e i n t e r p o l a t i o na n di m a g ee n h a n c e m e n ta l g o r i t h m s f i r s t c l a s s i c a li n t e r p o l a t i o nt e c h n i q u e sa r er e v i e w e db r i e f l y e v e nt h o u g ht h e c l a s s i c a lm e t h o d sa r ec o n v e n i e n tt oh a r d w a r ei m p l e m e n t a t i o n t h e i rl i m i t si nt h e o r y e a s i l yc a u s e dt h es a w t o o t ha n db l u rp h e n o m e n o n a tt h ee d g e w h i c ha r en o tc o i n c i d e w i t ht h ep u r s u i to fc o n s u m e r st ot h ei m a g eq u a l i t y e x p e r i m e n t a lr e s u l t ss h o wt h a t c l a s s i c a lc u b i ci n t e r p o l a t i o nw i t h6 p o i n t s i sb e t t e rt h a n4 p o i n t s s i x p o i n t i n t e r p o l a t i o nc a l la c h i e v eag o o dc o m p r o m i s eb e t w e e nt h ee f f e c to fi n t e r p o l a t i o na n d h a r d w a r ec o m p l e x i t y i tp r o v i d e sb e t t e ri m a g ei n t e r p o l a t i o nt e c h n i q u e sf o rl o w e n d a p p l i c a t i o n s i nc o s t e f f e c t i v ec o n s i d e r a t i o n i nt h i s p a p e l t h e 6 p o i n tc u b i c i n t e r p o l a t i o nt e c h n i q u e sw i t hf p g a i ss i m p l i f i e da n do p t i m i z e dw i t h o u td e t e r i o r a t i n g i m a g ei n t e r p o l a t i o np e r f o r m a n c eb yd i s c r e t ei n t e r p o l a t i n gp o s i t i o n a p p r o x i m a t i n gt h e f i l t e rc o e f f i c i e n t b u i l d i n gl o o k u pt a b l e e t c a c c o r d i n gt ot h ea p p l i c a t i o n s w h i c hr e q u i r el a r g e rs c a l i n gf a c t o ro rb e t t e rv i s u a l e f f e c ta f t e ri m a g ei n t e r p o l a t i n g an e we f f i c i e n th i g h p e r f o r m a n c ei n t e r p o l a t i o n 丁兴弓 视频格式转换关键算法研究 t e c h n i q u eb a s e do no r i e n t e dp o l y n o m i a li m a g em o d e li sd e s c r i b e di nd e t a i li n t h i s p a p e r t h ei m a g ei s d iv i d e di n t oo r i e n t e db l o c ka n dn o n o r i e n t e db l o c ki nt h i s m e t h o d b a s e do nt h i sc l a s s i f i c a t i o n an o n l i n e a ro r i e n t e di n t e r p o l a t i o ni sp e r f o r m e dt o o r i e n t e db l o c ka n dc l a s s i c a l i n t e r p o l a t i o n i s p e r f o r m e dt o n o n o r i e n t e db l o c k a c c o r d i n gt h ec o m p l e x i t yo ft h eo r i e n t e dp o l y n o m i a li n t e r p o l a t i o nt h e o r ya n dt h e d i f f i c u l t yo fi t sh a r d w a r ei m p l e m e n t a t i o n t h em o d u l e ss u c ha ss o b e lc o m p u t a t i o n o r i e n t a t i o na n g l ec o m p u t a t i o n h i s t o g r a mc o m p u t a t i o na n do r i e n t e df i l t e r i n ga r e s i m p l i f i e dt or e d u c et h eh a r d w a r ec o m p l e x i t y t h ep a p e ra l s od i s c u s s e st h ed a t a f l o w g r a p ho p t i m i z a t i o no ft h eo r i e n t e dp o l y n o m i a li n t e r p o l a t i o n t h ea u t h o rq u a n t i z e dt h e o r i e n t a t i o na n g l et o8o r i e n t a t i o n sa n dc l a s s i f i e dt h en o n o r i e n t a t i o nb l o c kt o9 t h o r i e n t a t i o n a n dt h e no r i e n t e da n dn o n o r i e n t e db l o c ki n t e r p o l a t i o ni si n t e g r a t e d b a s e do nt h i sm e t h o d t h eh a r d w a r ec o m p l e x i t yi sf u r t h e rr e d u c e d c o n s u m e r sp u r s u i tf o rt h e i m a g eq u a l i t y i s r i s i n gg r a d u a l l y c o m p u t i n g c o m p l e x i t ya n do t h e rp r o b l e m sw i l l b e s o l v e da l o n gw i t ht h ed e v e l o p m e n to f i n t e g r a t e dc i r c u i tt e c h n o l o g i e s t ot h i se n d w ed i s c u s st h ed e v e l o p m e n tt r e n do f i m a g ei n t e r p o l a t i o n a n dan e wa n i s o t r o p i ci m a g ei n t e r p o l a t i o na l g o r i t h m w h i c h b a s e do nn o n p a r a m e t r i ck e r n e lr e g r e s s i o n i sp r o p o s e d f r o mas t a t i s t i c a lp o i n to f v i e w i m a g ei n t e r p o l a t i o nc a nb ev i e w e da ss i g n a le s t i m a t i o nf o rm i s s i n gd a t a f i r s t a ni n i t i a lv a l u ei se s t i m a t e db yu s i n gt h ek n o w ni n f o r m a t i o na st a y l o re x p a n s i o na t t h em i s s i n gp o i n t a n dt h e nac o s tf u n c t i o nw a so b t a i n e db yu t i l i z i n gag a u s s i a n k e r n e lf u n c t i o nt o p e n a l i z et h ee s t i m a t ee r r o r t h ei n t e r p o l a t i o np o i n tv a l u ei s r e s t o r e dt h r o u g hm i n i m i z et h ec o s tf u n c t i o n w ef u r t h e re x p a n dt h ek e r n e lr e g r e s s i o n m e t h o d st os t e e r i n gk e m e lr e g r e s s i o n s k r t h ek e r n e lf u n c t i o no fs k rr e l i e so n n o to n l yt h es a m p l el o c a t i o na n dd e n s i t y b u ta l s ot h er a d i o m e t r i cp r o p e r t i e so ft h e s a m p l e w h i c hm a k e st h ea l g o r i t h mb e t t e ra d a p t e dt ot h ei m a g es t r u c t u r e t h es k r c a nb e t t e rp r o t e c tt h ei m a g es t r u c t u r ei n f o r m a t i o n s u c ha st h ei m a g ee d g ea n dt e x t u r e a n df u r t h e ri m p r o v et h ev i s u a le f f e c t so fi n t e r p o l a t e di m a g e f o ri m a g ee n h a n c e m e n ta l g o r i t h m c l a s s i c a l i m a g ee n h a n c e m e n ta l g o r i t h mi s b r i e f l yr e v i e w e d t h e nag r a yi m a g ee n h a n c e m e n ta l g o r i t h m a n s h a r pm a s k i n g a l g o r i t h m w h i c hi se a s yt ob ei m p l e m e n t e do nh a r d w a r e i sp r o p o s e d t or e d u c et h e 厦门大学 厦门联刨微电子股份有限公司博士后科研工作报告 n o i s es e n s i t i v i t ya n da v o i do v e r s h o o ta r t i f a c t si nt r a d i t i o n a lt i n s h a r pm a s k i n g t e c h n i q u e a n a r e aa d a p t i v eu n s h a r pm a s k i n gi m a g ee n h a n c e m e n tm e t h o di s p r e s e n t e d t h er e a l t i m ef p g ai m p l e m e n t a t i o no fa r e aa d a p t i v ea n s h a r pm a s k i n g i m a g ee n h a n c e m e n tm e t h o di sr e s e a r c h e da n do p t i m i z e d t h er e s u l t sh a v ea t t a i n e d g o o db a l a n c eb e t w e e ns p e e da n dr e s o u r c eu s i n g i nt h en a t u r a lw o r l da n dd a i l yl i f e t h em o s ti m a g e ss e e na r ec o l o r f u l c o l o r i m a g e sh a v ec o l o ri n f o r m a t i o nc o m p a r e dw i t hg r a yi m a g e s i fw ed i r e c t l yu t i l i z et h e m e t h o do ff a yi m a g ee n h a n c e m e n tt ot h ef i e l do fc o l o ri m a g ee n h a n c e m e n t i tw i l l l e a dt oc o l o rd i s t o r t i o n t ot h i se n d ac o l o ri m a g ee n h a n c e m e n tm o d e l r e t i n e xm o d e l i sp r o p o s e d b a s e do nt h i sm o d e l s e v e r a lc o m m o n l yu s e dc o l o ri m a g ee n h a n c e m e n t m e t h o d sa r ea d d r e s s e d t h e n w ep r o p o s ean o v e lb i o i n s p i r e da l g o r i t h mt oe n h a n c e t h ec o l o ri m a g eu n d e rl o wo rn o n u n i f o r ml i g h t i n gc o n d i t i o n sc o m b i n i n gw i t ht h e g l o b a la n dl o c a la d a p t i v ec h a r a c t e r i s t i c so ft h eh u m a n v i s u a ls y s t e m t h ep r o p o s e d m e t h o dc o n s i s t so ft h r e e p a r t s g l o b a l l u m i n a n c ea d ju s t m e n t l o c a lc o n t r a s t e n h a n c e m e n ta n dc o l o rr e s t o r a t i o n t h eg l o b a ll u m i n a n c ea d ju s t m e n ti n c r e a s e st h e l u m i n a n c eo fd a r k e rp i x e l sa n dc o m p r e s s e st h ed y n a m i cr a n g ea sw e l l t h el o c a l c o n t r a s te n h a n c e m e n ta d ju s t st h ei n t e n s i t yo fe a c hp i x e lb a s e do ni t sr e l a t i v e m a g n i t u d ew i t hr e s p e c tt ot h eb i l a t e r a lf i l t e ro u t p u to fi t sn e i g h b o r i n gp i x e l s t h e na l i n e a rc o l o rr e s t o r a t i o np r o c e s si sa p p l i e dt oc o n v e r tt h ee n h a n c e di n t e n s i t yi m a g e b a c kt oac o l o ri m a g e e x p e r i m e n tr e s u l t ss h o wt h a tt h eb i o i n s p i r e da l g o r i t h mc a n e f f e c t i v e l ye n h a n c et h ec o l o ri m a g e p a r t i c u l a r l yt h ed e t a i l so ft h ed a r kr e g i o n t h e e n h a n c e di m a g el o o k i n gn a t u r a l l ya n dv i v i d l ya n di ss u p e r i o rt os o m em e t h o d st h a t a r ep r o p o s e dr e c e n t l y k e yw o r d s v i d e of o r m a t sc o n v e r s i o n i m a g ei n t e r p o l a t i o n o r i e n t e dp o l y n o m i a l i n t e r p o l a t i o n n o n p a r a m e t r i c k e r n e l e s t i m a t i o n i m a g ee n h a n c e m e n t u n s h a r p m a s k i n g r e t i n e x h u m a nv i s u a ls y s t e m b i l a t e r a lf i l t e r i n g f p g a v 厦门大学博士后研究工作报告著作权使用声明 本人完全了解厦门大学有关保留 使用博士后研究工作报告的规定 厦门大学有权保留并向国家主管部门或其指定机构送交该报告的纸质版和 电子版 有权将该报告用于非赢利目的的少量复制并允许该报告进入学校 图书馆被查阅 有权将该报告的内容编入有关数据库进行检索 有权将博 士后研究工作报告的标题和摘要汇编出版 保密的博士后研究工作报告在 解密后适用本规定 本研究报告属于 1 保密 2 不保密 纸本在年解密后适用本授权书 电子版在年解密后适用本授权书 请在以上相应括号内打 作者签名 粥吼靠嗍玢日 导师签名 剜铷月彳日 厦门大学 厦门联创微电子股份有限公司博士后工作报告 第一章绪论 1 1 课题研究背景和意义 近十几年来 数字电视业蓬勃发展 发达国家都相继推出了自己的数字电视 标准以及相关产品 数字电视从一个侧面反映了一个国家i t 产业的综合实力 随着数字传输和处理技术的发展 数字电视相对于传统模拟电视的优势体现得越 来越明显 我国是电视机生产和消费大国 随着经济发展人民生活持续改善 数字电 视 d t v 特别是高清晰数字电视 h d t v 必将成为广大消费者的新宠 目前 我国的电视技术处于从模拟系统向数字系统的过渡时期 图像的分辨率和清晰度 的改善使数字高清电视接收机的新产品层出不穷 而这些功能的实现都是建立在 视频格式之间可以相互转换的基础上 随着各种数字电视产品的出现以及其他数字视频系统的迅速发展 伴随而来 的是终端显示设备的多样化 出现了c r t l c d o l e d p d p 等品种繁多的显示终 端 其中l c d 以其突出的优势 目前l c d 已成为显示器市场的主流产品 l c d 显 示器采用的是直接数码寻址的显示方式 它能够将显卡输出的视频信号经过a d 转换之后 根据信号电平中的 地址 信号 直接将视频信号一一对应的在屏幕上 的液晶像素上显示出来 由于待显示的每个像素的亮度和色度信息与l c d 显示板 上的相应的像素点一一对应 所以l c d 显示器只有在显示和该l c d 显示板的分辨 率完全一样的画面时才能达到最佳显示效果 即l c d 显示器存在一个最佳分辨 率 当待显示画面的分辨率与显示器自身的物理分辨率一致的时候才能达到最佳 显示效果 若一个1 7 的l c d 物理分辨率为1 2 8 0 1 0 2 4 工作在低分辨率下 如8 0 0 6 0 0 时 如果显示器仍然采用像素一一对应的显示方式的话 那就只能 把画面缩小居中利用屏幕中心的那8 0 0 6 0 0 个像素来显示 虽然画面仍然清晰 但是显示区域太小 这种牺牲显示面积来换取显示质量的显示方式对于价格昂贵 的液晶显示板是一种极大的浪费 要在低分辨率下充分利用显示面积 只有将待 显示信号经插值运算后 把8 0 0 6 0 0 的画面放大成1 2 8 0 x1 0 2 4 的画面 再输出 到液晶板上全屏显示 而对于手机等手持设备 往往又需要将一些高分辨率图像 丁兴号 视频格式转换关键算法研究 缩小为适合在手机等设备上晟佳显示的分辨率 这些功能的实现需要相关的插值 算法 而相关插值算法又容易导致图像模糊和产生锯齿等降低视频质量的现象 与消费者对于视频显示质量的追求是背道而驰的 这就需要对插值后的图像再进 行增强 另外 随着数字电视产业以及其他数字视频技术的蓬勃发展 目前在视频领 域内 大量格式标准并存 其多样性适应了视频应用的广泛性 专业性 同时也 造成了不同格式视频信号之间难以交流信息的现状 长期存在的国际电视制式间 的不兼容即为一例 视频格式转换是面向数字视频业务的多样性提出来的 通过 数字信号处理方法把众多格式的视频信号转换成统一格式的输出信号 从而在数 字域实现多种信号到各种显示终端之间的无缝连接 大大降低对显示器件及其扫 描等周边电路的性能要求 降低数字视频系统的设计成本 同时 利用数字视频 处理方法可以很方便地实现精确的伽马校正 抗锯齿 轮廓增强等处理 实现消 除i 人j 烁 提升图像观赏质量和视觉效果 基于数字视频业务的多样性 视频格式转换芯片成为数字电视等数字视频产 业链中不可或缺的一个重要环节 然而我国视频格式转换芯片的市场被外国公司 垄断 如国内2 0 0 5 年频格式转换芯片99 以上的市场份额被外资厂商所占据 其中p i x e l w o r k s g e n e s i s t r i d e n t 三者加起来的市场占有率就超过97 1 可见研制具有自主知识产权的频格式转换芯片 为我国产业界提供具自主知识产 权的 商品化的 具成本竞争力的频格式转换芯片 对提升我国电视产业的综合 竞争力 打破国外的技术垄断和振兴我国的民族产业都具有极为重要的现实意 义 数字电视视频格式转换芯片及其他数字视频格式转换芯片中的关键技术是去 隔行 图像插值和图像增强等 本课题即是以视频格式转换芯片中的两大关键算 法 图像插值算法及图像增强算法为研究对象展开研究 另外 尽管目前已经有很多视频格式转换芯片 但是消费者对性能价格比 的追求越来越高 如何找寻更精确 计算量更小的算法 如何找寻更简单 性价 比更高的硬件实现仍然有其现实意义 另外 据赛迪顾问公司统计国内2 0 0 5 年 上半年视频格式转换芯片的销售额达到l1 3 1 8 5 万美元 2 0 0 5 年下半年则达到 1 8 8 4 5 5 万美元 巨大的市场自订景使得本课题的研究具有重要的经济意义 厦门大学 厦门联创微电了股份有限公司博l 后工作报告 1 2 国内外的研究概况 由于视频格式转换芯片在数字处理电视机 数字电视机 机顶盒等领域都有 着广泛的市场 并且消费者对于视频质量的要求也是越来越高 在巨大市场的刺 激下 众多半导体公司纷纷进入这一领域 主要有p i x e l w o r k s t r i d e n t g e n e s i s 意法半导体 m i c r o n a s 东芝 飞利浦 a t i 联发科和晨星半导体等 2 0 0 5 年以前 p i x e l w o r k s g e n e s i s 和t r i d e n t 占据着主要的市场份额 据赛迪 公司统计数据表明 2 0 0 5 年国内市场三家公司加起来的市场占有率超过97 而随着中国台湾厂商实力的不断增强以及相对低廉的价格 其产品逐渐被液晶电 视厂商认可 市场份额呈现出不断扩大的趋势 上述局面已经发生了很大的变化 据相关统计表明 受中国台湾厂商的低价冲击 近年p i x e l w o r k s g e n e s i s 等的 市场都出现了大幅萎缩 目前都处于亏损状态乜1 与激烈的国际竞争相比 国内在视频格式转换芯片方面起步较晚 但目前十 分重视该领域的研究与发展 不仅开发出了一批数字处理电视 与此同时 拥有 自主知识产权的视频格式转换芯片的研发也正在进行 如海信 海尔 长虹 厦 华 成都威思达 西安交大 上海交大和浙江大学都已经开发出了自己的视频格 式转换芯片 虽然取得了丰硕的成果 但整体技术水平仍较国外有很大差距 但 我们有理由相信正如电视整机的发展历程 样 中国在高复杂度的数字视频格式 转换芯片的设计和制造也会渐入佳境 在此形势下 厦门联创微电子股份有限公司 在已有高清电视控制芯片的 基础上 提出丌发具有自主知识产权的视频格式转换芯片 本文的主要工作就是 围绕此项目 信息产业部基金项目 t f t l c d 显示控制芯片 对视频格式转换 芯片的核心算法 图像插值和图像增强算法进行研究 下面我们分别对这两种 算法的研究概况做简要介绍 视频格式转换主要依靠各种插值的方法来获得 自从上世纪7 0 年代数字图 像开始真正发展和应用以来 随着图像插值在图像处理领域各种应用的兴起 为 了在提高图像分辨率的同时尽可能准确 清晰地恢复出图像的边缘特征和纹理细 节 图像插值方法就成为该领域的研究热点 针对于不同领域内的应用 出现了 许多优秀的图像插值方法 图像插值方法大体上可以分为空间域和变换域两大 类 空间域方法主要有最近邻插值 双线性插值 二次逼近法 双三次插值 四 丁兴号 视频格式转换关键算法研究 点 六点 八点 b 样条插值 l a g r a n g e 插值 高斯插值等 变换域方法主要 有f o u r i e r 变换域 d c t 变换域以及小波变换域等插值方法 各种图像插值算法 的最终目的是改善图像的分辨率和清晰度 由于应用场合不同 各种算法的突出 的侧重点也不同 空间域上的算法一般运算量小 复杂度低 常用于对运算速度 要求比较高而对图像性能不是太高的场合 变换域和一些需要复杂数学推导的插 值算法可以取得较好性能的插值图像 但由于计算复杂 往往需要较长时间爿 能 得到结果 因此常用于对图像性能要求较高而对运算速度没有太高要求的场合 如医学 航空 军事等领域内的图像处理 为了便于硬件实时实现 同时可以较好地保持图像边缘和细节成分 近年来 出现了一些边缘保持的空问域图像插值方法 取得了较好的缩放性能 但是当图 像的放大倍数较大时 这些方法在纹理和边缘区的放大效果仍然不甚理想 仍有 许多需要改进的地方 在实现图像插值等基本操作后 需要进一步对电视信号的画质进行增强处 理 目前常用的画质增强处理措施有亮度 对比度调节 色度 色调调节 动态蓝 电平扩展 黑电平扩展 亮度 色度边缘改善 伽马校j 下 肽色校正等 在画质 增强方面g e n e s i s 的t r u el i f e 和p i x e l w o r k s 的d i g i t a ln a t u r a le x p r e s s i o n d n x 等技术取得了业内一致认可的画质改善效果 1 3 论文主要研究内容和架构 论文主要是对视频格式转换芯片的核心算法 图像插值和图像增强算法 进行研究 论文分4 个部分 第一部分绪论 主要对论文的研究背景和概况作简 单介绍 论文第二部分针对视频格式转换芯片中的图像插值算法进行研究 主要 包括 传统的图像插值方法研究 c u b i c6 点图像插值方法及f p g a 实现 方向 多项式图像插值方法及f p g a 实现 基于核估计的各向异性图像插值方法等 论 文第三部分主要讲解图像增强算法 这一部分主要包括非锐化掩模图像增强方法 及f p g a 实现 r e t i n e x 彩色图像增强方法和仿生彩色图像增强方法等 论文的 第四部分为全文的总结 并对指出论文不尽完善和有待改进的地方 4 厦门入学 厦门联创微电子股份有限公司博上后工作报告 第二章图像插值方法研究 图像插值主要是利用已知图像中的像素点信息 通过插值的方法获得对应的 连续图像 再通过重采样获得所需分辨率的图像 图像插值是图像处理领域中的 一项基本技术 在医学 军事和工业等诸多领域都有广泛的应用 近几年 随着 各种高端数字电视以及多媒体技术的迅速发展 终端显示设备的种类也越来越 多 要适应将众多格式的视频在不同的显示终端上有效显示 就需要运用图像插 值方法对不同分辨率的视频图像进行插值 以便满足对应的显示终端要求 本章首先回顾传统的图像插值方法 在项目组前期研究工作的基础上 一1 重点讲述两种性能较优且方便硬件实现的图像插值方法 并给出了具体的f p g a 实现 另外 论文还探讨了图像插值的发展趋势 并提出一种新的各向异性的图 像插值方法 基于核估计的图像插值方法 2 1 常用的图像插值方法 对于二维图像的插值 若原图像上像素点为p x y 插值后图像上的像素 点为p i 则空间域上插值的过程可以看成是将p f 映射到原图像上像素点 p x y f 的过程 x y 往往不是整数 因此需要根据该坐标邻域的像素点来确 定插值点处的像素值 如图2 一t 所示 p a 原始图像 b 插值图像 图2 1 空间捅值示意 丁兴号 视频格式转换关键算法研究 插值点像素值可以看成是原始图像局部邻域像素点与一个线性滤波器或称 插值函数卷积得到 其数学表达式如式 2 1 p i p k 1 h x k y 一 k e k i e l 2 1 其中h x y 为插值函数 k l 为局部窗口大小 决定参与计算的邻域像素 点数目 插值点由邻域像素点加权计算确定 不同插值方法在于插值函数办 x y 插值方法 并比较了各种方法的性能 5 这些插值方法对于其他图像处理领域 依然适用 在此我们列举了几种常用的空间域上的线性插值方法 2 i 1 理想插值函数 i d e a li n t e r p o l a t i o n 对一幅连续图像信号p x y 采样 当满足耐奎斯特采样定理即连续信号频谱 的最高频率小于折叠频率 则抽样后在傅立叶频率域将产生周期延拓的连续频谱 p u v 并且原信号的频潜和各次延拓分量的频谱彼此不重叠 所以仅当耐奎斯 特采样定理满足时 采用一个理想低通滤波器就能把原始图像连续信号p x y 从 采样后的离散信号p k f 完全恢复出来 可见 理论上是可以由低分辨率图像恢 复出理想的高分辨率图像 这个恢复过程在频域表现为用一个理想低通滤波即矩 形窗函数进行乘运算后得到 而在空间域上表现为用s i n c 函数进行卷积后得到 以一维信号为例 此时s i n c 插值函数为 h t d e a l x s i n 7 7 x si nc x s i n c x 具有无限冲激响应 在物理上是不可实现的 因此不能直接用于图 像的插值 因此在实际应用中常采用近似的方法来代替s i n c x 来实现式 2 一1 中的图像插值 最初的近似方法是对s i n c x 做截断或加窗函数处理 加窗函数 改进后的插值函数为 一 0 灿 豁川2 3 其他 6 厦门大学 厦门联刨微电子股份有限公司博上后工作报告 n 为滤波器长度 采用截断的方法相当于丢弃了原有信号的高频成分 容易 使插值图像产生方块效应和细节模糊现象 这从其频谱上也可以看出来 采用加 窗函数的方法在很大程度上改善了图像高频部分的泄露和纹波大小 s c h a u m 提 出了h a n n i n g 窗 即升余弦函数 6 h a r r i