（电子科学与技术专业论文）成像系统中的光谱反射率重建.pdf

浙江大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm o d e r nc o m p u t e ri m a g ep r o c e s s i n gt e c h n o l o g i e s ， c o l o ri m a g e sa n dm u l t i s p e c t r a li m a g e sh a v eb e e nw i d e l yu s e di nt h ep r e s e n t a t i o n ， t r a n s f e ra n dc o p y i n go fc o l o ri n f o r m a t i o n d i f f e r e n ti m a g i n gs y s t e m sh a v ed i f f e r e n t c h a r a c t e r i s t i c s ，a n d a l l t h ec o l o ri n f o r m a t i o n t h e yg e t a n dt r a n s f e ra r e d e v i c e - d e p e n d e n t ，s oi ti sn e c e s s a r yt of i n daw a y t og e tt h ed e v i c e i n d e p e n d e n tc o l o r i n f o r m a t i o n s p e c t r a l r e f l e c t a n c er e c o n s t r u c t i o n ，a l s or e f e r r e da s s p e c t r a l c h a r a c t e r i z a t i o n ，a i m st or e c o v e ra c c u r a t es p e c t r a lr e f l e c t a n c eo fo b j e c ts u r f a c eb y e m p l o y i n gs t a n d a r dc o l o rc h a r t s t h i sd i s s e r t a t i o ns t u d i e st h em e t h o d sf o rs p e c t r a l r e f l e c t a n c er e c o n s t r u c t i o na n dt h em e t h o d sf o rs e l e c t i o no fr e p r e s e n t a t i v ec o l o r s w h e nt h ei m a g i n g p r o c e s s i sn o tal i n e a r s y s t e m o ri n f l u e n c e d b y t h e m e a s u r e m e n tn o i s e ，t h es p e c t r a lr e c o n s t r u c t i o nm e t h o d si nh a n dc a n n o tw o r kv e r y w e l l f o ri n s t a n c e ，w i e n e re s t i m a t i o no n l yw o r k sw e l lu n d e rl i n e a rs y s t e m s i no r d e r t oc o p ew i t ht h en o n l i n e a r i t ya n dm e a s u r e m e n tn o i s e ，w es t u d i e dt h ep o l y n o m i a l r e g r e s s i o ns o l v e db yo r d i n a r yl e a s ts q u a r e sa n dr e g u l a r i z e dl e a s ts q u a r e s e x p e r i m e n t r e s u l t ss h o wt h a t ，i nt e r m so fs p e c t r a la n dc o l o r i m e t r i ce r r o rm e t r i c s ，t h er e g u l a r i z e d m e t h o dp e r f o r m sb e t t e rt h a nw i e n e re s t i m a t i o na n do r d i n a r yp o l y n o m i a lr e g r e s s i o n a st h e r ea r ea l w a y sal a r g en u m b e ro fc o l o rs a m p l e so nac o l o rc h a r t ，s p e c t r a l c h a r a c t e r i z a t i o nb e c o m e sat i m e c o n s u m i n gp r o c e s sf o rp r a c t i c a la p p l i c a t i o n s o m e m e t h o d sh a v eb e e np r e s e n t e dt os e l e c t e dr e p r e s e n t a t i v ec o l o rs a m p l e sb a s e do nt h e r e d u n d a n c yo ft h ec o l o r so nac h a r t h o w e v e r , t h e s em e t h o d so n l y c o n s i d e rt h e d i s t r i b u t i o no fs p e c t r a lr e f l e c t a n c e ，a n dt h u st h es e l e c t e dc o l o r sm a yn o tb eo p t i m a lf o r as p e c i f i ci m a g i n gs y s t e m t od e a lw i t ht h i sp r o b l e m ，w ep r o p o s e das e q u e n t i a l m e t h o df o rt h es e l e c t i o no fm o s tr e p r e s e n t a t i v ec o l o r s ，w h i c hc o n s i s t so ft w os t e p s i n t h ef i r s ts t e p ，ap a r to fr e p r e s e n t a t i v ec o l o r si ss e l e c t e da c c o r d i n gt ot h em i n i m i z a t i o n o fm e a ns p e c t r a lr o o t m e a n - s q u a r ee r r o r , b ya s s u m i n gav i r t u a li m a g i n gs y s t e m t h e s p e c t r a ls e n s i t i v i t yo ft h er e a li m a g i n gs y s t e mi st h e nc a l c u l a t e db a s e do nt h e s e s e l e c t e ds a m p l e s i nt h es e c o n ds t e p ，a d d i t i o n a lr e p r e s e n t a t i v ec o l o r sa r es e l e c t e d i i i 浙江大学硕上学位论文 b a s e do nt h ec h a r a c t e r i s t i c so ft h er e a li m a g i n gs y s t e m e x p e r i m e n ts h o w st h a tt h e p r o p o s e dm e t h o do u t p e r f o r m st h ep r e v i o u sm e t h o d si nt e r m so fb o t hs p e c t r a la n d c o l o r i m e t r i ca c c u r a c y k e y w o r d s ：s p e c t r a l r e f l e c t a n c e ； r e c o n s t r u c t i o n ；s p e c t r a lc h a r a c t e r i z a t i o n ； m u l t i s p e c t r a li m a g i n g ；r e p r e s e n t a t i v ec o l o r ；n o n l i n e a r i t y 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝鎏盘堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：主泐签字日期：沙口年弓月秽日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝鎏盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 虢弘修 签字日期：沙【o 年；月日 导师签名： l 收象 (， 7 签字日期：山，。年3 月驴日 浙江大学硕上学位论文 致谢 本论文是在浙江大学信息与电子工程学系沈会良教授和李志能教授共同的 悉心关怀和亲切指导下完成的。在此论文完成之际，作者谨向两位导师致以深深 的谢意。 时间过得很快，近三年的硕士生活马上就要结束了。过去的这三年时光，我 学到了很多，从一张白纸变成了今天初具科研能力的硕士毕业生。感谢李志能老 师教会了我如何绘制机械结构图，如何搭建机械结构和如何更好地设计、完成实 验，同时我也大大地提升了自己的动手能力。感谢沈会良老师教会了我基本的科 研方法，培养了我的科研能力，我在今后的工作学习中会获益匪浅。但让我最钦 佩的是两位导师慷慨的为人、开阔的眼界、渊博的知识、严谨的治学作风和忘我 的工作态度，而我也深受鼓舞。 另外还要感谢本实验室的张宏刚师兄，师兄对我的问题都做出了耐心细致地 讲解。虽然和师兄相处只有一年，我依然从中获益不少。实验室的师弟师妹们也 都功不可没，谢谢你们和我一起营造了一个严谨又不失活泼的学 - - j 氛围，在我遇 到困难的时候也都主动帮我排忧解难。 特别感谢我的父母长期以来给予我的无微不至的关怀和不遗余力的支持。 感谢浙江大学图像与视觉实验室让我度过了三年忙碌、充实而又充满意义的 生活。 浙江大学硕二e 学位论文 第一章绪论 颜色信息是现代信息领域中的一个大类，颜色科学作为一门心理物理的综合 性学科正在不断发展和完善，颜色技术在科研和工业中的应用日益重要和广泛， 而颜色技术在成像中的应用也正在以前所未有的速度增长着。在现实生活中的很 多领域，人们都在不断地接触着各种各样的彩色图像，如彩色照片、杂志、彩色 电视机、彩色多媒体显示器和彩色打印机等等。如果彩色图像中的颜色信息与人 们所期待的接近，那人们通常就会对此图像比较满意。但随着彩色图像的应用越 来越多，人们对于颜色质量的要求也大幅地提高了。几年以前一台计算机图形系 统所能产生的2 5 6 种不同颜色足够满足几乎所有用户的要求，而现在几乎所有计 算机都具有显示2 3 2 = 1 6 7 7 7 2 1 6 ( 3 2 位真彩色) 种不同颜色的能力。 此外，部分行业对于高质量的彩色图像有着特别的需求。艺术家们特别关注 自己作品中的各种颜色，历史学家和收藏品研究员等也都在工作中特别注意研究 文物或收藏品的颜色。而在印刷、图形艺术和摄影等行业中，人们对于高质量彩 色成像的要求则由来已久，今天绝大多数的彩色成像标准和设备都起源于这些行 业。近二十年来，数字彩色成像技术也逐渐从一项特殊的科学应用成为主流技术。 在其他一些领域中，如纺织成衣、汽车工业、装饰装潢和建筑设计等，颜色对于 产品的质量也起着至关重要的作用【l 】。 1 2 颜色的本质 1 6 6 6 年，英国科学家牛顿第一个揭示了光的色学性质和颜色的秘密【2 】，如图 1 1 所示。他用实验说明太阳光是各种颜色的混合光，并发现光的颜色决定于光 的波长。可见光是电磁波中人眼可以感知的部分，可见光谱没有精确的范围。一 般来说，人的眼睛可以感知的电磁波的波长在4 0 0 到7 0 0 纳米( n r n ) l 湎l ，但还有 一些人能够感知到波长大约在3 8 0 到7 8 0 纳米之间的电磁波。波长不同的电磁波， 引起人眼的颜色感觉不同。7 7 0 6 2 2 n m ，感觉为红色；6 2 2 5 9 7 n m ，橙色；5 9 7 浙江大学明1 学r 论文 5 7 7 n m ，黄色；5 7 7 4 9 2 n m ，绿色；4 9 2 4 5 5 r t m ，蓝靛色；4 5 5 3 9 0 r t m ，紫色 正常视力的入眼对波长约为5 5 5 n m 的电磁波最敏感，这种电磁波处于光学频谱 的绿光区域。 w h i t e s u n l i e 】 囹1 1 牛顿棱镜分光实验 而自然界中的物体之所以呈现出各种不同的颜色外貌，其根本原田就是物体 对光具有选择吸收和反射的特性，印物体本身的光谱特性是物体产生不同颜色的 主要原因之一口】当光照射在物体上时，入射的光谱能量部分被反射，部分被吸 收和散射，部分透过四此，透明物体的颜色主要由透过的光谱成分央定，不透 明物体的颜色则由它的反射光谱所决定。 一般，菲荧光性有色材科本身并不发光，所以在黑暗的环境下无珐被看见 所以，任何非荧光物质只有在光照下才能显示出颜色，并且该颜色取决于物体对 入射光的反射或透射光谱特性例如，某种材料在太阳光照射下较多地吸收青色 波长的光，则该材料就呈现红色；如果该材料对黄色波长的光吸收明显，则该材 料就呈现蓝色。故，物体的颜色是其对不同波长的光波具有不同的吸收特性的结 果，其表现的颜色正是被吸收光的补色。假如某一材料对可见光全部吸收没有 反射光，则该材料将呈现黑色；如果该材料对各种波长的光平均地部分吸收，则 使得各波长的反射光均匀减弱而在太阳光下呈现灰色；如果对各波长均不吸收而 浙江大学硕士学位论文 将照明光全部反射，则该材料在太阳光下便呈现白色。 由于物体的颜色是其对照射光的吸收和散射、反射或投射的结果，所以采用 不同的光源照明同一物体时，因光源的光谱能量分布不同将导致物体显示出不同 的颜色外貌。例如，有一物体在太阳光下因为明显吸收了青光而反射了较多的红 光，从而呈现红色；此时如果用青光照明该物体，由于大部分青光被吸收，反射 光很少，结果该物体呈现出的不是红色而是黑色。同样，如果某种材料在太阳光 下是黄色，因为它对蓝光有较强的吸收，所以当在白炽灯下观察该材料时，由于 白炽灯光谱中蓝绿波段的能量本来就很少，结果此材料看起来近似白色。 1 3 光谱反射率重建的概念 物体之所以在人眼看来呈现某种颜色，是因为物体反射了照射在物体上的光 线，然后大脑对投射在视网膜上不同波长的混合光进行辨认的结果。人眼中的锥 体细胞有三种，这三种锥体细胞分别对红、绿、蓝( r g b ) 色光最为敏感2 1 【3 1 。 - 3 眼睛接受了混合光之后，三种色觉细胞都按自己的规律兴奋起来，产生三种视觉 信号，经视神经传到大脑。但是，大脑对每一个单独的信号并不感兴趣，而是把 它们结合在一起，形成一个综合的色觉，这就是人们感觉到的所接收混合光的颜 色。根据人的色觉特点，当红、绿、蓝三种颜色的光按各种比例混合时，就会使 人感觉到千差万别的颜色。 现实中很多领域，如印刷印染、电影电视、彩色多媒体显示等，都需要对颜 色信息进行采集、处理和显示输出。目前通用的颜色信息获取设备，如照相机， 摄像机和扫描仪等，通过使用模仿人眼色觉系统的红、绿、蓝( r g b ) 三种基色 的c c d ( 电荷耦合器件) 直接获取景物在特定照明条件下的颜色信息，如图1 2 所示。则c c d 的响应值可以用式1 1 表示： 1 ，i = 【l ( a ) r ( 2 ) s ( 2 ) d 2 + p l ( 1 1 ) 式中，例为照明光源的光谱功率分布函数，厂例为所成像物体的光谱反射率，s 伪 为成像设备的光谱敏感函数，e ，为第i 个c c d 的系统噪声。 浙江上学碰学位论z 物体 田l2 颜色信息采集设备工作示意囤 c c d 感光芯片 从武11 中可以看出，c c d 的响应值受到成像设备的光谱敏感度函数5 删 的影响，所以获得的响应值是与设备相关的颜色信息。而如人眼、照相机、扫描 仪显示器和打印机等每一种设备都具有各自不同的光谱敏感度函数，敌对同一 景物获得的c c d 响应值都有所不同。图1 3 1 4 分别显示了o i m a g i n g g o 3 c o l o r c m o s 数码相机和q l m a g i n g g o - 2 | c o l o t c m o s 数码相机的光谱敏感度曲线”l 。 从图中可以看出，印使同一品牌同一系列的数码相机的光谱敏感度曲线都有明显 不同，所以不同设备的光谱敏感度面数差别会非常大。由于在此设备下得出的 r g b 值都与特定的设备相关，使用者无法判断所获得的颜色信患是否准确，因 此不能相互通用。 为了从基色出发定义一种与设备无关的颜色模型，1 9 3 1 年9 月国际照明委 员会( c 1 e ) 在英国的刘轿市召开了具有历史意义的大会。c i e 的颜色科学家们试 图在r g b 模型基础上，用数学的方法从真实的基色推导出理论的三基色，创建 一个新的颜色系统，使颜科、染料和印刷等工业能够日月确指定产品的颜色。会议 上定义了标准观察者( s t a n d a r do b s e r v e r ) 标准，即普通人眼对颜色的响应。该标 准呆用想象的x ，y 和z 三种基色，用颜色匹配函数( c o l o r - m a t c h i n g f u n c t i o n ) 表 示。会议上还定义7c i ex y z 色度系统，印与r g b 相关的想象的色度系统， 一“珂_ 喇蕊 浙江大学硕士学位论文 c i ex y z 基色系统与设备无关，且所有的x ，y 和z 值都是非负的，所以更适 用于颜色的计算。图1 5 为c i e | 9 3 1 标准色度观察者光谱三刺激值曲线。c i ex y z 颜色系统是使用最广的- 9 设备无关的颜色表示系刻5 1 。 3 5 04 0 04 5 05 0 05 5 06 0 06 5 07 0 07 5 0 w a v e l e n g t h ( n m ) 图1 3q l m a g i n g g o 一3c o l o r c m o s 数码相机的光谱敏感度曲线 3 5 04 0 04 5 05 0 05 5 06 0 06 5 07 0 07 5 0 w a v e l e n g t h ( n m ) 图1 4q l m a g i n gg o - 2 1c o l o rc m o s 数码相机的光谱敏感度曲线 为了将与设备相关的r g b 响应值转化为与设备无关的c i ex y z 值，需要建 5 0 5 0 5 0 5 o 4 3 3 2 2 1 1 一装v分皇。一。曙暑jp磊j 5 o 5 o 5 o 5 0 5 5 5 4 4 3 3 1 二 2 1 摹_)蓉i101。旺gj_写110 浙人学学位论文 立某设备r g b 响应值到c i ex y z 值的转化公式，这一过程称为色度表征 ( c o l o r i m e t r i ee h a r a c t e r i z a t i o n ) ，是对系统设备进行颜色校正( c o l o r c o r r e c t i o n ) 或成 像设备表征( d e v i c ec h a r a c t e d z a t i o n ) i 6 i l1 的一种。常用的色度袁征法包括多项式回 归h 查找表7 1 和神经阿络i ”等。虽然这些方法的效果较好，但是它仍然受到光 源的影响。很多情况下，两种颜色样品的颜色外貌在某些光照和观察条件下不一 致( c 1 e x y z 值不同) ，而在特定的光照和观察条件下其颜色外貌又能相互匹配 ( c i ex y z 值相同) ，如图16 所示，因此，色度采征的缺陷是只能恢复单一光 源和观察者组合下的物体色度，而无法反映出物体本身特有的颜色信息，而且人 们也无法从物体在已知照明条件下的c i ex y z 值来预测它在另一种照明条件下 的c i ex y z 值。如果变换了光源，成像设备就需要重新进行色彩表征。 圉15c i e l 9 3 i 标准色度观察者光谱二刺墩值曲线 ( 舢在荧光灯下伸1 在卤钨灯下 圉l6 不同布科在不同的照明条件下呈现的颜色不同 浙江大学硕- l 学位论文 为了获得一种既与设备无关，又与光照无关的颜色表示方式，物体的光谱反 射率自然就成了最好的选择。因为如上所述，物体的光谱反射率，即物体对不同 波长的光反射的光通量与入射的光通量之比，就是物体显现为不同颜色的本质。 而且如果知道了物体的光谱反射率，就能预测物体在各种照明条件以及各种颜色 系统下的颜色表示。光谱反射率可以精确地描述物体的颜色，对色彩的定量描述 有重要意义。 获取物体光谱反射率的传统方法是利用分光光度计。但分光光度计一次只能 对一个像素进行测量，其工作量非常大。所以为了能够精确地得到所成像物体的 光谱反射率，可以对成像设备进行光谱表征( s p e c t r a lc h a r a c t e r i z a t i o n ) 。光谱表征 和色度表征同为对成像设备进行颜色表征的方法，但光谱表征法并不会出现如图 1 6 所示的同色异谱( m e t a m e r i s m ) l 构l 问题。当两种颜色样品的光谱反射比或者光 谱透射比不同( 异谱) ，而在特定的光照和观察条件下其颜色外貌又能相互匹配( 同 色) 的两种颜色刺激就称为同色异谱颜色或同色异谱色对，该现象则成为同色异 谱现象【3 1 。同一个c i ex y z 值可以对应多个光谱反射率。图1 7 中的曲线为紫色 花朵的光谱反射率和将计算机显示器的颜色调整为和日光下该紫色花朵一样颜 色时发出的光谱。从图中可以明显看出，日光下具有相同颜色的两样物体有着截 然不同的光谱。而用光谱反射率表示这两种物体则不会产生混淆。 萝 妻 室 焉 = l 曼 毒 鼍 i v w a v e l e n g t h 五。【n 叫 图1 7 日光下紫色的花朵和计算机显示器所显示的色彩具有相同颜色时各自的光谱功率分 布曲线 7 浙江人学硕：j ：学位论文 1 4 多光谱成像 由于人们生活中大多数物体表面的光谱反射率曲线是平滑的，所以从一般成 像设备所获得的r g b 响应值就可以重建出光谱反射率。但相比只有三个光谱通 道的普通r g b 彩色图像，多光谱图像中包含了更多的光谱通道( 在大多数应用 中大于6 ) ，也包含了更为丰富的光谱信息。因此，从多光谱图像中重建出的光 谱反射率的精度要比从普通成像设备的精度要高得多。多光谱成像技术也与许多 领域的应用相关，例如遥感、天文学研究，医学成像、博物馆藏品分析、化妆品、 制药、高精度彩色打印、电脑绘图等等。 考虑到物体光谱的统计特性，相机的光谱响应特征和系统所用光源的光谱辐 射分布，多光谱成像系统通常包含一个单色( m o n o c h r o m e ) 或者三色( t r i c h r o m a t i c ) 相机和一套按顺序组合的滤光片。滤光片的规格有两种，一种是窄频带滤光片， 另一种是宽频带滤光片。当滤光片波长峰值以每隔1 0 n m 的宽度从4 0 0 n m 到 7 2 0 n m 变换时，其光谱传递函数如图1 8 所示。从图中我们可以看出： 1 、除了宽频带滤光片当波长峰值大于6 5 0 n m 的情况下，其余的光谱传递函 数都接近高斯分布。 2 、滤光片光谱传递函数极大值的1 2 处的全宽度f w h m ( f u l l w i d t h a t h a l f - m a x i m u m ) 并不是恒定的，对于宽频带滤光片组，其变化范围为1 5 8 0 n m ；对 于窄带滤光片组，其变化范围为2 3 r i m 。 3 、在宽频带滤光片中，当波长峰值4 4 0 n m 时，滤光片的光谱传递函数在 长波长一侧出现了不必要的第二峰值( 见图1 8 ( b ) ) 。 1 4 1 多光谱图像颜色复制技术发展回顾9 】 多光谱颜色技术最早由德国的亚琛工业大学于1 9 7 4 年提出并发展起来的， 主要经历了如下几个发展阶段： 1 、多光谱图像光谱重建概念的提出( 1 9 7 4 1 9 8 4 ) ：早期的多光谱图像采集 装置采用了1 6 个光谱通道，其最初目的是采用电子的方法精确并且快速测量打 印出的产品颜色。1 9 8 4 年，一台称作“c o l o r c o m p ”的分光光度计进入市场。这 是第一台商品化的快速并行采集颜色信息的多光谱光度计，如图1 9 所示。 浙江大学硕上学位论文 ( a ) 窄带滤光片 ( b ) 宽带滤光片 图1 8 当波长峰值以1 0 n m 为间隔从4 0 0 n m 到7 2 0 n m 变化时，两种规格滤光片的光谱传递 函数 2 、全面发展阶段( 1 9 8 7 1 9 9 4 ) ：在德国亚琛，多光谱数码相机研究获得资 助，于1 9 9 0 ，1 9 9 1 年间建成一套实验装置。这是一套基于数字图像技术的多光 谱图像采集系统，如图1 1 0 所示。采用5 1 2 5 1 2 像素的黑白( 单色) c c d ，由 9 浙江太学硪l 学位论i 电机控制的转轮装有1 6 片窄带干涉滤光片。1 9 9 4 年改进了其光电系统，安装了 2 0 4 8x2 0 4 8 像素的带制冷系统的c c d 数码相机，采集1 6 个波段的光谱图像需 要约3 0 分钟。在这一时期，美国的m u n s e l l 颜色科学实验室等研究机构开始从 事这一领域的研究工作，并取得了许多进展 图】9 c o l o r c o m p 圉i1 0 第一台多光谱成慷实验系统 3 、逐步发展和应用阶段( 1 9 9 8 - 夸) ：多光谱图像颜色重建的一些实际问题 被逐步解决( 例如：机械系统的稳定问题，光源的均匀性问题和物镜- 9 滤色片之 问的多反射和光学旯敏度问题等) ，快速数据转换的控制和软件设计也被逐步改 浙扛大学碗学位q 文 进，一个完整的多光谱成像系统被建立两年以后( 2 0 0 0 ) ，亚琛的“c o l o r a i x p e r 【s ” 系统进入市场，如图11 1 所示它可以采集分辨率为1 2 8 0 1 2 8 0 到3 0 0 0 x2 0 0 0 的田像，最新的产品只需要1 0 秒时间就可以拍一幅多光谱图像，而在c i e a e 9 4 色差公式下最大的误差仅为1 4 个色差 c c d c a m e n o d u c a l l m a g m g i l l u m i n a t i o n w l f i t e m 妣n c ea n d o b j e c tc s f f i e f 图i1 i1 6 通道的多光谱成像系统c o , o r a i x p e r t s 1 5 论文的主要内容 本文研究了目前常用的几种最典型的光谱反射率重建方j 圭和目前比较流行 的几种在光谱反射率重建中选择最合适颜色样本对系统进行训练的方法，并做t 以下两项创新工作： 创新点i ：针对已有常用的线性光谱反射率重建方法在处理成豫系统非线性 问题和测量噪声时的不足，证宴了基干相机响应多项式扩展及正则化最小二乘的 光谱重建方法在处理这类问题时具有较好的效果 创新点2 ：针对已有的训练样本选取方法未考虑实际成像系统的缺陷，提出 了全新的代表颜色分步选取算法，并用实验结果证明7 本文提出的方法得到7 很 浙江大学硕：t 学位论文 好的光谱反射率重建精度，并明显优于绝大部分已有的算法。 具体每章内容安排如下： 第一章主要简述了颜色的本质，对成像系统做色彩表征的方法和各自的优缺 点，描述了多光谱成像及其发展过程。 第二章回顾了目前主要的一些光谱反射率重建方法，如维纳估计法、有限维 模型法和伪逆法等。 第三章介绍了现有的光谱反射率重建中代表颜色的选取方法。 第四章针对已有常用光谱反射率重建算法在估计非线性成像系统时存在的 缺陷，研究了使用相机响应变量的二阶多项式，用普通最小二乘法和正则化最小 二乘法来处理这种非线性因素的方法，并通过实验检验了这两种方法的效果。 第五章针对已有的光谱反射率重建中代表颜色的选取方法未考虑实际成像 系统特性的不足，提出了一种代表颜色的分步选取算法，并通过实验证明该方法 在光谱精度及色度方面优于先前方法。 第六章对本论文所提出的算法的优缺点进行分析和总结，在此基础上对新的 算法进行展望，并提出除了算法以外成像系统本身可以继续改进的建议。 m 江 学碗# 位论文 第= 章光谱反射率重建方法概述 2 1 成像系统模型 为了更好地表述光谱反射率重建的过程，有必要先建立一个成像系统模型并 进行大致的介绍。成像系统及过程如图21 所示。 m ) 杂i l l u m i n a t i o n ，o l 。r 吲t e r i 妥虿_ l i i i 阿一= c a m e r a 在上囤所示的线性成像系统中，假设，为照明光源的光谱功率分布函数， r m ) 为所成像物体的光谱反射率，阳为系统中第1 个通道滤光片的光谱透过率， o 似为镜头的光谱传递函数，j 例为成像设备( 相机或扫描仪) 的光谱敏感函数，则 成像系统第i 个通道的响应输出为 v ，= i ，( 丑) r ( 工) ，( ) o ( ) j ( 丑) 枞+ b + h ：( 2 1 ) = h ( ) r ( ) 以吨+ ， 式中b 一为暗电流引起的响应， 为零均值的高斯白噪声。由于h 、瓜砷与j ( d 都为未知量，将其合并为单一的光谱响应函数m 砷= 托枷蹦椰o ( 丑扣( 却。考虑到大 部分物体的光谱反射率在4 0 0 7 0 0n m 可见光波段中是平缓变化的，在实际应用 中一般通过1 0r , r a 问隔的采样点来表示，从而光谱反身 率为一个x i 维妁岛量r ， 其中n = 3 i 。同样地，系统响应也可由一个c x i 维向量v 表示，其中c 为系统的 光谱通道数。从而( 21 ) 式重写为向量矩阵形式： 浙江大学硕士学位论文 v = m r + b + 1 1 ( 2 2 ) 式中m 为c n 的光谱响应函数矩阵，b 和1 1 分别为c 1 的暗电流响应向量与 图像噪声向量。另u ：v b ，则( 2 2 ) 式可写为 u = m r + n ( 2 3 ) 对于非线性的成像系统( 如扫描仪) 来说，其实际响应p 和线性响应u 之间 存在非线性光电转换关系1o 】： p = f ( u ) = f ( m r + n )( 2 4 ) 式中尺) 为一维非线性单调函数。以) 通常可将多个灰阶颜色成像得到。 2 2 光谱反射率重建的算法 假设通过已知线性成像系统响应u 重建出的光谱反射率为 ，其转换方程为： = w u 一 ( 2 5 ) 其中w 为c 的转换矩阵，所以要重建光谱反射率就需要先求出w 。光谱反 射率重建的过程如图2 2 所示，颜色样本经过相机( 成像系统) 就获得了相应的 响应，再经过光谱表征( w ) 可以得到与设备、环境等无关的颜色样本的光谱反射 率估计值。 典型的光谱反射率重建方法可以分为三大类2 1 ：维纳估计法、违逆法和有限 维模型法。另外，也有不少学者在此基础上提出了一些新的算法。 2 2 1 维纳估计法 维纳估计法( w i e n e re s t i m a t i o n ) 的核心思想是使训练样本的估计光谱反射 率与真实光谱反射率的均方误差( m e a l ls q u a r ee r r o r s ，m s e ) 最 【l i 】【1 2 1 1 13 1 ，即： e 缸一 】r 【r 一 b 斗朋砌f 聊姗 ( 2 6 ) 式中上标t 代表矩阵的转秩，下同。则有： w = ( i g u r ) ( u u r ) 。1( 2 7 ) 将式2 3 代入式2 7 可得： 浙大学顿士学位论立 ”篙r rm 掣r n l 韫 m r r 警m + m ：! i ：o m 扪 s ， = 【77 + 7 】 7 7+rn7+nr77 + n 7 1 。 、7 c a m e r as p c c l r a l 图2 2 光谱反射串重建过程示意田 由于反射率向量r 与噪声向量1 1 并不相关，所以式2 8 可以简化为： w = k ，m7 ( m k ，m7 + k 。) 。( 29 ) 式中k r 和k n 分别为光谱反射率r 的自相关矩阵和噪声n 的自相关矩阵中对角 元素构成的对角矩阵： k ，= e r r 7 )( 21 0 ) k 。= 舶g p ? ，口，程 ( 21 1 ) 武( 2 1 0 ) o e 叫) 表示统计学中的期望，式( 2 1 1 ) 中的第c 个通道的噪声的方差可以 表示为： n ；= s 一r nr l 2 f 2 1 2 1 西+ 丑剖1一一占一 一 浙江大学硕士学位论文 式中为u 中第c 个元素，m 。为第c 个光谱通道的光谱响应函数。 维纳估计的运算公式需要三个矩阵：光谱响应度矩阵、反射率自相关矩阵和 系统噪音协方差矩阵，所以维纳估计法的精度很大程度上受光谱自相关矩阵和系 统噪音协方差矩阵的影响【2 】【14 1 。 2 2 2 伪逆法 伪逆法( p s e u d o i n v e r s e ) 可以看作是维纳估计法的一种变形【2 】【1 5 】，在伪逆法 中转换矩阵w 直接计算为1 1 】【1 6 1 ： w = r u + = r u 7 1 ( u u r ) 一1( 2 1 3 ) 其中上标+ 表示伪逆，r 为反射率向量r 的矩阵，u 为成像系统响应u 的矩阵。 2 2 3 有限维模型法【1 7 】【1 8 】 许多研究表明，根据光谱反射率r 的光滑特性，r 可以用以咖个特征方程 b ，的线性组合很好地来近似，即推导出其有限维模型( f i n i t e d i m e n s i o n a l m o d e l i n g ) ，如式2 1 4 所示。 ， r 口j b j ( 2 1 4 ) = l 式中b ，为该线性模型的固定的基函数，研为与特定的光谱反射率相应的系数。如 果光谱反射率r 在可见光波段被均匀地采样次，线性模型就可以表述为： r = b a = 【b l ，b 2 ，b ，】【n l ，a 2 ：，口- ，】1( 2 1 5 ) 式中光谱反射率r 为一个1 维的向量，b = 【b l ，b e ，b 月是一个j 维的矩 阵，a = 【a l ，a 2 ，a a7 为系数向量。一组光谱反射率向量r l ，r 2 ，r r 的线性模型 可以通过选择合适的基函数b ，和系数a g ，来使得下式最小来确定。 孙囊j = l 。，i | 2 ( 2 1 6 ) 式中基函数b 既可以通过对训练样本光谱反射率的主成份1 析( p r i n c i p a l c o m p o n e n t a n a l y s i s ，p c a ) , 7 潞 1 9 2 0 2 1 1 ，也可以使用成熟的数学系统，如f o u r i e r 基函数或高斯基函数【2 2 1 ，而系数a j ，则可以通过优化算法求得。当b 的维数j 逐 渐增加时，式2 1 6 的值就会逐渐减小并最终为0 。联立式2 3 和式2 1 4 可得： 浙江大学硕士学位论文 j u = m r = 日m b ，= l ( 2 1 7 ) 式中，系数吩可以通过c 厂维矩阵m 协的伪逆来估计，而重建的光谱反射率可 以通过将估计得到的系数a j 代入式( 2 1 4 ) 得到。 ， = 巳b j ( 2 18 ) 2 2 4 最优化与自适应维纳估计法 在维纳估计法中，转换矩阵w 由光谱响应度矩阵m 、反射率自相关矩阵 k ，和系统噪音协方差矩阵k 三个矩阵决定。其中，光谱响应度矩阵m 和系统 噪音协方差矩阵k 盯由成像系统决定，而k 则包含了训练样本的光谱反射率的相 关性信息。 在传统的维纳估计法中，所有的训练样本都被赋予了相同的权重。而s h e n 则认为与测试样本越相似的训练样本在准确重建测试样本的光谱反射率时起到 的作用越大，可以根据与测试样本的相似程度对训练样本赋予不同的权重【1 3 1 2 3 1 。 这样，转换矩阵w 就包含了更多对测试样本有利的信息。基于以上这种想法， s h e n 提出了两种基于维纳估计法的改进算法：最优化维纳估计法与自适应维纳 估计法。 2 2 4 1 最优化维纳估计法【2 3 l 在最优化维纳估计法( o p t i m i z e de s t i m a t i o n ) 中，训练样本u ，的权重定义为： = ( 2 万) 刮2 i 。re x p - i 1 ( u ，一u ) 7 。- 。1 ( u ，一u ) 】 ( 2 1 9 ) 式中。为训练样本u i 的协方差矩阵，定义为： 。= e ( u ，一面) ( u 。一百) 7 1 ( 2 2 0 ) 式e ee ) 表示统计学中的方差，面表示u ，的平均值。 加入了权重瓯之后，重建出的光谱反射率与实际光谱反射率之间均方误差 ( m e a ns q u a r ee r r o r ) 可以示为： 浙江大学硕士学位论文 = 圭扣萨训2 ( 2 2 1 ) 将式2 5 代入式2 4 2 中可得： j i = 捌w 叩，q l l l 2 = 劫w 菇，一哪 ( 2 2 2 ) 。#i。，-l 式中冠，= 口，l l l f ，i = 口，r 。 用f 表示n xl 维的训练样本的光谱反射率r i 的集合矩阵，用面表示c l 维的训练样本的光谱反射率u ，的集合矩阵，则转换矩阵w 可以表示为： w 哪= ( f 面r ) ( 丽丽7 ) 一( 2 2 3 ) 比较式2 2 3 与式2 7 不难发现，转换矩阵w 的形式是一致的。 2 2 4 2 自适应维纳估计法【1 3 】 最优化维纳估计法中，认为与测试样本距离越近的训练样本对精确重建训练 样本的光谱反射率的贡献越大。与此不同，自适应维纳估计法( a d a p t i v e e s t i m a t i o n ) 认为与测试样本形状越相似的训练样本对精确重建训练样本的光谱 反射率的贡献越大。而且在自适应维纳估计法中，也不是直接对训练样本赋予不 同的权重，而是增加形状相似的同一个训练样本的数量来改变反射率自相关矩阵 k ，从而影响转换矩阵w 。 假设测试样本的成像系统响应为u ，而其利用传统维纳估计法重建出来的光 谱反射率为子，则可以根据 的形状在待选样本中选择相似的作为训练样本。在 计算待选样本的光谱反射率i i 与 的相似程度时，首先将r ，进行归一化处理，即 使得n 中的所有元素之和为1 。这样做的理由是光谱反射率的统计信息主要是由 其形状决定的，而非绝对大小决定的。 定义光谱反射率的相似度由两部分组成，分别为平均光谱距离与最大光谱距 离，如下所示： 4 = 孟e a l 向一剖) + ( 1 - a ) ma x l 南一南l c 2 甜， 式中口为两个距离的权重的调节因子，i 矧表示向量x 中的元素的绝对值。对于两 浙 学碰j 位论文 个形状非常相似的光谱反射率，平均光谱距离与最大光谱距离都会很小，而西 也趋近于0 。 根据光谱的相似性选择个训练样本，然后按照相似程度将n 按照升序排 列，也即41 也以在这些选择出的训练样本中，有理由认为与测试样本 相似程度越高的训练样本对计算反射率自相关矩阵k ，的贡献应该越大。 设。为最终选择的训练样本集合，而在其中n 将重复出现岛次，即： n = b ，警，_ z s ， 式中对第i 个选择的训练样本重复的次数岛定义为： 仁+ o s j 仁z s ， 式中b j 表示取最接近x 的较小整数，为指教因子。由于n 为训练样本中与测 试样本差别最大的，所以取k l = l 。根据该方法选择出的训练样本如图2 3 所示 一j 在该方法下，集合n 中的训练样本数通常都大干，而转换矩阵则可以表示 加盯：宝啦 ooc98= 浙江大学硕士学位论文 为： w a w e = k ，q m7 1 ( m k ，q m7 + k 。) 一 ( 2 2 7 ) 式中k q 即为集合