第五讲中层视觉正交变换与运动估计

第五讲中层视觉(3)图象处理中的正交变换运动的理解与估值1.图象处理中的正交变换图像的各种变换尤其是正交变换在图像处理中有着广泛的应用，如图象的特征提取，图像的压缩编码，图象的增强和滤波等。它的主要思想就是将原来在空间域上的图像信号，通过一系列数学变换（如富里叶变换，余弦变换等），变换到变换域（频率域，正交矢量空间），用变换系数来描述图像，这些系数反映了图像的某些特征，时域和频域之间的变换可用数学公式表示如下：完成这种变换，一般采用的方法是线性正交变换。(7-2)为能同时表示信号的振幅和相位，通常采用复数表示法，因此上式可用复数表示为1）富里叶变换富里叶变换（FourierTransformation）是线性系统分析一个有力的工具，它使我们定量分析系统与信号的一个手段——频域分析方法。一维连续富里叶变换（回顾）1）离散富里叶变换如果{fi}是一个长度为N的序列，比如从对一个连续函数进行等间隔采样得到的，则离散富里叶变换（DFT）就是序列{Fn}：其中：由欧拉公式可知并利用cos(－θ)=cos(θ)，可得(7-10)可见，离散序列的傅立叶变换仍是一个离散的序列，每一个n对应的傅立叶变换结果是所有输入序列fi的加权和（每一个fi都乘以不同频率的正弦和余弦值），n决定了每个傅立叶变换结果的频率。通常傅立叶变换为复数形式，即式中，Rn和In分别是Fn的实部和虚部。上式也可表示成指数形式：其中通常称|Fn|为f(x)的频谱或傅立叶幅度谱，φn为f(x)的相位谱。频谱的平方称为能量谱或功率谱，它表示为考虑到两个变量，就很容易将一维离散傅立叶变换推广到二维。如果{f(i,k)}是一个NN的数组，则它的二维离散傅立叶变换对定义为二维离散富里叶变换二维离散富里叶变换的计算上式的指数可被分解，从而变换可写成依次将二维DFT分解为水平和垂直两部分运算，方括号中项表示在图象行上计算的DFT，方括号外边的求和则实现结果数组在列上的DFT。这种分解是我们可以用一维FFT来实现二维DFT。矩阵表示：DFT用矩阵表示可以写成二维离散富里叶变换的计算其中：是一个NxN的复酉矩阵，即矩阵的逆是它的复共轭的转置G-1=(G*)T.要得到一个酉矩阵的逆，只要简单地交换行和列位置，并改变每个元素虚部的符号。由于G是对称的，所以可以省掉转置。定义|F(m,n)|2=F(m,n)F*(m,n)为图象{f(i,j)}的功率谱，即F(m,n)的实部平方加虚部平方。功率谱是图像的重要特征，反映图像的灰度分布。例如具有精细结构的图像，其高频分量较为丰富。如果图像中目标形状排列呈现某种方向性，那么具有较高值的功率谱也呈现出与图像目标方向正交的方向分布。二维离散富里叶变换的计算f(x,y)yx|F(u,v)|2uv图像模式延伸方向与功率谱高值的模式方向互相垂直例如，假设图像{f(x,y)}灰度分布模式延y轴伸展,

1/X1/Y二维离散富里叶变换的计算f(x,y)的FT由于功率谱函数模式延u轴延伸,因此，图像功率谱模式延伸方向与原图像灰度分布延伸方向相互正交。一般来说，若f的FT为F,则有：二维离散富里叶变换由于富里叶变换的物理意义明确、直观，加上有快速算法，近年来又出现了大规模集成电路的专用芯片，因此它是图像数字变换中最常用的方法。实践中，除了DFT变换之外，还采用许多其他的正交变换。例如：Karhunen_Loeve变换，离散余弦变换、沃尔什-哈达玛变换、K-L变换等，下面将对常用的变换作一简要介绍。2.离散余弦变换（DCT）

离散余弦变换（DiscreteCosineTransform，DCT）的变换核为余弦函数。DCT除了具有一般的正交变换性质外，它的变换阵的基向量能很好地描述人类语音信号和图像信号的相关特征。因此，在对语音信号、图像信号的变换中，DCT变换被认为是一种准最佳变换。近年颁布的一系列视频压缩编码的国际标准建议中，都把DCT作为其中的一个基本处理模块。除此之外，DCT还是一种可分离的变换。一维离散余弦变换一维DCT的变换核定义为式中，x,u=0,1,2,…,N－1；式中，u,x=0,1,2,…,N－1。将变辣换式算展开但整理所后，舍可屡以写拼成矩街阵的翅形式桌，足即F=Gf其中一维DC峰T的逆避变换ID协CT定义夕为式中乒，x,同u慈=0针,贪1纹,唉2耽,殊…击,N－1。一检维DC肥T的逆羽变换阵核与丹正变害换核狭是相暑同的枪。二维细离散殿余弦项变换晌考虑兼到两受个变瓣量，含很容男易将相一维DC倘T的定傍义推滨广到受二维DC矛T。其正报变换撕核为式中平，C(u)和C(v)的定谢义相巷同，芒见上蔽式；x,u=0彻,剂1蚁,膝2麦,洲…辽,M－1；y,v=0黄,也1安,帖2芒,袍…病,N－1。二维DC那T定义姜如下烦：设f(x,幻玉y)为M×N的数妖字图畅像矩坚阵，习则离散痰沃尔薪什-哈达楼玛变域换（WH菜T）一维凤离散恩沃尔掩什-哈达惊玛变证换沃尔网什函视数是19裂23年由玻美国堵数学霞家沃贷尔什驻提出晌的。舌沃尔双什函爷数系访是一洞个完蚀备正宅交函樱数系规，其氧值只掌能取捧＋1和－1。按吵照哈扫达玛糟排列炸来定址义的递沃尔宵什函乒数是端由2n（n=杰0，1，2，…）阶盆哈达递玛矩套阵（Ha亿da拆ma晒rdMa雄tr略ix）得检到的微，而京哈达波玛矩差阵的巡寿最大祥优点垄在于民它具畜有简单蓝的递锯推关对系，掘即者高阶啦矩阵浓可用大两个俯低阶终矩阵动的克管罗内宇克积趣求得芦。N=熄2n(n酬=0爬,秒1,躁2估,可…)阶哈间达玛殿矩阵谋每一魔行的妈符号泳变化慈规律杀对应日于某肯一个贝沃尔刑什函半数的晓符号福变化讯规律沿，即N=潮2n(n倒=0爷,雨1,迈2照,润…)阶哈姿达玛荡矩阵夫的每不一行纱对应筋于一荣个离梳散沃羊尔什洁函数鼓，2n阶哈放达玛纷矩阵尚有如催下形括式：离散浮沃尔大什-哈达蜓玛变嘉换（WH吃T）哈达拌玛矩叶阵的毒阶数渡是按N＝2n(n＝0,男1侵,饭2,偿…泳)规律迟排列付的，科阶数脊较高俩的哈裕达玛发矩阵减，可吃以利用危矩阵哄的克疲罗内揭克积浴运算霉，由删低阶庙哈达渣玛矩请阵递违推得窑到，俊即矩阵似的克摇罗内龙克积树(Kr每on每ec捷ke鸡rPr慌od热uc勿t)魄运算津用符典号记桐作A⊙B，其运冷算规钟律如痕下：设则则2.离散会沃尔扭什-哈达坚玛变拍换一维裳离散夫沃尔贿什变删换定静义为一维胶离散拌沃尔马什逆稼变换孤定义帝为式中劳，Wa浅ls陆h(u,x)为沃存尔什疲函数轰。若森将Wa映ls洞h(u,x)用哈深达玛砌矩阵绒表示替，并免将变惧换表健达式息写成矩阵茧形式计，则滤上两歇式分冷别为和式中抛，［HN］为N阶哈竿达玛完矩阵姓。由哈贸达玛婚矩阵所的特乳点可子知，杰沃尔衡什-哈达罚玛变王换的宴本质取上是悉将离但散序错列f(x)的各分项值昼的符莲号按蒸一定宿规律溉改变赚后，誓进行环加减斯运算秧，弟因此垄，它议比采筹用复聚数运尽算的麻DF芒T和采辅用余碰弦运常算的DC优T要简房诚单得垂多。二维往离散付沃尔品什变谁换很容贞易将尖一维WH扁T的定技义推危广到碍二维WH块T。二维WH尼T的正源变换涂核和指逆变抵换核粉分别息为和式中疤：x,u=0上,脆1挎,凡2氏,绵…立,M－1；y,v=0誓,皆1躲,岩2烛,酱…碎,N－1。二维箩离散各沃尔仪什变每换图像济数据攻为f正变皱换为功：逆变导换为终：和求下夹面两怨个信咳号的杠二维WH吊T。N=4，二维WH艺T变换纸核为所以由此剥可见鉴，二尝维图罪像数浪据经辛过Wa皇ls择h变换犹后，丹仅在袭七左柳上部赖保留宪了一锹些元串素，怖而其垮他的盟大部掘分位包置上伍元素蚊取值朴为0，因践此说墨二维WH献T具有偏能量祝集中珍的特猴性，帐而且妥原始直数据硬中数嚼字越浅是均屿匀分送布，葬经变笔换后议的数慨据越悄集中赤于矩窜阵的活边角绍上。因此倍，WH扫T在图揭像压小缩，兴雷达凳、通鹊信、猴生物咱医学垒等得纷到了群广泛甜的应浸用。2.二维廉运动始估计自然桌界的予一切恨景物纵都在闯运动脉着，颗静止灵只是来相对纽奉的，始利用侨种种肃观测制器取辈得的带二维盼图像容序列颜只是丘记录斑了景顿物的纳某一辟侧面多、某永一局舍部、海某一疗时间境内各管时刻骑的灰欠度图薄像。谱从二蒙维图祥像序至列检节测景畅物运取动，害提取浸运动对参数墨，分掘析景孔物的悼运动傍规律榜；或豆者获嗽取立拉体景分物的先深度士、遮惊盖和狼表面达主方龙向等权信息肝是图马像序拦列分贫析的扇主要拌研究甚内容屈。例膀如，棒从运直动物殊体的造图像隐序列它提取漂物体寻（如播飞行骨器、匀交叉胸路口湿的汽岸车、继传送与带上持的机寸器零焦件等寨）的尼平移内、旋大转等爆运动芳参数办，从离卫星直云图猛提取评某地岭区上特空各择云团催中心灰的运滨动规若律。铲从一泛个心月动周刊期的垒超声掀波图烟像序元列，侮检测春心内悄膜位拳置，径从而芳计算抵心脏胸排血咱量等惩对诊淡断心其脏病监有重乳要价聋值的耍参数钳。二维埋运动全估计如果鹊同一桃个观宋测器矿，在妇相邻堪两时摩刻tk-鞋1和tk获得缘瑞的同司一个韵三维贪景物奏图像焦为f(询x,散y,坝tk-上1)帧与f(年x,旋y,tk)，而始景物欢中某盯物体嘱的特病征（雄例如岁飞行披器的胀前端娱）在每这两橡幅图犁像上概的相耽对位葱置是堂不同写的，结我们岸称这删种位乐置的想差为溉视差紫。它送是三墨维景嗓物的已运动锤反映偏在二据维图均像上乌的位桥移向葡量（败包括侮大小佣和方选向）.视差政除以黎时间tk，称趁为瞬如时位谅置速障度.在图饱象序兼列反丸映的馋景物校中，扛各物远体或示部分绘的运除动是磁不同息的，险形成钉众多亮的瞬戏时位舍置速研度向滋量，贪这些拉不同艺的瞬抬时位班置速国度向女量分圾布在盖图像辣上形黎成的途向量床场称俭为瞬时挎位置隔速度沃场，也喝称为光流姑场。根括据视逝差大须小和解方向怪可以趣推断料立体均景物辱物体跳表面鸟上各瞒点与驴观测监器之庭间的届距离衫或深浴度，犬从而雕获得袜距离想版图霉；也邮可以钱推断倦多个蓝物体互相互里遮盖泊边界额位置喂和物馅体表茫面各纺点的饮表面饱主方夺向。二维乔运动椒估计在运幕动检弟测、蒜运动范参数惑提取扇、运支动分嘴析、统距离桃版图潜获取哪、遮狐盖物经体边殊界古绪迹、帜物体张表面适主方惠向估屯计中惯，视贸差的去估计醒是十姥分重逗要的新。图像幼序列个分析菠的应训用领址域包令括工佛业（际生产日过程徐动态填监视价），纽奉办公置自动起化（找电视物会议国，可斩视电店话的停频带根压缩消）遥豆感（抛云的钻运动跳和高粘度估款计）命，生止物医座学，剥交通宫管理本等摄象免机和吸场景摩运动飘运动渐分析剧分为体四种垫模吓式模罢式：摄象对机静扛止/物体全静止犹：简迈单的佩静态友场景努分析挨．摄像成机静昂止/场景由运动妹：一赵类非伶常重血要的谁动态刻场景乌分析致，包赔括运于动目采标检克测、盾目标绵运动番特性行估计拢等，堵主要嫌用于工预警飞、监居视、币目标乌跟踪书等场愚合。摄象辨机运汉动/物体倡静止惹：重福要的单动态蛛场景厕分析权，包仿括基谨于运瓜动的吉场景刻分析尘、理棚解，谅三维成运动绵分析专等，淋主要租用于辜视觉票导航如、目喂标自迟动锁期定与蒸识别梢等．摄象早机运裙动/物体画运动候：最陪一般乘的情醋况，浪也是划最难联的问吼题，茎目前砌对该仅问题妇研究党的还遵很少．图象熔序列万，视桨差，耍瞬时双位置削速度国场和弱光流禁场图象圈序列阁又称舒动态粥图象屯，它走由一伤系列情图象禁组成堵，它愤们具绑有给霜定的云或假举设的钻相对榨次序困，并点给出睬相邻益两图颗象获爬取的交时间粮间隔表关系墨。它翁的一保般表错示可返以写暴成i,谢j=0技,1屈,…晚….犹,n邮-1所谓展相对搞次序企一般甚是指尾时革刻在津之穴后（k=漫1,窄2,断…n粗-1）。水相邻宝两图归象获费取的秀时间锣间隔娃定义斜为=忆-k=1岂,2员,…施….耳,n-1(k棕=1伏,2款,…科..当,n蚊-1联)可以趟不等菌也可湾以相帝等，逆一般窗取为转相等也就傍是说诱所有叔的图仓象的啦获取卖时间涉间隔践均相初等。图象建序列浇的每扫一幅予，引雀用电拔视机殖技术卫术语蹄也称刘为一暑祯。在动坏态景端物中膏，组宾成景予物的摆各个伟运动任物体圈在不弱同的贺时刻查其空芝间位茶置是或不同侍的。祸假设ox圈yz是空裳间物励体P点的婆空间姐位置帆坐标旋系，倚它构泼成物号体空归间。OX雹Y是图清象空他间，轻它是桨一个庸平面背，也僻就是闯观测捡器对佣物体笋点P进行锣观测语获取柜的图窄象形果成的否位置女。O与O相距F（观菌测器浮的焦和距）钞，oy幅z与OY毫Z位于献同一旋平面愉（见型下图营。P点在携时刻半物体六空间赵的坐若标为访，辞时刻比的怨坐标蜻为碗。它犹们在放图象法空间佛的坐建标分僵别为页和柴，记空间不物体乐点P从运动禽到，反诵映在朋图象召平面好上，漫从位置嗽运动风到。这厉是我兽们通谢过观残测器业观测顺三维牺景物纱运动适记录吗下来派并得烫到的哭信息漠。移位江到，其轧位移糠量为我们触称物种体表路面的辛点在喷相邻明两时融刻图据象上旁相应僚的位垂置的旬移位精为视梁差，皱视差欧的估集计称桨为视匠差问画题。物体蔬点P从运动雅到的时晃间间针隔为。把寺图象叫平面徒上物跑体图潮象相盐应位延置的口速度吐记为，那谁么的大丛小和盆方向销分别犹为从1）运抢动检投测和句估计京的傅贤立叶魔方法用傅漏立叶愉变换筒，可齐以检深测和抹估计障运动夹物体站的二念维平说移，核旋转房诚和尺耳度变小化1。物愤体图棉象平您移的戏检测波和估忠计假设拿在时塞刻运动浑物体衬点在圾图象巨空间除的位弹置为视（x,梅y），圈到时装刻，它沈的位钻置移赌到，如乘下图惯所示躺。我洞们要寺对和作出扔估计侵。一般飞我们怠可以破假设迎从时独刻到物体烦点的树灰度涛保持凝不变聚，也运就是可说的傅拆立叶强变换聚为的傅挡立叶固变换仓为==上式表耽示：宽时刻和两帧开图象每的傅尾立叶轻变换而相位担角之摇差为=而由变掘量的往可分像离性卵，与分别鞋表示康为和在X轴的谊投影违，亦颠即==和分别薯为和的傅通立叶器变换锯，那峰么它宵们的饥相位根角之枯差为=在频范率域槽，关炮于u，求拦得从而陷可解滑得同理嫁，求与在y轴投耗影，菜并求倒得它种们的际傅立期叶变倡换的辆相位镰角之籍差而我负们可装以得医到就是圆从时品刻到运动赔物体栋点P在图郊象上访的位认移量端。2）物毙体图专象旋减转和这尺度像变化州的检洁测和据估计用傅僻立叶胜变换核检测孕运动绳物体京可以何分别热处理织平移虑，旋止转和纤尺度客变化楚。由纹捐理分拐析数赴字变富换技豪术中润的傅垦立叶胀方法景可知胡，对怒于图掀象空负间的透线形催模式沿（例惧如直鲜的边善缘）示，经敞傅立尝叶变银换以交后，蚀它的耳功率伏谱也猜呈线阔性分裕布，个且通熔过（u,乖v）平航面的扛原点疮；它荣的方屡向与侮图象悼空间中域上束的线河形模裕式方蚁向正题交。物体钟图象淋的尺歇度变稼化，霸反映世在傅阁立叶您频率长域则搁是频边率高奶低的唱变化故。在猪图象庭空间衡域上侍物体代区域恰尺寸庸变大遵，在趴频率缴域上浆功率蔬谱的毕低频难分量毙增大摄，反饥之若比物体讽区域蜘尺寸驾变小躺，那恐么频出率域糕上功勺率谱招的高爷频分奶量增肝大。物体锹图象顿在空删间域充上的勾平移存并不蒙改变交频域跃的功避率谱库。估计霸物体减图象施的旋鲜转和乘尺度明变化具的具书体方絮法可宇如下词进行物体应图象涉旋转猪的估带计取不道同时斥刻（要例如酬相邻丹两时芝刻）境的两篇祯图秋象与，分功别对性它们劳施行FF雕T，并吼求它武们的恨功率析谱在频堂率域甚，功普率谱虚时间桶序列和寻找食具有速明显危相似检结构藏的直湾线模导式（雹都通泄过原拳点）姥（远见下改图）和。在上的陶投影也记为与的夹艘角就是捷我们委所求防的运留动物悉体二聋维旋远转的劣角度脆。中物体停图象四尺度宽变化丽的估弯计在和中，乡丰寻找英方向励相同拜的一伴对线幕性结狭构和，在平面愤上的师投影传记为和的最狗长直歇径，和（见送下图府），皇计算如果R＜1，即＜，那峡么从俊时刻到运动桐物体栗图象磁的尺途寸增佳大了奶，增繁大倍踪蝶数为1/幸R。如玻果R＞1，即＞，那静么从病时刻到运动览物体诞图象你的尺造寸变鼓小了经，其魔减小钱倍数勺为R。测量分别翅得到差分胃图像f(子x,味y,掉j)帧与f(转x,附y,宁k)帧之垮间的借变化搭可用另一个折二值牺差分狭图像傲表示秒：式传中T是阈能值目标沟运动啄差分培图象物体援运动誓引起鹿的图呼像变链化示歌意图光照伏变化恶引起榜变化很的差厨分图笑象(a形)和(b康)是取监自光繁照变辱化的抓图像饰序列摘的两脸帧图它像，(c相)是它撇们的捆差分散图像(T看=8茫0)基于押块的遇运动验分析基于勾块(B卧lo庙ck绝-b四as沃ed街