计算摄像学专题第8讲(上)课件

1、计算摄像学专题第八讲(上)戴琼海 付长军清华大学 自动化系2011-03-18 图像超分辨问题研究引 言随着计算机的迅猛发展，信号处理理论的不断增强，现代成像技术不再仅仅依赖那些能工巧匠，还需要强大的理论知识作为指导。计算摄像学就是在信号处理的基础知识上研究如何有效成像的一门交叉学科通过对图像超分辨率的学习，希望大家能对基础理论与实际应用（计算摄像学）之间的差距有一个直观认识，学会用“Vision”的方式来思考问题。提 纲背景介绍1理论分析2图像超分辨率方法介绍3展望单像素相机4背景介绍成像结果不同显示设备场景发射/反射出光线光线传输曝光镜头汇聚原始图像（CCD/CMOS）不同形式的图像：电视

2、相片画报等等积分效应镜头畸变散射折射成像过程受到多种干扰主要通过算法实现背景介绍原始图像（CCD/CMOS）图像超分辨率技术还被广泛应用于不同分辨率图像之间的转换，亚像素运动/视差估计等问题中红色通道绿色通道蓝色通道图像超分辨率技术需要的图像提 纲背景介绍1理论分析2图像超分辨率方法介绍3展望单像素相机4理论分析场景发射/反射出光线光线传输曝光镜头汇聚原始图像理论分析 数学描述理论分析图像超分辨率的病态性(信息量角度)根据最大熵原理，随着对现实场景处理的加深，图像熵将会增大，所得到的数据中包含的信息量将减少，为了从低分辨率图像恢复出高分辨率图像，必须引入新的先验信息先验知识信息量信息量信息量信

3、息量自然场景低分辨率图像高分辨率图像理论分析图像超分辨率的病态性（信号处理角度）香农乃奎斯特采样定理：当采样频率应该不小于奈奎斯特频率(即模拟信号频谱中的最高频率)的两倍时，可以不失真地恢复模拟信号。由于现实图像只是可以近似看做具有带限性，很难恢复出真实图像。当系统响应函数中包含零点时，采集到的图像中与零点所对应的频率将不可恢复：理论分析图像超分辨率的病态性（矩阵分析角度）DFh不满秩，在求解x的过程中，解不唯一当Fh为循环卷积矩阵时，其奇异值即为滤波器h的傅里叶变换系数理论分析图像超分辨率的问题就是如合从所有的可行解中找出一个最合理的结果出来。例如：在所有解中可以找一个x的全部值相同的解，找

4、一个具有最小能量的解提 纲背景介绍1理论分析2图像超分辨率方法介绍3展望单像素相机4图像超分辨率方法介绍Burg的最大熵原理表明: 满足如下约束的最大熵随机平稳过程Xi是p阶的 Gauss-Markov 随机过程自然图像往往具有分段平稳特性，AR系数变换缓慢。因此，可以利用AR（autoregressive）模型来解决图像超分辨等一些问题。图像超分辨率方法介绍现代信号处理理论中的AR系数估计方法Yuler-walker 方程图像超分辨率方法介绍图像的AR模型图像超分辨率方法介绍图像插值常用的六边形窗图像超分辨率方法介绍图像超分辨率方法介绍基于AR模型的图像插值图像超分辨率方法介绍基于AR模型的

5、图像插值图像超分辨率方法介绍基于AR模型的图像插值图像超分辨率方法介绍基于AR模型的图像插值图像超分辨率方法介绍关键问题此时，该方程具有严重的病态性，图像的噪声将严重影响到所估计的AR系数，但是也带来了新的机会，他的增广矩阵是低秩的：图像超分辨率方法介绍低秩理论特征值的稀疏性，低秩图像超分辨率方法介绍低秩理论实证相应增广矩阵的奇异值图像超分辨率方法介绍利用低秩先验的图像超分辨率目标函数：图像超分辨率方法介绍提 纲背景介绍1理论分析2图像超分辨率方法介绍3展望单像素相机4压缩感知相机压缩感知原理先验知识观测过程相关压缩感知相机随机投影频率相应x=0.2 0.2 0.2 0.2 0.2;x=rand(1,5);压缩感知相机压缩感知相机结构示意图压缩感知相机DMD示意图压缩感知相机成像结果总结自从计算机出现以来，数字信号处理无疑大大方便了某些问题的处理。一直以来数字计算都是对原有设备采集到的信号进行加工处理。但是随着计算机的日益发展，以及人们对数