【《光流法的基本原理及分类分析》2900字】

(2-4)式定义了一条直线，直线上所有点都满足该式。同时该直线与图像梯度垂直，如图2-3所示。图2-3光流约束方程直线基于上述定义，接下来结合图2-4说明“孔径问题”，通过孔径1和孔径3，由于缺乏局部结构，只能估计正方形的边缘的运动。在孔径2内，在转角点，由于存在局部结构，可以充分测量运动；两个正常的运动都是可见的。图2-4孔径问题示意图（物体的真实运动为向左上，在图中2处能够观察到物体的真实运动，在图中1处观察到物体运动方向向上，图中3处观察到物体运动方向向右）为了解决“孔径问题”，光流约束方程需要引进其他的约束条件。采用不同的理论引进约束条件，形成了不同的光流法。按照理论基础与数学方法的区别把它们分成四种：基于梯度（微分）的方法、基于匹配的方法、基于能量（频率）的方法、基于相位的方法和深度学习等方法，下文将对这些理论进行介绍。2基于微分的光流算法Horn-Schunck光流法是基于微分的光流算法的代表算法，该算法的主题思想是全局平滑假设。准确来说，该算法假设光流场的光流运动同时满足光流约束方程和全局平滑性。该算法结合灰度恒定假设和平滑假设建立基于图像灰度的时域和空域的微分能量函数，并通过最小化该能量泛函来计算图像中像素的具体速度矢量。该算法最小化能量泛函时，首先采用变分算法得到微分方程。然后将式中的拉普拉斯算子用某一点的速度与其周围速度的平均值来近似，最后对得出的结果进行迭代求解，直到满足精度要求之后停止迭代。Horn-Schunck光流法的出现具有跨时代的意义，但J.L.Barron及D.J.Fleet等人的研究发现，该算法相对后续出现的算法精度较低[42]。并且由于该算法是迭代性质的算法，计算速度相对较慢。世界著名开源计算机视觉库OpenCV在3.0版本之后也移除了该算法，目前该算法已经很少在实际生产生活中应用。除此之外，比较有代表性的基于微分的光流算法就是Lucas-Kanade光流算法。LK算法由BruceDLucas和TakeoKanade于1988年率先提出[43]。该算法相对于一般的光流算法，还假设了空间一致原则：即对于同一个物体而言，其某一点在发生运动时其周围的点也有类似的运动。其假设在所研究的像素的局部邻域内，光流是恒定的。基于该理论，利用最小二乘法对邻域内所有的像素求解基本光流方程。由于该算法是非迭代的，使得光流的求解变得非常的简单，计算速度能得到很大的提升，因此在实际生产得到了大量地应用。3基于匹配的光流算法1987年，Anandan等人提出的第一种匹配技术是基于拉普拉斯金字塔和基于SSD（误差平方和算法）的由粗到细的匹配策略，并将其用于在图像序列中测量视觉运动[44]。从此之后，基于匹配的光流算法也逐渐发展成一类单独的光流计算方法。在该类方法之中，基于块匹配的光流算法应用最为广泛。其基本原理是先对相似的区域进行定位，然后通过相似区域的位移计算光流，基本过程如图2-5所示。由于该算法特别适合软硬件的实现，且具有很好的稳定性。因此在视频编码及物体运动检测中得到了广泛的应用[45]。块匹配光流算法的基本方法是将连续序列图像中的所有帧分解为很多没有交集的块，同时假设块内像素点的位移矢量相同。然后依据特定的匹配规则，在下一帧给定的搜索范围内找出与当前帧中的某块最相似的块，相似度最高的块与当前块的相对位置即为当前块中每个像素点的运动矢量，该运动矢量就是待求的光流[46]。然而，该算法采用在二维空间中搜索，然后选择最相似的部分进行匹配的策略，因此时间复杂度高。由于计算效率低，OpenCV在新版本中将该算法移动到OpenCVCUDA模块中，利用CUDA通用并行计算架构对该算法进行加速，从而使得其具有一定实用性。图2-5块匹配算法示意图为了克服块匹配的光流算法存在的上述问题，2015年，K.McGuir等人提出了一种基于图像边缘直方图匹配的光流计算方法[47]。该方法首先将复杂的二维灰度图像信息转化为图像边缘直方图信息，然后再进行匹配，将块匹配的光流法复杂度高的问题加以解决，大大缩短了算法计算时间。因此，在系统算力不足的场景下，该算法很有应用前景。4其他类型的光流算法基于能量的光流计算方法Heeger.D.J于1988年提出利用时空滤波器计算光流，由于在傅立叶域内设计了速度调谐滤波器，基于能量的方法也被称为基于频率的方法[48]。使用该方法估计光流场时，由于需要对输入的图像进行时空滤波处理，所以计算的光流时间和空间分辨率低。除此之外，该方法涉及大量的滤波器，因此带来了沉重的计算负荷。此外，对该方法进行可靠性评价也很困难。基于相位的光流计算方法1990年，D.J.Fleet和A.D.Jepson率先提出将相位信息用于光流计算的思想[49]。由于图像的相位谱中包含了图像的边缘及整体结构的信息，所以图像相位谱信息包含图像高频信息，相对于图像灰度信息更加稳定。因此，利用相位信息求解的光流场相比于基于灰度值信息求解的光流场具有更强的鲁棒性。但同时该方法也存在着复杂度较高、精度较低，对时间混叠敏感等缺点。深度学习的方法2015年A.Dosovitskiy等人最早使用深度学习CNN解决光流估计的问题，并提出了FlowNet网络结构，如图2-6所示[50]。随后，2017年A.Ranjan和Michael.J.Black将金字塔计算法则与深度学习结合，以一种有粗到精的方法进行光流计算，完成了传统算法和深度学习的完美结合[51]。2019年香港中文大学L.Pengpeng等人提出了SelFlow，利用自监督学习攻克光流计算遮挡难题[52]。时至今日，相比于传统的光流算法，基于深度学习的光流计算方法在Sintel，KITTI和Middlebury数据集测试排行榜上普遍具有更好的名次[17][18][19]。但