CN114022562B 一种保持行人完整性的全景视频拼接方法和装置 （同济大学）

MultimediaComputing,Communications,and页.一种保持行人完整性的全景视频拼接方法本发明涉及一种保持行人完整性的全景视2S2：在相邻相机的共视区域放置标定板，形成3LW为左视相机相对于中心坐标的变换矩阵，TBW为后视相机相对于中心坐标的变S304：以Pcenter为坐标中心建立半径为r的圆柱投影曲面，并定义映射的z轴尺度因子针对各相机的视频图像，根据包含偏差项的光度调整模型，所述相邻图像重叠区域的均值与方差对齐方程的4j根据求取的每个图像的增益g和偏差项b进行图像调整，得到5拼接算法的实时性以及暗光下的视频质量不佳等问题，现有的全景拼接系统往往难以兼6TLF78[0062]本发明还提供一种保持行人完整性的全景视频拼接装置[0064](1)图像光度对齐以及语义检测实现了自然的全景视频拼接效果，对语义信息的考虑大大增强了该系统在监控领域的实用性，拥有更高的视觉一致性以及光度对齐精确[0065](2)本发明环视全景相机阵列的相机位姿标定过程，采用光束平差法进行位姿优[0066](3)本发明对各视频图像进行光度对齐的过程中，计及了相邻图像重叠区域的均明通过选择性地更新缝合线以及基于缩放的加速，可以以12-26帧/秒的速度拼接全景视[0068]图1为本发明实施例中提供的一种保持行人完整性的全景视频拼接方法主要流程9[0087]使用本方法所设计的结构化全景相机阵列，采集视频，相机系统示意图如图2所RB光束平差法(BundleAdjustment)最小化回环前视位姿T′FF以及原前视位姿TFF之间的误[0114]针对四个相机的输入图像建立了包含偏差项的光度调整模型。以基于增益g的图该区域中图像i的像素强度值标准差。mji以及σji表示该区域中图像j的平均强度值以及标[0142]实验使用的数据集包含了5个场景中的行人视频，包括两个室内场景和三个室外[0143]环视相机系统标定实验中，使用重投影误差来评估结构本方法的结果和基准模型：文献“Automaticpanoramicimagestitchingusinginvariantfeatures”(M.BrownandD.G.Lowe,InternationalJournalofComputerandH.Huang,MultimediaToolsandApplications,vol.79,no.5,pp.3107–3124,2020.)[0152]最佳缝合线算法实验；实验与四种最先进的最佳缝合线算法进行了比较，即[0153]图6展示了在两组测试图像上的不同缝合线算法的定性对比结果。没有使用缝合的结果在两组测试图像上都存在行人身体的错位与缺失。DP与Iterative也在一组测试图[0154]表2为最佳缝合线算法定量实验结果，列出了每种方法对每组视频的拼接结果中[0158]最佳缝合线算法时间性能实验；表3中记录了使用不同的最佳缝合线算法时平均[0161]实验结果表明，由于图像显著性预测和多轮迭代优化等GC的变体Perception和Iterative的时间成本极高。而本方法通过选择性地更新缝合线以[0162]本实施例还提供一种保持行人完整性的全景视频拼接装置，包括存