版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
括第一视频中的第一图像帧和第二视频中的第基准子图中目标对象和历史子图中目标对象的2获取待拼接图像,所述待拼接图像包括第一视频中的第一图像帧和图像包括第一子图和第二子图,所述第一子图为所述第一图像帧中所述重叠区域的图像,拼接图像是对所述第一视频中位于所述第一图像帧前的历史帧和所述第二视频中位于所根据所述第一拼缝位置对所述第一图像帧和所述第二图像帧进行第二拼缝位置是所述基准子图中与位于所述历史子图中目标区域的拼缝位置相同的位置,所述目标区域为所述历史子图中与所述基准子图中背景位置相同所述根据所述第一拼缝位置对所述第一图像帧和所述第二图像帧进根据所述第一拼缝位置和所述第二拼缝位置,对所述第一图像帧4.根据权利要求1至3中任一项所述的方法,其特征在于,位确定所述第一图像帧的抖动幅度和所述第二图像确定所述第一图像帧和所述第二图像帧之间的几根据所述几何变换关系对所述第一图像帧和所述第二图像所述根据所述第一拼缝位置对所述第一图像帧和所述第二图像帧进3根据所述第一拼缝位置,对重投影的所述第一图像帧和重投影的8.根据权利要求7所述的方法,其特征在于,所述几何变换关系由目标单应性矩阵表根据第一权重和历史帧单应性矩阵,对所述目标单应性矩阵进历史单应性矩阵是得到所述历史拼接图像时对所述历史所述根据所述几何变换关系对所述第一图像帧和所述第二图像帧进行基于经时域平滑处理的所述目标单应性矩阵对所述第一图像帧和所述第二图像帧中9.根据权利要求7或8所述的方法,其特征根据第二权重和所述全局单应性矩阵,对所述局部单应性所述根据所述几何变换关系对所述第一图像帧和所述第二图像帧进行基于所述全局单应性矩阵对所述第一图像帧和所述第二图像帧中除所述重叠区域外获取单元,用于获取待拼接图像,所述待拼接图像包括确定单元,用于当所述待拼接图像的抖动幅度小于或等于预设4拼接单元,用于根据所述第一拼缝位置对所述第一图像帧和所述第二图像帧进行拼所述确定单元,还用于当所述待拼接图像的抖动幅度小于或等于所所述拼接单元,具体用于根据所述第一拼缝位置和所述第二拼缝位置所述确定单元,还用于确定所述第一图像帧的抖动幅度和所述第二图像帧的抖动幅所述重投影单元,用于根据所述几何变换关系对所述第一图像帧和所所述拼接单元,具体用于根据所述第一拼缝位置,对重投影的所述第一平滑单元,用于根据第一权重和历史帧单应性矩阵,对所述目所述重投影单元,具体用于基于经时域平滑处理的所述目标单应性矩5平滑单元,用于根据第二权重和所述全局单应性矩阵,对所所述重投影单元,具体用于基于所述全局单应性矩阵对所述第一图像6具有不同视场的多个相机所拍摄的图像进行拼接后到的拼接图像通常存在明显的[0007]本申请提供的方法在对第一视频中的第一图像帧和第二视频中的第二图像帧进图像帧和第二图像帧拼接后得到的目标拼接图像不会由于拼缝位置变化而在时域上发生78得第一方面中的任一种可能的实现方式提供的任一9[0030]图1为本申请实施例提供的一种由于拼缝位置变化导致拼接后的视频在时域上发[0037]图8为本申请实施例提供的一种第一图像帧、第二图像帧以及重叠区域图像的示[0045]图16为本申请实施例提供的一种将第一图像帧和第二图像帧的重叠区域划分为[0051]目标检测是指找出图像中感兴趣的目标,并确定出目标的类别和在图像中的位[0056]导致视频画面发生抖动的原因包括多种,例如拍摄视频的相机/镜头发生位移晃[0058]其中,OIS通过移动相机/镜头中镜片组或感光芯片的位置来补偿拍摄时相机/镜[0059]EIS可以通过加速度传感器和/或陀螺仪模块检测相机/镜头抖动的幅度,或通过软件算法预估相机的运动,从而根据检测到的相机/镜头抖动的幅度或预估到的相机的运进行模糊修正的目的。这里,ISO是指国际标准化组织(internationalstandards[0062]相机成像原理是通过复杂的成像过程将三维物理世界(即世界坐标系)映射为二[0066]以图像拼接领域为例,由于单应性矩阵能够表征两幅图[0067]单应性矩阵可以通过不同视角下的两幅图像中具有匹配关系的特征点计算得图像2中具有匹配关系的一对特征点。可见,只有包括物理空间中同一物理对象的两幅图缝为图1中的(b)所示的拼缝1,则根据拼缝1对图像1和图像2进行拼接,可以得到图1中的图像1的下一帧图像和图像2的下一帧图像进行拼接,可以得到图1中的(c)所示的第m+1帧[0083]可以看出,目标对象在图1所示的第n+1帧拼接图像和第n帧拼接图像中的显示位一视频和第二视频拼接后得到的目标拼接视和第二图像帧的相机/镜头运动产生的画面抖动,拍摄第一图像帧和第二图像帧时目标对摄第一图像帧和第二图像帧时目标对象发生了轻微运动/移动,又或者拍摄第一图像帧和[0088]图像处理装置用于在线或离线的对上述多个图像采集装置采集到的视频进行拼置22拼接得到的视频的图像,音频模块34用于输出图像处理装置22拼接得到的视频的音像头51的拍摄视场和和摄像头53的拍摄视场的重叠区域为图5中阴影示出的椭圆形区域,[0105]处理器601是计算设备60的控制中心,可以是一个通用中央处理器(central器件、分立门或者晶体管逻辑器件、分立硬件组件、图形处理器(graphicsprocessingunit,GPU)、神经网络处理单元(neuralprocessingunit,NPU)、张量处理器(tensorprocessingunit,TPU)或人工智能(artificialintelligen[0108]存储器602包括易失性存储器或非易失性存储器,或可包括易失性和非易失性存DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatadateSDRAM,DDR取存储器(synchlinkDRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus以是非易失性内存(non_volatilememory,NVM)、相变化内存(phase_changememory,[0111]通信接口603,用于计算设备60与其他设备(如图像采集装置等)通过通信网络连总线(peripheralcomponentinterconnectexpress,PCIe)、计算快速链路(computeexpresslink,CXL)或扩展工业标准体系结构(extendedindustrystandard假设图像帧1的拍摄视场和图像帧3的拍摄视场具有重叠区域,图像帧2的拍摄视场和图像二图像采集装置当前采集到的第二图像帧,从而获取到待拼接的第一图像帧和第二图像的第二视频,第一视频和第二视频的图像格式可以是RGB(red,green,blue)、YUV像处理装置需要将第一图像采集装置到的视频图像和第二图像采集装置采集到的视频图子图是上述第一子图或第二子图中的一个,历史子图是历史拼接图像中重叠区域的图像,历史拼接图像是对第一视频中位于第一图像帧前的历史帧和第二视频中位于第二图像帧史拼接图像为目标拼接视频中目标拼接图像的前预设数量标拼接视频中的第(m_2)帧图像是对第一视频中的第(m_2)帧图像和第二视频中的第(m_2)接图像的数量为r,也即历史拼接图像实际包括目标拼接视频中目标拼接图像的前r帧图理装置确定出的第一拼缝位置,位于当前基准子图中目标对象和前r帧子图中该目标对象像),则目标对象80在基准子图中显示为对象81。当目标对象80在历史子图中显示为对象像),则目标对象80在基准子图中显示为对象81。当目标对象80在历史子图中显示为对象帧和第二图像帧的相机/镜头运动产生的画面抖动,拍摄第一图像帧和第二图像帧时目标于当前算法确定用于拼接第一图像帧和第二图像随机大小将基准子图划分为多个子区域,或者以预设大小将基准子图划分为多个子区域,[0165]第一种可能的实现方式中,图像处理装置可以从基准子[0167]第二拼缝位置是基准子图中除第一拼缝以外的拼缝(下文中称为第二拼缝)的位[0171]可选的,图像处理装置可以根据第一子区域中目标对象在历史子图中对应的拼的(a)所示,例如目标对象80从历史子图中对象91所在的位置移动到基准子图中对象81的缝92的位置和基准子图中绕过目标对象80的拼缝93的标对象后续的运动范围未超过前述的运动范围,则可以保持绕过目标对象的拼缝位置不[0178]在通过第一种可能的实现方式根据第一子区域确定背景[0189]S201、确定第一图像帧中第一子图和第二图像帧中第二子图中的目标对象和背存背景图像作差分计算,从而将差分结果大于阈值[0196]又一个示例中,上述几种在图像中识别目标对象和背景概率为0,则表示像素1属于背景。当通过上述方式确定第一图像帧中像素2的类别概率为像处理装置确定子区域V[i][j]是包括目标对象的区域的概率值为p=Nf/N。当概率值p大[0201]又例如,当基准子图中的子区域V[i][j]中包括至少一个类别概率大于阈值的像换(Scale_invariantfeaturetransform,SIFT)、加速稳健特征(Speeded_UpRobust括但不限于:暴力匹配(Brute_ForceMatcher)算法、随机采样一致性(RandomSample[0210]其中,上述对图像采集装置进行离线标定的过程可以在图像采集装置出厂前执第一图像帧和第二图像帧进行重投影时,采用的投影方式包括但不限于:直线投影(rectilinear)、等距柱面投影(equidistantcylindrical)、等立体角投影(equisolid执行上文所述的S1021和S1022。其中,本申请实施例对图像处理装置执行S1021、S1022、像建立为一个拉普拉斯(Laplace)金字塔,且拉普拉斯金字塔的每一层包含图像不同的频[0230]可选的,上述显示模块是与图像处理装置所属设备连接的远端设备的显示模13示出了本申请实施例提供的又一种图像处理方法的流程示意图。该方法在执行S101、[0239]图像处理装置在通过S1022确定第一拼缝位置,以及通过S301确定第二拼缝位置图像帧整幅图像和第二历史图像帧整幅图像性矩阵可以是经时域平滑处理的单应性矩阵,也可以是未经时域平滑处理的单应性矩阵,影的第一图像帧和第二图像帧执行S204~S206,以完成对第一图像帧和第二图像帧的拼[0258]S501、确定表征第一图像帧和第二图像帧之间几何变换[0260]图像处理装置还可以将第一图像帧和第二图像帧的重叠了一种将第一图像帧和第二图像帧的重叠区域划分为多个子区域的示意图。如图16所示,第一图像帧和第二图像帧的重叠区域被划分[0264]假设第一图像帧和第二图像帧为待拼接视频中的第n帧拼接图像,则针对在S501的图像计算得到的局部单应性矩阵,则图像处理装置在根据S401中的公式(1)对该局部单应性矩阵进行时域平滑处理时,公式(1)中的S(n)为根据第一图像帧和第二图像帧在第二1)为根据第一图像帧的前一帧图像和第二图像帧的前一帧图像在第二子区域的图像计算[0267]可选的,由于重叠区域中子区域的图像中具有匹配关系的特征点数量可能较少(例如小于4对),因此基于该子区域图像中具有匹配关系的特征点计算得到的局部单应性应的未经空域平滑处理的局部单应性矩阵为T[i][j],且根据第一图像帧和第二图像帧计理的单应性矩阵,对此不作限定。这种情况下,经空域平滑处理的局部单应性矩阵T[i]单应性矩阵,对第一图像帧和第二图像帧重叠区域对应的多个局部单应性矩阵进行约束,[0279]方式2:图像处理装置根据上述待处理的局部单应性矩阵中相邻单应性矩阵之间叠区域中任一子区域图像对应的未经空域平滑处理的局部单应性矩阵为T[i][j],且T[i]影的第一图像帧和第二图像帧执行S204~S206,以完成对第一图像帧和第二图像帧的拼
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- (2026年)消防库房装备管理制度
- 粤教花城版小学三年级音乐上册《工农兵联合起来》课件教学设计
- 初三德育活动课教案:珍爱生命远离毒品的深度觉醒与行动建构
- 初中地理九年级一轮复习教学设计:中国地理差异的图式化构建与核心素养培育
- 初中八年级生物教学设计 生物的变异类型与遗传育种应用
- 高中生物学选择性必修3《胚胎工程技术及其应用》教学设计
- 初中物理八年级下册第七章 力 期末复习教学设计
- 高三化学化学反应原理等效平衡思维深度教学设计
- 统编版八年级语文上册名著阅读专题高效课堂教学设计
- 初二道德与法治教学设计:自觉守法 法律记心间-主题班会“法治护航青春路”实施策略与实践
- 儿童陶艺手工课件
- 2025年县属国有企业招聘考试笔试试题(含答案)
- 2026年劳动监察相关法规试题含答案
- 皮带栈桥防腐施工方案
- 肺癌分期tnm第8版
- 2026年秋季小学道德与法治一年级上册(新教材)教学计划含教学进度表
- 高新技术企业自查表
- 注塑品质部组织架构图及岗位职责
- 风力发电机组定检投标方案(技术标)
- 生产设备清洗消毒记录
- 1.6 颗粒料FDM方法《增材制造技术》教学课件
评论
0/150
提交评论