CN110738737A 一种ar场景图像处理方法、装置、电子设备及存储介质 （北京市商汤科技开发有限公司）

姿数据以及虚拟对象在用于表征现实场景的三基于呈现特效信息，通过AR设备展示AR2基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿3.根据权利要求1或2所述的方法，其特从获取的多张现实场景图像中的每张现实场基于提取的多个特征点，以及预存的与所述现实场基于所述现实场景图像和预先存储的用于定位的基于所述三维场景模型和与所述现实场景匹配的虚拟对象，生34[0006]基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的征现实场景的三维场景模型中的位姿数据，来确定虚拟对象在现实场景中的呈现特效信[0010]基于获取的所述拍摄位姿数据、所述虚拟对象在所述三维场景模型中的位姿数5本图为基于预先拍摄所述现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；所述预存的三维样本图为预存储的表征所述现实场景形貌特征的三维[0030]基于所述匹配的三维样本图中的特征点在所述对齐后的三维样本图中的坐标信[0032]本公开实施例提前构建了预先拍摄现实场景得到的样本图库与预存的三维样本6[0035]基于所述现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神[0036]所述基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型[0038]上述实施方式将AR设备的拍摄位姿数据和现实场景图像属性信息结合来确定虚[0044]所述基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型[0046]上述实施方式将AR设备的拍摄位姿数据和现实场景的预设标签对应的附加虚拟7AR设备中展示的所述同一个虚拟对象被触发后对应的混合声音播放效果多个所述AR设备中展示的所述至少一个虚拟对象被触发后对应的混合声音播放效果进行AR场景下的呈现特效信息，从而当虚拟对象按照该呈现特效信息在1:1的现实场景中呈现[0064]本公开实施例可以通过多张现实场景图像中的每张现实场景图像中的多个特征拍摄位姿数据对应的虚拟对象在所述现实场8[0070]基于获取的所述拍摄位姿数据、所述虚拟对象在所述三维场景模型中的位姿数本图为基于预先拍摄所述现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；所述预存的三维样本图为预存储的表征所述现实场景形貌特征的三维[0087]基于所述匹配的三维样本图中的特征点在所述对齐后的三维样本图中的坐标信[0089]一种可能的实施方式中，所述第一获取模块在获取AR设备的9[0091]基于所述现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神[0092]所述第二获取模块用于采用以下方式基于所述拍摄位姿数据以及虚拟对象在用[0096]一种可能的实施方式中，所述第一获取模块在获取AR设备的[0099]所述第二获取模块用于采用以下方式基于所述拍摄位姿数据以及虚拟对象在用AR设备中展示的所述同一个虚拟对象被触发后对应的混合声音播放效果多个所述AR设备中展示的所述至少一个虚拟对象被触发后对应的混合声音播放效果进行[0112]第二生成模块，用于基于所述三维场景模型和与所述现实场[0141]这里三维场景模型用于表征现实场景，与现实场景在相同坐标系是等比例呈现[0143]这里的虚拟对象在三维场景模型中的位姿数据是指虚拟对象在三维场景模型中[0147]这里AR设备展示的AR场景图像为与拍摄位姿数据对应的虚拟对象在现实场景中象在现实场景中的呈现特效信息为10株圣诞树的中的5株在某校园操场东北角呈现，现实场景为该校园操场，则AR场景图像即为10株圣诞树中的5株在某校园操场东北角呈现的场对象的位姿数据能够较好地融入现实场景，从该虚拟对象在三维场景模型中的位姿数据导航卫星系统(GlobalNavigationSatelliteSystem,GLONASS)，无线保真(WirelessFidelity,WiFi)定位技术的定位部件；也可以同时包括用来确定AR设备的[0158]这里的拍摄位姿数据即可以包括摄像头的拍摄位置，或者摄像头的拍摄角度信有尺寸标注的三维图，比如可以是表征现实场景形貌特征的计算机辅助设计(Computer[0172](3)将该特征点云与预存储的表征现实场景形貌特征的三维图进行对齐，得到对的三维样本图确定从每张样本图片中提取的特征点在该对齐后的三维样本图中对应的坐[0175]上述在拍摄现实场景得到的样本图库中可以包括每张样本图片对应的拍摄位姿[0178]S402，基于匹配的三维样本图中的特征点在对齐后的三维样本图中的特征点在对齐后的三维样本图中的坐标信息作为该现实场景图像中的特征点的坐基于现实场景图像的特征点的坐标信息和每张样本图片的特征点的特征信息确定该现实[0182]本公开实施例提前构建了预先拍摄现实场景得到的样本图库与预存的三维样本机对该现实场景图像进行拍摄，得到能够全面表征该现实场景样貌的大量现实场景图像，型在对齐后的三维样本图中的第一坐标信息，以及齐后的三维样本图中的像素坐标系与型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息时，[0202]这里更新AR场景图像中展示的呈现特效信息可以指触发AR场景中虚拟对象画面操作时，可以按照该AR设备中展示的虚拟编钟被触发后对应的声音播放效果进行声音播[0208](1)获取到针对多个AR设备中展示的同一个虚拟对象的触发操作，按照多个AR设[0209](2)获取到针对多个AR设备中至少一个AR设备展示的虚拟对象的触发操作，按照以按照多个AR设备中展示的不同虚拟编钟被触发后对应的混合景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信[0221]基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的属性信[0222]这里可以针对每种现实场景，可以针对该现实场景按照不同的拍摄位姿进行拍[0227]上述实施方式将AR设备的拍摄位姿数据和现实场景图像属性信息结合来确定虚[0231](3)基于拍摄位姿数据、预设标识信息以及虚拟对象在用于表征现实场景的三维[0235]上述实施方式将AR设备的拍摄位姿数据和现实场景的预设标签对应的附加虚拟[0244]如图8所示，在基于多张现实场景图像，生成用于表征现实场景的三维场景模型[0247]该过程为基于多张现实场景图像生成用于表征现实场景的三维场景模型时的具[0248]本公开实施例可以通过多张现实场景图像中的每张现实场景图像中的多个特征[0252]第二获取模块902，用于基于拍摄位姿数据以及虚拟对象在用于表征现实场景的[0254]一种可能的实施方式中，第二获取模块902用于采用以下方式基于获取的拍摄位[0262]一种可能的实施方式，第一获取模块901用于采用以下方式获取AR设备的拍摄位[0267]一种可能的实施方式，第一获取模块901用于采用以下方式获取AR设备的拍摄位[0270]一种可能的实施方式，第一获取模块901用于采用以下方式基于现实场景图像和[0276]基于现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神经网[0277]第二获取模块902用于采用以下方式基于拍摄位姿数据以及虚拟对象在用于表征[0280]基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的属性信[0284]第二获取模块902用于采用以下方式基于拍摄位姿数据以及虚拟对象在用于表征取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，AR设备中展示的至少一个虚拟对象被触发后对应的混合声音播放效果[0311]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用的情况本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘