CN112840377B 电子装置上用于增强实况观众体验的系统和方法 （晒趣科技有限公司）

2021.04.09PCT/US2019/05792020WO2020/092128EN2020.05.07US2010050082A1,2010.02.25US2018082125A1,2018.03.22电子装置上用于增强实况观众体验的系统所述多个实况视频帧中的第一实况视频帧中的识别属于所述一个或多个目标对象的一组或多对象的一组或多组像素识别所述一个或多个目中将一个或多个预定图形图像覆盖在所述一个及在所述多个实况视频帧中将所述一个或多个非目标对象覆盖在所述一个或多个预定图形图2通过至少一个受训练的深度神经网络识别所述多个实况视频帧中的第一实况视频帧基于所识别的属于所述一个或多个目标对象的一组或多组像素，在所述多个实况视频帧中将一个或多个预定图形图像覆盖在所述一个或多个目标对在所述多个实况视频帧中将所述一个或多个非目标对象覆盖在所述一个或多个预定多个目标对象上的一个或多个非目标对象和通过视频对象跟踪算法跟踪所述一个或多个目其中，一旦实况视频帧中的目标对象由受训练的深度神经2.根据权利要求1所述的方法，其中所述一个或多个目标对象包括一个或多个静态对3.根据权利要求2所述的方法，其中所述一个或多个非目标对象包括在所述一个或多识别与所述所识别的属于所述一个或多个目标对象的一组或多组像素中的每一个相将至少一个数学函数应用于所识别的一个或多个极端点以形7.根据权利要求6所述的方法，其进一步基于从所述至少一个数学函数产生的所述一9.根据权利要求1所述的方法，其进一步包括确定所述一个或多个目标对象的3D视觉视频显示在所述电子装置的显示器或另一电子装置的显3所述指令在由具有显示器的电子装置执行时使所述装置执行根据权利要求1至11所述的方一个或多个程序，其中所述一个或程序存储于所述存储器中且被多个处理器执行，所述一个或多个程序包含用于执行根据权利要求1至11所述的方法中的4[0002]在实况体育游戏视频流式传输或广播中，不仅播放器以及播放器流式传输/广播可获得98年世界杯决赛视频(录制的视频)。视频含有在足球场的边缘周围的多个广告牌。至少一个受训练的深度神经网络识别多个实况视频帧中的第一实况视频帧中的一个或多5个目标对象和一个或多个非目标对象；识别属于一个或多个目标对象的一组或多组像素；标对象上的一个或多个非目标对象和一个或多个预序，其中所述一个或多个程序存储在存储器中并且被配置成由所述一个或多个处理器执[0013]图1描绘根据本发明的各种实施例的显示在电子装置上的实况足球比赛视频的示[0014]图2A和图2B描绘根据本发明的各种实施例的使用划界构件来确定目标对象的真[0015]图3A至3D描绘根据本发明的各种实施例的基于识别为极端点的像素产生的线的[0016]图4描绘根据本发明的各种实施例的基于第一观看者个人信息显示在电子装置上[0017]图5描绘根据本发明的各种实施例的基于第二观看者个人信息显示在电子装置上[0018]图6描绘根据本发明的各种实施例的显示在处于一个国家的电子装置上的处理后[0019]图7描绘示出根据本发明的各种实施例的生成处理后的实况足球比赛视频帧的过[0020]图8描绘示出根据本发明的各种实施例的训练电子装置以识别目标对象和非目标[0021]图9A至9B描绘根据本发明的各种实施例的基于第一观看者个人信息显示在电子6[0022]图10A至10C描绘根据本发明的各种实施例的显示在电子装置上的处理后的实况[0024]图12描绘示出根据本发明的各种实施例的在服务器处生成处理后的实况足球比[0025]图13描绘示出根据本发明的各种实施例的在服务器处生成处理后的实况足球比[0028]图1描绘在电子装置上的实况足球比赛视频流式传输或广播的示例的屏幕截图。[0029]经由位于足球场/足球体育场处的视频录制装置向观看者流式传输/广播实况足7[0032]第一广告牌182和第二广告牌184是在实况足球比赛视频中的静态对象。在视图和球门168遮挡第一广告牌182和第二广告牌184。第一广告牌182和第二广告牌184由至少[0033]通过将足球比赛的多张照片和/或视频作为训练数据馈送到训练模块来获得受训个目标对象的第一受训练的深度神经网络以及适合于识别一个或多个非目标对象的第二[0034]在一些示例中，第一广告内容和第二广告内容分别显示在第一广告牌182和第二广告牌184的表面上。第一广告内容涉及中国汽车品牌并且第二广告内容涉及英国电动工具品牌(这些分别显示在实时地或近实时地流式传输或广播的实况足球比赛中的第一广告[0035]图2A和2B描绘使用划界构件来确定目标对象的真实边界以便预定图形图像覆盖括多个实况足球比赛视频帧。当智能装置100通过由深度学习训练的至少一个深度神经网260A显示在触敏显示器102上并且包含生成为围绕广告牌182的范围的第一划界构件290。第一划界构件290不与广告牌184的真实边界对准，并且当预定图形图像覆盖在广告牌384实边界基本上对准的第二划界构件292，如图2B中所描绘(基本上匹配第一广告牌182的轮上扫描多个实况足球比赛视频帧中的第一实况足球比赛视频帧。智能装置100从上到下扫描第一实况足球比赛视频帧，以便通过受训练的深度神经网络确定属于第一广告牌182的8[0039]在第一组像素中，智能装置100随后将通过从左到右扫描而将第一组像素中的一[0040]智能装置100随后将从上到下、从右到左和从下到右扫描第一实况足球比赛视频[0041]基于第二划界构件292确定第一广告牌182的真实边界。第二划界构件292限定在第一广告牌182的表面上的区域294。智能装置100将确定原始实况足球比赛视频帧中的第形图像感觉像是真实的(如同它应该已经在真实环境中的适当位置)，目标对象(第一广告则对象可能变为梯形，测量梯形的角度和边长。用相同的角度和边长变换预定图形图像，[0043]图4描绘基于第一观看者个人信息显示在电子装置上的处理后的实况足球比赛视400观看实况足球比赛视频。通过显示可能适合于第一观看者或观看者可能感兴趣的广告[0045]在多个实况足球比赛视频帧中的第一实况足球比赛视频帧中，智能装置400将通过由深度学习训练的至少一个深度神经网络识别一个或多个目标对象(第一实况足球比赛视频帧中的静态对象)和一个或多个非目标对象(对象在静态对象前方并且还可以遮挡第9内容和与英国电动工具品牌有关的第二广告内容由第一和第二预[0047]智能装置400将第一广告牌182和第二广告牌184识别为目标对象。将生成第二划[0048]当区域294限定在第一广告牌182和第二广告牌184的每个表面上时，分别将第一预定图形图像486和第二预定图形图像488合适地覆盖在第一广告牌182和第二广告牌184的表面上。第一预定图形图像486和第二预定图形图像488属于存储在智能装置400的存储二预定图形图像488分别示出第一预定广告内容和第二预定广告内容。第一预定图形图像486和第二预定图形图像488可以分别包含在原始实况足球比赛视频帧中的第一广告牌182[0049]一旦第一预定图形图像486和第二预定图形图像488分别平放在第一广告牌182和频帧中的后续实况足球比赛视频帧中，将预定图形图像486和488覆盖在广告牌182和184[0050]一旦由受训练的深度神经网络识别多个实况足球比赛视频帧的第一足球比赛视[0052]在一些示例中，允许第一观看者在用户界面或任何平台/媒体处预先输入其个人观看者能够在实况足球比赛视频流式传输/广播期间观看广告内容，所述广告内容可能会将通过存储在服务器中的受训练的深度神经网络识别接收到的实况足球比赛视频帧中的内容将由分别显示在第一预定图形图像486和第二预定图形图像488上的第一和第二预定形图像488合适地覆盖在第二广告牌184的表面上，随后将非目标对象覆盖在第一广告牌能装置400的触敏显示器402上观看处理后的实况足象的原始实况足球视频帧发送到观看者装置(智能装置400)。智能装置400读取元数据对象，并且根据由元数据对象提供的信息将存储在智能装置400中的预定图形图像安置在目[0059]图5描绘基于第二观看者个人信息显示在电子装置上的处理后的实况足球比赛视[0060]在多个实况足球比赛视频帧中的第一实况足球比赛视频帧中，智能装置500将通过由深度学习训练的至少一个深度神经网络识别一个或多个目标对象(第一实况足球比赛视频帧中的静态对象)和一个或多个非目标对象(对象在静态对象前方并且还遮挡第一实内容和与英国电动工具品牌有关的第二广告内容由第一和第二预广告牌182和184的每一范围。第二划界构件292适用于确定第一广告牌182和第二广告牌[0063]当区域294限定在第一广告牌182和第二广告牌184的每个表面上时，分别将第一预定图形图像586和第二预定图形图像588合适地覆盖在第一广告牌182和第二广告牌184的表面上。第一预定图形图像586和第二预定图形图像588属于存储在智能装置500的存储二预定图形图像588分别示出第一预定广告内容和第二预定广告内容。第一预定图形图像586和第二预定图形图像588可以分别包含在原始实况足球比赛视频帧中的第一广告牌182[0064]一旦第一预定图形图像586和第二预定图形图像588分别平放在第一广告牌182和频帧中的后续实况足球比赛视频帧中，将预定图形图像586和588覆盖在广告牌182和184广告牌182和第二广告牌184上显示与第二观看者的日常生活紧密相关的广告内容。例如，第一预定图形图像586可以包含与日本视频游戏品牌有关的广告内容，并且第二预定图形[0066]图6描绘基于地理位置显示在电子装置上的处理后的实况足球比赛视频的示例的[0068]智能装置600将通过由深度学习训练的至少一个深度神经网络识别一个或多个目标对象(原始实况足球比赛视频帧中的静态对象)和一个或多个非目标对象(对象在静态对一预定图形图像686可以包含与英国运动设备有关的第一预定广告内容，并且第二预定可[0071]现在参考图7，示出用于在电子装置上生成并提供过程实况视频的示例过程70[0072]智能装置400随后将确定多个实况足球比赛视频帧中的第一实况足球比赛视频帧164C和164D以及球门168是在静态对象前方的对[0073]智能装置400将通过至少一个受训练的深度神经网络将第一广告牌182和第二广描第一实况足球比赛视频帧，以通过受训练的深度神经网络识别属于目标对象的像素组[0075]基于从左到右扫描，智能装置400通过受训练的深度神经网络识别属于第一广告像素312A的位置高于像素310A和314A的位置(像素312A具有比像素310A和314A大的Y坐标管像素324A高于像素326A(像素324A具有比326A大的Y坐标值)，但是像素324A低于像素像素。随后将线性回归应用于极端点302A以获得第一线304A(框704)。对于规则形状或直i是根据线性回归过程估计的常数。312B的位置比像素310B和314B的位置更靠左(像素312B具有比像素310B和314B小的X坐标管像素316B比像素314B更靠左(像素316B具有比314B小的X坐标值)，但是像素316B比像素反例进一步加以说明，像素324C不被视为极端点302C。尽管像素324C低于像素326C(像素[0079]基于线304A-304D形成第二划界构件292(框704)。线304A和304C分别对应于第二边界基本上对准(基本上匹配第一广告牌182的轮廓/形状)。第二划界构件292限定在第一广告牌182的表面上的区域294。智能装置100将确定原始实况足球比赛视频帧中的第一广[0080]一旦实况足球比赛视频帧中的目标对象(第一广告牌182)由受训练的深度神经网第一目标对象层上，结果是将第一预定图形图像486合适地覆盖在第一广告牌182的区域294上。第一预定图形图像486包含原始实况足球比赛视频帧中的第一广告牌182的3D视觉与原始实况足球比赛视频帧的那些位置相同或基本上相似(框708)。当确定目标对象以及视频，包含平放在第一广告牌182上的第一预定图形图像486和平放在第二广告牌184上的第二预定图形图像488。允许第一观看者实时地或近实时地在智能装置400的触敏显示器402上观看处理后的实况足球比赛视频，如同第一观看者观看包含现实世界中显示豪华手表品牌广告的第一广告牌182和现实世界中显示豪华汽车品牌广告的第二广告牌184的实[0084]在一个变型例中，电子装置可以是伺服器。服务器执行如图12中所说明的过程形图像(第一预定图形图像486)覆盖在一个或多个目标对象(第一广告牌182)上以及将一后将在框1210处将处理后的实况足球比赛视频传输到一个或多个其它电子装置(例如，台[0085]在一个变型例中，服务器执行如图13中所示出的过程1300的框1301到框1306(其等效于执行过程700的框701到框706)。服务器在框1307处将所有信息(从框1301到框1306产生)作为实况足球比赛视频帧的元数据，随后在框1308处将具有元数据的实况足球比赛[0086]预先训练智能装置100或服务器，以通过由深度学习训练的至少一个深度神经网络识别一个或多个目标对象和一个或多个非目标对象。图8描绘用于训练至少一个深度神赛的照片和/或视频可以包含多个视频帧，其中球员和球门在广告牌前方并且还遮挡广告据扩增可以指代紧接着足球比赛的接收到的照片和/或视频的任何处理，以便增加训练数[0089]受训练的深度神经网络将存储于智能装置100的存储器中，受训练的深度神经网络将与安装在智能装置100中的应用程序软件或软件程序一起使用。当应用程序软件或软送含有位于建筑物处的告示牌/广告牌的多张照片和多个视频来训练至少一个深度神经网练的深度神经网络，智能装置400能够将位于建筑物处的第一告示牌982和第二告示牌984[0092]视图960A包含目标对象(例如，第一告示牌982和第二告示牌984)和非目标对象训练的深度神经网络，智能装置400能够通过所述受训练的深度神经网络识别多个视频帧[0093]图9B描绘从基于个人信息的用户将预定图像覆盖在图9A的视频帧上产生的处理402上，并且包含基于第一用户个人信息分别合适地覆盖在告示牌982和984上的第一预定[0094]第一预定图形图像986包含与豪华汽车品牌有关的第一预定广告内容，并且第二预定图形图像988包含与豪华手表品牌有关的第二预定广告内容。将含有第一预定图形图像986和第二预定图形图像988的第二图形图像层覆盖在含有告示牌982和984的第二目标[0095]图10A是含有一个或多个目标对象的视频流式传输或广播的另一示例的屏幕截包含与存储器中的目标对象相关联的至少一个受训练的深度神经网络。图4的第一用户使模块处，通过馈送含有飞机的多张照片和多个视频来训练至少一个深度神经网络(用于识度神经网络识别多个实况视频帧中的飞机1090。智能装置400随后将执行上述一个或多个[0097]图10B描绘从将预定图像覆盖在图10A的实况视频帧上产生的处理后视频的示例的屏幕截图。如图10B中所描绘，视图1060B包含通过执行上述过程覆盖在目标对象(飞机牌1082和1084)的第三非目标层覆盖在第三图形图像层上。通过实时地或近实时地覆盖多10C描绘从将预定图像合适地覆盖在图10A的实况视频帧上产生的处理后视频的示例的屏四非目标层覆盖在第四图形图像层上。通过实时地或近实时地覆盖多个视频帧中的多个[0099]现在参考图11，描绘了被配置成执行任何上述过程和/或操作中的任一个的示例以包含用于执行过程的一些或所有方面的电路或其以含有用于执行过程700和800或本文中所描述的其它过程中的任一个的计算机可执行指接收触摸输入并且在一些情况下可以与显示器组合)、麦克风1116(例如，以获得音频记动单元1122可以读取/写入非暂时性计算机可读存储媒体1124，其可以含有用于实施过程700和800或上述任何其它过程的程序1126[0103]虽然计算系统1100的各种组件在图9中单独地描绘，但是各种组件可以组合在一个