CN119404224A 图像处理方法、计算机程序以及图像处理装置 （大金工业株式会社）

2024.12.18PCT/JP2023/0228552023.06.21WO2023/249034JA2023.12.28置提供一种能够期待从动态图像中高精度地过从候选中去除所述两个场面变化位置中的任2从构成所述动态图像的帧中检测能成为场面的主要帧的基于场面变化位置的候选和主要帧的时序上的顺序，从场面变在时序上排列的两个场面变化位置的候选之间不存在主要帧的去除所述两个场面变化位置中的任意一方来确定在时序上排列且相似的两个主要帧之间存在场面变化位置的候通过基于多个候选帧间的特征点的比较结果来将候选帧去除，从而从进行基于被选择的场面变化位置或主要帧的所述动态图将与确定的场面变化位置以及主要帧相关的信息和与所述动态图像相关的文字信息将与确定的场面变化位置以及主要帧相关的信息和与空调相关设备相关的文字信息3基于确定的场面变化位置和主要帧来从所述动态图像中将确定的主要帧输入至学习模型，所述学习模型针对拍摄有空理的作业的动态图像的主要帧的输入而对施工或修理的类别基于获取到的分类结果来确定所述动态图像或所述动态图像所包从构成所述动态图像的帧中检测能成为场面的主要帧的基于场面变化位置的候选和主要帧的时序上的顺序，从场面变场面变化位置候选检测部，所述场面变化位置候选检测部候选帧检测部，所述候选帧检测部从构成所述动态图像的帧中场面变化位置确定部，所述场面变化位置确定部基于场4[0002]对动态图像中的场面(场景或镜头等)的变化进行检测的图像处理的技术得到广学习模型的方法中，针对拍摄有与机器学习中所使用的动态图像的状况不同的动态图像，解决技术问题所采用的技术方案[0010]第四方式的图像处理方法是在第一方式至第三方式中任一方式的图像处理方法5[0011]第五方式的图像处理方法是在第一方式至第四方式中任一方式的图像处理方法[0012]第六方式的图像处理方法是在第一方式至第五方式中任一方式的图像处理方法[0013]第七方式的图像处理方法是在第一方式至第六方式中任一方式的图像处理方法[0014]第八方式的图像处理方法是在第一方式至第七方式中任一方式的图像处理方法场面变化位置以及主要帧相关的信息和与所述动态图像相关的文字信息建立对应并进行[0017]第十一方式的图像处理方法是在第一方式至第十方式中任一方式的图像处理方[0018]第十二方式的图像处理方法是在第一方式至第十一方式中任一方式的图像处理6图4是用于对本实施方式的信息处理系统所进行的场面变化位置以及关键帧的检图1是用于对本实施方式的信息处理系统的概要进行说明的示意图。在本实施方[0025]通过摄像头103拍摄到的动态图像被提供至服务器装置1。服务器装置1获取由一103具备通信功能的情况下，从摄像头103向服务器装置1提供动态图像的方法可采用通过7[0026]服务器装置1能够经由LAN(局域网)或互联网等网络来与一个或多个终端装置3进学习空调设备101的施工或修理等作业的非熟练的用户用于视听拍摄到熟练的作业人员所[0027]本实施方式的服务器装置1从由摄像头103获取到的动态图像中进行场面(场景或镜头等)的检测和关键帧(主要帧)的检测1将动态图像和与场面以及关键帧相关的信息一起发送至终端装置3。终端装置3能够从服务器装置1接收动态图像以及与场面和关键帧相关的信息，并例如在播放动态图像时接受[0028]本实施方式的服务器装置1首先进行从摄像头103所拍摄的动态图像中检测场面中检测场面变化位置以及关键帧，从而能够期待服务器装置1高精度地检测适于动态图像图2是表示本实施方式的服务器装置1的结构的框图。本实施方式的服务器装置1场面变化位置以及关键帧的处理以及将存储于数据库的动态图像提供至终端装置3的处理摄的动态图像进行累积的动态图像DB(数据库)12b。8服务器程序12a也可以由写入装置读出存储于存储介质99的服务器程序12a并写入服务器在动态图像DB12b中存储有与这些动态图像建立对应且与从动态图像中检测出的场面变[0034]通信部13经由包括移动电话通信网络、无线LAN(局域网)以及互联网等在内的网[0037]场面变化位置候选检测部11a进行从摄像头103拍摄的动态图像中检测场面(场景选检测部11a在计算出的该值超过规定的阈值的情况下，判定为发生了动态图像中的场面初的一帧。场面变化位置候补检测部11a将场面的最初(或最后)的帧的位置作为动态图像的场面变化位置的候选，并对表示该位置的信息示两个帧的差异的值。表示两个帧的差异的第一个值是“巴氏距离(Bhattacharyya两个直方图的差异的巴氏距离进行计算。场面变化位置候选检测部11a能够在计算出的巴9[0040]场面变化位置候选检测部11a能够进行基于巴氏距离的场面变化位置的候选的检测和基于pHash的距离的场面变化位置的候选的检测，并将通过至少一方的方法检测为场化位置候选检测部11a也可以将通过两方的方法检测为场面变化位置的候选的场面变化位行基于巴氏距离的场面变化位置的候选的检测和基于pHash的距离的场面变化位置的候选[0041]候选帧检测部11b进行从摄像头103拍摄的动态图像中检测能够作为关键帧的候[0042]关键帧确定部11c进行从候选帧检测部11b所检测的候选帧的候选中确定动态图通过对特征进行比较来从多个候选帧中搜索相似的候选帧。关键帧确定部11c从相似的多场面变化位置候选检测部11a检测的场面变化位置的候选中确定最终的场面变化位置。场面变化位置确定部11d对场面变化位置的候选与关键帧的时序上的顺序关系进行调查，对式中，以在通过场面变化位置确定的场面(即位置为止的时间的动态图像中呈现的场面)中至少包括一个关键帧为条件。场面变化位置确定部11d在关键帧不存在于一前一后的两个场面变化位置的候选之间的情况下，判断为最终留下的场面变化位置的候选确定为最终[0046]DB处理部11e将摄像头103拍摄的动态图像和与针对该动态图像由场面变化位置确定部11d所确定的场面变化位置以及由关键帧确定部11c所确定的关键帧相关的信息建图像和与该动态图像建立了对应的与场面变化位置以及关键帧相关的信息发送至请求源[0047]图3是表示本实施方式的终端装置3的结构的框图。本实施方式的终端装置3包括终端装置3例如是学习空调设备101的施工或修理等技术的非熟练人员的用户等所使用的32a也可以由写入装置读出存储于存储介质98的程序32a并写入终端装置3的存储部32。程过机械式的按键或设置于显示部34的表面的触摸面板等输入设备来接受用户的操作。此[0052]此外，本实施方式的终端装置3通过处理部31读出并执行存储于存储部32的程序[0053]检索处理部31a针对存储于服务器装置1的动态图像DB12b的大量的动态图像进发送至服务器装置1。从终端装置3接收到检索条件的服务器装置1从动态图像DB12b中提动态图像和与该动态图像相关的各种信息(例如场面变化位置和关键帧的信息)一起发送像的播放位置跳到用户指定的场面变化位置或关键图4是用于对本实施方式的信息处理系统所进行的场面变化位置以及关键帧的检[0056]本实施方式的信息处理系统的服务器装置1经由通信或存储介质等来获取通过摄场面变化位置的候选进行检测的处理。本实施方式的服务器装置1对表示构成动态图像的值进行判定。服务器装置1在表示帧的差异的值超过阈值的情况下将连续的两个帧的位置计算巴氏距离以作为表示HSL直方图的差异的值。另外，巴氏距离的计算方法是现有的技[0060]此外，服务器装置1对动态图像所包括的所有的帧计算哈希值，例如计算pHas方式中，对服务器装置1所计算出的巴氏距离以及汉明距离这两个值的平均值(加权平均[0062]图6是表示动态图像的帧间的差异度的计算结果的一例的示意图，且是示出了动[0063]服务器装置1将计算出的差异度超过规定的阈值的时刻作为场面变化位置的候在图6中被作为场面变化位置的候选的时刻为三个，除这些时刻以外还存在差异度超过阈能够期待抑制相似的场面变化位置的候选被大量服务器装置1进行从摄像头103拍摄的动态图像所包括的所有的帧中检测作为关器装置1能够通过针对动态图像所包括的各帧进行例如由卡尼法(日文：キャ二一法)实现进行的从帧图像的边缘的提取也可以通过任意的图像处[0066]将动态图像所包括的各帧的边缘提取出的服务器装置1针对时序上连续的两个[0067]图8是表示动态图像的帧间的边缘变化率的计算结果的一例的示意图，且是示出行与前一帧的比较并计算边缘变化率，并对该边缘变化率是否超过规定的阈值进行判定。[0068]服务器装置1将计算出的边缘变化率低于规定的阈值的时刻(小于阈值的时刻)的服务器装置1针对从动态图像所包括的所有帧中检测出的候选帧，例如在规定时也可以在检测场面变化位置的候选的处理之前进行确定关键帧的处理，也可以在之后进[0070]本实施方式的服务器装置1例如进行提取各候选帧的特征量的处理，针对两个候结合了FAST(加速分割测试特征)的关键点的检测和BRIEF(二进制鲁棒独立基本特征)的特外，由服务器装置1进行的关键点的提取例如也可以通过SIFT(尺度不变特征转换)或SURF[0072]服务器装置1例如对从两个候选帧提取出的关键点的总数和两个候选帧之间的关置1能够对计算出的相似度是否超过规定的阈值进行判定，并在相似度超过阈值的情况下[0073]服务器装置1将不存在相似的另一候选帧的候选帧确定为动态图像所包括的关键在从动态图像中检测出场面变化位置的候选并检测出关键帧之后，服务器装置1[0075]图11是用于对服务器装置1的场面变化位置的确定方法进行说明的示意图。图示的例子中示出了服务器装置1通过对动态图像进行上述处理，检测出三个场面变化位置的变化位置的候选之间的情况下，服务器装置1通过将两个场面变化位置的候选中的任意一[0078]此外，服务器装置1也可以在场面变化位置的候选存在于时序上连续且相似的两中确定关键帧时计算出的相似度来判断两个关键帧是否相似。服务器装置1对时序上连续(不过是比对候选帧是否相似进行判定时的阈值小的值)的情况下，判断为两个关键帧相面变化位置的候选的前后的场面候选连结而作[0080]服务器装置1在确定动态图像所包括的所有的场面变化位置以及关键帧之后，将与确定的场面变化位置以及关键帧相关的信息与该动态图像建立对应并存储于动态图像动态图像一起从服务器装置1接收到的与场面变化位置和关键帧相关的信息，例如接受用[0081]图12和图13是表示本实施方式的服务器装置1所执行的处理的步骤的流程图。本置候选检测部11a对在步骤S1中获取到的动态图像所包括的各帧的HSL直方图进行计算(步[0082]接着，场面变化位置候选检测部11a对在步骤S1中获取到的动态图像所包括的各候选检测部11a基于在步骤S3中计算出的巴氏距离和在步骤S5中计算出的汉明距离，对时的合计值或平均值等。场面变化位置候选检测部11a对在步骤S6中计算出的差异度与规定[0083]此外，处理部11的候选帧检测部11b对在步骤S1中获取到的动态图像所包括的各序上这一帧的前一帧之间的边缘的变化率进行[0084]处理部11的关键帧确定部11c针对在步骤S10中检测出的各候选帧提取ORB的关键[0085]处理部11的场面变化位置确定部11d基于在步骤S7中检测出的场面变化位置的候选以及在步骤S14中确定的关键帧，从存在于时序上连续的两个场面变化位置的候选之间骤S15中检索出的不包含关键帧的场面候选进行限定的前后两个场面变化位置的候选中的任意一方的场面变化位置的候选去除(步骤S16)。场面变化未被去除的场面变化位置的候选确定为最终的场面变化位置理部11e将在步骤S1中获取到的动态图像和与在步骤S17中确定的场面变化位置以及在步在本实施方式的信息处理系统中，服务器装置1将与通过上述处理确定的动态图像的场面变化位置以及关键帧相关的信息以与该动态图像建立对应的方式存储于动态图或修理等作业的对象的空调设备101的名称或商品编[0087]终端装置3例如接受用户输入的作为关键词的字符串，并将接受的字符串发送至3。从服务器装置1接收到检索结果的终端装置3对符合输入的关键词的动态图像的标题以[0088]此外，终端装置3接受用户从作为检索结果一览显示的动态图像中对要播放的动装置3的请求，将被选择的动态图像和与该动态图像建立了对应的与场面变化位置以及关到动态图像以及与场面变化位置和关键帧相关的信息的终端装置3将动态图像的播放画面3在对返回按钮进行了操作的情况下，从动态图像的现在的播放时刻之前的最接近的场面的现在的播放时刻之后的最接近的场面变化位置置3以适当的配置将该动态图像所包括的一个或多个关键帧的缩小图像显示在进度条的下方。终端装置3通过将关键帧的图像与进度条连接的箭头示出这些关键帧在动态图像中出的时间上的位置。终端装置3在接受到对显示在播放画面中的关键帧的点击或轻敲等操作在本实施方式的信息处理系统中，服务器装置1基于通过上述处理确定的动态图服务器装置1从动态图像中提取(剪出)一个或多个部分动态图像并将其连结，从而生成比[0093]本实施方式的服务器装置1从动态图像整体提取从场面变化位置起的规定时间置1将从动态图像中提取出的上述多个部分动态图像按时序顺序连结，从而生成摘要动态图像。服务器装置1将生成的摘要动态图像与原来的动态图像建立对应并存储于动态图像例如也可以根据来自终端装置3的请求来生成摘要动态图像，也可以在除上述以外的时刻图像的标题等信息一起作为动态图像的检索结在本实施方式的信息处理系统中，服务器装置1能够使用进行过机器学习的学习或动态图像所包括的关键帧的标题等。图15是用于对本实施方式的服务器装置1所使用的学习模型进行说明的示意图。本实施方式的服务器装置1所使用的学习模型是为了接受动态图像所包括的关键帧作为输入并将呈现在该关键帧中的空调设备101的施工或修理的类别作为分类结果输出而预先进行了机器学习的[0096]本实施方式的学习模型例如可以采用CNN(卷积神经网络)或DNN(深度神经网络)下降法或误差反向传播法等方法来进行学习别例如是空调(空气调节器)的室外机的施工或空获取所有的关键帧的分类结果，基于获取到的分类结果生成动态图像的标题和场面的标[0098]服务器装置1从动态图像所包括的多个关键帧的分类结果中适当地选择一个分类[0099]此外，作为对呈现在关键帧中的空调设备101的施工或修理的类别进行分类的学习模型的替代，服务器装置1也可以使用接受关键帧的输入并生成该关键帧的标题的字符串的学习模型。这样的学习模型例如能够通过对将图像转换为特征量的CNN等学习模型与[0100]服务器装置1将基于关键帧生成的动态图像的标题以及动态图像所包括的场面的输入了该动态图像或场面的标题的情况下，服务器装置1也可以将输入的标题存储于动态面变化位置的候选之间的情况下，服务器装置1通过从这两个场面变化位置的候选中去除候选存在于时序上连续且相似的两个关键帧之间的情