CN115699780B 用于将区域相关注释封装在图像文件中的方法和设备 （佳能株式会社）

2022.12.05PCT/EP2021/05735520WO2021/204526EN2021.10.14号用于将区域相关注释封装在图像文件中的本发明涉及一种将图像项封装在文件中的成与图像项的一部分有关的项部分注释数据结分注释数据结构相关联的该图像项的该一部分21.一种用于将图像(250)封装在基于ISOBMFF的媒体文件(800)中的方法，所述方法包生成几何描述性数据(821，826)，所述几何描述性数据描述所述图像(250)的区域生成与所述几何描述性数据(821，826)所描述的所述几何图形相对应的区域项(820，生成包括与所述图像的所述区域相关联的数据的至少一个注释数据结构(861，862)，其中，所述区域项通过关联容器中的关联信息与所生成的至少所述区域项与作为项属性的所生成的所述至少一个注释数据结构所述区域项与作为项的所生成的所述至少一个注释数据结构所述区域项与分组数据结构相关联，所述分组数据结构参考作为项的所述至少一个注释数据结构与所述图像的所述多个区域中的至少一个区域所述至少一个注释数据结构与所述图像的所述多个区域中的所有区域所述掩模的数据被包括在通过项参考信息与所述区域项相关联的图将与所述图像项相关联的至少一个区域项进行分组，组通过项参考信息与所3所述至少一个注释数据结构是包括在项属性容器框即“ipco”中的项从所述媒体文件读取所述区域项；读取所述媒体文件中的与所述区域项相关联的所述至少一个注释数据从所述媒体文件读取所述图像项，其中，所述区域项通过关联容器中的关联信息与所生成的至少所述区域项与作为项属性而生成的所述至少一个注释数据结构所述区域项与作为项而生成的所述至少一个注释数据结构指令序列在被加载到所述可编程设备中并由所述可编程设备执行时实现根据权利要求1至生成几何描述性数据(821，826)，所述几何描述性数据描述所述图像(250)的区域生成与所述几何描述性数据(821，826)所描述的所述几何图形相对应的区域项(820，生成包括与所述图像的所述区域相关联的数据的至少一个注释数据结构(861，862)，4其中，所述区域项通过关联容器中的关联信息与所生成的至少从所述媒体文件读取所述区域项；读取所述媒体文件中的与所述区域项相关联的所述至少一个注释数据从所述媒体文件读取所述图像项，其中，所述区域项通过关联容器中的关联信息与所生成的至少5静止图像或连续的静止图像的特定工具。已经提出了用于这种图像数据的ISO基本媒体文[0005]HEIF(高效图像文件格式)是由运动图像专家组(MPEG)开发的用于存储及共享图[0006]MIAF(多图像应用格式)[0007]虽然提供了存储包含诸如EXIF或XMP文档等的元数据的文档的能力，但是HEIF和MIAF文件格式没有提供适于将注释链接到图像区域的机6[0017]所述项部分注释数据结构包括与作为项属性而生成的所述至少一个注释数据结项部分注释数据结构通过所述关联容器中的另一关联信息与作为项属性而生成的所述至项部分注释数据结构通过所述关联容器中的所述关联信息与作为项属性而生成的所述至[0034]所述项部分注释数据结构通过关联容器中的关联信息与作为项属性而生成的所[0039]所述项部分注释数据结构通过关联容器中的关联信息与作为项属性而生成的所[0043]所述项部分注释数据结构通过关联容器中的关联信息与作为项属性而生成的所7[0044]所述项部分注释数据结构通过所述关联容器中的所述关联信息与作为项属性而8静止图像以及可能的视频或图像序列；[0073]图6示出根据本发明实施例的用于当由项属性来描述区域注释时添加与存储在HEIF文件中的图像项相关联的新区域注释的处理[0074]图7示出根据本发明实施例的用于当由项属性来描述区域注释时读取包含区域注[0078]图11示出根据本发明实施例的用于当由项来描述区域注释时将新区域注释添加[0079]图12示出根据本发明实施例的用于当由项来描述区域注释时读取包含区域注释[0080]图13示出根据第六实施例的用于当由项来描述区域注释时读取包含区域注释的[0081]图14示出根据本发明实施例的用于处理包含图像以及与该图像相关联的一个或静止图像或连续的静止图像的特定工具。已经提出了用于这种图像数据的ISO基本媒体文9[0085]_图像序列的存储，图像序列可以被指示为被显示为定时序列或通过其他手段被《Informationtechnology—Codingofaudio_visualobjects—Part12:ISObase含描述文件中的图像数据的组织或/和属性的元数据的数据结构。静止图像以及可能的一个或多于一个视频或者一个或多于一个图像序列。该文件包含第一元数据结构的通用非定时元数据。该“meta”框102包含描述若干单个图像的“iinf”框 (IteminfoBox)121。各个单个图像由也表示为项1211和1212的元数据结构ItemIn于媒体数据的容器(“mdat”框104)中。“iloc”框(ItemLocationBox)122为各个项提供可以被定义为描述一个项经由类型化参考而与其他项的关联。[0094]ISO基本媒体文件格式指定根据保持要分组的样本或项的容器对样本或项进行分EntityToGroupBox根据以[0098]grouping_type用于指定组的类型。在HEIF中指定grouping_type的若干值。group_id为实体的组提供标识符。entity_id表示组成该组的实体的标识符，即，轨的track_ID、项的item_ID或实体组的其他group_id。在图1中，从EntityToGroup框1241和[0100]ISOBMFF提供描述属性并将属性与项相关联的机制。这些属性称为项属性。ItemPropertiesBox“iprp”125使得能够将任何项与项属性的有序集合相关联。ItemPropertiesBox由两部分组成：包含项属性1253的隐式索引列表的项属性容器框的各个条目将项与其项属性相关联。HEIF标准扩展了这种机制，以使得能够将项属性与项实体组的属性这两者。与实体组相关联的项属性应用于整个实体组，而不是单独地应用于组内的各个实体。[0105]ItemPropertyContainerBox被设计用于将项属性集合描述为ItemProperty框或[0106]ItemPropertyAssociation框被设计为描述项和/或实体组及其项属性之间的关联。提供项标识符和/或实体组标识符的列表的描述，各个标识符(item__ID)与参考ItemPropertyContainerBox中的项属性的项属性索引的过提供描述区域注释并将这些区域注释与图像的实际区域相关联的方[0108]图2a示出用于将注释与图像的区域相关联的本发明的高级别视图。区域注释210可以是任何类型的项或实体组。该关联意指区域注释210包括与由实体200描述的媒体内骤产生可以使用本发明存储在HEIF文件中的注释图像。例如，编辑包含图像250的HEIF文HEIF文件然后可以包含原始图像250加上获得裁剪图像280的指令，或者可以仅包含区域[0120]_field_size是指定用于描述几何图形的字段的以位(例如，16或32位)为单位的[0126]如果几何图形是位掩模或颜色掩模，则ox和oy定义了图像掩模的左上像素在注[0128]如果几何图形是颜色掩模，则mask_color定义用于定义掩模图像中的区域的颜[0134]field_size是指定用于描述位置的字段的以位为单位的大小(例如16或32位)的[0143]如果几何图形是位掩模或颜色掩模，则位置指定图像掩模的左上像素在注释图[0144]在一些实施例中，多边形形状和/或3d框形状的点不是使用相对坐标而是使用绝[0146]图3至图7示出用于HEIF或MIAF标准的本发明的一些实施例，其中使用项属性330之间的关联。是其几何图形的描述331，第二部分是到区域的注释的链接332。这些链接将项属性340和[0163]在该实施例中，通过property_index与区域注释项属性330内的区域相关联的所有项属性被应用于由几何图形331定义的[0172]该第一变型使得能够在单个区域注释330项属性中定义具有各自相关联的项属性[0175]该第二变型使得能够在单个区域注释项属性330中定义共享相关联的项属性集合[0176]可以组合第一变型和第二变型以使得能够在单个区域注释项属性中定义共享相[0190]_to_property_index是与区域注释项属性框相关联的项属性框的基于1的索引。to_property_index字段的值可以被约束为与from_prop[0193]框的标志字段的第二位用于定义区域注释关联循环中的from_property_index和to_property_index字段的大小。可能地，可以替代地使用标志字段的第一位以具有与from_property_index字段、to_property_index字段和property_index字段相同的大小。可以使用可能不同的位来实现from_property_index和to_property_index字段的不同大[0194]在该第二实施例中，来自图2b的注释图像可以存储在具有以下结构的HEIF文件的使用。[0199]在第二实施例的另一变型中，实体关联循环和区域注释关联循环被合并在一属性340和341在条目522内直接与项3[0205]在该第三实施例中，来自图2b的注释图像可以存储在具有以下结构的HEIF文件[0209]对应于图像项250的具有值1的item_ID的图像项具有与其相关联的9个属性。首[0218]图6示出根据本发明实施例的用于添加与存储在HEIF文件中的图像项相关联的新几何图形存储在该新的RegionAnnotationPrRegionAnnotationProperty结构的条目。如果不是这种情况，则在“ipma”框中针对相关联的描述性属性的索引之后且在与图像项相关联的变换性属性的索引之前的条目中。最后，将项属性的索引插入在RegionAnnotationProperty结构的索引之后且在任何其他RegionAnnotationProperty结构中。在步骤620处，判断一个或多于一个区域是否已经在[0235]图7示出根据本发明实施例的用于当由项属性描述区域注释时读取包含区域注释760和765。区域的注释直接从区域注释项属性中提取，并且可以在步骤750处与区域相关[0256]图8至图13示出用于HEIF或MIAF标准的本发明的一些实施例，其中使用项来表示[0257]图8示出本发明的第五实施例。“meta”框800包含例如对应于图像项的项810。中被标识。区域注释项的内容可以优选地存储在“idat”框中。也可以存储在“mdat”或项820和825的注释相对应的项属性861和862。“ip852)将区域注释项820和825与它们各自的项属性861MediaDataBox的第二区域注释部分中描述区域注释项的项属性相关联。该属性对应于描述作为建筑物的“Notre_DamedeParMediaDataBox的第三区域注释部分中描述区域注释项[0280]第五实施例的该第一变型使得能够在单个区域注释项中定义共享同一集合的相[0286]除了区域注释项与图像项之间的关联之外，该HEIF文件与对应于第五实施例的文件相类似。区域注释项与几何项属性相关联以指定其几何图形。由于区域注释项在该释项相关联的所有项属性应用于区域注释项的所[0317]extendsItemFul[0330]extendsItemFul[0336]可替代地，若干位置项属性和/或若干形状项属性可以与相同的区域注释项相关[0337]在该第二变型的又一替代方案中，位置项属性和/或形状项属性可以分别包含若[0340]图11示出根据本发明实施例的用于当由项描述区域注释时将新区域注释添加到[0351]在第六实施例的一些变型的情况下，首先确定可以是grouping_type“rgan”的其包含其他区域注释项和新区域注释项这两者。去除其他区域注释项和图像项之间的参[0363]图12示出根据本发明实施例的用于当由项描述区域注释时读取包含区域注释的[0369]可能地，在第六实施例的上下文中，判断区域注释项是否包含在作为具有类型[0379]图13示出根据第六实施例的一些变型的用于当由项描述区域注释时读取包含区[0391]图14示出根据本发明实施例的用于处理包含图像以及与该图像相关联的一个或[0397]如果判断为要去除区域注释，则下一步骤是步骤1425。否则，下一步骤是步骤[0413]注释可以是所拍摄的图片内的焦点位置。注释可以使用称字段中对应于对象实例的更精确的值、和/或使用在描述字段中用于对象实例的描述性例如使用指示注释对应于名称字段和/或标记字段中的OCR结果、并且表示描述字段中的到的文本区域和/或不同的检测到的文本样式相对[0419]注释可以描述应用于图像的区域的编辑或修改。注释可以由用户描述项属性表项可以通过与区域注释项属性相关联并参考该项的新的项属性与区域注释项属性相关联。型设置为等于针对MPEG_7元数据指定的MIME类型的项。[0434]可能地，区域注释的几何图形的一部分或所有坐标可以表示为有理数而不是整个字段表示为与先前矩形的对应字段的差异来述第二特定人的另一区域注释的掩模可以使用像素颜色值0x2。用于以通用方式描述人并组合这两个区域的区域注释的掩模可以使用像素颜色[0462]可能地，掩模可以被存储为图像项，并且可以使用从区域项到图像项的类型过将任何变换项属性应用于掩模图像项而得到的图像来定义该区域。可能地，可以通过将项有效载荷中表示作为位掩模或颜色掩模的区域注释的几何图形：像之间的项参考有利地通过定位单个框内的项和/或实体之间的所有链接来简化包含区域在针对各个这样的一个参考。如果存储为图像项的同一掩模用于区域项中声明的多个区[0479]可能地，定义列表中包含的项的数量的字段可以用不同的大小表示。例如，[0498]本发明的第六实施例可以与第五实施例组合，使得能够直接地和/或通过区域组[0499]本发明的第六实施例可以与第七实施例组合，使得能够直接地和/或通过区域组或者可以具有比第一图像更高的质量。或者ROI图像项还可以对应于与第一图像的视场不[0516]可以通过区域注释项或区域注释项属性直接或作为实体组的一部分与区域相关以对应于该区域。该配置可以用与图像项或包含个区域注释项与图像项之间的关联可以使用从图像项到一个或多于一个区域注释项的类[0530]图15是用于实现本发明的一个或多于一个实施例的计算装置150的示意性框图。[0532]标记为RAM的随机存取存储器152，用于存