CN119422165A 图像处理装置、图像处理方法、图像处理系统及程序 （本田技研工业株式会社）

2024.12.23PCT/JP2023/0242532023.06.29WO2024/005160JA2024.01.04为实施了所述匿名化处理的所述输入图像满足2所述图像判定部在判定为实施了所述匿名化处理的所述输入图像满足所述规定要件所述规定处理是将实施了所述匿名化处理的所述输入图像保存为注释作业的对象图所述规定处理是将实施了所述匿名化处理的所述输入图像保存为用于生成行动预测模型的学习用信息的处理，所述行动预测模型是预测输入图像中映入的人物的行动的模所述规定处理是将实施了所述匿名化处理的所述输入图像通过通信机构向图像服务所述图像属性是至少表示所述输入图像是拍摄到车辆的内部的图像还是拍摄到所述所述匿名化处理包括将所述输入图像中映入的人物的面部变更为别的人物的面部的所述规定要件在所述图像属性表示是拍摄到所述车辆的内部的图像的述人物的面部的视线方向与所述别的人物的面部的视线所述规定要件在所述图像属性表示是拍摄到所述车辆的内部的图像的部的面部方向与所述别的人物的面部的面部所述规定要件在所述图像属性表示是拍摄到所述车辆的外部的图像的述人物的面部的面部方向与所述别的人物的面部的面部所述规定要件在所述图像属性表示是拍摄到所述车辆的外部的图像所述人物的面部的视线方向与所述别的人物的面部的视线所述图像变换部在由所述图像判定部判定为实施了所述匿名化处理的所述输入图像3所述图像变换部在由所述图像判定部判定为实施了所述匿名化处理的所述输入图像所述图像判定部在判定为实施了所述匿名化处理的所述输入图像满足所述规定要件在判定为实施了所述匿名化处理的所述输入图像满足所述在判定为实施了所述匿名化处理的所述输入图像满足所述4[0007]专利文献1所记载的技术通过注释器对根据多人的面部图像而合成的合成面部图映入的人物的隐私的同时生成对机器学习模型的学习而言有效的学习数据的图像处理装述图像判定部在判定为实施了所述匿名化处理的所述输入图像满足所述规定要件的情况5向是否一致、以及所述人物的面部的面部方向与所述别的人物的面部的面部方向是否一述人物的面部的面部方向与所述别的人物的面部的面部所述图像判定部在判定为实施了所述匿名化处理的所述输入图像满足所述规定要件的情[0022]（12本发明的别的方案所涉及的图像处理方法使计算机进行如下处理：取得图6[0039]图1是表示包含本实施方式所涉及的图像处理装置100在内的系统1的概要的图。[0041]图像处理装置100是当从车辆M1接收到包括车内图像和车外图像的拍摄图像数据内图像和车外图像中映入的人物的隐私的处理。图像处理装置100将所得到的变换图像数注释的赋予作业完成时，终端装置200的用户将对变换图像数据赋予了注释的带注释图像7[0045]图像处理装置100当生成学习完毕模型时，将所生成的学习完毕模型经由网络NW部150、学习完毕模型生成部160及存储部170。这些构成要素例如通过CPU（Central可以由LSI（LargeScaleIntegration）、ASIC（ApplicationSpecificIntegrated存储介质装配于驱动装置而安装。存储部170例如是HDD、闪存器、RAM（RandomAccess型的功能、以及所生成的学习完毕模型也可以由与图像处理装置100不同的服务器装置所[0049]收发控制部120使用通信部110而与车辆M1及M2、以及终端装置200进行数据的收内图像以至少对车辆M1的驾驶员的面部区域进行拍摄的方式以设置有相机的状态被拍摄，8如图3的右部所示那样，车外图像以至少对车辆M1的行进方向前方进行拍摄的方式以设置有相机的状态被拍摄。收发控制部120将从车辆M1取得的车内图像和车外图像与图像ID建立联系而作为拍摄图像数据172保存于存[0051]图4是用于说明由图像处理部130执行的处理的图。图像处理部130对拍摄图像数图像的分类结果的学习完毕模型，取得拍摄图像数据172所包含的各图像表示是车内图像图像的属性的拍摄图像数据172的图像，使用当输入图像时关于该图像所包含的全部的面但本发明不限定于那样的结构，图像处理部130也可以使用任意的公知的方法来取得这些[0055]图像变换部140使用实际安装有进行如下处理的这样的功能的任意的软件来执行入的人物的方向信息而是将该人物的面部替换为别的人的面部的处理。图5是用于说明由[0056]即，图像变换部140基于拍摄图像数据172的各图像中映9140关于拍摄图像数据172的各图像中映入的各面部判定该面部的大小是否为第一阈值Th1部的距离是否为第二阈值Th2以下的处理中的至少任一方即可。针对实施两方的处理的情以上或者面部的距离为第二阈值Th2以下的情况下，决定为将该面部替换为别的人物的面[0060]图6是表示由图像变换部140进行了变换的时间序列的车内图像的一例的图。图6[0061]图7是用于说明由图像判定部150执行的处理的图。如图7所示那样，图像判定部150首先从变换图像中映入的人物的面部提取表示该面部的特征点。例如，图像判定部150嘴角LMP、耳EP的特征点。图像判定部150从时间序列的变换图像中的各个变换图像提取作为同一人物而被追踪了的人物的面部的特征点，并对照这些特征点。需要说明的是，是否“作为同一人物而被追踪了”例如在变换图像之前的阶段预先将拍摄图像中映入的同一人物建立对应关系即可。[0063]在对照的结果是判定为所提取的特征点大致一致的情况下，图像判定部150判定行判定的判定的结果是判定为作为同一人物而被追踪了的人物的面部在变换后不是同一能够防止由面部变换软件的非意图的动作引起的[0064]图像判定部150进一步将变换图像向输出面部方向和视线方向中的至少一方的上对变换图像中映入的人物的面部判定该面部的面部方向FD或视线方向ED是否与变换前的150关于车内图像而在变换前的拍摄图像与变换图像之间判定面部方向FD及视线方向ED是[0065]在变换前的拍摄图像与变换图像之间判定为面部方向FD或视线方向ED不大致一定部150也可以在变换前的拍摄图像中将存在于车辆M1的行进方向前方的人的面部、面部[0067]图像判定部150当关于时间序列的变换图像而确认到连续性和一致性时，将确认也可以将变换图像数据174连同表示利用目的的信息一起，例如连同表示是用于生成对输数据176向终端装置200发送。终端装置200的用户即注释器通过对所接收的注释用图像数据176所包含的注释用图像实施注释作业来生成带注释图像数据，并将其向图像处理装置100发送。图像处理装置100将所接收的带注释图像数据作为带注释图像数据178而保存于[0068]需要说明的是，执行上述由图像判定部150执行的与变换图像的连续性相关的判像例如赋予表示该变换图像中映入的驾驶员的视线方向ED1在同一时间点的车外图像的变指定预测为该变换图像中映入的人物行进的风险区域RA。通过由图像变换部140及图像判够在保护面部图像中映入的人物的隐私的同时生成对机器学习模型的学习而言有效的学[0072]当带注释图像数据178保存于存储部170时学习完毕模型生成部160将带注释图像车外图像中映入的行人唤起注意的行动预测模型。学习完毕模型生成部160将所生成的学[0073]收发控制部120当生成学习完毕模型180时，将所生成的学习完毕模型180经由网[0074]图9是表示使用了学习完毕模型180的驾驶支援的一例的图。图9表示车辆M2在行驶中将由搭载的相机拍摄到的车内图像及车外图像向学习完毕模型180输入，并向HMI线而催促对该车外图像中映入的行人唤起注意的信息而由此进行驾驶支援的例子。如图9该时机是指，由搭载于车辆M1的相机对车内图像或车外图像拍摄并实施了由图像处理部[0076]首先，图像变换部140取得实施了由图像处理部130进行的处理的拍摄图像数据阈值Th1的情况下，图像变换部140接下来判定所选择的面部的距离是否为第二阈值Th2以换部140取得通过对全部的面部执行了处理而得到的图像来作为变换图像，并将其作为变像中映入的全部的面部执行了处理的情况下，图像变换部140将处理返回至步骤S102。由[0080]图11是表示由图像判定部150执行的处理的流程的一例的图。图11所示的处理例时间序列的拍摄图像实施上述的变换处理而得到时150在所取得的时间序列的变换图像中，选择在变换前作为同一人物而被追踪了的人物的图像是车外图像的情况下，图像判定部150判定这些面部的面部方向是否与变换前的图像[0084]在步骤S210或步骤S212的处理中判定为一致的情况下，图像判定部150判定为这变换图像中映入的全部的面部执行了处理的情况下，图像判定部150将处理返回至步骤括实施了匿名化处理的多个输入图像中映入的作为同一人物而被追踪了的人物的面部是了的人物的面部的方向信息与实施了所述匿名化处理的所述多个输入图像中的所述同一够在保护面部图像中映入的人物的隐私的同时生成对机器学习模型的学习而言有效的学物的隐私的同时生成对机器学习模型的学习而言[0091]而且，在本实施方式中说明了图像处理装置100被实际安装为与车辆M1分体的服后，车载装置向外部的图像服务器发送由图像判定部150确认到面部的连续性及方向信息[0097]存储介质（storagemedium其保存能够由计算机读入的命令（computer_[0099]所述处理器通过执行能够由所述计算机读入的命令来进行如下处理the