CN113536834B 眼袋检测方法以及装置 （华为技术有限公司）

检测图像，所述待检测图像包括眼袋感兴趣ROIROI区域进行检测，得到眼袋检测得分和眼袋位2分和眼袋位置标注信息，所述眼袋ROI区域是基于所述样本图像中的眼部关键点确定眼部3基于所述样本图像的所述眼袋检测得分、所述眼袋位置检测信息、所所述基于所述样本图像的所述眼袋检测得分、所述眼袋位置检测信息标记模块，用于当所述眼袋检测得分处于预设得分范围时，基于所述眼中心点为基准点，从所述待检测图像中，获取预设尺寸和预设形状的区域作为眼袋ROI区神经网络模型，对所述眼袋ROI区域进行检测，得到卧蚕检测分类结果和卧蚕位置检测信所述标记模块还用于当所述卧蚕检测分类结果为有时，基于所述卧蚕检携带眼袋标注得分和眼袋位置标注信息，所述眼袋ROI区域是基于所述样本图像中的眼部4所述确定模块还用于基于所述样本图像的所述眼袋检测得分、所述眼袋位置检测信所述处理器用于在调用所述计算机程序时执行如权利要求1-8任一项所述的方法或如权利被处理器执行时实现如权利要求1-8任一项所述的方法或如权利要求9或15[0008]通过预设卷积神经网络(ConvolutionalNeuralNet6[0017]可选地，所述眼部中心点处于所述眼袋ROI区域内的上半部分，并处于所述眼袋7[0059]可选地，所述眼部中心点处于所述眼袋ROI区域内的上半部分，并处于所述眼袋89神经网络模型直接对该眼袋ROI区域进行检测，得到卧蚕检测分类结果和卧蚕位置检测信计算机程序被处理器执行时实现上述第一方皮肤检测应用中，可以通过识别眼袋来确定用户的皮肤健康程度并给出相应的保养建议；检测从待检测图像中识别得到人脸关键点(如图1中点1-68)，然后确定其中的眼部关键点即确定存在眼袋时，可以通过眼袋检测得分和眼袋位置检测信息对待检测图像进行标记，[0133]CNN是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks)，是深度学习(deeplearning)的代表算法之一。CNN具有表征学习(representationlearning)能力以及特征组合能力，能够按其阶层结构对输入信息进行[0134]卷积神经网络可以包括输入层、卷积层(convolutionla个特征图中又可以包括多个权重，这些权重也是卷积神经网络模型中需要训练的模型参[0143]需要说明的是，当特征组合检测子网络300仅包括一组深度可分离卷积层和全连[0144]在本申请实施例中，可以通过两个单任务学习网络分别来得到眼袋检测得分(卧蚕检测分类结果)和眼袋位置检测信息(卧蚕位置检测信息)，也可以通过一个单目标多任务学习网络同时来得到眼袋检测得分(卧蚕检测分类结果)和眼袋位置检测信息(卧蚕位置[0146]请参照图3，为本申请实施例所提供的一种眼袋检测方法的流程图。需要说明的其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删[0149]在构建数据集时，可以获取多个样本图像，且各样本图像均可以包括眼袋ROI区以眼部中心点为基准点，从样本图像中，获取预设尺寸和预设形状的区域作为眼袋ROI区说明标注的眼袋位置，该眼袋位置标注信息可以包括标注的眼袋关键点或眼袋分割掩膜；眼科医生)确定建立眼袋评判标准和眼袋得分图谱(包括眼袋得分区间和预设得分范围)，别结果的准确程度(比如眼袋检测得分与眼袋标注得分的差值大小、眼袋位置检测信息与[0167]在上述内容中，已经结合图3对本申请实施例所提供的眼袋检测方法进行了概括对S303中基于卷积神经网络模型的眼袋检测方法进行[0168]请参照图7，为本申请实施例所提供的一种眼袋检测方法的流程图。需要说明的其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删[0172]这里对人脸关键点进行检测的目的，是得到眼部关键点从而便于后续确定眼袋点从待检测图像中获取眼袋ROI区域的方式，可以分别与前述S301中根据样本图像眼部关[0178]当然，如果待检测图像就是仅包括眼袋ROI区域的图像，则可以不必执行上述络模型(可以分别记为第一和第二卷积神经网络模型)分别对眼袋ROI区域进行检测，从而[0183]S706，基于眼袋检测得分和眼袋位置检测信息对待检测此当眼袋位置检测信息包括眼袋分割掩膜时，可以直接基于眼袋检测得分和眼袋分割掩户查看检测结果，可以对左眼袋ROI区域图像和镜像处理后的右眼袋ROI区域图像进行标息直接添加在待检测图像中，包括以像素的形式添像中生成文字信息)或者以属性信息的形式添加在待检测图像的属性信息中；也可以是单关系以及眼袋位置检测信息与待检测图像之间的关联可以与通过预设卷积神经网络模型对眼袋ROI区域进行眼袋检测的方式相似，此处不再一[0205]比如，可以通过两个卷积神经网络模型(可以分别记为第四和第五卷积神经网络预设卷积神经网络模型是单目标多任务学习网络时，可以通过一个卷积神经网络模型(可[0210]与基于眼袋检测得分和眼袋位置检测信息，对待检测图测分类结果与待检测图像之间的关联关系和卧蚕位置检测信息与待检测图像之间的关联分类结果与待检测图像之间的关联关系和卧蚕位置检测信息与待检测图像之间的关联关光源环境下，检测的卧蚕闭合区域与实际的(或标注的)卧蚕闭合区域面积交并比眼袋闭合区域面积IOU达到77单环境眼袋得分的相关系数达到88多环境相关系数达则说明检测的卧蚕闭合区域(或眼袋检测区域)，越贴近实际的卧蚕闭合区域(或眼袋检测[0225]图10为本申请实施例提供的一种眼袋检测装置1000的结构[0245]基于该卧蚕检测分类结果和该卧蚕闭合区域，对该待检测图像中的卧蚕进行标[0247]基于该卧蚕检测分类结果和该卧蚕分割掩膜，对该待检测图像中的卧蚕进行标[0254]输入模块，用于将该左眼袋ROI区域图像和镜像处理后的该[0259]图11为本申请实施例提供的一种卷积神经网络模型的训练装置1100的结构示意[0267]图12为本申请实施例提供的一种卧蚕检测装置1200的结构[0272]图13为本申请实施例提供的一种卷积神经网络模型的训练装置1300的结构示意理器110，外部存储器接口120，内部存储器121，通用串行(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing[0283]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purpose[0284]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display现终端100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端100的显示功[0295]天线1和天线2用于发射和接收电磁波信号。终端100中的每个天线可用于覆盖单[0296]移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个[0298]无线通信模块160可以提供应用在终端100上的包括无线局域网(wirelesslocalmodulation，FM)，近距离无线通信技术(nearfieldcommunication，NFC)，红外技术multipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，navigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigation晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight-emitting[0304]摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0306]视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。这样，终端100可以播放或录制多种编码格式的视频，例如：动态图像专家组[0308]外部存储器接口120可以用于连接外部存储卡，例如MicroSD卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功[0309]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0311]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风[0315]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是电信工业协会(cellulartelecommunicationsindustryassociationoftheUSA，180A检测所述触摸操作强度。终端100也可以根据压力传感器180A的检测信号计算触摸的角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端100的抖动，实现防[0319]磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的[0320]加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。当终端100静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切[0323]环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音[0337]应用程序框架层为应用程序层的应用程序提供应用编程接口(application息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通[0348]系统库可以包括多个功能模块。例如：表面管理器(surfacemanager)，媒体库[0357]本实施例提供的终端可以执行上述方法实施例来进行眼袋检测和/或卧蚕检测，程序被处理器执行时实现上述方法实施例所述的方法来进行眼袋检测和/或卧蚕检测，也[0359]本申请实施例还提供一种计算机程序产品，当计算机程使得终端执行时实现上述方法实施例所述的方法来进行眼袋检测和/或卧蚕检测，也可以[0361]本实施例提供的服务器可以执行上述方法实施例来进行卷积神经网络模型的训程序被处理器执行时实现上述方法实施例所述的方法来进行卷积[0363]本申请实施例还提供一种计算机程序产品，当计算机程序产品在服务器上运行[0364]上述集成的单元如果以软件功能单元的形式实现并作为独立的产