CN114937176B 一种基于深度学习的药品实时识别方法及系统 （湖南神帆科技有限公司）

一种基于深度学习的药品实时识别方法及本发明公开了一种基于深度学习的药品实第一图像和第二摄像头采集的第二图像分别对文本区域切割后的第一图像和第二图像进行文2对获取的药品分类和药品区域进行融合，输出基于外观的分类置信度根据获取的文本区域、以及输出的融合后的药品区域，对第一图利用预先训练好的模型分别对文本区域切割后的第一图像和第二图像进行文字识别，对输出的基于外观的分类置信度、以及识别出的文字信息进行融所述对输出的基于外观的分类置信度、以及识别出的文字信息进行融合r-ru"，为预设第一摄像头采集的第一图像和第二摄像头采集的第二在训练阶段训练所述模型，所述模型包括药品及文对加载相关标注的样本图像进行水平或翻转动作以进在训练过程中使用不同的数据增强方式增加数据量，在训练集使用文字合成程序合成常用药品的文本图片根据文本标注在真实训练集中切割出文本识别训练集，并将文在合并后的所述文本识别训练集中训练所述文字识别3第一摄像头采集的第一图像和第二摄像头采集的获取视频采集盒采集的实时药品视频，所述视频采集盒的内壁采放置区两侧且安装的高度为常用药品的平均高计算所有检测框的交并比来获取每个药品在第一图像和第二若识别到交并比大于预设的交并阈值且为统一终基于外观的分类置信度为第一图像和第二图像同一药品视频采集模块（10用于分别加载第一摄像头采集的第一图像和第二摄像头采集的第药品及文字检测模块（20用于利用预先训练好的模型分别对加载的第一图像和第二检测结果融合模块（30用于对获取的药品分类和药品区域进行融合，输出基于外观文字识别模块（50用于利用预先训练好的模型分别对文本区域切割后的第一图像和识别结果融合模块（60用于对输出的基于外观的分类置信度、以及识别出的文字信字符识别单元（62用于假设pi为i个字符的置信度，如果，则认为字符预测结训练模块（70用于在训练阶段训练所述模型，所述模型包括药品及文字检测网络模所述训练模块（70）包括药品及文字检测网络模型训练模块4数据扩充单元（72用于对加载相关标注的样本图像进行水平或翻转动作以进行数据第一训练单元（74用于在训练过程中使用不同的数据增强方式增加数据量，在训练合并单元（77用于根据文本标注在真实训练集中切割出文本识别训练集，并将文本第二训练单元（78用于在合并后的所述文本识别训练集中训练所述文字识别网络模视频获取单元，用于获取视频采集盒采集的实时药品识别视频，所述视的条状光源以及盖合于所述视频采集盒上方用于防止所述条状光源的光直射操作人员的摄像头对称安装于所述药品放置区两侧且安装的高度为常用药品的平均高度计算单元（31用于计算所有检测框的交并比来获取每个药品在第一图像和第二图像物体识别单元（32用于若识别到交并比大于预设的交并阈值且为统一类别的物体，56[0012]利用预先训练好的模型分别对文本区域切割后的第一图像和第二图像进行文字[0030]若识别到交并比大于预设的交并阈值且为统一类别的物体，则认为是同一个物7状光源以及盖合于视频采集盒上方用于防止条状光源的光直射操作人员的眼睛造成不适放置区两侧且安装的高度为常用药品的平均高8[0058]物体识别单元，用于若识别到交并比大于预设的交并阈第一图像和第二图像进行预处理，分别获取第一图像和第二图像中的药品及文字检测结[0068]图5为本发明提供的基于深度学习的药品实时识别方法中目标检测网络一实例的[0069]图6为本发明提供的基于深度学习的药品实时识别方法中视频采集盒一实例的立置信度和融合后的药品区域的步骤一实例的9上部设有用于提供稳定光照条件的条状光源100以及盖合于视频采集盒上方用于防止条状光源100的光直射操作人员的眼睛造成不适的遮光盖200，视频采集盒的底部设有药品放[0083]步骤S200、利用预先训练好的模型分别对加载的第一图的分类置信度为两幅图像中同一药品的分类置[0092]根据检测结果，在第一图像和第二图像中切割文本区域作为文字识别模块的输Image-basedSequenceRecognition.IEEETransactionsonPatternAnalysisand[0103]将图像切割为尺寸一致的样本图像以方便网络进行处理，并加载图像和相关标[0104]步骤S120a、对加载相关标注的样本图像进行水平或翻转动作以进行数据扩充工和文字识别网络，以利用预先训练好的模型分别对加载的第一图像和第二图像进行预处[0121]计算所有检测框的IOU(IntersectionoverUnion，交并比)来获取每个药品在第第二图像同一药品的分类置信度的乘积。本实例提供的基于深度学习的药品实时识别方获取的药品分类和药品区域进行融合，输出基于外观的分类置信度和融合后的药品区域；色材料制作而成，在视频采集盒的上部设有用于提供稳定光照条件的条状光源100以及盖合于视频采集盒上方用于防止条状光源100的光直射操作人员的眼睛造成不适的遮光盖药品放置区300两侧且安装的高度为常用药品的平均高度的一半。视频采集盒要求在方便[0137]药品及文字检测模块20对加载的第一图像和第二图像进行预处理主要包括三项[0138]检测结果融合模块30融合来自两个摄像头即第一摄像头400和第二摄像头500的摄像头500分别采集的第一图像和第二图像，由于第一摄像头400和第二摄像头500是对称为识别出的中英文字符以及置信度。文字识别模块可以采用CRNN算法(AnEnd-to-EndTrainableNeuralNetworkforImage-basedSequenceRecognition.IEEETransactionsonPatte为预测正确字符的比例与所有预测正确字符置信度的乘积，即为最终结果P和文字识别网络，以利用预先训练好的模型分别对加载的第一图像和第二图像进行预处所有检测框的交并比来获取每个药品在第一图像和第二图像的关联关系；物体识别单元最终基于外观的分类置信度为第一图像和第二图像同一药品的[0148]计算单元31计算所有检测框的IOU(IntersectionoverUnion，交并比)来获取每基于外观的分类置信度为两幅图像中同一药品的分第二图像同一药品的分类置信度的乘积。本实例提供的基于深度学习的药品实时识别系-un,