CN111881705A 数据处理、训练、识别方法、装置和存储介质 （深圳数字生命研究院）

道观光路1301号银星智界项目1号楼别得到待识别的特征数据中至少一个目标的关用于通过自顶向下的方式进行至少一人的姿态二维坐标；通过目标的关键点二维坐标进行计关键点组合的连线之间的夹角或第一预设关键预设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库2将具备第一数量通道的第一特征数据输入至具备第二数量滤波器的第一类卷积层进将所述具备第二数量通道的第二特征数据输入至具备所述第二数量滤波器的第二类依据所述掩码确定所述第二类卷积层中的各个滤波器与所述第二特征数据中的各通依据所述连接方式得到的映射关系对所述第将所述具备第二数量通道的第三特征数据输入至具备所述第一数量滤波器的第三类3.根据权利要求1所述的方法，其特征在其中，所述对所述待训练的权重分类模型进行训练中使用的方法包括权利要求1中的依据所述类别预测结果与所述第一预测数据集在激励传播阶段，将图像通过所述待训练的权重分类模型的卷积层获取特征,在所述待训练的权重分类模型的全连接层获取类别预测结果,再将所述类别预测结果与第一预测在权重更新阶段,将所述误差与本层响应对前一层响应的函数的导数相乘,获得两层之间权重矩阵的梯度,沿所述梯度的反方向以设定的学习率调整权重矩阵；将所述梯度矩3阵确定为前一层的误差，并计算前一层的权重矩阵通过收敛的权重分类模型初始化目标检测模型中的特通过第二预设数据集中的目标位置框标签信息对待训依据第三预设数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络依据所述训练后的目标检测模型和所述训练后的单人姿在所述目标检测模型包括特征提取模块、建议框生成分别对所述特征提取模块和所述建议框生成模块依据特征提取模块第一参数值和建议框生成模块第一参数值训练所述目标分类器与依据目标分类器与位置框回归预测模块第一参数值和特征提取模块第二参数值训练依据建议框生成模块第二参数值和特征提取模块第二参数值训练所述目标分类器与所述第二预设数据集中的各个数据的特征和所述各个数据的候选目标框获取所述第二预设数据集中各个数据的目标的检测框及相应在所述建议框生成模块包括一个滑窗的卷积层，所述卷积层后连接两个并行的卷积据所述第二预设数据集中的各个数据的特征生成依据所述第二预设数据集中的各个数据的特征据集中的各个数据的各个候选目标框的中心锚点的目标分类器与位置框回归预测模块用于依据所述第二预设数据集中的各个数据的特征和所述各个数据的候选目标框获取所述第二预设数据集中各个数据的各个目标的检测框和4通过所述池化层将所述特征提取模块输出的不同长度的各个数据的特征转换为固定依据所述固定长度的各个数据的特征，分别通点标签信息对待训练的单人姿态估计模型的网络参数进行训练,得到训练后的单人姿态估依据所述第三预设数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,通过前向传播和后向传播算法迭代的更新所述待训练的单人姿态估计其中，所述依据所述第三预设数据集中的目标关键点计模型的网络参数进行训练,通过前向传播和后向传播算法迭代的更新所述待训练的单人依据预设宽高比对输入的单人图像的高度或宽收集训练所述待训练的目标检测模型和待训练述第二类图像数据集的训练集和所述第三类图像数据集的训练集为第二预设数据集中的所述预处理操作包括：通过随机几何变换对第一预设据分别进行处理；通过随机混合操作和/或随机几何变换对所述第二预设数据集中的数据按预设角度进行随机旋转和/或按照预设缩放比例进行随机缩放；所述随机混合操作包括5将待识别的特征数据输入权重注意力神经网络模型，识别得通过所述目标的关键点二维坐标进行计算，得到第一将所述第一预设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之在所述待识别的特征数据包括图片数据的情况下，将得到与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之在所述待识别的特征数据包括视频数据的情况下，依据所述视频数据中至少一个目标的关键点二维坐标信息得到至少一个目标的至少将所述至少一个目标的至少一个特定夹角的角度时间在判定所述视频数据中的相应目标正在进行所对比较该目标的至少一个特定夹角的角度时间变化曲线与标准运动的相应特定夹角的角度若所述目标的至少一个特定夹角的角度时间变化判断所述目标的至少一个特定夹角的角度时述标准运动的相应特定夹角的角度时间变化曲线上相邻峰值的差是否落入第三预设阈值6依据所述识别结果在第二预设数据库中进行匹配依据所述体态评估结果在所述第三预设数据库中坐标识别模块，用于将待识别的特征数据输入权重计算模块，用于通过所述目标的关键点二维坐标进行的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库中进行24.一种数据识别装置，包括：存储介质和用于运行存储于存储介质中的程序的处理7下的方法(Two-stepframework)和自底向上的方法(Part-basedframew8播阶段，将图像通过待训练的权重分类模型的卷积层获取特征,在待训练的权重分的全连接层获取类别预测结果,再将类别预测结果与第一预测数据集中的数据的标签类别的函数的导数相乘,获得两层之间权重矩阵的梯度,沿梯度的反方向以设定的学习率调整设数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,得到训练后的单人姿态估计模型；依据训练后的目标检测模型和训练后的单人姿态估计模取模块第一参数值和建议框生成模块第一参数值训练目标分类器与位置框回归预测模块，分类器与位置框回归预测模块第一参数值和特征提取模块第二参数值训练建议框生成模建议框生成模块用于依据第二预设数据集中的各个数据的特征生成各个数据的候选目标个数据的候选目标框获取第二预设数据集中各个数据的目标的检测框及相应检测框的类9[0018]可选的，在目标分类器与位置框回归预测模块的结构为顺次连接的一个池化层、据第二预设数据集中的各个数据的特征和各个数据的候选目标框获取第二预设数据集中模型的网络参数进行训练,得到训练后的单人姿态估计模型包括：依据第的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,通过前向传播数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,通过换对第一预设数据集和第三预设数据集中的数据分别进行处理；通过随机混合操作和/或体为将不同数据中的预设位置像素值与预设权设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的线之间的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库中进行匹[0044]图9a是根据本发明实施例的数据训练方法中关键点位置和骨架连线的标注前的[0045]图9b是根据本发明实施例的数据训练方法中关键点位置和骨架连线的标注后的[0048]图12是根据本发明实施例的数据识别方法中基于深度学习得到的体态风险的评员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0058]关键点检测：通过一定的技术方法识别图片/视频中单个目标或多个目标的关键例中第一数量通道的第一特征数据可以为具有256个通道的特征图数据，第二数据量滤波步骤S106中确定在3×3卷积层中各个滤波器与通道数为128的特征图数据中的各通道的连接方式(见图2左侧的掩码(mask)图)，依据该连接方式在步骤S108中根据该连接方式的映[0068]在本申请实施例中是利用全连接层生成滤波器掩码(mask)，如图2左侧mask中所至步骤S110所使用的滤波器选择和滤波器与通道之间卷积计算的方式为权重注意力机制的分组模式(分组模式即图2中所示的in与out间相同类别线条)，让网络自身学习卷积分[0071]可选的，本申请实施例提供的数据处理方法应用于识别图片/视频中的目标的姿算法可以将该权重注意力机制具体应用于识别图片/视频中的目标的姿态，这里可以应用[0074]其中，将图2所示的卷积算法应用于AI技术中的数据模型训练详见实施例二中的WeightNet网络进行数据训练详见实练的权重分类模型进行训练中使用的方法包括上述实[0080]具体的，基于步骤S302中得到的WeightNet-50分类模型，通过将训练图片引入[0086]具体的网络参数配置为:第一个卷积块是n＝64个步长为2的7x7的卷积核,带有过使用百万级ImageNet分类数据预训练WeightNet分类模型,并通过收敛的权重分类模型段，将图像通过待训练的权重分类模型的卷积层获取特征,在待训练的权重分类模型连接层获取类别预测结果,再将类别预测结果与第一预测数据集中的数据的标签类别求函数的导数相乘,获得两层之间权重矩阵的梯度,沿梯度的反方向以设定的学习率调整权网络参数进行训练,通过前向传播提取特征,利用网络输出的类别预测结果(one-hot)与真实的标签类别误差,采用误差反向传播算法来训练该模型,直至模型收敛,得到WeightNet-[0098]其中，通过误差反向传播算法来训练[0099]在激励传播阶段将图像通过WeightNet-50网络的卷积层获取特征,在网络最后的全连接层获取预测结果,再将预测结果与真实结果求差,从而获得隐藏层和输出层的响应[0100]在权重更新阶段,先将已知误差与本层响应对前一层响应的函数的导数相乘,从而获得两层之间权重矩阵的梯度,然后沿这个梯度的反方向以设定的学习率调整权重矩RCNN用于提取输入图像中各个人物的位置框信息给单人姿态估计模型进行姿态估计，其位置框回归预测模块(Fast-RCNN)；到的权重分类模型，基于该权重分类模型在对WeightNet进行初始化，但不包括输出层参[0109]这里训练和验证时遵循上述数据预处理操作；采用Adam作为优化器(Adam:Adaptivemomentestimation，适应性矩估计，一种随机优化的方法)；基础学习率设为预设概率可以设定为50在得到不需要翻转的图像时则不需要进行随机翻转，以实际符集可以为COCO和Kinetics-14数据集中的目标位置框标签信息组成的数据集，这里通过使用COCO和Kinetics-14数据集中的目标位置框标签信息组成的数据集训练目标检测模型以实施例中的特征提取模块(WeightNet)是基于实施例2中权重分类模型训练得到，区别在分类任务的预训练，并将最终收敛的权重作为目标检测模型中特征提取模块的初始化权重，以此提高最终目标检测模型的准确率及加快模型训练的收敛速度；且权重分类模型构上特征提取模块(WeightNet)的结构为去掉分类器的权重分类模型(WeightNet)部分，息组成的数据集，这里通过使用COCO和Kinetics-14数据集中的目标关键点标签信息组成的数据集训练单人姿态估计模型以提高最终整体架构对类似场景中人物骨骼关键点的识[0125]步骤S5042，依据特征提取模块第一参数值和建议框生成模块第一参数值训练目[0126]具体的，依据特征提取模块第一参数值和建议框生成模块第一参数值训练Fast-申请实施例中的目标分类器与位置框回归预测模块第一参数值),WeightNet[0127]步骤S5043，依据目标分类器与位置框回归预测模块第一参数值和特征提取模块[0129]步骤S5044，依据建议框生成模块第二参数值和特征提取模块第二参数值训练目[0130]具体的，依据特征提取模块第二参数值和建议框生成模块第二参数值训练Fast-随机水平翻转(50％),并且训练目标检测模型的过程中可以以用A练阶段的每个迭代步数分别为80000,40000,8建议框生成模块用于依据第二预设数据集中的各个数据的特征生成各个数据的候选目标个数据的候选目标框获取第二预设数据集中各个数据的目标的检测框及相应检测框的类块用于提取输入图像的特征图(featuremap)；[0135]目标分类器与位置框回归预测模块(Fast-RCNN)主要输入为特征提取模块提取的模块用于依据第二预设数据集中的各个数据的特征和各个数据的候选目标框获取第二预预设数据集中各个数据的各个目标的检测框及相人姿态估计模型的网络参数进行训练,得到训练后的单人姿态估计模型包括：设数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,通据第三预设数据集中的目标关键点标签信息对待训练的单人姿态估计模型的网络参数进行训练,通过前向传播和后向传播算法迭代的更新待训练的单人姿态估计模型的网络参数×3卷积层的主要作用是将基本单元输出的特征图通道降低为32，作为接下来的高分辨率[0141]利用COCO和Kinetics-14数据集中的目标关键点标签信息对HRNet网络参数进行[0148]具体的，本申请实施例中的样本可以源于开源数据集，例如：MicrosoftCOCOImageNet(LargeScaleVisualRecognitionChalleng换对第一预设数据集和第三预设数据集中的数据分别进行处理；通过随机混合操作和/或的第二类图像数据集可以以MicrosoftCOCO2017KeypointDetectionDataset(微软COCO2017关键点检测数据集)(后续简称COCO数据集)中的位置框信息标注的数据集合为数据集中有关键点信息标注的数据集合可以以COCO数据集中有关键点信息标注的数据集合和Kinetics-14中有关键点信息标注分辨率、图片采集的时间、图片的索引(ID)、图片中每个人物的可见骨骼关键点的数目的右图为本申请实施例提供的数据训练方法中基于COCO数据集二获得的关键点位置和骨关键点标注工具)对其进行标注，标注格式和COCO数据集一致，在本申请实施例中称其为签信息组成的数据集为本申请实施例中的第二预设数据集，Kinetics-14及COCO数据集中的目标关键点标签信息组成的数据集为本申请实施例中的第[0158]使用百万级ImageNet分类数据预训练WeightNet,并将最终收敛的权重作为人物体为将不同数据中的预设位置像素值与预设权xi+x(2)度进行随机旋转和/或按照预设缩放比例进行随机缩放中的一种或至少两种的组合，且执线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线连线之间的夹角或第一预设关键点组合的连线与第一[0180]步骤S1106，将第一预设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库中进行匹[0187]这里本申请实施例提供的数据识别方法中将待评估的图像输入输出为模型识别到的人体骨骼关键点二维坐标(即，本申请实施例中的目标的关键点二维与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之[0190]可选的，步骤S1106中将第一预设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库申请实施例中的特征数据所在的二维平面上获取任意三个点)，要求出直线AB与直线AC之[0194]可选的，步骤S1106中将第一预设关键点组合的连线与第二预设关键点组合的连线之间的夹角或第一预设关键点组合的连线与第一预设线之间的夹角在第一预设数据库类型的至少一种标准运动的至少一个夹角的角度时间变化曲线做比较分析，得到识别结在预设时间间隔内抽取的帧画面中各夹角变换得直接获取待识别特征(例如录入视频或图像)的运动类型(例如录入视频或图像时同时说明对应的运动类型)，然后直接将待识别特征识别获得的至少一个角度时间变化曲线与该录坐标经过角度计算模块获取视频流(帧)中每个人的每个特定关节角度的连续变化曲线值个动作的不同站姿和方位)的每个特定关节角