CN119497872A 行动识别装置、行动识别方法以及行动识别程序 （松下电器（美国）知识产权公司）

2024.12.24PCT/JP2022/0485242022.12.28WO2024/009532JA2024.01.11征点即输入时间序列特征点与成为基准的时间2算出部，基于由所述推定部推定出的所述骨骼点坐标，来算出以时决定部，通过比较由所述算出部算出的所述时间序列特征点即在判定为所述用户进行所述直行行走的情况下，所述决定部所述行动识别装置还具备：进深修正部，按时间序列算出和所述图像中包含所述决定部通过对构成所述时间序列特征点的各特征点乘以与各特征点对应的所述列特征点和进行了归一化的所述基准时间序列特征点，来决定所述用户的所述行走的变所述算出部基于所算出的所述时间序列特征点的图像坐标，来算出所述基准时间序列特征点包含多个第1基准时间序所述决定部通过对所述多个第1基准时间序列特征点进行平均来算出平均时间序列特所述算出部在能够连续算出的所述时间序列特征点的区间为给定时间以上的情况下，将该区间中包含的所述特征点决定为所述输入时所述基准时间序列特征点是所述算出部过去算出的所述输入时间序所述基准时间序列特征点和所述输入时间序列特征点是相同用户的时间序3所述行动识别装置还具备：输出部，输出表示由所述决定部决定基于推定出的所述骨骼点坐标，来算出以时间序列表示所述用户通过比较所算出的所述时间序列特征点即输入时间序列特征点和成为基准的所述时12.一种行动识别程序，是使计算机执行对用户的行走进行识别的行动识别方法的行基于推定出的所述骨骼点坐标，来算出以时间序列表示所述用户通过比较所算出的所述时间序列特征点即输入时间序列特征点和成为基准的所述时4置在对感测有利的位置，不能进行在行走动作的解析中通常使用的5_10m左右的行走的正5[0018]图7是说明使用由步骤S8算出的误差的标准偏差来决定行走的变化的方法的图[0028]（1）本公开的一方式中的行动识别装置是对用户的行走进行识别的行动识别装6所述时间序列特征点的各特征点的X坐标以及Y坐标各自的值进标以及Y坐标各自的多项式近似曲线，对时间序列特征点的X坐标以及Y坐标各自的值进行[0039]根据该结构，由于将多个第1基准时间序列特征点被平均后的平均时间序列特征点与输入时间序列特征点进行比较，因此能够一一对应地比较输入时间序列特征点和第1[0041]根据该结构，由于能够决定由表示1个行走的一系列的特征点构成的时间序列特7征点和所述输入时间序列特征点是相同用户的时[0048]（11）本公开的另一方式中的行动识别方法是对用户的行走进行识别的识别装置[0050]（12）本公开的另一方式中的行动识别程序是使计算机执行对用户的行走进行识的所述时间序列特征点即输入时间序列特征点和成为基准的所述时间序列特征点即基准[0052]（13）本公开的另一方式中的记录介质是记录使计算机执行对用户的行走进行识[0053]本公开也能够作为通过这样的行动识别程序而动作的行动识别系统来实现。此下的实施方式中的结构要素之中、未记载于表示最上位概念的独立权利要求的结构要素，8的行动识别系统的结构的一个例子的框图。行动识别系统包含行动识别装置1以及摄像机像机4以给定的帧频对用户进行拍摄，并以给定的帧频将得到的图像输入到行动识别装置1。行动识别装置1是用于使用由摄像机拍摄到的图像来决定对象用户的行走的变化的装[0057]处理器2是用于基于图像来决定对象用户的行走的变化的硬件，例如是中央运算~输出部25既可以通过中央运算处理装置执行行动识别程序来实现，也可以通过AS[0063]推定部22向通过对图像与骨骼点坐标的关系进行机器学习而得到的学习完毕模22也可以通过深度神经网络以外的学习模[0064]图2是示出包含推定部22推定的骨骼点坐标P的骨骼信息201的一个例子的图。在[0065]骨骼信息201是表示对象用户一个人的骨骼点坐标P的信息。骨骼信息201例如包9通过图像中的水平方向的坐标分量即X坐标以及图像中的垂直方向的坐标分量即Y坐标来[0067]算出部23基于由推定部22推定出的骨骼点坐标P，来算出以时间序列表示对象用[0068]决定部24通过比较由算出部23算出的输入时间序列特征点和行走数据库32中所[0069]与输入时间序列特征点进行比较的基准时间序列特征点例如是过去半年前那样序列特征点进行比较的基准时间序列特征点既可以是与对象用户相同年龄的另一用户的的事例等。输出部25也可以经由输入输出接口将上述信息发送到对象用户持有的计算机，[0071]行动识别装置1例如既可以由设置于住宅内的边缘服务器构成，也可以由设置于示出本公开的实施方式1中的行动识别装置1的处理可得到骨骼点坐标P和可靠度的时间序列数据。推定部22也可以执行在该时间序列数据中P的外切矩形的重心，并将所算出的重心位于最近侧的外切矩形彼此作为相同用户的外切[0080]算出部23根据在步骤S2中取得到的骨骼点坐标P，来算出对象用户的躯体的特征[0081]图4是示出根据对行走的用户进行拍摄而得到的图像而算出的特征点401的一个[0082]算出部23为了提高特征点401的推定精度，也可以将因为遮挡以及身体的朝向等的骨骼点坐标P来算出特征点401即可。算出部23在根据取得到的图像1个点都没有检测到[0083]算出部23也可以通过用骨骼点坐标P1～P4的可靠度对躯体中包含的骨骼点坐标部23也可以进一步使用两膝或者两肘的骨骼点坐标P[0085]算出部23通过切取在步骤S3中算出的特征点401之中、从当前到过去的某个时间[0093]图5是示出用于修正输入时间序列特征点的多项式近似曲线的一个例子的图。在序列特征点的X坐标的多项式近似曲线。算出部23在描绘相对于输入时间序列特征点的帧时间序列特征点的图像坐标，来算出输入时间序列特征点的Y坐标的多项式近似曲线。并[0098]算出部23算出多项式g与构成输入时间序列特征点的各特征点401的X坐标的误能够不受起因于摄像机4的角度的特征点的偏离的影响地对行走进24将取得到的输入时间序列特征点作为基准时间序列特征点存储于行走数据库32。由此，归一化且修正后的输入时间序列特征点作为基准时间序列特[0105]决定部24通过对行走数据库32中存储的多个基准时间序列特征点（第1基准时间低成为多个基准时间序列特征点的基础的骨骼推定的推[0106]决定部24针对多个基准时间序列特征点，按每个相同的帧来算出特征点401的平[0108]决定部24通过比较在步骤S6中进行了归一化且在步骤S7中进行了修正的输入时部24算出输入时间序列特征点与平均时间序列特征点的特征点间距离来对两者进行比较[0112]图7是说明使用在步骤S8中算出的误差的标准偏差来决定行走的变化的方法的图中算出的Y坐标的修正前的算出值与Y坐标的多项式g的误差的705示出针对模拟了4种异常行走的行走的每一个的试行结果。点702逐渐地提高行走速度[0115]阈值直线710是用于比较图7所示的点701和点704各自的坐标来区别通常行走和[0119]输出部25输出在步骤S93中生成的比较结果。比较结果例如被输出到对象用户的设置于室内的摄像机4的摄像机角度对感测不利的情况下，也能够针对对象用户准确地判[0129]判定部26判定对象用户是否朝向摄像机4直行行走。判定部26基于下述的数式（1按每帧来算出用于判定对象用户的正面[0131]在用户朝向摄像机4直行行走而拍摄到对象用户的正面的情况下，躯体指标始终[0132]判定部26判定躯体指标为正的帧数相对于行走区间的全部帧数的比例是否为阈[0133]在判定为对象用户未朝向摄像机4直行行走的情况下（步骤S201中为否处理返[0137]实施方式3根据对象用户距摄像机4的距离来修正特征点401。对象用户的图像中[0140]行动识别装置1B还包含进深修正部27。进深修正部27按该修正参数对应于取得部21取得到的图像中包含的对象用户与拍摄对象用户的摄像机的着图像中包含的对象用户与摄像机4的距离变大[0141]决定部24通过对构成时间序列特征点的各特征点乘以与各特征点对应的修正系[0142]图11是示出本公开的实施方式3的行动识别装置1B的处理的一个例子的流程图。深修正部27从存储器3取得在摄像机4的周围的空间内作为对象用户的行走距离而预先确27算出输入时间序列特征点的各帧中的用户距摄像[0145]例如，进深修正部27以摄像机4的位置为起点，将行走距离除以行走所需的总帧2）[0154]决定部24通过将在步骤S7中修正后的输入时间序列特征点中包含的各特征点401[0156]决定部24将在步骤S1201中用修正系数wi对各特征点401进行了修正而得到的输S1202中用修正系数wi对各特征点401进行了修正而得到的输入时间序列特征点作为基准时间序列特征点被存储于行走数据库32，因此在步骤S92中算出的平均时间序列特征点成为用修正系数wi对各特征点401进行了修正而得到的平均时间序列特征点。因此，在步骤S93中，通过比较用修正系数wi对各特征点401进行了修正而得到的输入时间序列特征点、与用修正系数wi对各特征点401进行了修正而得到的平均时间序列特征点，来生成比较结