CN113646734B 用于手势检测和分类的方法和装置 （元平台技术有限公司）

US2016313801A1,2016.10.27US2018301057A1,2018.10.182021.11.122021.09.29PCT/US2020/02577220WO2020/205767EN2020.10.08多个肌电图(EMG)传感器；以及至少一个物理处理器，其被编程为接收基于由EMG传感器检测到2控制设备，其包括多个肌电图传感器，所述肌电图传感器包括物理存储器，其包括计算机可执行指令，所述计算机可执处理如由所述肌电图传感器检测到的一个或更多个肌电图信号以生成经处理的一个使用特定于用户的分类器模型将经处理的一个或更多个肌电图信号分类为一种或更通过观察随着所述时间窗口的大小的改变而发生的所述特定于用户的分类器模型的基于分类的所述一个或更多个手势类型提供控制信号，其中所述特定于用户的分类器模型是使用包括由多用户分类器模型确定的事件标记的训所述多用户分类器模型是使用从多个用户获得的多用户数3.根据权利要求1所述的系统，其中，所述至少一个物理处理器位于所述头戴式设备时使所述物理处理器使用分类器模型将经处理的肌电图信号分类为一种或更多种手势类处理所述一个或更多个肌电图信号以生成相关联的特征数据，所述肌电使用特定于用户的分类器模型将所述相关联的特征数据分类为一种或更多种手势类通过观察随着所述时间窗口的大小的改变而发生的所述特定于用户的分类器模型的其中，所述特定于用户的分类器模型是使用包括由多3所述多用户分类器模型是使用从多个用户获得的多用户数通过对从所述肌电图训练信号获得的肌电图训练数据进行聚类来训练所述分类器模通过向多个肌电图训练信号中的至少一个肌电图训练信号添加时间偏移来使所述多将对应于所述手势类型的每次出现的所述肌电图训练信号进行所述多用户手势模型是多个特定于用户的手势模机可执行指令在由计算设备的至少一个处理器执行时使所述接收如由肌电图传感器检测到的一个或更多个处理所述一个或更多个肌电图信号以生成经处理的一个或更多个肌电使用特定于用户的分类器模型使用所述一个或更多个特征来将所述一个或更多个肌通过观察随着所述时间窗口大小的改变而发生的所述特定于用户的分类器模型的准4将所述控制信号传输到头戴式设备，以响应于所述控制信号来所述特定于用户的分类器模型是使用包括由多用户分类器模型确定的事件标记的训所述多用户分类器模型是使用从多个用户获得的多用户数5[0002]本申请要求2019年3月29日提交的第62/826,478号美国申请和2020年3月27日提[0011]图7示出了在第一PCA成分上的示例检测到的事件以及从两秒数据生成的相应标[0018]图13B示出了两个单用户事件分类模型(单戳记(stamp)和累积窗口大小)的示例[0019]图14示出了为确定时间样本的独立性而执行的跨时间泛化(generalization[0020]图15示出了泛化交叉用户分类模型(generalizedcross-userclassificationmodel)的示例准确度水平。[0021]图16示出了基于线性回归的特定于用户的分类器的可迁移性(transferability)[0025]图20示出了使用有监督(supervised)的特定于用户的模型和自监督的特定于用6[0028]图23A-23B示出了与第一用户和第二用户相关联的每个事件类别的对齐模型的示[0032]图26A示出了根据一些实施例的可佩戴系统，该可佩戴系统具有围绕弹性带周向[0034]图27A和图27B示意性地示出了在其上实现一些实施例的基于计算机的系统的部算机的示例加密狗(dongle)部分，其中加密狗部分被配置为与控制设备通信(并且类似的[0038]图32是可结合本公开的实施例使用的示例性虚拟现实头戴装置(headset)的图[0041]本公开的示例针对对来自用户的信号的检测以及基于检测到的信号对人工现实的系统，该头戴式设备被配置为向用户呈现人工现实视图，该控制设备包括多个肌电图(EMG)传感器。可以位于任何系统部件中的一个或更多个处理器可以被编程为检测对应于与从传感器接收的EMG数据相关联的用户手势的EMG信号，并且对EMG信号进行分类以识别[0042]对人工现实环境内的(真实或虚拟)对象的准确控制对于保持沉浸式体验可能是[0044]参考图1-30，以下提供了手势识别模型(包括无监督(unsupervised)模型和自监7AR/VR应用。激活的一个或更多个肌电图信号(包括肌电图小波(wavelet))来表征。将系统配置为使用样本中快速学习手势并以无监督或自监督的方式从人类手势中捕获和解释有意义的特征[0047]图1示出了可以从主成分分析(principalcomponentanalysis)的应用中提取的[0048]数据集可以包括对应于食指轻敲和中指轻敲的EMG信号。数据集可以分为训练集析(PCA)，可以降低特征空间的维数以找到数据集中的事件。此后，数据可以被中心化[0050]图2示出了可以从检测到的事件(包括在休息时段期间记录的检测到的事件)产生过丢弃低于例如预定能量水平阈值的所有相应的事件150ms的窗口可以以每个事件为中心来对数据进行切片，并且可以以类似的方式使用任何[0052]图3示出了来自主成分分析(PCA)的第一成分的图，该主成分分析(PCA)可以在检8[0055]在一些示例中，通过分析epoch和所有事件的平均值之间的自相关性，为每个同步后获得的每个事件的epoch的平均能量。(PCA的五个成分中的)第一PCA成分在两个手指(食指与中指)轻敲之间在幅度上可能有显著差异，而其他成分可能具有不同的信号形[0061]在一些示例中，偏移可以被设置在事件峰之后的75ms(事件的峰之后大约30个样[0062]图7示出了可以使用第一PCA成分检测的具有相应的标记的事件，可以针对2秒的数据生成这些标记。事件检测器模型可以实现为多层感知器(MLP)模型或其他合适的机器推断的输出与预定阈值进行比较并且去抖动以引出离散事件的识[0064]图8示出了对测试集上的离散事件的检测，包括来自模型的两个输出(实线)以及[0065]图9示出了可以在测试数据集中检测的离散事件，包括例如使用在测试集上进行的PCA分析产生的五个成分以及可以在同一集合中检测到的事件。模型可以检测所有可能9类别或类型对应于关联于与事件发生同步的特定肌肉激活的特征(characteristic)或常这些数据集包括从按键按下(keydown)、按键松开(keyup)和轻敲事件中捕获的EMG信号[0067]可以使用40ms的时间窗口和2.5ms的步长(这是由400Hz的特征采样频率产生的)获得大小为160×90×48(N_事件×N_时间_样本×N_特征)过对所有发生的这些事件的每个事件类别(例如，食指轻敲和中指轻敲)的EMG值取平均值[0072]几个分类模型可以用于实现单用户事件分类模型。在一些示例中，每个试验(trial)可以被矢量化成大矢量(其维数对应于时间点×特征的数量)。一旦生成了这样的低数据的维数(在特征维度上)。空间滤波器的示例可以基于例如公共空间模式(CSP)的提[0074]在一些示例中，可以通过包括以下方式中的一种或更多种方式的方法来开发模[0075]具有90％的训练和10％的测试的分层随机分割(stratifiedrandomsplit)可以[0079]图13A示出了作为训练事件的数量的函数的示例准确度水平，可以通过单用户事件分类模型的两种不同实现达到该示例准确度水平。示出了LR(实线)和XDCov+LDA(短划线)和XDCov+LDA结果(剩余的短划线和下面的点划线)的可能的不确定性使用例如在按键按压事件之后从-100ms到+125ms的增大的窗口大小(包含所有过去的时间[0082]图13B示出了可以通过单时间戳和累积窗口大小实现的示例准确度水平。结果表明：窗口中的大多数时间点可以包含允许模型将它们分类到高于机会水平(具有例如大约件中涉及的不同过程是否是平稳的。如果源的同一组合在两个不同的时间点上类似地活[0094]可以用来源于一组用户中的所有用户(减去一个用户)的样本来训练与用户相关[0095]图17A-17Q示出了每个维度的两个类别的手势(食指轻敲和中指轻敲)的示例分[0099]图19示出了使用自监督模型实现的示例准确度水平，表明在训练自监督模型之[0101]图20示出了使用有监督的特定于用户的模型和自监督的特定于用户的模型实现余的短划线和点划线给出了可能的不确定性[0103]图21示出了针对特定于用户的模型(实线)和自监督模型(下短划线)的窗口大小割(其具有10％的测试数据和从5％增大到90％的训练大小)。集成方法可能在30个事件之基于域自适应的方法来代替构建特定于用户的模型(例如，通过确定可以导致跨用户充分[0108]图23A-23B示出了与第一用户和第二用户相关联的事件类别的模型的对齐，表明120个事件)测试模型的准确度。这些(和其他)示例中使用的数值是示例性的而非限制性[0112]图25A示出了来自一组用户中的所有用户的跨用户迁移，表明该过程可以增强单[0114]图25B示出了基于迁移函数确定监督域自适应的数据大小，表明准确度与训练事围绕用户的下臂或手腕佩戴。在一些示例中，EMG传感器2610可以围绕弹性带2620周向布路的非限制性示例在下面参考图27A和图27B进行[0119]图27A示出了控制设备2710可以包括一个或更多个传感器2712(例如上面结合图包括电源2720或从电源2720接收电力，该电源2720可以包括电池模块或其他电源。由MCU2722执行的处理的输出可以被提供给天线2730，以用于传输到图27B所示的加密狗部分[0120]图27B示出了加密狗部分2750可以包括天线2752，该天线2752可以被配置为与关联于控制设备2710的天线2730进行通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线2730和2752之间的通信。如图所示，由加密狗部分2750的天线2752接收的信号可以通过蓝牙无线电(或其他接收器电路)接收，并通过输出[0122]在一些示例中，加密狗部分的配置可以被包括在头戴式设备(例如人工现实头戴[0123]头戴式设备可以包括类似于上面关于图27B描述的天线2752的天线。头戴式设备射频信令和蓝牙。由头戴式设备的天线接收的信号(例如控制信号)可以通过蓝牙无线电[0124]示例设备可以包括控制设备和与控制设备进行通信(例如，经由蓝牙或另一种合以接收来自一个或更多个其他传感器的输入。该设备可以包括一个或更多个其他传感器器可以包括BNO055惯性测量单元(由BOSCHSENSORTEC制造)。该设备还可以包括专用供电阻抗断层成像(EIT)传感器和其他合适类[0125]加密狗部分或诸如头戴式设备的其他设备可以包括被配置为与控制设备和/或其(例如射频信令和蓝牙)。由加密狗部分(或其他设备)的天线接收的信号可以通过输出(例[0127]图28示出了示例系统2800，其可以包括头戴装置2810和控制设备2820(其可以表接收器，可以使用这些接收器来确定用户的手的各个部位的取向和/或位置。在一些示例包括类似于图27A(和/或图27B)所示的电子电路收器线圈的由磁跟踪器发射器感应的跟踪器信号的检测可以用于确定手指的至少一部分的位置和/或取向。一个或更多个接收器线圈可以与手的每个部分(例如手指(例如拇指)、(例如电活性传感器)。传感器信号(例如磁跟踪器接收器信号)可以被传输到控制设备(例他传感器)的模拟电信号的至少一个放大器，该模数转换器被配置为将放大后的模拟电信号转换为可以用于控制该系统(例如虚拟现实(VR)和/或增强现实(AR)系统)电图(EMG)数据(2910)，EMG数据包括对应于事件的EMG信号；检测对应于事件的EMG信号特定示例方法的步骤可以由系统的不同部件(包括例如控制设备和头[0139]当(例如在连续的肌电图(EMG)数据流中)检测到手势事件时，通用事件检测器的手势的EMG信号的第一组肌电图(EMG)数据；通过对从获得的第一组EMG信号确定的事件据变换和针对第一用户的单用户分类器来标记第二用户的接收到的EMG数据；以及使用标法可以包括以下步骤中的一个或更多个步骤：获得包括对应于手势的EMG信号的肌电图的事件之一为中心；使用epoch生成单用户事件分类模型；使用单用户事件分类模型标记[0144]在一些示例中，一种使用epoch生成单用户事件分类模型的方法可以包括以下步练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模化的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户层感知器分类器中的一个或更多个来生成单用的事件模板；跨多个用户确定针对多个事件中的每一个事件的事件模板之间的对齐变换；使用为第二用户确定的对齐变换中的对齐变换来对第一用户的EMG数据进行变换；使用变换后的EMG数据和第二用户的单用户事件分类模型将标记与EMG数据相关联；以及使用EMG件标记与肌电图数据的一部分相关联；响应于将事件标记与肌电图数据的该部分相关联，[0150]示例系统和方法可以包括用于以准确和无监督的方式检测手势的基于用户的模[0152]使用PLS进行的域自适应可以包括以下项中的一项或更多项。可以通过训练PLS[0153]当在连续的肌电图(EMG)数据流中检测到手势事件时，通用事件检测器可以发出组EMG信号确定的事件数据进行聚类来训练第一分类器；以及使用第一分类器标记获得的征数据中的事件；使用特征数据生成epoch，每个epoch以检测到的事件之一为中心；将用标记的特征数据来训练事件检测器。示例方法可以包括生成分类器来标记未标记的数[0159]在一些示例中，使用epoch生成单用户事件分类模型可以包括以下项中的一项或[0160]在一些示例中，使用epoch生成单用户事件分类模型可以包括以下项中的一项或[0161]在一些示例中，使用epoch生成单用户事件分类模型可以包括以下项中的一项或更多项：使用epoch生成一个或更多个事件模型，每个事件模型对应于手势；通过将每个epoch与一个或更多个事件模型组合来生成组合的epoch；以及通过使用组合的epoch训练逻辑回归、随机森林或多层感知器分类器中的一个或更多个来生成单用户事件分类模型。示例方法可以包括通过生成事件模板并且将事件模板与试验连接来生成单用户事件分类[0162]在一些示例中，一种用于训练事件分类器的方法包获得包括对应于多个用户的多个手势的EMG信号的肌电图(EMG)数据；从EMG数据生成特征为用户训练事件分类器。示例方法可以包括使用用户之间的对齐变换来对数据进行变换，以便通过特定于单用户的事件分类模型进行标记，然后使用标记的数据来生成事件分类[0166]示例性计算机实现的方法可以由任何合适的计算机可执行代码和/或计算系统来可执行指令使物理处理器使用分类器模型将经处理的EMG信号分类为一种或更多种手势类一个或更多个EMG信号以生成相关联的特征数据；使用分类器模型将相关联的特征数据分多个EMG训练信号中的至少一个EMG训练信号添加时间偏移来对齐多个EMG训练信号的时间得的EMG训练数据的多用户手势模型，该多用户手势模型是多个特定于用户的手势模型的用户手势类型的一个或更多个特征；使用该一个或更多个特征来将该一个或更多个EMG信对EMG信号进行分类，以基于根据从多个用户获得的训练数据确定的手势模型来识别手势[0191]本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实任何一个可以在单个通道或多个通道中呈现(例如向观看者产生三维(3D)效果的立体视但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种被配置为将左显示设备3115(A)和右显示设备3115(B)保持在用户的眼睛前方。显示设备[0195]增强现实系统3100还可以包括具有多个声换能器3120(A)-1320(J)(统称为声换声换能器3120可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数[0196]在一些实施例中，声换能器3120(A)-3120(F)中的一个或更多个可以用作输出换施例中，使用更多数量的声换能器3120可以增加所收集的音频信息量和/或音频信息的灵个声换能器3120相关联的取向或它们的[0198]声换能器3120(A)和3120(B)可以位于用户耳朵的不同部位，例如耳廓(pinna)后能器3120(A)和3120(B)可以根本不与增强现实系统3这些部件可以位于眼镜设备3102和/或颈带3105的其他地方和/或在眼镜设备3102和/或颈[0203]颈带3105可以与眼镜设备3102和/或其他设备通信地耦合。这些其他设备可以向[0204]颈带3105的声换能器3120(I)和3120(J)可以被配置成检测声音并将检测到的声3120(E)之间的距离，则检测到的声音的确定的源位置可能比声音被声换能器3120(D)和[0205]颈带3105的控制器3125可以处理由颈带3105和/或增强现实系统3100上的传感器位于眼镜设备3102上的IMU计算所有惯性和空间计算。连接器可以在增强现实系统3100和颈带3105之间以及在增强现实系统3100和控制器3125之间传递信息。信息可以是光数据、[0206]颈带3105中的电源3135可以向眼镜设备3102和/或颈带3105提供电力。电源31353102上包括电源3135可以帮助更好地分配由电源3135实系统3200可以包括前刚性主体3202和形状适于围绕用户头部的带3204。虚拟现实系统虚拟现实系统3200中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管以为每只眼睛提供显示屏，这可以为变焦调节或为校正用户的屈光不正提供附加的灵活致所谓枕形失真的单透镜配置)和/或光瞳形成架构(例如可以产生桶形失真以抵消枕形失如，增强现实系统3100和/或虚拟现实系统3200中的显示设备可以包括将光(使用例如波以朝向用户的瞳孔折射投射的光，并且可以使用户能够同时观看人工现实内容和真实世系统3100和/或虚拟现实系统3200可以包括一个或更多个光学传感器，例如二维(2D)或3D[0211]人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。例如，元件境中和/或在其他上下文和环境中实现或增强用户的人工现[0214]如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块内包含的那些指令)的任何类型或形式的计算设备储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、[0217]尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应述和/或示出的一个或更多个模块可以表示被存储和配置为在本文描述和/或示出的一个执行一个或更多个任务的一个或更多个专用计算机的全部[0220]在本文描述和/或示出的过程参数和步骤的顺序仅作为示例被给出，并且可以根这些步骤不一定需要以所示出或讨论的顺序来被执行。本文描述和/或示出的各种示例性的使用本身并不暗示一个权利要求元素