CN115087973B 用于区分开运动传感器数据中记录的特定于用户、动作和设备的特征的系统和方法 （维尔蒂姆知识产权有限公司）

2022.08.08PCT/IB2021/0500772021.01.06WO2021/140450EN2021.07.15KR20190099156A,2019.US2019286242A1,2019.0用于区分开运动传感器数据中记录的特定提供了用于从运动信号中区分开设备的用户的判别性特征并在移动设备上认证用户的方个或多个经过训练的变换算法将这些片段转换或多个特征提取算法的机器学习系统从片段和21.一种用于从由具有一个或多个运动传感器的移动设备捕获的运动信号中区分开设在处理器处提供由所述移动设备捕获的一个或多个用所述处理器使用一个或多个经过训练的变换算法将所述片段转换为变换后的片段，中所述变换后的片段包括模拟源自另一设备的运动信号用所述处理器使用应用一个或多个特征提取算法的所述机器学习系统从所述片段和所述运动信号包括所述用户的判别性特征、由所述用户执行的动作的段和变换后的片段提供给所述机器学习系统的步骤有效地消除了所述移动设备的所述判7.一种用于从由具有一个或多个运动传感器的移动设备捕获的运动信号来认证所述用所述处理器使用一个或多个经过训练的变换算法将所述片段转换为变换后的片段，中所述变换后的片段包括模拟源自另一设备的运动信号用所述处理器对分配给所述片段和变换后的片段的所述分数应用投票方案或元学习用所述处理器基于所述投票方案或元学习模型确所述运动信号包括所述用户的判别性特征、由所述用户执行的动作的3后的片段提供给所述机器学习系统的步骤有效地消除了所述移将所述片段和变换后的片段与在登记过程期间从所述授权用户的样本片段中提取的经由第一生成器将所述片段变换为所述变换后的片段，其模经由第二生成器重新变换所述变换后的片段以模仿在所述移用所述处理器使用一个或多个特征提取技术从所述片段和变换后的片段中提取特征对与所述片段和所述变换后的片段相对应的所述特征向量采用经过学习的14.一种用于从在具有至少一个运动传感器的移动设备上捕获的运动信号中区分开设处理器，其被配置为与所述网络通信接口和所述计算机可读存储介质交转换模块，其在被执行时将所述处理器配置为使用一个或特征提取模块，其在被执行时将所述处理器配置为从所述片分类模块，其在被执行时将所述处理器配置为向所述片段和变换后的片段分配分数，并且基于这些片段的相应分数确定所述片段和变换后的片段属于授权用户还是未授权用元学习模块，其在被执行时将所述处理器配置为基于与所述用户段对分配给所述片段和变换后的片段的所述分数应用投票方案或元所述运动信号包括所述用户的判别性特征、由所述用户执行的动作的4第二生成器重新变换所述变换后的片段以模仿在所述移动段和所述变换后的片段相对应的所提取的特征采用经过学习的5[0002]本申请基于2020年1月6日提交的题为“SystemandMethodforDisentanglingFeaturesSpecifictoUsers,ActionsandDevicesRecordedinMotionSensor关的运动传感器数据中提取设备的用户的判别性特征手机用户(所有者)识别和认证而设计的标准机器学习(ML)系统遭受严重的性能和准确度[0005]解决此问题的一种方法是在用户注册期间通过以下方式收集附加运动信号：(a)处理器使用应用一个或多个特征提取算法的机器学习系统从片段和变换后的片段中提取运动信号对应于用户和移动设备之间的一个或多6[0016]在另一方面，变换后的片段包括模拟源自另一设备的运动信号的合成运动信户的判别性特征并在移动设备上认证用户的系统，其中移动设备具有至少一个运动传感成对抗网络(Cycle-GAN)将片段7基于这些片段的相应分数确定片段和变换后的片段属于授权用户还是未授权用[0026]图1A公开了根据本文公开的至少一个实施例的用于从运动传感器数据中区分开[0027]图1B是根据本文公开的至少一个实施例的用于从运动传感器数据中区分开设备[0028]图1C是根据本文公开的至少一个实施例的用于从运动传感器数据中区分开设备[0029]图1D是根据本文公开的至少一个实施例的用于从运动传感器数据中区分开设备[0030]图2是示出根据一个或多个实施例的基于机器学习的示例性标准智能手机用户识[0031]图3是示出根据一个或多个实施例的用于通过基于机器学习去除区分动作的特征[0032]图4是根据一个或多个实施例的用于信号到信号变换的示例性循环一致生成对抗[0033]图5A-图5D示出根据一个或多个实施例的用于从运动传感器数据中区分开移动设备的用户的判别性特征并且从运动传感器数据认[0034]图6A公开了示出根据本文公开的至少一个实施例的用于从运动传感器数据中区[0035]图6B公开了示出根据本文公开的至少一个实施例的用于从运动传感器数据在移户的判别性特征并将它们与可用于区分动作和区分设备的特征分离而不需要用户在注册8络)模拟一组预定义的设备上的认证会话来有效地消除区分设备的特征。生成模型被训练[0038]图1A公开了根据至少一个实施例的用于从运动传感器数据中区分开设备的用户的判别性特征并且从运动传感器数据认证用户的本系统100的概要图。本方法可以使用本设备101的一个或多个用户设备。虽然本系统和方法一般被描述为部分地用移动设备(例作中的一个或多个旨在从运动信号中区分开用户的判别性特征，并且可以由系统服务器[0040]系统服务器105实际上可以是能够与用户设备和远程计算设备通信并接收、传输统服务器或远程计算设备可以是任意数量的联网或基于云的[0042](一个或多个)移动设备101可以是能够体现本文描述的系统和方法的任何移动计设备101和远程计算设备102的用户认证的系统100，但是任何数量的此类设备都可以以本9[0044]应进一步理解，虽然本文引用的各种计算设备和机器(包括但不限于(一个或多个)移动设备101和系统服务器105以及远程计算设备102)在本文中被称为个体或单个设备[0045]还应理解，本文在(一个或多个)移动设备101(也称为智能手机)的上下文中描述收和执行在存储器中和/或存储装置上编码的指令，以使移动设备及其各种硬件部件执行下面将更详细地描述的系统和方法的方面的操作。例如，存储器可以是随机存取存储器130可以包括一个或多个软件程序或具有计算机程序代码或在处理器110中执行的一组指理器110配置为执行本文公开的系统和方法的操作，并且可以以一个或多个编程语言的任动信号和认证用户的身份相关的步骤。特征提取模块172可以包括一个或多个特征提取算片段和变换后的片段的分数以便识别或拒绝尝试认证的用户相关的步骤。数据库模块176[0050]程序代码可以完全在移动设备101上作为独立软件包执行，部分在移动设备上执行，部分在系统服务器105上执行，或者完全在系统服务器或另一远程计算机或设备上执储器120和/或存储装置190)的程序代码形成可以根据本发明制造和/或分发的计算机程序方法的操作相关的其他信息和/或数据(诸如数据库185)也可以存储在存储装置上。优选或(根据导出控制)使用AES256位加密方法来加密此类数据。此外，可以使用远程密钥(种合可以用于为用户创建复杂的唯一密钥，该密钥可以在移动设备上使用椭圆曲线密码术以附加地或替代地远程定位(诸如在远程设备102或系统服务器105上—未示出)并以本领以用于促进从(一个或多个)移动设备101捕获某些信息，诸如用于向系统登记的个人用户屏幕或任何其他此类呈现设备，其使得系统能够关于系统100的用于区分开用户的判别性的取向和加速度。移动设备101可以被设置(配置)为向执行各种软件模块130(包括例如特[0062]通信接口150也可操作地连接到处理器110并且可以是能够在移动设备101和包括其他计算设备和/或通信网络(诸如私用网络和互联网)的任何其他此类接口。此类连接可[0063]在系统100的用于区分开用户的判别性特征和用户认证的操作期间的各个点，移动设备101可以与一个或多个计算设备(诸如系统服务器105和/或远程计算设备102)通信。如，随机存取存储器(RAM)或任何其他合适的易失性或非易失性计算机可读存储介质。此[0066]一个或多个软件模块230被编码在存储装置290和/或存储器220中。软件模块230中的一个或多个可以包括一个或多个软件程序或具有计算机程序代码或在处理器210中执计算设备(诸如远程计算设备102和/或(一个或多个)移动设备101)上执行，或者完全在此技术人员已知的方式通过网络(未示出)连接到系统服务器[0068]通信接口250也可操作地连接到处理器210。通信接口250可以是能够在系统服务图5D、图6A-图6B描述的用于使用运动传感器数据来区分开用户的判别性特征和用户认证的方法来进一步理解。本文描绘的过程是从移动设备101和/或系统服务器105的角度示出序来执行。还应理解，步骤中的一个或多个可以由移动设备101和/或在其他计算设备(例[0070]在最近的文献中已经提出了几种基于运动传感器的智能手机用户的用户行为认证(UBA)系统。获得顶级准确率的现代系统依赖于机器学习(MLG.Taylor.LearningHumanIdentityfromMotionPatterns.IEEEAccess,vol.4,[0071]图2显示了根据一个或多个实施例的示出基于机器学习的标准智能手机用户识别[0072]1.在用户注册或认证期间，捕获来自内置传感器(诸如加速度计和陀螺仪)的信合法用户(智能手机所有者)与潜在的攻击[0076]在这种设置中，ML系统的决策边界可能会受到设备或动[0077]为了解决这个问题，系统300可以被配置为要求用户在多个设备上使用不同的移全性。这些机制容易受到猜测(或在指纹扫描的情况下为欺骗)并容易受到侧信道攻击(诸“E.Vildjiounaite,S.-M.Makela,M.Lindholm,R.Riihimaki,V.Kyllonen,J.Mantyjarvi,H.Ailisto.Unobtrusivemultimodalbiometricsforensuringprivacyandinformationsecuritywithpersonaldevices.In:ProceedingsofInternationalConferenceonPervasiveComputing,2006”。authenticationformobiledevices.Computers&Security,vol.26,no.2,2007”和“P.Campisi,E.Maiorana,M.LoBosco,A.Neri.Userauthenticationusingkeystrokemotion-sensorbehaviorforuserauthenticationonsmartphones.Sensors,vol.16,NovelBehavioralBiometricsforSmartphoneUserAuthentication.In:ProceedingsC.A.Visaggio.AMethodologyforSilentandContinuousAuthenticationinMobileEnvironment.In:ProceedingsofInternationalConferenceonE-BusinessandD.Chandra,B.Barbello,G.Taylor.LearningHumanIdentityfromMotion[0086]对一组用户在一组设备上执行认证使得每个用户在每个设备上进行认证而进行的实验揭示了，实际上区分设备(准确度约为98％)比区分用户(准确度为约93％)更容易。这暗示研究文献和专利中提出的UBA系统更有可能是因为它们依赖于特定于设备的功能而不是特定于用户的特征而良好地执行。当攻击者对从所有者那里窃取的设备执行认证时，径将特定于用户和设备的特征与特定于动作的特征区分开，并且一个阶段/途径将特定于[0088]后一种途径受到基于生成对抗网络的图像风格转移的最近研究的启发。在“I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,Y.Bengio.GenerativeAdversarialNets.In:ProceedingsofAdvancesinNeuralInformationProcessingSystems,pp.2672-2680,2014”中，作者介绍了生成最小化Kullback-Leibler散度来学习训练样本的分布来生成新的(现实的)图像。提出了用于将一组源图像的分布映射到一组目标图像(即执行风格转移)的几种其他基于GAN的途径。例如，诸如“J.Y.Zhu,T.Park,P.Isola,A.A.Efros.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks.In:ProceedingsofIEEEInternationalConferenceonComputerVision,pp.2223-2232,2017”和“J.KiM.Kim,H.Kang,KLee.U-GAT-IT:Unsupervisedgenerativeattentionalnetworkswithadaptivelayer-instancenormalizationforimage-to-imagetranslation.arXivpreprintarXiv:1907.10830,2019”的方法在目标分布与源分布之间添加了循环一致性损[0092]图3显示了根据一个或多个实施例的示出用于通过基于机器学习去除区分动作的配给块(从认证会话期间记录的信号中提取)的标签或分数应用元学习途径或(加权)多数[0093]本文公开的示例性系统和方法可以使用在隐式和/或显式认证会话期间捕获的运动传感器数据来实施。显式认证是指其中提示用户使用移动设备执行规定动作的认证会例如不仅手移动的方式或用户姿势可以不同，用户执行的动作(在屏幕上的不同位置上的J.P.Allebach,E.J.Delp.AsurveyofforensiccharacterizationmethodsforidentificationusingPRNU:Afeaturebasedapproach.DigitalInvestigation,printerattribution:Exploringnewfeaturesandbeyond.ForensicScience确度为98％)比识别用户(准确度为93％)或动作(准确度为92％)册期间记录的运动信号内和在我们预处理步骤后得到的块内纠缠在号区分开的系统和方法提供了对该问题的解决方案，该解决方案不需要用户(智能手机所有者)执行除了使用单个设备进行标准注册之外的附加步骤。所公开的用于将设备的用户的判别性特征从运动传感器数据区分开并且从运动传感器数据认证用户的方法和系统部分地受到利用风格转移在图像到图像变换中的循环一致生成对抗网络的成功的启发。如cycle-consistentadversarialnetworks.In:ProceedingsofIEEEInternationalConferenceonComputerVision,pp.2223-2232,2017”中所示，Cycle-GAN可以将图像的法特定于图像风格转移，而本文公开的途径专门针对在时域中将特征从特定设备的运动传感器数据信号转移到针对另一设备模拟的信号。[0097]因此，在一个或多个实施例中，由系统100实施至少一种变换算法(诸如Cycle-于信号到信号变换的示例性循环一致生成对抗网络(Cycle-GAN)400。如图4所示并且根据技术人员将理解的。梯度是关于损失函数计算的并且使用链式法则通过神经网络反向传[0108]作为CycleGAN的附加或替代，在“J.Kim,M.Kim,H.Kang,KLee.U-GAT-IT:Unsupervisedgenerativeattentionalnetworkswithadaptivelayer-instancenormalizationforimage-to-imagetranslation.arXivpreprintarXiv:1907.10830,2019”中引入的U-GAT-IT模型可以并入当前的用于信号到信号变换的系统和方法中。U-GAT-IT模型在生成器和区分器中都并入注意力模块，并且并入归一化函数(自适应层实例λ23和λ4是控制各种损失分量的重要性的参数；是两个变换的循环一致性损失的总和并且||是确保输入和输出信号的幅度分布相似的身是引入注意力地图的最小二备中的每一个上执行注册的固定数量的用户。数据收集是在UBA系统部署到生产之前完成GAN的数量是T，使得每个Cycle-GAN学习将信号从特定设备变换为所有其他设备，反之亦[0121]本文公开的系统和方法的一个目的是获得通用Cycle-GAN模型，该模型能够将在[0123]本系统和方法的示例性实施例在下文参考图5A-图5D、图6A-图6B和图1A-图1D连同技术的实际应用以及其中可以应用用于基于由移动设备运动传感器捕获的运动信号来区分开设备的用户的判别性特征并认证的系统和方法的其他实际场景来进一步详细地讨[0124]在一个或多个实施例中，本文公开的方法提供了修改的UBA执行流水线。修改的所示。图5A-图5D示出根据一个或多个实施例的用于从运动传感器数据中区分开移动设备的用户的判别性特征并认证用户的系统和流程图。图5A-图5D的流程图中的步骤可以使用用于从包括例如系统100的移动设备101和/或系统服务器105的运动传感器数据中区分开为通过执行一个或多个软件模块(例如，用户接口模块170)使移动设备的至少一个运动传被配置为通过提示用户做出特定手势或显式交互来收集(捕获)来自用户的运动信号。此置为部分地解决在运动信号中将特定于或专属于特定用户的特征和区分用户的移动设备供给ML模型的(一个或多个)收集的运动数据信号中消除了移动设备换后的片段对应于如将在来自该组预定义的T个设备的不同于用户的移动设备的设备上记[0139]每次使用Cycle-GAN中的一个变换原始片段时，用户自己的设备的特征都被替换得可以跨多个设备识别用户，使用几个Cycle-GAN模型(或U-GAT-IT或其他变换算法)来在可以应用于将在用户的设备上捕获的信号变换为该组T个设备中的另一设备，而不需要知道用户或具有关于他或她正在使用的设备的信息。每次将原始片段变换为该组中的T个设的示例中所述，记录在设备X上的运动信号x的输入片段使用Cycle-GAN(生成器)G进行变入提供给机器学习系统的片段和变换后的片段被视使用应用一个或多个特征提取算法的机器学习系统从片段和变换后的片段中提取用户的数应用优化算法(例如梯度下降)在样本的数据集(运动信号块)和对应的标签(用户标识符)上进行训练，该损失函数表达可训练部件能够多好地预测用于训练数据样本的正确标[0144]图6B公开了示出根据至少一个实施例的用于从运动传感器数据在移动设备上认数据上先前训练的分类器或深度神经网络)对片段和变换后的片段进和变换后的片段的分数的投票方案或元学习模期间训练以识别已知用户的机器学习模型作为输出给出的类概率对片段和变换后的片段授权用户还是未授权用户。本文公开的认证过程是指一对一的认证(用户验证)。在步骤[0149]在本节中，根据一个或多个实施例呈现用本文公开的区分方法获得的实验结个相同的位置变化但由3个不同的人和3个不同的智能手[0150]来自每个数据库的信号在预处理阶段被划分为25个块。来源于5x5数据集的信号度增加。跨不同移动设备变换用户行为(通过应用GAN)导致用户辨别准确度附加地增加另区分开。本申请的系统和方法通过将运动信号划分为块并且通过使用变换算法(例如，Cycle-GAN)将信号变换为其他设备而不需要对用户注册过程进行任何改变来解决这个问生产线。这一事实导致移动设备传感器对用于用户识别的ML系统的决策边界的重要影响。根据一个或多个实施例，利用GAN的本文公开的系统和方法基于来自任意设备的记录的运[0155]在以下项目中阐述了用于从运动信号中区分开设备的用户的判别性特征并且用[0156]项目1、一种用于从由移动设备捕获的运动信号中区分开设备的用户的判别性特[0158]用所述处理器使用一个或多个经过训练的变换算法将所述片段转换为变换后的[0160]用所述处理器使用应用一个或多个特征提取算法的所述机器学习系统从所述片述片段的步骤消除了由所述用户执行的动作的所述括一个或多个循环一致生成对抗网络(Cycle-GAN)，并且其中所述变换后的片段包括模拟[0171]用所述处理器使用一个或多个经过训练的变换算法将所述片段转换为变换后的[0174]用所述处理器对分配给所述片段和变换后的片段的所述分数