版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(19)国家知识产权局(12)发明专利滨路18号公司11528GO6V30/228(2022.01)GO6V30/142(2022.01)GO6V30/19(2022.GO6N3/045(2023.GO6N3/084(2023.GO6N3/096(2023.GO6F3/034权利要求书4页说明书28页附图8页电子设备本申请实施例公开了一种空中书写轨迹识姿态感应参数为所述智能设备在感测到空中书迹数据对应的书写识别结果。采用本申请实施2接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中基于所述姿态感应参数,确定在空中书写时所述智能设备的角速度以及辅助识别参将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别所述基于所述姿态感应参数,确定在空中书写时所述智能设所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参所述基于所述姿态感应参数,确定在空中书写时所述智能设备的角速度以及辅助识别书写时所述智能设备的角速度以及辅助识别参数,基于所述角速度以及所述辅助识别参基于所述姿态感应参数以及预设的姿态参数阈值,确定所述空中书写操作的书写类3其中,x为所述第二移动瞬时位移、R为所述间隔距离、α为所述法向角、θ为所述角速度;其中,在所述第一书写类型下用户通过智能设备进行书写时自然书写幅度变化大于在所述第二书写类型下的自然书写幅度变化。3.根据权利要求1所述的方法,其特征在于,所述将所述书写轨迹数据输入至书写识别对所述书写轨迹数据进行轨迹样式调整处理,得到调整后的目标书写轨迹数据;将所述目标书写轨迹数据输入至书写识别模型中。4.根据权利要求3所述的方法,其特征在于,所述对所述书写轨迹数据进行轨迹样式调整处理,得到调整后的目标书写轨迹数据,包括:对所述书写轨迹数据对应的灰度图进行轨迹检测处理,确定目标轨迹区域;对所述目标轨迹区域进行轨迹缩放处理,生成预设规格的目标书写轨迹数据。5.根据权利要求4所述的方法,其特征在于,所述对所述目标轨迹区域进行轨迹缩放处理,生成预设规格的目标书写轨迹数据之前,还包括:确定所述目标轨迹区域对应的基准补全线,以所述基准补全线为参考,将所述目标轨迹区域调整至预设形状。6.根据权利要求1所述的方法,其特征在于,所述接收智能设备发送的姿态感应参数之获取基于空中介质的第三书写数据以及基于平面介质的第四书写数据;将第四书写数据输入至神经网络模型进行训练,生成初始书写识别模型;将所述第三书写数据输入至所述初始书写识别模型进行训练,生成书写识别模型。7.根据权利要求6所述的方法,其特征在于,所述获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据,包括:获取基于所述空中介质的第三样本数据,对所述第三样本数据进行轨迹样式调整处理,得到调整后的第三书写数据;以及,获取基于所述平面介质的第四样本数据,对所述第四样本数据进行轨迹样式调整处理,得到调整后的第四书写数据。8.根据权利要求6所述的方法,其特征在于,所述将所述第四书写数据输入至神经网络模型进行训练,生成初始书写识别模型,包括:将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集;基于当前的第一数据训练集对神经网络模型进行训练,并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率;若所述第一识别准确率小于第一预设阈值,则获取所述当前的第一数据训练集的下一个第一数据训练集,将所述下一个第一数据训练集作为所述当前的第一数据训练集,并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤;若所述第一识别准确率大于或等于第一预设阈值,则将所述神经网络模型作为初始书写识别模型。9.根据权利要求6所述的方法,其特征在于,所述将所述第三书写数据输入至所述初始4将所述第三书写数据划分为至少一个第二数据训练基于当前的第二数据训练集对所述初始书写识别模型进行训若所述第二识别准确率小于第二预设阈值,则获取所述当前的第二数据训练集的下一行所述基于当前的第二数据训练集对初始书写识若所述第二识别准确率大于或等于第二预设阈值,则将所感测到针对显示设备的空中书写操作,并采集所述空中书写操作对应的姿态感应数将所述姿态感应数据发送至所述显示设备,以使所述显示设备生基于所述姿态感应参数,确定在空中书写时智能设备的角速所述基于所述姿态感应参数,确定在空中书写时智能设备的角速度以及辅助识别参从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助所述基于所述姿态感应参数,确定在空中书写时所述智能设基于所述姿态感应数据生成书写轨迹数据,并将所述书写轨迹数据输入至所述书写识5基于所述姿态感应数据生成书写轨迹数据,将所述书写轨迹数据发送至所述显示设备,以使所述显示设备将所述书写轨迹数据输入至所述书写识别模型中输出书写识别结13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~10或11~12任意一项的方法步骤。14.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~10或11~12任意一项的方法步骤。6空中书写轨迹识别方法、装置、存储介质及电子设备技术领域质及电子设备。背景技术[0002]空中书写作为一种新的人机交互手段,它不同于传统的人机交互方式,空中手写可允许用户操控智能设备(如可穿戴设备)以自然且无拘束的方式在空中进行书写,显示设备(如智能电视、大屏显示器)可对用户基于智能设备在空中书写时的空中书写轨迹进行识发明内容[0003]本申请实施例提供了一种空中书写轨迹识别方法、装置、存储介质及电子设备。本申请实施例的技术方案如下:[0004]第一方面,本申请实施例提供了一种空中书写轨[0005]接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;[0006]基于所述姿态感应参数生成书写轨迹数据;[0007]将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0008]第二方面,本申请实施例提供了一种空中书写轨[0009]感测到针对所述显示设备的空中书写操作,并采集所述空中书写操作对应的姿态感应数据;[0010]将所述姿态感应数据发送至所述显示设备,以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据,并将所述书写轨迹数据输入至书写识别模型中输出书写识别结[0011]第三方面,本申请实施例提供了一种空中书写轨[0012]感应参数接收模块,用于接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;[0013]书写数据生成模块,用于基于所述姿态感应参数生成书写轨迹数据;[0014]书写数据输出模块,用于将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0016]数据感测模块,用于感测到针对所述显示设备的空中书写操作,并采集所述空中书写操作对应的姿态感应数据;[0017]数据发送模块,用于将所述姿态感应数据发送至所述显示设备,以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据,并将所述书写轨迹数据输入至书写识别模7型中输出书写识别结果。[0018]第五方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。[0019]第六方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步[0020]本申请一些实施例提供的技术方案带来的有益效果至少包括:[0021]在本申请一个或多个实施例中,显示设备可以接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;然后基于所述姿态感应参数生成出书写轨迹数据;再将所述书写轨迹数据输入至书写识别模型中,输出所述书写轨迹数据对应的准确的书写识别结果,另外,在一些实施例中,该书写识别模型可以是基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题,提升了跨设备的协同操控的便捷性;以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别,书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别,极大的减小了空中书写识别的计算量,提升了识别处理的效率;以及在空中书写识别阶段,采用基于迁移学习的书写识别模型,可通过现有相关数据(如基于平面介质的第四书写数据)获得性能一般的通用预训练模型,再使用少量领域数据对模型进行微调,获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性,仅需少量空中书写数据即可保证空中书写轨迹识别的准确率,提升识别处理的效率。附图说明[0022]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。[0023]图1是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图;[0024]图2是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示意图;[0025]图3是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔画落下提起分隔的场景示意图;[0026]图4是本申请实施例提供的另一种空中书写轨迹识别方法的流程示意图;[0027]图5是本申请实施例提供的空中书写轨迹识别方法涉及的一种空中书写场景下参数示意图;[0028]图6是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示意图;[0029]图7是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹调整的场景示意图;[0030]图8是本申请实施例提供的空中书写轨迹识别方法涉及的一种显示书写识别结果8的场景使用图;[0031]图9是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图;[0032]图10是本申请实施例提供的一种空中书写轨迹识别方法的流程示意图;[0033]图11是本申请实施例提供的一种空中书写轨迹识别装置的结构示意图;[0034]图12是本申请实施例提供的一种感应参数接收模块的结构示意图;[0035]图13是本申请实施例提供的一种参数确定单元的结构示意图;[0036]图14是本申请实施例提供的另一种空中书写轨迹识别装置的结构示意图;[0037]图15是本申请实施例提供的另一种空中书写轨迹识别装置的结构示意图;[0038]图16是本申请实施例提供的一种电子设备的结构示意图;[0039]图17是本申请实施例提供的操作系统和用户空间的结构示意图;[0040]图18是图16中安卓操作系统的架构图;[0041]图19是图16中IOS操作系统的架构图;[0042]图20是本申请实施例提供的另一种电子设备的结构示意图。具体实施方式[0043]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。[0044]在本申请的描述中,需要理解的是,术语“第一”、“第二能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。[0045]下面结合具体的实施例对本申请进行详细说明。[0046]在一个实施例中,如图1所示,特提出了一种空中书写轨迹识别方法,应用于显示设备,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的空中书写轨迹识别装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。[0047]所述空中书写轨迹识别装置可以是一种显示设备,所述显示设备包括但不限于:个人电脑、平板电脑、智能电视、车载设备、大屏显示设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中显示设备可以叫做不同的名称,例如:用户设备、接无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personaldigitalassistant,PDA)、5G网络或未来演进网络中的显示设备等。9[0049]步骤S101:接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。[0050]所述智能设备与显示设备可配合使用,所述智能设备可以是便于用户进行空中书写操作的电子设备,空中书写作为一种新的人机交互手段,它不同于传统的人机交互方式,在本申请中,空中手写可允许用户操控智能设备以自然且无拘束的方式在空中进行书写,这样提供了更加直观、方便、舒适的互动体验,例如,在一些场景下显示设备可以是一种弱输入设备(如电视、会议平板)也即不方便用户直接进行相关信息输入,如书写字符、画画等。因此在一些交互场景下,基于智能设备的空中书写是可以完成复杂信息指令输入目的的交互形态。空中书写包含以纸质或电子介质作为书写表面的书写输入形式,以及在三维空中介质中挥动手指/手腕/手臂等感官进行空中手写的输入形式。在平面介质进行书写的识别技术已经较为成熟,如各种智能手机搭载的触屏输入法。在一些实施场景中,随着虚拟现实、物联网领域技术产品的成熟,基于智能设备(如智能手环、智能手表、智能笔等)的空中书写不受限于平面的特点可以很好地与不便于用户直接书写的显示设备(如电视、会议平板等)结合应用。[0051]另外,在一些实施场景中,显示设备可以不主动采集智能设备或使用智能设备的用户所对应的相关姿态数据,如显示设备在包含图像采集器件的情况下,可不通过图像采集器件主动采集姿态数据,而是智能设备在检测到用户的空中书写操作时,由智能设备通过所包含的传感器件采集空中书写操作对应的姿态感应数据,然后将该姿态感应数据发送至显示设备进行空中书写操作时的空中书写轨迹的识别。[0052]其中,所述姿态感应数据是指可移动或旋转对象(如智能设备)基于所包含的传感理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该位置上的姿态。在本实施例中,通过该姿态感应数据可以用于表征或用于量化智能设备当前的姿态。如智能设备的角速度变化(相邻两个采样时刻之间的旋转角度)、移动速度变化、移动方向变化、智能设备相当于参考二维平面(可以是显示设备、所处环境物体(如墙体)所处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示设备的距离R)等等。[0053]进一步的,所述智能设备具有多种实时检测当前位姿信息的传感器件,该传感器件包括但不限于加速度传感器、磁力传感器、陀螺仪、物理量感应器等,所述控制设备通过所述电子部件获取到当前的物理量参数,所述物理量参数可以是加速度参数、磁力参数、角速度参数、相对参考二维平面如显示设备的相对距离、相对角度等等,并对所述物理量参数进行姿态计算,即可以得到所述智能设备的姿态感应数据。[0054]具体的,智能设备在感测到用户操作智能设备进行空中书写操作时,智能设备可通过所包含的传感器件来感测当前姿态传感数据,在实际应用中,智能设备可以与显示设备建立通信连接(如蓝牙连接、无线局域网络连接等),然后在采集到当前的姿态传感数据之后,基于该通信连接将姿态传感数据传输至显示设备,这样显示设备即可通过该通信连接接收到显示设备的姿态传感数据。[0055]步骤S102:基于所述姿态感应参数生成书写轨迹数据。[0056]在实际应用中,空中书写操作时的姿态感应数据时在三维空间采集的对应的是三维空间设备自身姿态变化的数据,在本申请中,空中书写笔迹识别也即基于姿态感应数据将其在空中的书写时的姿态感应参数映射到二维平面,从而确定空中书写操作对应的二维申请中,主要基于姿态感应数据中的角速度来确定移动轨迹,进而形成移动轨迹对应的书写轨迹数据,其中,所述书写轨迹数据是表征移动轨迹的图片、预定格式(如txt格式)的数据等。[0057]在一种具体的实施场景中,显示设备可以基于所述姿态感应参数,确定在空中书写时所述智能设备的角速度以及辅助识别参数。基于角速度以及辅助识别参数,确定所述角速度对应的移动轨迹,并生成所述移动轨迹对应的书写轨迹数据。[0058]所述辅助识别参数用于计算或确定移动轨迹。本申请的一些实施例中,所述辅助识别参数可以是预设的识别分辨率,另外所述识别分辨率与显示设备的屏幕分辨率不相关,识别分辨率基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值,进一步的,该识别分辨率也可称之为识别灵敏度参数,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个角速度笔迹采样点之间角速度变化较小,自然书写的动作速度和幅度均变化较小,因此可基于采取大量样本数据确定的显示设备的辅助识别参数和实际确定的角速度来计算移动轨迹,如将角速度与辅助识别参数的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离,这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离,就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹,从而生成移动轨迹对应的书写轨迹数据。[0059]实际应用中,智能设备通常对应一个采样率,如200Hz,智能设备通过所包含的感应器件来测算每个采样时间点内的角速度θ,然后基于每个采样时间点对应的角速度θ,如图2所示,图2是本申请涉及到的一种笔迹采样的场景示意图,基于预设的采样率,可在采样时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的,采样时间点t2对应的采样点a2,智能设备可感测到当前采样时间点t2的角速度02,也即采样点a1至采样点a2的旋转角度02。[0060]这样可以基于角速度θ和识别分辨率r或识别灵敏度参数r,计算当前采样时间点t相对于上一采样时间点t-1所对应的采样移动位移x,以当前采样时间点t2的角速度02为例,就可以计算当前采样时间点t2相对于上一采样时间点1所对应的采样移动位移x,也即采样点a1至采样点a2的位移;[0061]也即x=θ*r;其中,r可基于实际应用环境中智能设备相对于参考书写平面(如显示设备的平面)的距离R和误差调整系数k确定。[0062]其中,在实际环境中,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个笔迹采样点之间幅度变化较小,且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机,每个用户与电视机的距离R相差不大,这对于确定笔迹时的误差可相对忽略),因此可基于实际应用环境中采取大量样本数据来确定一个经验值:显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景,具体衡11量可通过设置幅度变化参数进行判决,如设置角速度变化阈值、速度变化阈值、书写距离阈值等等。[0063]另在一种具体的实施场景中,在基于姿态感应参数识别智能设备在一段采集时间内所对应的书写轨迹时,通常基于每对两两采样点之间的采样移动位移x和角速度θ,即可确定当前采样点所在的位置,如可确定当前采样点在坐标系下的位置坐标,智能设备通常对应一个采样率,如200Hz,基于预设的采样率从初始采样时刻t1开始采样,在采样时刻t1采样得到对应图2中采样点a1(采样初始点),实际应用中可以是以采样初始点为坐标原点建立一个表征移动轨迹变化的坐标系,假设采样点a1为(0,0),在采样时间点t1的下一采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的,采样时间点t₁-1对应的采样点ai-1,智能设备可感测到当前采样时间点ti的角速度θi,也即采样点ai-1至采样点ai的旋转角度θi。这样可以基于角速度θ和识别分辨率r或识别灵敏度参数r,计算当前采样时间点ti相对于上一采样时间点t1-1所对应的采样移动位移x。在确定采样移动位移x和采样点ai-1至采样点ai的旋转角度θi之后,由于前一采样点ai-1坐标已知,假设ai-1坐标为(a,b),则当前采样点ai的坐标通常可表示为(a+xsinθi,b+xcosθi)。[0064]参照前述释义,假设智能设备在空中运行了一段位移S,所花费时间为T,这段距离可能并不是规则的直线,而可能是一段比较弯曲的线,与数字、字母以及中文文字等的笔画对应。根据微积分原理,如果设置的采样时间越小证该时间T能达到所要求的精度,比如0.1秒,在这0.1秒内主要基于智能设备采集的角速度显示设备可确定其运动的轨迹基本上可以视为直线运动,显示设备就可以很简单的根据每个采样时间点基于角速度和辅助识别参数(如识别分别率)确定当前采样时间点与上一采样时间点的位移x,这样可以方便的把智能设备这段两两采样点之间的位移轨迹确定出来。那么在很长的一段空中书写的时间内,智能设备运动的轨迹(可看做用户空中书写的轨迹)曲线根据微积分的原理分成若干很小的部分,则所有若干很小的位移的总和即为智能设备依次确定当前采样点ai的坐标,当将所有采样点的坐标按照采样时序两两相联,采样时间内就会得到一个移动轨迹,也即前述移动轨迹数据,[0065]可选的,在一些实施方式中考虑到书写情况的特殊性,如字符的特殊性,例如汉字,同一个字的很多笔画是独立的,不同的汉字之间也需要相对独立,用户在控制智能设备运动时,智能设备的运动轨迹却是连续的。如果在对智能设备的运动轨迹的采样过程中不区别对待,则传输给显示设备识别后的运动轨迹图像将是连体的,这样显示设备的识别难度将很大,识别的速度和效率将降低。基于此,可设置空中书写笔画提起状态对应的落下信号(笔画提起之后的笔迹不落入参考)和落下状态(笔画落下之后的笔迹需落入参考)的提起信号,可以是智能设备上设置有间隔操作指令并可基于交互对象控制,给出书写的落下信号和提起信号。交互对象控制可以是实体的按钮,也可是对触碰屏的单击、双击、长按等动作,也可是智能设备上触碰屏上的虚拟按钮区域,也可以是设置时间阈值来区分,如图3所示,图3是本申请涉及的一种笔画落下提起分隔的场景示意图;当用户需要输入一个字符(如输入时,采用的是草体)时,字符的各个笔画存在连笔,则在每一个笔画输入完成后,短时间松开按键则认为输入提起信号(该按键被松开持续的时间小于阈值TO),则智能默认此时按键松开只是同一字符不同笔画之间的过渡,并不是一个字符输入完成,则智能设备数据采集时对输入提起信号的时间点进行标记即可,这样在传输至显示设备,显示设备可智能对该提起信号至所述提起信号对应的下一落下信号之间的笔迹进行清除即可,示意性[0066]步骤S103:将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0067]在一些实施例中,所述书写识别模型可以是一种神经网络模型。进一步的,所述书写识别模型可以是基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,也即书写识别模块可以是结合实际应用环境考虑到三维空中书写训练集较少,而创造性的采用迁移学习的方式对书写识别模型训练得到。[0068]所述书写识别模型可以是基于迁移学习的模型构思使用大量的基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,如书写识别模型可以是基于逻辑回归模型(LogisticRegression,LR)、支持向量机(SupportVectorMachine,SVM)、经网络(RecurrentNeuralNetworks,RNN)等中的一种或多种实现。在一些实施例中,可以基于已经标注笔迹标签(如标准字符、标准图案)的样本数据对初始的书写识别模型进行训练,可以得到训练好的书写识别模型。其中,具体模型训练过程可参考本申请的其他实施例。[0069]其中,所述空中介质也即空中书写介质,通常用户所持智能设备在三维空间的空中介质进行书写时,简而言之当用户在空中操作智能设备书写样本笔迹(字符、英文、数字、笔画、手势等)时所对应的样本数据也即书写轨迹数据;[0070]所述平面介质,也即平面书写介质,如用户可直接在手机、电视机、平板等设备的屏幕直接进行书写样本笔迹(字符、英文、数字、笔画等)时所对应的样本数据也即书写识别结果。可以理解的是在基于平面介质进行书写时,书写笔迹的识别较之于空中介质较为简单,样本数据通常是海量的;而针对空中书写笔迹的识别通常需要将空中书写的姿态数据映射到二维平面上生成二维平面上的书写笔迹,则三维转换至二维时通常会存在一定的误[0071]在实际应用中,基于智能设备的传感器间采集的姿态感应数据的空中书写识别,仅仅将其转化到二维平面上书写轨迹数据也即将姿态感应数据恢复成相应的平面轨迹,然而它们的可读性还是很差,仅凭人眼观察或机器进行识别,难以从波形辨识具体的书写内容。因此,在本申请中预先训练有基于迁移训练的书写识别模型,训练好的书写识别模型可对书写轨迹数据进行有效识别,实际应用中,只需将所述书写轨迹数据输入至书写识别模型中,即可输出书写识别结果,书写识别结果可读性、可视性较之于书写轨迹数据要高。[0072]在一种具体的实施场景中,显示设备可采用如下步骤进行空中书写轨迹识别,如[0073]步骤S1001:接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。[0074]具体可参见步骤S101,此处不再赘述。[0075]步骤S1002:从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参数,所述第一辅助识别参数包括预设的识别分辨率。[0076]在一些实际使用场景中,用户通过智能设备进行书写时自然书写幅度变化较小,此时显示设备获取所述姿态感应参数所包含的角速度,以及获取一辅助识别参数,也即预设的识别分辨率,另外所述识别分辨率与显示设备的屏幕分辨率不相关,识别分辨率主要基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值,进一步的,该识别分辨率也可称之为识别灵敏度参数,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个角速度笔迹采样点之间角速度变化较小,自然书写的动作速度和幅度均变化较小,因此可基于采取大量样本数据确定的显示设备的识别分辨率和实际确定的角速度来计算移动轨迹,如将角速度与识别分辨率的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离,这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离,就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹,从而生成移动轨迹对应的书写轨迹数据。[0077]步骤S1003:将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移,基于所述第一移动瞬时位移确定第一移动轨迹。[0078]在实际环境中,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个笔迹采样点之间幅度变化较小,且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机,每个用户与电视机的距离R相差不大,这对于确定笔迹时的误差可相对忽略),因此可基于实际应用环境中采取大量样本数据来确定一个经验值:显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景,基于此构思,在确定空中书写轨迹时可大幅节省计算轨迹的时间,其中,技术特征“将所述角速度与所述识别分辨率的乘积作为第一移动瞬时位移”以及识别分别率的推导原理可参考本申请的其他实施例。[0079]步骤S1004:将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0080]具体可参见步骤S103,此处不再赘述。[0081]在一种具体的实施场景中,显示设备可采用如下步骤进行空中书写轨迹识别,如[0082]步骤S2001:接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。[0083]具体可参见步骤S101,此处不再赘述。[0084]步骤S2002:从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第二辅助识别参数,所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离,所述法向角为所述智能设备相对所述显示设备的法向角度。[0085]根据一些实施例中,通常在这种扩展书写轨迹识别场景下,可以实现对用户通过智能设备进行书写时书写幅度的精准量化,此时显示设备可获取所述姿态感应参数所包含的角速度作为智能设备在空中书写时对应的变化参数以及第二辅助识别参数,其中,在一些实施方式中,显示设备获取的第二辅助识别参数可以是从所述姿态感应参数,也即智能设备在采集空中书写操作对应的角速度时还采集法向角(所述智能设备相对参考二维平面(如显示设备)的法向角度α)、智能设备与相对参考二维平面(如显图5所示,图5是本申请涉及的空中书写场景下参数示意图,各参数的关系如图所示,角速度即为θ。在一些实施方式中,显示设备获取的第二辅助识别参数可以显示设备通过所包含的传感器件(红外器件、测距器件)等测算得到的。[0086]示意性的,智能设备距离显示设备距离为R,智能设备指向与显示设备法线之间的夹角为α,某采样时刻间隔设备旋转瞬时角度也即角速度为θ。[0087]步骤S2003:将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中,输出第二移动瞬时位移,基于所述第二移动瞬时位移确定第二移动轨迹。[0088]以图5为例,对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x[0091]这样就得到了目标瞬时位移公式,[0094]基于上述目标瞬时位移公式,将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中,实际应用中将显示设备采样周期对应的各采样时间点的角速度值法向角以及所述间隔距离输入至目标瞬时位移公式中,输出各采样时间点对应的一小段位移轨迹x,并基于角速度可确定“一小段位移轨迹x”(也即第二移动瞬时位移)的方向,然后基于各采样时间点对应的确定的方向和“一小段位移轨迹x”按照时序进行累加即为第二移动轨迹。[0095]步骤S1004:将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0096]具体可参见步骤S103,此处不再赘述。[0097]在本申请实施例中,显示设备可以接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;然后基于所述姿态感应参数生成出书写轨迹数据;再将所述书写轨迹数据输入至书写识别模型中,输出准确的书写识别结果,另外,该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题,提升了跨设备的协同操控的便捷性;以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别,书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别,极大的减小了空中书写识别的计算量,提升了识别处理的效率;以及在空中书写识别阶段,采用基于迁移学习的书写识别模型,可通过现有相关数据(如基于平面介质的第四书写数据)获得性能一般的通用预训练模型,再使用少量领域数据对模型进行微调,获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性,仅需少量空中书写数据即可保证空中书写轨迹识别的准确率,提升识别处理的效率。[0098]请参见图4,图4是本申请提出的一种空中书写轨迹识别方法的另一种实施例的流[0099]步骤S201:接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。[0100]具体可参见步骤S101,此处不再赘述。[0101]步骤S202:基于所述姿态感应参数以及预设的姿态参数阈值,确定所述空中书写操作的书写类型。[0102]其中,所述姿态参数阈值用于衡量用户操控智能设备书写时的书写变化程度,从而确定空中书写操作的书写类型,继而采用不同书写类型对应的笔迹确定方式来计算或确定姿态感应参数对应的移动轨迹。[0103]其中,第一书写类型可以理解为用户通过智能设备进行书写时自然书写幅度变化不大的场景,在为第一书写类型时,可采取预设的识别分辨率和姿态感应参数中的角速度参数来确定移动轨迹;[0104]其中,第二书写类型可以理解为用户通过智能设备进行书写时自然书写幅度变化较大的场景,在为第二书写类型时,仅通过预设的识别分辨率来计算误差较大,此时就需要基于第二辅助识别参数和角速度来确定移动轨迹,所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离。[0105]示意性的,姿态感应参数的类型可以是上述实施例中涉及的多种参考姿态参数(速度、加速度、距离等等),姿态感应参数至少包含角速度即可,姿态参数阈值为用于衡量书写类型的参考姿态参数的门限值或临界值,数量可以是多个,当参考姿态参数(速度、加速度、距离等至少一种)大于参考姿态参数对应类型的姿态参数阈值时,认为用户通过智能设备进行书写时自然书写幅度变化较大,此时确定空中书写操作为第二书写类型;反之,当参考姿态参数(速度、加速度、距离等至少一种)小于或等于参考姿态参数对应类型的姿态参数阈值时,认为用户通过智能设备进行书写时自然书写幅度变化较小,此时确定空中书写操作为第一书写类型。[0106]步骤S203:当所述书写类型为第二书写类型时,获取所述姿态感应参数所包含的角速度以及第二辅助识别参数,所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离,所述法向角为所述智能设备相对所述显示设备的法向角度。[0107]具体的,当所述书写类型为第二书写类型,通常在这种场景下用户通过智能设备进行书写时自然书写幅度变化较大,此时显示设备获取所述姿态感应参数所包含的角速度以及第二辅助识别参数,其中,在一些实施方式中,显示设备获取的第二辅助识别参数可以是从所述姿态感应参数,也即智能设备在采集空中书写操作对应的角速度时还采集法向角(所述智能设备相对参考二维平面(如显示设备)的法向角度a)、智能设备与相对参考二维平面(如显示设备)的间隔距离R。如图5所示,图5是本申请涉及的空中书写场景下参数示意别参数可以显示设备通过所包含的传感器件(红外器件、测距器件)等测算得到的。[0108]示意性的,智能设备距离显示设备距离为R,智能设备指向与显示设备法线之间的夹角为α,某采样时刻间隔设备旋转瞬时角度也即角速度为θ。[0109]步骤S204:将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中,输出第二移动瞬时位移,基于所述第二移动瞬时位移确定第二移动轨迹。[0110]实际应用中,智能设备通常对应一个采样率,如200Hz,智能设备通过所包含的感应器件来测算每个采样时间点内的角速度θ,然后基于每个采样时间点对应的角速度θ,如图6所示,图6是本申请涉及到的一种笔迹采样的场景示意图,基于预设的采样率,可在采样时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间点tn对应图中采样点an(采样结束点)。示意性的,采样时间点t2对应的采样点a2,智能设备可感测到当前采样时间点t2的角速度02,也即采样点a1至采样点a2的旋转角度02,另外,假设智能设备在空中运行了一段位移S,所花费时间为T,这段距离可能并不是规则的直线,而可能是一段比较弯曲的线,与数字、字母以及中文文字等的笔画对应。根据微积分原理,如果设置的采样时间越小,则S的位移轨迹则越可能接近直线,只要能保证该时间T能达到所要求的精度,比如0.1秒,在这0.1秒内主要基于智能设备采集的角速度显示设备可确定其运动的轨迹基本上可以视为直线运动,显示设备就可以很简单的基于角速度和辅助识别参数(如识别分别率)把智能设备这段轨迹S计算出来。那么在很长的一段空中书写的时间内,智能运动的轨迹(可看做用户空中书写的轨迹)曲线根据微积分的原理分成若干很小的部分,则所有若干很小的位移x的总和即为智能设备运动的轨迹。[0111]因此,移动轨迹的确定关键在于确定移动瞬时位移x。[0112]以图5为例,对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x[0115]这样就得到了目标瞬时位移公式,[0118]基于上述目标瞬时位移公式,将所述角速度、所述法向角以及所述间隔距离输入至目标瞬时位移公式中,实际应用中将显示设备采样周期对应的各采样时间点的角速度值法向角以及所述间隔距离输入至目标瞬时位移公式中,输出各采样时间点对应的一小段位移轨迹x,并基于角速度可确定“一小段位移轨迹x”(也即第二移动瞬时位移)的方向,然后基于各采样时间点对应的确定的方向和“一小段位移轨迹x”按照时序进行累加即为第二移动轨迹。[0119]步骤S205:当所述书写类型为第一书写类型时,获取所述姿态感应参数所包含的角速度以及第一辅助识别参数,所述第一辅助识别参数包括预设的识别分辨率。[0120]步骤S206:将所述角速度与所述识别分辨率乘积作为第一移动瞬时位移,基于所述第一移动瞬时位移确定第一移动轨迹。[0121]具体的,当所述书写类型为第一书写类型,通常在这种场景下用户通过智能设备进行书写时自然书写幅度变化较小,此时显示设备获取所述姿态感应参数所包含的角速度[0122]本申请的一些实施例中,所述辅助识别参数可以是预设的识别分辨率,另外所述识别分辨率与显示设备的屏幕分辨率不相关,识别分辨率基于显示设备与智能设备的实际空中书写环境确定的一个辅助计算移动轨迹的经验值,进一步的,该识别分辨率也可称之为识别灵敏度参数,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个角速度笔迹采样点之间角速度变化较小,自然书写的动作速度和幅度均变化较小,因此可基于采取大量样本数据确定的显示设备的识别分辨率和实际确定的角速度来计算移动轨迹,如将角速度与识别分辨率的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距离,这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的距离,就可以确定相邻两个角速度笔迹采样点之间对应的移动轨迹,从而生成移动轨迹对应的书写轨迹数据。[0123]实际应用中,所述书写类型为第一书写类型时,实际是基于上述目标瞬时位移公式推导过程中对角速度的近似等效,且在书写类型为第一书写类型时,这样进行移动轨迹[0124]以图5为例,对应到参考二维平面上每个采样时间点的移动瞬时位移的移动距离x[0129]在实际环境中,在空中书写操作触发的情况下通常智能设备传感器件的采样率一般较高,如大于100Hz,这样相邻两个笔迹采样点之间幅度变化较小,且相对于参考书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电视机,每个用户与电视机的距离R相差不大,这对于确定笔迹时的误差可相对忽略),因此可基于实际应用环境中采取大量样本数据来确定一个经验值:显示设备的辅助识别参数-识别分辨率r。可适用于用户通过智能设备进行书写时自然书写幅度变化不大的场景,基于此构思,在确定空中书写轨迹时可大幅节省计算轨迹的时间,同时在生成书写轨迹数据之后,为了提高轨迹识别的准确性,还将其输入至书写识别模型中,输出书写识别结果。[0130]步骤S207:生成所述移动轨迹对应的书写轨迹数据,对所述书写轨迹数据进行轨迹样式调整处理,得到调整后的目标书写轨迹数据。其中移动轨迹为上述第一移动轨迹或第二移动轨迹。[0131]其中,生成所述移动轨迹对应的书写轨迹数据可参考步骤S102,此处不再赘述。[0132]在一种具体的实施方式中,在生成所述移动轨迹对应的书写轨迹数据之后,由于用户操控智能设备时书写风格、书写心情等客观因素为了进一步提升书写数据的可视性,还可以对书写轨迹数据进行轨迹样式调整处理,另外基于调整后的书写数据输入至书写识别模型中,可提升书写识别结果的准确识别性。[0133]由于基于三维空中介质进行书写和在二维平面介质的书写方式有较大区别,因此书写结果书写轨迹数据也存在显著差异,如图6,左图为在纸上的手写字符,右图为显示设区域对应的基准补全线(可以是目标轨迹区域的最长字符边),以所述基准补全线为参考,相应像素长度的空白,形成大小统一(256×256)的预设规格的手[0145]所述标准书写对象至少可以为书写识别结果对应的标准书写汉字、标准书写字示设备可以实时将识别到的书写识别结果对应的至少一个标准书写对象如至少一个标准戴设备进行空中书写操作,智能设备如可穿戴设备采集空中书写操作对应姿态感应数据发送至显示设备(如智能电视),智能电视基于姿态感应数据确定书写识别结果并将书写识别结果对应的至少一个标准书写字显示在图8所示的书写字符显示区域;也可基于书写识别结果的识别结果,显示设备确定多个高概率的标准书写对象,如高概率的字符识别结果待选项,进一步的,用户可通过移动智能设备如可穿戴设备来控制显示设备上显示区域内光标,并结合交互控件(如按钮)进行识别结果选择确认。若当前备选项中未包含用户希望输入的标准书写对象,还可通过控件控制重新输入识别,等等。[0147]在本申请实施例中,显示设备可以接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;然后基于所述姿态感应参数生成出书写轨迹数据;再将所述书写轨迹数据输入至书写识别模型中,输出准确的书写识别结果,另外,该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题,提升了跨设备的协同操控的便捷性;以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别,书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别,极大的减小了空中书写识别的计算量,提升了识别处理的效率;以及在空中书写识别阶段,采用基于迁移学习的书写识别模型,可通过现有相关数据(如基于平面介质的第四书写数据)获得性能一般的通用预训练模型,再使用少量领域数据对模型进行微调,获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性,仅需少量空中书写数据即可保证空中书写轨迹识别的准确率,提升识别处理的效率。[0148]请参见图9,图9是本申请提出的一种空中书写轨迹识别方法的另一种实施例的流[0149]步骤S301:获取基于空中介质的第三书写数据以及基于平面介质的所述第四书写数据。[0150]根据一些实施例中,所述空中介质也即空中书写介质,通常用户所持智能设备在三维空间的空中介质进行书写时,简而言之当用户在空中操作智能设备书写样本笔迹(字空中介质的第三书写数据的数据量较少,本申请可基于智能设备在相应实验环境下采集实际应用环境下的样本生成第三书写数据并可对该第三书写数据标注标准对象标签(如标准[0151]所述平面介质,也即平面书写介质,如用户可直接在手机、电视机、平板等设备的屏幕直接进行书写样本笔迹(字符、英文、数字、笔画等)时所对应的样本数据也即第四书写数据。可以理解的是在基于平面介质进行书写时,书写笔迹的识别较之于空中介质较为简单,样本数据通常是海量的;而针对空中书写笔迹的识别通常需要将空中书写的姿态数据映射到二维平面上生成二维平面上的书写笔迹,则三维转换至二维时通常会存在一定的误差,且这种样本数据较少。在二维平面,尤其是纸质介质的手写数据集则较为完善,可从相应公开数据集获取到基于平面介质的第四书写数据。[0152]在本申请中,仅基于空中书写介质的书写轨迹数据训练模型通常手写识别方案需要基于海量数据驱动,通过学习大量带有结果标记的书写结果训练深度神经网络,再通过网络完成识别。对于空中书写,同样也需要大量该类型的数据,以GB2312常用汉字列表为例,总计约7000个常用字,若每个汉字需200个不同样本,则共需要140万个样本。构建该规模的空中书写数据集需要大量的工作。而在二维平面,尤其是纸质介质的手写数据集则较为完善,因此使用手写数据集来训练获得可具备空中书写识别的模型,可极大降低系统实现的工作开销。[0153]在一种具体实施方式中,进行模型训练前,还可对获取到的样本数据进行轨迹样式调整处理,也即可获取基于所述空中介质的第三样本数据,然后对所述第一样本数据进行轨迹样式调整处理,得到调整后的第三书写数据;以及,可获取基于所述平面介质的第四样本数据,对所述第四样本数据进行轨迹样式调整处理,得到调整后的第四书写数据。[0154]其中,轨迹样式调整处理可参考步骤S206,其与对书写轨迹数据的处理过程类似。实际应用中,对所述书写数据对应的灰度图进行轨迹检测处理,确定目标轨迹区域;确定所述目标轨迹区域对应的基准补全线,以所述基准补全线为参考,将所述目标轨迹区域调整至预设形状。对所述目标轨迹区域进行轨迹缩放处理,生成预设规格的目标书写数据。[0155]步骤S302:将所述第四书写数据输入至神经网络模型进行训练,生成初始书写识别模型。[0156]在本申请中,创造性考虑到仅基于空中书写介质的书写轨迹数据训练模型通常手写识别方案需要基于海量数据驱动,通过学习大量带有结果标记的书写结果训练神经网络,再通过网络完成识别。对于空中书写,同样也需要大量该类型的数据,以GB2312常用汉字列表为例,总计约7000个常用字,若每个汉字需200个不同样本,则共需要140万个样本。构建该规模的空中书写数据集需要大量的工作。而在二维平面,尤其是纸质介质的手写数据集则较为完善,因此使用手写数据集来训练获得可具备书写识别的初始书写识别模型,再利用基于空中介质的第三数据书写数据输入至初始书写识别模型,得到训练好的书写识别模型,可极大降低系统实现的工作开销。[0157]所述迁移学习是指将某个领域或任务学习到的知识或模式应用到不同但相关的领域或任务中。在本实施例中,所述基于平面介质的第四书写数据通常是海量的,而所述基于空中介质的第三书写数据较之于所述第四书写数据较少,所述第四书写数据在迁移学习中可称为源数据,所述第三书写数据可称为目标数据,用户终端通过预先将源数据-第四书写数据输入至神经网络模型进行训练,得到训练好的初始书写识别模型,再将目标数据-第四书写数据输入到所述初始书写识别模型中,对所述初始书写识别模型进行训练并对所述初始书写识别模型的参数进行调整,然后生成的书写识别模型,以达到较好的拟合效果。[0158]所述神经网络模型可以是基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)模型,深度神经网络(DeepNeuralNetwork,DNN)模型、循环神经网络(RecurrentNeuralNetworks,RNN)、模型、嵌入(embedding)模型、梯度提升决策树(GradientBoostingDecisionTree,GBDT)模型、逻辑回归(LogisticRegression,LR)模型等模型中的一种或多种的拟合实现的。在本实施例中,可采用基于深度神经网络,在现有神经网络模型基础上引入误差反向传播算法进行优化,根据实际输出的识别结果与真实标签之间的损失函数进行反向传播(BP),迭代调整网络参数提升性能,进而提高神经网络模型的识别准[0159]在一种可行的实施方式中,将所述第四书写数据划分为至少一个第一数据训练集和第一数据测试集;[0160]其中,第一数据训练集用于对神经网络模型进行训练,第一数据测试集用于在训练阶段对神经网络模型的识别效果进行验证。进一步的,数据训练集和数据测试集的数量划分可按照一定比列,如7:3等,具体可根据实际应用环境确定。[0161]基于当前的第一数据训练集对神经网络模型进行训练,并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率;层用于根据输入所述深度神经网络的第一书写训练集提取书写特征,基于书写特征计算输入至最底层的隐层单元的输出值,所述输入层通常包括多个输入单元,所述输入单元用于根据输入的书写特征计计算输入至最底层的隐层单元的输出值。将所述语音特征输入至所述输入单元后,所述输入单元根据自身的加权值利用输入至所述输入单元的书写特征计计算向最底层的隐层输出的输出值。[0163]所述隐层通常为多个,每一层隐层包括多个隐层单元,所述隐层单元接收来自于下一隐层中的隐层单元的输入值。根据本层的加权值对来自于下一层隐层中的隐层单元的输入值进行加权求和,并将加权求和的结果作为输出至上一层隐层的隐层单元的输出值。[0164]所述输出层包括多个输出单元,所述输出单元接收来自于最上层隐层中的隐层单元的输入值,根据本层的加权值对来自于最上层隐层中的隐层单元的输入值进行加权求和,根据加权求和的结果计算实际输出值,基于期望输出值与实际输出值的误差从输出层反向传播并沿输出路径调整各层连接权重值和阈值。[0165]具体的,本实施例中可采用引入误差反向传播算法的DNN-HMM模型创建初始模型,在提取所述第四书写数据的书写特征之后,将所述书写特征输入到所述神经网络模型中,所述神经网络模型的训练过程通常由正向传播和反向传播两部分组成,在正向传播过程中,电子设备输入样本第四书写数据从所述神经网络模型的输入层经过隐层神经元(也称节点)的传递函数(又称激活函数、转换函数)运算后,传向输出层,其中每一层神经元状态影响下一层神经元状态,在输出层计算实际输出值-识别书写结果,计算所述实际输出值与期望输出值的期望误差,基于所述期望误差调整所述神经网络模型的参数,所述参数包含每一层的权重值和阈值,数据集训练完成后。并采用所述第一数据测试集测试所述神经网络模型的第一识别准确率。[0166]第一识别准确率的确定:将用所述第一数据测试集输入至神经网络模型,根据实际输出的识别结果和第一数据测试集对应的标注真实标签计算正确率,也即第一识别准确[0167]若所述第一识别准确率小于第一预设阈值,则获取所述当前的第一数据训练集的下一个第一数据训练集,将所述下一个第一数据训练集作为所述当前的第一数据训练集,并执行所述基于当前的第一数据训练集对神经网络模型进行训练的步骤;[0168]若所述第一识别准确率大于或等于第一预设阈值,则认为达到预期的识别效果,则停止训练,保存当前神经网络模型参数,将所述神经网络模型作为初始书写识别模型。[0169]另外,在一些实施方式中,可以设置数据集对神经网络模型的训练轮数来确定训练停止。[0170]步骤S303:将所述第三书写数据输入至所述初始书写识别模型进行迁移学习,生成书写识别模型。[0171]在一种可行的实施方式中,将所述第三书写数据划分为至少一个第二数据训练集和第二数据测试集;[0172]其中,第二数据训练集用于对神经网络模型进行训练,第二数据测试集用于在训练阶段对神经网络模型的识别效果进行验证。进一步的,数据训练集和数据测试集的数量划分可按照一定比列,如7:3等,具体可根据实际应用环境确[0173]然后基于当前的第二数据训练集对所述初始书写识别模型进行训练,并采用所述第二数据测试集测试所述初始书写识别模型的第二识别准确率;[0174]第二识别准确率的确定:将用所述第二数据测试集输入至神经网络模型,根据实际输出的识别结果和第二数据测试集对应的标注真实标签计算正确率,也即第二识别准确[0175]若所述第二识别准确率小于第二预设阈值,则获取所述当前的第二数据训练集的下一个第二数据训练集,将所述下一个第二数据训练集作为所述当前的第二数据训练集,并执行所述基于当前的第二数据训练集对初始书写识别模型进行训练的步骤;[0176]若所述第二识别准确率大于或等于第二预设阈值,则将所述初始书写识别模型作为书写识别模型。[0177]步骤S304:接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成。[0178]步骤S305:基于所述姿态感应参数生成书写轨迹数据,将所述书写轨迹数据输入至书写识别模型中,输出书写识别结果。[0179]具体可参见步骤S101-S103。[0180]在本申请实施例中,显示设备可以接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;然后基于所述姿态感应参数生成出书写轨迹数据;再将所述书写轨迹数据输入至书写识别模型中,输出准确的书写识别结果,另外,该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题,提升了跨设备的协同操控的便捷性;以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别,书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别,极大的减小了空中书写识别的计算量,提升了识别处理的效率;以及在空中书写识别阶段,采用基于迁移学习的书写识别模型,可通过现有相关数据(如基于平面介质的第四书写数据)获得性能一般的通用预训练模型,再使用少量领域数据对模型进行微调,获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性,仅需少量空中书写数据即可保证空中书写轨迹识别的准确率,提升识别处理的效率。[0181]在一个实施例中,如图10所示,特提出了一种空中书写轨迹识别方法,应用于智能设备,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的空中书写轨迹识别装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。[0182]智能设备可以是具有通信功能的电子设备,所述智能设备可以是功能全、可不依赖显示设备(如智能手机)实现完整或者部分的功能,例如智能手表、智能眼镜、智能音箱、智能牙刷、智能笔、智能手环等,以及只专注于某一类应用功能,需要和其它设备如智能手[0184]步骤S401:感测到针对所述显示设备的空中书写操作,并采集所述空中书写操作对应的姿态感应数据。[0185]根据一些实施例中,所述智能设备与显示设备可配合使用,所述智能设备可以是便于用户进行空中书写操作的电子设备,空中书写作为一种新的人机交互手段,它不同于传统的人机交互方式,在本申请中,空中手写可允许用户提高智能设备以自然且无拘束的示设备可以是一种弱输入设备(如电视、会议平板)也即不方便用户直接进行相关信息输入,如书写字符、画画等。因此在一些交互场景下,基于智能设备的空中书写是可以完成复杂信息指令输入目的的交互形态。空中书写包含以纸质或电子介质作为书写表面的书写输入形式,以及在三维空中介质中挥动手指/手腕/手臂等感官进行空中手写的输入形式。在平面介质进行书写的识别技术已经较为成熟,如各种智能手机搭载的触屏输入法。在一些实施场景中,随着虚拟现实、物联网领域技术产品的成熟手表、智能笔等)的空中书写不受限于平面的特点可以很好地与不便于用户直接书写的显示设备(如电视、会议平板等)结合应用。[0186]根据一些实施例中,所述姿态感应数据是指可移动或旋转对象(如智能设备)基于所包含的传感器件感测到(当前采样时间点)的位置、姿态、角速度数据、加速度数据等,在本申请中,可以理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该位置上的姿态。在本实施例中,通过该姿态感应数据可以用于表征或用于量化智能设备当前的姿态。如智能设备的角速度变化(相邻两个采样时刻之间的旋转角度)、移动速度变化、移动方向变化、智能设备相当于参考二维平面(可以是显示设备、所处环境物体(如墙体)所处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示设备的距离R)等等。[0187]进一步的,所述智能设备具有多种实时检测当前位姿信息的传感器件,该传感器件包括但不限于加速度传感器、磁力传感器、陀螺仪、物理量感应器等,所述控制设备通过所述电子部件获取到当前的物理量参数,所述物理量参数可以是加速度参数、磁力参数、角速度参数、相对参考二维平面如显示设备的相对距离、相对角度等等,并对所述物理量参数进行姿态计算,即可以得到所述智能设备的姿态感应数据。[0188]步骤S402:将所述姿态感应数据发送至所述显示设备,以使所述显示设备生成所述姿态感应数据对应的书写轨迹数据,并将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。[0189]具体的,智能设备在感测到用户操作智能设备进行空中书写操作时,智能设备可通过所包含的传感器件来感测当前姿态传感数据,在实际应用中,智能设备可以与显示设备建立通信连接(如蓝牙连接、无线局域网络连接等),然后在采集到当前的姿态传感数据之后,基于该通信连接将姿态传感数据传输至显示设备,这样显示设备即可通过该通信连接接收到显示设备的姿态传感数据。[0190]所述通信连接包括但不限于:蓝牙通信连接、无线局域网连接、紫峰通信连接等[0191]其中,所述书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到。[0192]在一种可行的实施方式中,智能设备可以基于所述姿态感应数据生成书写轨迹数据,并将所述书写轨迹数据输入至所述书写识别模型中,输出所述书写识别结果,将所述书写识别结果发送至所述显示设备。[0193]在一种可行的实施方式中,智能设备可以基于所述姿态感应数据生成书写轨迹数据,将所述书写轨迹数据发送至所述显示设备。以使所述显示设备将所述书写轨迹数据输入至书写识别模型中输出书写识别结果。[0194]在本申请实施例中,智能设备在感测到空中书写操作时,采集空中书写操作的姿态感应参数然后可将其发送至显示设备,显示设备可以接收智能设备发送的姿态感应参数;然后基于所述姿态感应参数生成出书写轨迹数据;再将所述书写轨迹数据输入至书写识别模型中,输出准确的书写识别结果,另外,该书写识别模型基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训练得到,基于前述方式可以避免相关技术中空中书写轨迹识别准确率低、识别处理效率低的问题,提升了跨设备的协同操控的便捷性;以及仅基于智能设备采集的姿态感应数据即可实现书写数据的识别,书写识别时不需要采集智能设备的三维数据也不需要将三维数据再映射到二维进行识别,极大的减小了空中书写识别的计算量,提升了识别处理的效率;以及在空中书写识别阶段,采用基于迁移学习的书写识别模型,可通过现有相关数据(如基于平面介质的第四书写数据)获得性能一般的通用预训练模型,再使用少量领域数据对模型进行微调,获得对于当前数据类型匹配性更好的模型。也提高了模型的鲁棒性,仅需少量空中书写数据即可保证空中书写轨迹识别的准确率,提升识别处理的效率。[0195]下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。[0196]请参见图11,其示出了本申请一个示例性实施例提供的空中书写轨迹识别装置的结构示意图。该空中书写轨迹识别装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括感应参数接收模块11、书写数据生成模块12和书写数据输出模块13。[0197]感应参数接收模块11,用于接收智能设备发送的姿态感应参数,所述姿态感应参数为所述智能设备在感测到空中书写操作时生成;[0198]书写数据生成模块12,用于基于所述姿态感应参数生成书写轨迹数据;[0199]书写数据输出模块13,用于将所述书写轨迹数据输入至书写识别模型中,基于所述书写识别模型输出与所述书写轨迹数据对应的书写识别结果。[0201]参数确定单元111,用于基于所述姿态感应参数,确定在空中书写时所述智能设备的角速度以及辅助识别参数;[0202]数据生成单元112,用于基于所述角速度以及所述辅助识别参数,确定所述角速度对应的移动轨迹,并生成所述移动轨迹对应的书写轨迹数据。[0204]从所述姿
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年摩托车科目一测试题库及完整答案(夺冠系列)
- 2026年时事政治测试题库含完整答案(典优)
- 广东省公务员考试竞争试题及答案
- 2025湖州师范学院编外招聘10人(公共基础知识)综合能力测试题附答案
- 2026年石家庄邮电职业技术学院单招(计算机)考试参考题库附答案
- 2026年重庆对外经贸学院单招职业适应性考试题库附答案
- 广安市公务员考试试题及答案
- 2026年大学生心理健康教育考试题库附参考答案ab卷
- 纯电动物流车维修成本调研
- 2026年法律逻辑学试题含完整答案(考点梳理)
- 改善重症心肌梗死患者预后仍任重道远
- 呼吸道疾病健康知识讲座
- 离婚登记申请受理回执单模板
- 抑郁自评量表-SDS
- 某汽车上市传播规划
- GA 1809-2022城市供水系统反恐怖防范要求
- 用工结算单Excel模板
- 防爆电气设备的安装课件
- 口腔医疗器械生物相容性临床前评价-课件
- 《单位工程施工组织设计》实训任务书及指导书
- 渣土运输服务保障方案
评论
0/150
提交评论