CN113052078B 空中书写轨迹识别方法、装置、存储介质及电子设备 （Oppo广东移动通信有限公司）

本申请实施例公开了一种空中书写轨迹识姿态感应参数为所述智能设备在感测到空中书迹数据对应的书写识别结果。采用本申请实施2接收智能设备发送的姿态感应参数，所述姿态感应参数为所述智能基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅助识别参将所述书写轨迹数据输入至书写识别模型中，基于所述书写识别模型输所述基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助识别参所述基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅书写时所述智能设备的角速度以及辅助识别参数，基于所述角速度以及所述辅助识别参基于所述姿态感应参数以及预设的姿态参数阈值，确定所述空中书写操作的书写类3确定所述目标轨迹区域对应的基准补全线，以所述基准补获取基于空中介质的第三书写数据以及基于平面介质的获取基于所述空中介质的第三样本数据，对所述第三样本数据进行轨迹样式调整处获取基于所述平面介质的第四样本数据，对所述第四样本数据进行轨迹样式调整处将所述第四书写数据划分为至少一个第一数据训练集和第一数据基于当前的第一数据训练集对神经网络模型进行训练，并采用所若所述第一识别准确率小于第一预设阈值，则获取所述当前的第行所述基于当前的第一数据训练集对神经网络模型进行训若所述第一识别准确率大于或等于第一预设阈值，则将所述4将所述第三书写数据划分为至少一个第二数据训练集和第二数据基于当前的第二数据训练集对所述初始书写识别模型进行训练，若所述第二识别准确率小于第二预设阈值，则获取所述当前的第行所述基于当前的第二数据训练集对初始书写识别模型进行训若所述第二识别准确率大于或等于第二预设阈值，则将所述感测到针对显示设备的空中书写操作，并采集所述空中书写操作对应的姿态感应数将所述姿态感应数据发送至所述显示设备，以使所述显示设备生成基于所述姿态感应参数，确定在空中书写时智能设备的角速度以所述基于所述姿态感应参数，确定在空中书写时智能设备的角速度以及辅助识别参从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一辅助所述基于所述姿态感应参数，确定在空中书写时所述智能设备的角速度以及辅基于所述姿态感应数据生成书写轨迹数据，并将所述书写轨迹数5基于所述姿态感应数据生成书写轨迹数据，将所述书写轨迹数据发送至所述显示设备，以使所述显示设备将所述书写轨迹数据输入至所述书写识别模型中输出书写识别结令适于由处理器加载并执行如权利要求1～10或11～12任意一机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～10或11～12任意一67存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步[0021]在本申请一个或多个实施例中，显示设备可以接收智能设备发送的姿态感应参[0024]图2是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示[0025]图3是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔画落下提起分隔[0027]图5是本申请实施例提供的空中书写轨迹识别方法涉及的一种空中书写场景下参[0028]图6是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹采样的场景示[0029]图7是本申请实施例提供的空中书写轨迹识别方法涉及的一种笔迹调整的场景示[0030]图8是本申请实施例提供的空中书写轨迹识别方法涉及的一种显示书写识别结果8[0047]所述空中书写轨迹识别装置可以是一种显示设备，所述显示设备包括但不限于：无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal9在本申请中，空中手写可允许用户操控智能设备以自然且无拘束的方式在空中进行书写，中书写不受限于平面的特点可以很好地与不便于用户直接书写的显示设备(如电视、会议至显示设备进行空中书写操作时的空中书写轨迹的理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该位置上的姿态。智能设备相当于参考二维平面(可以是显示设备、所处环境物体(如墙体)所处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示设备的距离R)识别参数可以是预设的识别分辨率，另外所述识别分辨率与显示设备的屏幕分辨率不相速度与辅助识别参数的乘积可作为相邻两个角速度笔迹采样点之间对应的移动轨迹的距应器件来测算每个采样时间点内的角速度θ,然后基于每个采样时间点对应的角速度θ,如时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间相对于上一采样时间点t-1所对应的采样移动位移x，以当前采样时间点t2的角速度θ2为书写平面(如显示设备的平面)的距离R通常均在一个固定的范围内(如相对于显示设备电基于实际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识内所对应的书写轨迹时，通常基于每对两两采样点之间的采样移动位移x和角速度θ,即可采样得到对应图2中采样点a1(采样初始点),实际应用中可以是以采样初始点为坐标原点采样点ai-1至采样点ai的旋转角度θi。这样可以基于角速度θ和识别分辨率r或识别灵敏度个采样时间点基于角速度和辅助识别参数(如识别分别率)确定当前采样时间点与上一采号(笔画提起之后的笔迹不落入参考)和落下状态(笔画落下之后的笔迹需落入参考)的提能对该提起信号至所述提起信号对应的下一落下信号之间的笔迹进行清除即可，示意性写识别模型可以是基于空中介质的第三书写数据和基于平面介质的第四书写数据迁移训创造性的采用迁移学习的方式对书写识别模[0068]所述书写识别模型可以是基于迁移学习的模型构思使用大量的基于空中介质的[0071]在实际应用中，基于智能设备的传感器间采集的姿态感[0075]步骤S1002：从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以[0076]在一些实际使用场景中，用户通过智能设备进行书写时际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识别分辨[0084]步骤S2002：从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以设备在采集空中书写操作对应的角速度时还采集法向角(所述智能设备相对参考二维平面[0105]示意性的，姿态感应参数的类型可以是上述实施例中涉及的多种参考姿态参数(所述智能设备相对参考二维平面(如显示设备)的法向角度α)、智能设备与相对参考二维应器件来测算每个采样时间点内的角速度θ,然后基于每个采样时间点对应的角速度θ,如时间点t1对应图中采样点a1(采样初始点)、采样时间点t2对应图中采样点a2...采样时间智能运动的轨迹(可看做用户空中书写的轨迹)曲线根据微积分的原理分成若干很小的部笔迹采样点之间对应的移动轨迹的距离，这样再基于初始采样点(如开始书写时的采样点的位置)、书写时对应的笔迹书写方向以及两个角速度笔迹采样点之间对应的移动轨迹的际应用环境中采取大量样本数据来确定一个经验值：显示设备的辅助识别参数-识别分辨用户操控智能设备时书写风格、书写心情等客观因素为了进一步提升书写数据的可视性，[0135]实际应用中先进行二值化转换：将原书写轨迹数据对应的灰度图转换为二值区域对应的基准补全线(可以是目标轨迹区域的最长字符边)，以所述基准补全线为参考，[0145]所述标准书写对象至少可以为书写识别结果对应的标准书写汉字、标准书写字示设备可以实时将识别到的书写识别结果对应的至少一个标准书写对象如至少一个标准结果对应的至少一个标准书写字显示在图8所示的书写字符显示区域；也可基于书写识别三维空间的空中介质进行书写时，简而言之当用户在空中操作智能设备书写样本笔迹(字际应用环境下的样本生成第三书写数据并可对该第三书写数据标注标准对象标签(如标准写识别方案需要基于海量数据驱动，通过学习大量带有结果标记的书写结果训练神经网据集则较为完善，因此使用手写数据集来训练获得可具备书写识别的初始书写识别模型，[0157]所述迁移学习是指将某个领域或任务学习到的知识或模式应用到不同但相关的[0158]所述神经网络模型可以是基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)模型，深度神经网络(DeepNeuralNetwork，DNN)模型、循环神经网络(RecurrentNeuralNetworks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient元的输入值，根据本层的加权值对来自于最上层隐层中的隐层单元的输入值进行加权求在提取所述第四书写数据的书写特征之后，将所述书写特征输入到所述神经网络模型中，所述神经网络模型的训练过程通常由正向传播和反向传播两部分组成，在正向传播过程中，电子设备输入样本第四书写数据从所述神经网络模型的输入层经过隐层神经元(也称下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型[0168]若所述第一识别准确率大于或等于第一预设阈值，则认下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型示设备可以是一种弱输入设备(如电视、会议平板)也即不方便用户直接进行相关信息输手表、智能笔等)的空中书写不受限于平面的特点可以很好地与不便于用户直接书写的显本申请中，可以理解为用户在操控智能设备时智能设备在空间中所处的位置和/或其在该处的参考二维平面)的角度参数(显示设备指向与参考二维平面如显示设备法线之间的夹角为α)和距离参数(如智能设备距离参考二维平面如显示态感应参数然后可将其发送至显示设备，显示设备可以接收智能设备发送的姿态感应参述书写识别模型输出与所述书写轨迹数据对应的书写识[0204]从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一[0206]从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第一[0210]从所述姿态感应参数中获取所述智能设备在空中书写时的角速度以及获取第二法向角为所述智能设备相对所述显示设备的下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型下一个第二数据训练集，将所述下一个第二数据训练集作为所述当前的第二数据训练集，并执行所述基于当前的第二数据训练集对初始书写识别模型[0247]可选的，所述装置1还用于：显示所述书写识别结果对应的至少一个标准书写对[0259]本申请还提供了一种计算机程序产品，该计算机程序产所述至少一条指令由所述处理器加载并执行如上述图1-图10所示实施例的所述空中书写[0260]请参考图16，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(central存储器(read-onlymemory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。供有安卓运行时库(Androidruntime)，它主要提供了一些核心库，能够允许开发者使用于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数[0268]其中，在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可二极管显示器(light-emittingdiodedisplay，简称LED)、电子墨水屏、液晶显示屏[0277]在一个实施例中，所述处理器110在执行所述基于所述姿态感应参数生成书写轨第二辅助识别参数，所述第二辅助识别参数包括法向角以及与所述智能设备的间隔距离，所述法向角为所述智能设备相对所述显示设备的法[0291]在一个实施例中，所述处理器110在执行所述将所述书写轨迹数据输入至书写识[0294]在一个实施例中，所述处理器110在执行所述对所述书写轨迹数据进行轨迹样式[0297]在一个实施例中，所述处理器110在执行所述对所述目标轨迹区域中的第一字符[0299]在一个实施例中，所述处理器110在执行所述接收智能设备发送的姿态感应参数[0303]在一个实施例中，所述处理器110在执行所述获取基于空中介质的第三书写数据[0306]在一个实施例中，所述处理器110在执行所述将所述第四书写数据输入至神经网下一个第一数据训练集，将所述下一个第一数据训练集作为所述当前的第一数据训练集，并执行所述基于当前的第一数据训练集对神经网络模型[0