CN113220115A 智能电话和在电子设备中实现的方法 （谷歌有限责任公司）

本公开涉及智能电话和在电子设备中实现使用雷达场来准确确定可用于与呈现在电子设户远距离做出3D手势——用户在触摸屏幕时不2一个或多个计算机可读介质，所述计算机可执行与所确定的手势相对应的另一动作，所述另一动作和与所述3所述触摸输入包括所述用户的两个或更多个手指对在显示的文本的部分附近的用户述两个或更多个手指对所述用户界面的所述触摸的同时有效地分离所述两个或更多个手通过所述用户界面接收另一触摸输入，所述另一触摸输入有效地将光标放置及4一个或多个计算机可读介质，所述计算机可执行与所确定的手势相对应的另一动作，所述另一动作和与所述所述语音输入包括第一语音命令，所述第一语音命令包括描述线要被显示在所述5所述语音输入包括第二语音命令，所述第二语音命令包与所述语音输入相对应的动作的所述结果是选择由所述第二语音命令描述的显示的通过所述用户界面接收另一语音输入，所述另一语音输入包及6[0002]本申请属于申请日为2019年8月5日的中国发明专利申请201980004742.2的分案可以提供广泛的功能，因此用户提供多级或其他方式的复杂输入的需求变得越来越普遍。7机可读介质包括可以由一个或多个计算机处理器执行以实现基于雷达的应用的存储指令。[0009]以下描述的各方面还包括一种在电子设备中实现的方法，该电子设备包括显示[0011]提供本发明内容以介绍与包括雷达系统的智能电话、系统和方法有关的简化概[0013]图1图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的示例[0019]图7图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的另一8因为很难使用二维(2D)触摸屏来操纵三维(3D)对象，所以使用触摸输入界面为增强现实在由雷达场照射的3D空间内在任何方向上包括一个或多个运动的手势)。3D手势可用于与为该技术和系统使用雷达场来使电子设备能够识别在电子设备周围的3D空间中做出的手9规技术可以使用多个相机来提供AR界面并确定用户[0031]这些仅仅是本文中所描述的技术和设备可以如何用于允许用户利用3D和2D手势[0033]图1图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的示例实施例甚至在下述智能手机的特定场境下更为有利：该智能手机需要精细手势的雷达检104还使智能电话102能够感测和分析来自雷达场110中的对象112的反射。对象112可以是可以提供雷达数据，该雷达数据包括与雷达场110相关联的各种类型的信息以及来自对象另一实体可以确定雷达场110中的对象112正朝着为雷达数据可以随时间变化，所以雷达系统104可以提供包括对应于不同时间段的雷达数摸输入控件118可以提供关于真实对象120_1的附加详细信息(例如，尺寸、重量或技术规120_1是装饰植物，其既在真实环境中示出又在显示器108上显示为图像120_2(图像120_2象120_1的图像120_2。实时或接近实时的呈现可以例如经由包括在智能电话102中或与智停止在固定位置处提供触摸输入控件。例如，基于触摸输入控件118在阈值时间内未被触统104和基于雷达的应用106共同协作以使AR应用的用户能够高效便捷地在AR环境中使用和显示器108)的示例实施方式200。图2的智能电话102被图示为包括可以实现包括雷达系[0041]智能电话102的示例性整体横向尺寸可以是例如大约八厘米乘以大约十五厘米。约2mW和20mW之间)。雷达系统104的这种有限的占用空间的要求(雷达系统104的这种有限的占用空间被需要以在结合功率和处理限制的这样的空间受限的封装中容纳智能电话102[0042]智能电话102还包括一个或多个计算机处理器202和一个或多个计算机可读介质可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文描述的[0043]雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路[0044]这些和其他能力和配置以及图1的实体动作和交互的方式将在下面更详细地阐采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加[0045]图3图示雷达系统104的示例实施方式300，其可以用于实现包括雷达系统的智能[0047]天线阵列304包括至少一个发射天线单元(未示出)和至少两个接收天线单元(如规雷达可将视场限制在大约一45度至45度之间的角度，以避免使用5毫米(mm)的波长和(未示出)可以具有未转向的全向辐射方向图，或者可以能够产生诸如宽发射波[0051]返回图3，收发器306包括用于经由天线阵列304发送和接收雷达信号的电路和逻63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子频谱也可以被或角度估计器318可以使收发器306利用一个或多个频率子频谱来改善雷达系统104的性内部，功率管理器320可以使雷达系统104使用预定功率模式或特定的占空比来收集数据。何节省功率，并且递增地调整功耗以使雷达系统104能够在智能电话102的功率限制内工[0055]功率管理器320还可以通过在不活动的时间段期间关闭收发器306内的一个或多达的应用106请求高保真或准确的雷达数据的情况(例如，对于手势识别或用户定向)之间[0056]除了上述内部功率节省技术外，功率管理器320还可以通过激活或停用智能电话量的功率来监测环境，所以功率管理器320可以基于用户所在的位置或用户正在做什么而[0057]图5图示智能电话102内的雷达系统104的示例实施方式500的附加细节。在示例减相关特性(例如，衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)被调频谱508或转向角度510来发送雷达信号506，使平台将雷达系统104移近或远离衰减器502算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回以测量雷达信号506的一个或多个特性来进行适当的调整。即使某些衰减相关特性是固定的或受约束[0061]收发器306基于接收天线单元402对接收到的雷达信号的单独响应来产生原始数据602。接收到的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关道跨时间段的数字信息。对预处理数据608执行多普勒滤波过程610以生成距离_多普勒数率以及针对多个信道的幅度和相位信息。数字波束形成器316基于距离_多普勒数据612产以基于感兴趣的距离、时间或多普勒频率间隔来处理距离_多普勒数据612或预处理数据[0063]数字波束形成器316可使用单视波束形成器616、多视干涉仪618或多视波束形成视干涉仪618或多视波束形成器620执行相干平均以增加波束形成数据614的精度。多视干涉仪618相干地对两个信道进行平均以生成可用于准确确定角度信息的相位信息。另一方成器620或多视干涉仪618提供的增加的精度使雷达系统104能够识别小手势或在用户的多[0064]角度估计器318分析波束形成数据614以估计一个或多个角位置。角度估计器318[0065]幅度图626描绘针对目标的不同角位置以及针对不同转向角510可能发生的幅度峰对应于目标的实际位置，但较小峰会导致第一角位置630_1模糊，因为它在某个阈值之内，常规雷达可能无法有把握地确定该目标是在第一角位置630_1[0067]尽管常规雷达可能限于使用最高峰值幅度来确定角位置，但是角度估计器318替算能力或功率限制)或基于雷达的应用106的目标角度分辨率进行选择。在某些实施方式络或部分连接的神经网络)。在某些情况下，CNN634可用于增加角度估计器318的计算速用非线性函数来分析幅度响应628_1或628_2的形状并生成角度概率数据638，该数据指示[0069]基于角度概率数据638，跟踪器模块640产生角位置数据642，其识别目标的角位用较少的量化级别，使得量化的角位置数据646指示目标是在智能电话102的右侧还是左[0073]如上所述，本文描述的技术和系统还可以使设备能够确定可用于操纵增强现实[0074]图7图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的另一述的。雷达系统104还使智能电话102能够感测和分析来自雷达场110中的对象704的反射。[0075]基于雷达的应用702可以是可以通过显示器108呈现AR元素706并且接收选择AR元的用于选择AR元素706的输入可以是通过智能电话102的触摸屏接收的语音输入或触摸输关的动作。用于确定手势的雷达数据是基于对基于雷达的应用702已经接收到选择AR元素是3D手势(例如，在由雷达场110照射的3D空间内在任何方向上包括一个或多个运动的手[0076]3D手势可以是多种手势(包括通过沿水平维度(例如，从智能电话102的左侧到智能电话102的右侧)在智能电话102上方移动手而做出的滚动手势、用户的手臂围绕肘部旋卷曲用户的手的手指以握住假想的门把手并以顺时针或逆时针方式旋转以模仿转动假想门把手的动作的把手转动手势以及通过将拇指和至少另一个手指搓在一起而做出的捻锭术可以使AR应用的用户能够在AR环境中无缝且方便地使800和900描述关于使用3D手势实现包括雷达系统的智能电话、系统和方法的雷达系统104[0080]在详细视图800_2中，用户已经通过改变用户的手804与雷达系统104之间的距离手804与雷达系统104之间的距离(如箭头806所示)来改变距离。对应于该手势的动作是所[0083]在详细视图900_2中，用户已经通过改变用户的手904相对于雷达系统104的位置[0084]在某些实施方式中，所选择的AR元素902绕轴的旋转的速度和量分别与用户的手显示器上呈现真实对象的图像(例如，因为用户在接近触摸输入控件的同时并没有保持将住智能电话的用户已经在运行在智能电话102_1上的基于雷达的应用106的AR界面中框住的拐角附近的位置呈现包括触摸输入控件11106或另一个实体已经使用雷达数据确定右手1204正接近智能电话102)。当用右手1204接仍将AR元素116和触摸输入控件118保持在显示器108的拐角附[0098]在详细视图1200_3中，假设用户已激活触摸输入控件118(例如，经由利用右手的另一图像120_2(未示出)以及可以向用户提供关于真实对象120_1的信息的附加触摸输[0099]在某些实施方式中，如果在从确定雷达场中的对象正朝着显示器108移动的阈值时间内未触摸设置在固定位置处的触摸输入控件118，则可以停止在固定位置提供触摸输[0102]计算系统1300包括通信设备1302，其使得能够进行设备数据1304(例如，雷达数中的任何一个)，其可以处理各种计算机可执行指令以控制计算系统1300的操作并实现用驱动器)、可记录和/或可重写光盘(CD)、任何类型的数字多功能光盘(DVD)等。计算系统[0106]计算机可读介质1314提供数据存储机制以存储设备数据1304以及各种设备应用现基于雷达的应用，该基于雷达的应用被配置为：通过智能电话的显示器呈现增强现实手的先前触摸输入被激活；基于雷达的应用进一步被配置为响应于触摸输入控件的激活，且基于雷达的应用经由图像捕获设备实时或接近实雷达系统之间的减小的距离相对应的动作是所述选择的AR元素置的动作是所述选择的AR元素在围绕所述选择的AR元素的轴的第二旋转方[0137]尽管已经以专用于特征和/或方法的语言描述了用于实现包括雷达系统的智能电