CN114089900B 一种跨设备的对象拖拽方法及设备 （华为技术有限公司）

US2020019367A1,2020.本申请提供一种跨设备的对象拖拽方法及第二终端在第二终端的显示屏上显示对象随第2所述第二终端接收来自所述第一终端的第一穿梭状态信息，所述第一穿梭状所述第二终端接收用户使用所述第一终端的输入设备输入的移动所述第一光标的操所述第二终端在所述第二终端显示的对象上显示所述第一光标；所执行按下操作后所述第一终端接收到的按下事所述第二终端接收来自所述第一终端的第二操作参数，所述第二操作参数是所述第一终端的输入设备执行移动操作后所述第一终端接收到的移动事件包含的操作参所述第二终端利用所述虚拟输入设备根据所述第一操作参数模拟所述所述第二终端在确定所述对象被拖出所述第二终端的显示屏所述第二操作参数包括鼠标按键标志位、坐标信息、滚轮信息和键位信5.根据权利要求4所述的方法，其特征在于，在所述向所述第一终端发送拖拽数据之所述第二终端接收来自所述第一终端的指示消息，所述指示消息是用户所述第二终端向所述第一终端发送数据，所述数据用于所述第一终端3所述第二终端根据所述应用的图标创建拖拽对象，所述拖拽对象包响应于所述按下事件和所述移动事件，所述在所述第一光标显示在所述第二终端的状态栏上时，所所述第二终端在所述第二终端的显示屏上显示所述对象的阴影随所述第一光标移动所述第二终端向所述第一终端发送缓存的所述拖所述第二终端接收来自所述第一终端的请求消息，所述请求消息所述第二终端接收来自所述第一终端的第三操作参数，所述第三操作参数是所述第一终端的输入设备执行移动操作后所述第一终端接收到的移动事件包含的操作参4所述第二终端根据所述第三操作参数模拟所述移动事件，所述移动事所述第二终端向所述第一终端发送第二穿梭状态信息，所述第二穿所述第二终端接收来自所述第一终端的第四操作参数，所述第四操作参所述第二终端接收来自所述第一终端的第五操作参数，所述第五操所述按下操作一段时间后使用所述第一终端的输入设备执行所述抬起操作后所述第一终所述第二终端根据所述第四操作参数模拟所述按下事件，根据所述所述第二终端接收来自所述第一终端的通知消息，响应于所所述第一终端确定所述第二光标滑出所述第一终端的显所述第一终端向所述第二终端发送第一穿梭状态信息，所述第一穿所述第一终端向所述第二终端发送用户使用所述第一终端的输入设备输入的移动第所述第一终端向所述第二终端发送所述按下事件包括的第所述第一终端向所述第二终端发送所述移动事件包括的第5其中，所述第一操作参数和所述第二操作参数分别用于所所述第一终端接收来自所述第二终端的拖拽数据，所述拖拽数所述第一终端根据所述拖拽数据、所述按下事件和所述移动事件，18.根据权利要求17所述的方法，其特征在于，所述第一操作参数包括鼠标按键标志所述第二操作参数包括鼠标按键标志位、坐标信息、滚轮信息和键位信所述第一终端接收用户使用所述第一终端的输入设备输入的所述第一终端向所述第二终端发送指示消息，所述指示消息用于指终端向所述第二终端发送所述按下事件包括的所述第一操作参数和所述移动事件包括的所述第一终端向所述第二终端发送用户使用所述第一终端的输入设备输入的长按操作的数据，所述长按操作是所述第一光标显示在所述第二终端的状态栏上时用户输入的，6所述第一终端根据所述拖拽数据、所述按下事件和所述移动事件，显示屏上显示所述对象的阴影随所述第二光所述第一终端向所述第二终端发送所述移动事件包括的第三操作所述第一终端接收来自所述第二终端的第二穿梭状态信息，所述第二穿梭状所述第一终端根据所述拖拽数据、所述按下事件和所述移动事件，所述第一终端根据所述移动事件，所述按下事件和所述拖拽数据，所述第一终端显示隐形窗口，所述隐形窗口的透明度大于阈值，所30.根据权利要求22所述的方法，其特征在于，所述长按操作包括按下操作和抬起操所述第一终端向所述第二终端发送用户使用所述第一终端的输入设备输入的长按操在用户使用所述第一终端的输入设备执行所述按下操作后，所述在用户执行所述按下操作一段时间后使用所述第一终端的输入设备执行所述抬起操7其中，所述第四操作参数和所述第五操作参数分别用于所述第其中，所述处理器被配置为执行所述指令时实现如权利要求1-15中任一项所述的方所述第一终端，用于接收用户使用所述第一终端的输入设备输入的移动835.根据权利要求33所述的系统，其特征在于，所述第一操作参数包括鼠标按键标志所述第二操作参数包括鼠标按键标志位、坐标信息、滚轮信息和键位信在所述第二终端的显示屏上显示所述对象的阴影随所述第接收来自所述第一终端的第三操作参数，所述第三操作参数是用根据所述第三操作参数模拟所述移动事件，所述移动事件用于指示移动所述第一光9用户可以使用一个终端的输入设备，完成其他终端上的对象从该其他终端到该终端的拖法还可以包括：第二终端接收用户使用第一终端的输入设备输入的移动第一光标的操作；响应于移动第一光标的操作，第二终端在第二终端的显示屏上显示第一光标移动的动画，操作参数是用户使用第一终端的输入设备执行移动操作后第一终端接收到的移动事件包数是用户使用第一终端的输入设备执行移动操作后第一终端接收到的移动事件包含的操使用第一终端的输入设备实现对第一终端的用户可以使用一个终端的输入设备，完成其他终端上的对象从该其他终端到该终端的拖第一终端可在第一终端的显示屏上显示被拖拽对象对[0030]在另一种可能的实现方式中，第一终端在第一终端的显终端的显示屏的边缘。用户通过将第一终端显示屏上的光标滑出第一终端显示屏的边缘，户使用第一终端的输入设备执行按下操作后第一终端接收到的按下事件包含的操作参数；端的输入设备输入的拖拽操作的数据，拖拽操作用于发起针对第二终端显示的对象的拖计算机程序指令被处理器执行时实现如为执行指令时实现如第一方面或第一方面的可能计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在终端中运行者执行第二方面或第二方面的可能的实现方式中任[0123]请参考图1，为本申请实施例提供的一种可以应用上述方法的系统架构的简化示[0125]在本实施例中，第一终端101和第二终端102可通过有线或无线的方式建立连101和第二终端102采用无线方式建立连接时采用的无线通信协议可以为无线保真显示屏102-1到第一终端101的显示屏101现该应用的界面从第二终端102的显示屏102-1到第一终端101的显示屏101机)，车载电脑，游戏机，以及增强现实(augmentedreality，AR)\虚拟现实(virtual(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing[0139]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purpose[0140]充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电[0141]手机的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块[0143]移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器[0145]无线通信模块160可以提供应用在手机上的包括无线局域网(wirelesslocal[0146]在一些实施例中，手机的天线1和移动通信模块150耦合，天线2和无线通信模块无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，navigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigation晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode，AMOLED)，柔性发光二极管(flexlight-emitting[0151]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0152]手机可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口[0154]陀螺仪传感器180B可以用于确定手机的运动姿态。气压传感器180C用于测量气[0159]其中，如图2B所示，第一终端101的软件架构可以包括：应用层和windows系统的输入设备101-1，实现第二终端102显示的应用的图标或应用的界面从第二终端102到第二终端202。还可将第二终端202的文件或文本等内容，通过拖拽的方式传递到第一终端拽的方式，实现应用中的文件或文本等内容在第一终端201和第二终端202之间的双向拖一终端101和第二终端102之间的通信可以通过传输管理模块来实现。在其他一些实施例[0165]图3为本申请实施例提供的一种跨设备的对象拖拽方法的流程示意图。在本实施例中，对用户利用PC共享的鼠标，将手机显示的应用的图标(应用的图标即为被拖拽的对各终端需具有传输能力。连接信息可以是终端的设备标识，如互联网协议(internet机与PC建立连接采用的无线通信协议可以是如Wi-Fi协议或蓝牙协议或NFC协议等近场通中选择该手机的标识的操作后，PC根据手机的IP地址，可采用Wi-Fi协议与该手机建立连统是Android系统为例。手机可利用linux的uiuinput是一个内核层模块，可以模拟输入设备。通过写入/dev/uinput(或/dev/input/的终端的操作系统是IOS系统或windows系统等其他操作系统，则可使用HID协议来实现虚转由与PC建立了连接的创建了虚拟输入设备的其他终端，如手机对鼠标的操作进行响应。块接收后不会传输到PC的windows系统。挂载的HOOK在鼠标穿梭开始后还可用于捕获拦截过挂载HOOK来实现输入事件的拦截和其中操作参数的捕获为始位置具体可以是指在以PC显示屏的左上角为坐标原点，X轴从左上角指向PC显示屏右边件包含的操作参数，如鼠标操作参数传输给与PC连接的创建了虚拟输入设备的其他终端，表选项中包括与PC连接的设备中创建了虚拟输入设备的设备的标识(如包括上述手机的标依据显示上述列表选项。模块，通过建立的连接向手机发送用于指示鼠标开始穿梭的穿梭状态信息(该穿梭状态信并在手机的显示屏上显示该鼠标指针(其中，手机显示屏上显示的鼠标指针可以为本申请管理模块及launcher，这样手机的拖拽管理模块可创建一个鼠标指针，并交由手机的手机显示屏上显示的用户想要拖拽的应用的可下载应用可以是预先安装在手机中的应用或可以是由用户下载并安装在手机中的第三方应用。传输管理模块可将该鼠标操作参数1传输给手机的拖拽管理模块。由于PC与手机的操作系模块可根据预设映射关系，将接收到的鼠标操作参数1的键位码转换成手机能够识别的键手机的显示屏501上对应显示鼠标指针502移动的动画，如鼠标指针502的移动轨迹如轨迹使用PC的鼠标拖拽手机上应用的图标的过程可以包括以下S306-S3按下事件不会被发送给PC的windows系统，从而使得PC不会对接收到的鼠标移动事件做响将接收到的鼠标操作参数2的键位码转换成手机能够识别的键位码后，可利用创建的虚拟输入设备根据转换键位码后的鼠标操作参数2模拟出手机能够识别的按下事件，如鼠标按接收到来自PC的用于指示鼠标开始穿梭的穿梭状态信息)后，手机可注册鼠标指针坐标位交由手机的launcher在手机的显示屏的动画，如计算器的图标602跟随鼠标指针603移动的轨迹如轨迹604所示。在一些实施例用的图标和应用的名称一同被拖拽(如图6中所示)。在应用的图标和应用的名称一同被拖的边缘可以为该应用的图标的部分区域被拖出(或者说溢出)手机显示屏(即应用图标溢出显示屏区域的比例大于预设阈值)，也可以为该应用的图标的全部区域被拖出(或者说溢出手机显示屏的边缘具体为判断鼠标指针是否滑出手机显示屏的边缘为例进[0217]在应用的图标随鼠标指针在手机的显示屏上移动的过程中，手机(如手机的传输初始位置具体可以是指在以手机显示屏的左上角为坐标原点，X轴从左上角指向手机显示[0218]当手机的传输管理模块根据监测到的鼠标指针在手机显机显示屏的边缘按轨迹(如图6中所示的轨迹604，方向与轨迹604的方向相反)返回到原位[0223]在PC的传输管理模块接收到来自手机的用于指示鼠标穿梭结束的穿梭状态信息标401的移动，PC在PC的显示屏701上显示计算器的图标702跟随鼠标指针703移动的动画，上的显示位置相同(如，S307中获得的应用的图标在手机显示屏上的显示位置是手机显示的键鼠模块会将接收到的抬起事件，如鼠标抬起事件发送给PC的windows系统以便进行响应用的界面通过与PC建立的连接发送给PC，以便PC可在PC的显示屏上显示该应用的界面。接收到上述消息后，可将获得的应用的界面的所有图层整合成视频流(或者说称为录屏数应用的界面在PC显示屏上的显示。如，手机接收到上述消息后，可创建一个虚拟显示[0231]图9为本申请实施例提供的另一种跨设备的对象拖拽方法的流程示意图。在本实[0240]以用户触发鼠标指针从PC显示屏穿梭到手机显示屏的目的是想要将手机显示屏示示例中的计算器的界面1001)从手机拖拽到PC，且以触发应用界面窗口化的操作是对状PC的传输管理模块，将拦截到的鼠标按下事件和鼠标抬起事件的操作参数(如称为鼠标操作参数2和鼠标操作参数3)捕获后通过建立的连接到的鼠标操作参数3的键位码转换成手机能够识别的键位码后，可利用创建的虚拟输入设机的systemUI向手机的launcher发送状态栏事件。手机的launcher接收到该状态栏事件[0247]手机(如手机的launcher)还可获取窗口信息(该窗口信息为本申请中的对象的信到的鼠标操作参数5的键位码转换成手机能够识别的键位码后，可利用创建的虚拟输入设口1202跟随鼠标指针1203移动的轨迹如轨迹120的窗口是否被拖出手机显示屏的边缘具体为判断鼠标指针是否滑出手机显示屏的边缘为在PC的显示屏上显示该应用的界面截图跟随将手机显示屏上显示的应用的界面(如计算器的界面)从手机的显示屏拖拽到PC的显示屏[0264]需要说明的是，本实施例各步骤中对其他内容具体描述与图3所示实施例中对应实施例以用户利用PC的鼠标将PC中的内容(该内容即为被拖拽的对象)通过拖拽的方式传操作进行响应的过程可以包括以下S1502为文件或文件夹时，拖拽事件内容可以包括文件路径(如，统一资源标识符(uniformresourceidentifier，uri)。本申请中的拖拽数据可以包括该拖拽事件内容和阴影的位时，用户可输入拖拽操作，以便PC可根据该拖拽操作实现对相应对象，也就是该内容(如可以是鼠标移动操作。用户可按下并移动鼠标(即使用PC的鼠标输入鼠标按下操作和鼠标[0285]在内容(如内容的阴影)跟随鼠标指针移动的过程中，PC可判断被拖拽的内容(如内容的阴影)是否被拖出PC显示屏的边缘。在内容(如内容的阴影)被拖出PC显示屏的边缘容的阴影)的部分区域被拖出(或者说溢出)PC显示屏(即窗口溢出显示屏区域的比例大于显示屏的边缘具体为判断鼠标指针是否滑出PC显示屏的边缘为例始位置具体可以是指在以PC显示屏的左上角为坐标原点，X轴从左上角指向PC显示屏右边表选项，该列表选项中包括与PC连接的设备中创建了虚拟输入设备的设备的标识(如包括标按下操作)和移动操作(如鼠标移动操作))，PC的键鼠模块可对应接收到按下事件(如鼠并绘制内容，如内容的阴影随鼠标指针移动的动画(或者说拖拽动画)在PC的显示屏上显[0295]在PC的键鼠模块确定鼠标穿梭开始后，PC的键鼠模块可通电脑上显示的该鼠标指针可以为本申请中的第一光标)。PC的键鼠模块也可将PC显示屏上[0297]另在鼠标穿梭开始后，PC(如PC的拖拽管理模块)可识别PC当前的拖拽状态(即是发送给平板电脑的拖拽事件内容可以是进行序列化处理后IDataObject。PC的窗口管理模块可将其附加(attach)到COleDataObject。之后，通过因此，平板电脑可开启一个透明的活动(activity)，或者称为隐形activity。该隐形件路径。根据获得的文本或文件路径，PC的拖拽管理模块可构造出拖拽事件的内容数据PC的文本(text)或文件路径(uri)等构造出内容数据(clipData)(其中文本或文件路径包释放、离开、结束等)，当前x坐标，当前y坐标，本地状态(localstate)，内容描述(clipdescription)等)等作为输入参数，以发起(dispatch)平板电脑端的拖拽事件事件包含的操作参数，如鼠标操作参数捕获处理后通过PC的传输管理模块发送给平板电创建的虚拟输入设备根据转换键位码后的鼠标操作参数可模拟出平板电脑能够识别的输电脑的键鼠模块还可将鼠标移动事件发送给平板电脑的(onDragStart)。此时平板电脑可根据平板电脑发起的拖拽事件中的标签确定拖拽事件是否由平板电脑的拖拽管理模块发起。当确定拖拽事件由平板电脑的拖拽管理模块发起(如理模块控制平板电脑的键鼠模块利用创建的虚拟输入设备向平板电脑的框架层发送鼠标[0311]平板电脑(如平板电脑的框架层)可根据移动事件，如鼠平板电脑的显示屏上显示内容，如内容的阴影随鼠标指针(该鼠标指针可以为本申请中的示图片的阴影1903随鼠标指针1904移动的拖拽轨迹如轨迹[0312]在用户将内容通过拖拽的方式从PC拖拽到平板电脑，并在平板电脑中继续拖拽[0318]在本申请实施例中，用户可能不仅有将PC的内容通过拖拽的方式传递到平板电[0319]请参考图20，为本申请实施例提供的另一种跨设备的对象拖拽方法的流程示意对接收到的操作参数进行键位码转化后，利用创建的虚拟输入设备可模拟出对应输入事[0325]在平板电脑模拟出按下事件(如鼠标按下事件)和移动事件标2101的移动，平板电脑在平板电脑的显示屏2103上对应显示编辑后的图片2102的阴影理模块发起的(即拖拽是由PC穿梭到平板电脑的，如图15所示实施例中的描述)，另一种是由平板电脑的应用发起的。且结合图15所示实施例中对图18所示数据结构的描述可知，在是由平板电脑的应用发起，或者说不是由平板电脑的拖拽管理模块发起的时，才需要获取事件被发起后，平板电脑可根据拖拽事件的内容描述中的标签(label)来区分拖拽事件是否由平板电脑的应用发起，还是由平板电脑的拖拽管理模块发起。如当label不为的应用发起。当拖拽事件不是由平板电脑的拖拽管理模块发起的，框架层才需获取拖拽事件内容，并将获取到的拖拽事件内容发送给平板电脑的拖拽管理模块，以便其缓存该拖拽事件内容。[0331]另外，在本实施例中，框架层还可通过新增接口或利用原有接口(如利用回调电脑可根据鼠标指针的初始位置和相对位移确定鼠标指针在平板电脑显示屏上的坐标位作进行响应，对于穿梭关系的配置和应用的具体描述上述实施例中对应内容的描述类似，中发起的拖拽事件能被附加在PC显示屏显示的鼠标指针上，即在PC端实现拖拽事件的接的拖拽管理模块可通过PC的传输管理模块，向平板电脑请求拖拽事件内容和阴影的位图。标指针2204移动的拖拽轨迹如轨迹220作参数是用户使用第一终端的输入设备执行移动操作后第一终端接收到的移动事件包含参数是用户使用第一终端的输入设备执行移动操作后第一终端接收到的移动事件包含的设备执行抬起操作后第一终端接收到的抬起事件包[0404]进一步的，拖拽操作包括按下操作和移动操作；该装置还可以包括：拦截单元[0409]其中，第一操作参数和第二操作参数分别用于第二终端模拟按下事件和移动事[0424]其中，第四操作参数和第五操作参数分别用于第二终端模拟按下事件和抬起事[0426]本申请实施例还提供一种终端(该终端可以为上述实施例中的第一终端或第二终[0428]本申请实施例还提供一种计算机可读存储介质，用于存储上述终端(如PC或手机[0429]本申请实施例还提供一种计算机程序产品，包括上述终端(如PC或手机