CN113672184B 屏幕扩展方法、装置、终端设备及计算机可读存储介质 （华为技术有限公司）

第一终端设备将屏幕显示数据拆分成第一屏幕二屏幕显示数据为经过渲染与合成的数据，因2所述第一终端设备获取各个应用程序的图形数据，根据所述目标显所述第一终端设备将所述屏幕显示数据拆分成第一屏幕显示数据和第二屏幕显示数所述第一终端设备将所述第一屏幕显示数据显示在所述第一终端设备若所述候选终端设备的显示屏与所述第一终端设备的显示屏的距离小于预设距离阈所述第一终端设备获取所述第一终端设备对应的第一显示分辨率以及所述第二终端3所述第一终端设备获取所述第一终端设备的显示屏数量和所述第二终端设备的显示所述第一终端设备将所述第一屏幕显示数据显示在所述第一终端设备获取各个应用程序的图形数据，根据所述目标显示分辨数据拆分模块，用于将所述屏幕显示数据拆分成第一屏幕显屏幕扩展模块，用于将所述第一屏幕显示数据显示在第一终端设备事件监测模块，用于当监测到满足预设触发条件的屏幕事件时，将移动候选子模块，用于当监测到屏幕移动事件时，将所述屏距离判定子模块，用于若所述候选终端设备的显示屏与所碰撞判定子模块，用于当监测到屏幕触碰事件时，将所述屏幕触碰近场通信模块，用于当第一终端设备检测到NFC信号，且所述NFC信指令判定模块，用于当获取到屏幕扩展指令时，将所4所述第一显示分辨率和所述第二显示分辨率中的最大值确定为目标所述第二屏幕显示数据显示在所述第二终端设备的5[0007]所述第一终端设备将所述屏幕显示数据拆分成第一屏幕显示数据和第二屏幕显[0008]所述第一终端设备将所述第一屏幕显示数据显示在所述第一终端设备的显示屏6[0018]若所述候选终端设备的显示屏与所述第一终端设备的显示屏的距离小于预设距可以将产生该NFC信号的终端设备确定为第二终端设备，并将该第二终端设备的显示屏确7[0036]所述第一终端设备根据目标显示分辨率对所述各个应用程序的图形数据进行渲[0038]在第一方面的一种可能的实现方式中，所述第一终端设[0039]所述第一终端设备获取所述第一终端设备对应的第一显示分辨率以及所述第二[0041]然后，第一终端设备使用目标显示分辨率对各个应用程[0043]所述第一终端设备获取所述第一终端设备的显示屏数量和所述第二终端设备的据显示在所述第一终端设备的显示屏上，并将所述第二屏幕显示数据发送至第二终端设8[0046]所述第一终端设备将所述第一屏幕显示数据显示在所述第一终端设备的显示屏终端设备无需对第二屏幕显示数据进行渲染，可以直接对第二屏幕显示数据执行上屏操9显示分辨率和所述第二显示分辨率中的最大值确定为所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序话、会话启动协议(SessionInitiationProtocol，SIP)电话、无线本地环路(Wireless下一代通信系统，例如，5G网络中的移动终端或者未来演进的公共陆地移动网络(Public管理服务(ActivityManagerService，AMS)以及窗口管理服务(WindowManagerService，[0098]多窗口技术是建立在栈(Stack)的数据结构上的，一个栈中包含了多个任务[0100]通过设置不同的多窗口模式下的栈ID和栈边界可以实现个栈上，例如近期任务等；(2)栈ID＝1，这个栈是全屏栈(FullScreenStack)，普通的对第二屏幕显示数据执行上屏操作，无需对第二屏幕显示数据重新进行渲染和合成的操[0114]第一终端设备与第二终端设备可以通过有线通信和/或无线通信的方式进行数据等有线的通信方式和/或无线的通信方式进行通信连接。第二终端设备的数量为一个或一的触发条件时，第一终端设备可以检测是否存在其他终端设备与第一终端设备通信连接。存在至少一个终端设备。第一终端设备对局域网内的各个终端设备的屏幕事件进行监测，201设置为主显示屏。当用户想要将显示屏1的内容扩展显示至终端设备2的显示屏202时，用户可以将显示屏202从位置A移动至显示屏1附近(即位置B)。当终端设备1监测到终端设触碰事件对应的终端设备作为第二终端设备，将该第二终端设备的显示屏作为第二显示通过局域网监测到终端设备4的运动传感器的传感器数据，当终端设备3通过终端设备4的运动传感器的传感器数据检测到终端设备4的显示屏302发生触碰事件，则终端设备3将终第一终端设备将该NFC信号对应的终端设备作为第二终端设备，将该第二终端设备的显示[0132]可以理解的是，显示屏显示的屏幕画面通常由多个应用程序对应的窗口组合而[0136]如果将显示屏401的显示分辨率和显示屏402的显示分辨率统一虚拟为目标显示据需要从分辨率较低的目标显示分辨率适配至分辨率较高的第一显示分辨率或第二显示显示分辨率适配至1280×720的第二显示分辨率，屏幕显示数据从较高的显示分辨率适配降采样的方式将屏幕显示数据的分辨率由高分[0145]上述图形数据渲染的过程可以由中央处理器(CPU，centralprocessingunit)终端设备将各个应用程序对应的窗口数据合成至数组9中，则第一终端设备在拆分屏幕显示数据时，可以将屏幕显示数据进行三等分拆备需要了解第一屏幕显示数据包括哪些应用程序的窗口以及第二屏幕显示数据包括哪些所述第二屏幕显示数据显示在所述第二终端设备的第二[0153]第一终端设备将屏幕显示数据拆分成第一屏幕显示数据和第二屏幕显示数据之[0154]并且，第一终端设备还可以将第二屏幕显示数据发送至对应的第二终端设备[0160]WMS模块702负责为应用程序分配窗口(surface)以及管理surface的属性(例如[0163]Multi_DisplayPolicyService模块705负责根据预设的扩展屏触发条件决策是[0165]在Native层设置有图形合成器(SurfaceFlinger)模块707、硬件图形制作器[0166]SurfaceFlinger模块707负责将各个应用程序渲染后的窗口数据合成为屏幕显示[0170]在Kernel层设置有数字版权管[0173]在Hardware层设置有显示屏(Screen)713和局域网服务(LocalAreaNetwork，[0176]用户可以将终端设备601指定为第一终端设备，将终端设备601的显示屏713设置为第一显示屏，将终端设备601开启扩展屏模式的触发条件设置为局域网内某一终端设备[0177]此时，终端设备601通过LAN模块714接收局域网内其他终端设备发送的传感器数[0180]终端设备601的LAN模块714将接收到的传感器数据传入SensorDriver模块712，SensorDriver模块712将传感器数据通过InputManager模块706传入Multi_Display[0181]Multi_DisplayPolicyService模块705根据传感器数据检测到终端设备602发[0183]在安卓操作系统的图形管道渲染框架中，GPU等具备图形渲染功能的图形渲染组[0185]SurfaceFlinger模块707从数据缓冲队列中取出各个应用程序的渲染后的窗口数[0187]当生产者需要缓存数据时，生产者可以通过出列(dequeue)指令来创建buffer状态；当bufferqueue创建或唤醒成功后，bufferqueue将buffer传递至生产者，此时[0194]在SurfaceFlinger模块707中，各个应用程序的窗口数据以层(layer)的形式存[0195]之后，SurfaceFlinger模块707将屏幕显示数据以buffer的形式传递至编号依次为000至007，则OnFrameAvailable模块708对buffer中数组进行两等分分割，将数据进行分辨率适配，将分辨率适配后的第一屏幕显示数据显示在终端601的显示屏713卓操作系统中的各个模块的功能与终端设备601的安卓操作系统中对应的模块的功能相[0200]终端设备602通过LAN模块901接收到终端设备601发送的将第二屏幕显示数据存入终端设备602的bufferqueue的buffer中，由bufferqueue负责端设备602的bufferqueue的生产者一消费者模型中，生产者为LAN模块901，消费者为[0202]生产者通过dequeue指令创建bufferqueue或唤醒处于dequeue状态下的bufferqueue。成功创建或唤醒bufferqueue之后，bufferqueue传递buffer至生产者，此时扩展屏显示的屏幕画面与主屏显示的屏幕画面之间的时延，解决了当前的扩展屏方案中，的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限述第二屏幕显示数据显示在所述第二终端设备的运行的计算机程序122。所述处理器120执行所述计算机程序122时实现上述屏幕扩展方法述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field_分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器[0239]所述存储器121可以是所述终端设备12的内部存储单元，例如终端设备12的硬盘部存储单元也包括外部存储设备。所述存储器121用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器121还可以用于暂时地存储已经输出或者将要输[0246]