CN119487515A 用于管理屏幕视图的隐私的方法和电子装置 （三星电子株式会社）

2024.12.09PCT/KR2023/0047492023.04.07WO2024/005320EN2024.01.04用于管理屏幕视图的隐私的方法和电子装置提供了一种用于管理电子装置上的屏幕视到来的事件以及在至少一个即将到来的事件执确定与即将到来的事件相关的所显示的内容的行期间基于一个或多个隐私参数修改所述电子执行即将到来的事件不是必需的一些或更多个2由所述电子装置确定与所述至少一个即将到来的事件相关的所显示的内容的一个或由所述电子装置在所述至少一个即将到来的事件执行期间基于一个或多个隐私参数参数修改包括在所述内容中的一个或多个私有对象的数量和位置由所述电子装置将所述多个事件参数应用于预训练的装置上机器学习(ML)模型以实由所述电子装置基于所述电子装置的屏幕视图上的所显示的内容确定安全视图是否由所述电子装置通过分割方法提取所述电子装置的屏幕视图的至少一个感兴趣区域3由所述电子装置使用预训练的装置上深度学习分类器，确定每个UI组件的敏感度指由所述电子装置使用预训练的装置上深度学习分类器确定每个UI组件的事件相关性件执行期间基于一个或多个隐私参数修改所述电子装置的由所述电子装置基于一个或多个隐私参数将所述至少一个UI组件列入入围名单，其中，列入入围名单的所述至少一个UI组件对于执行所述至少一个即将到来的事件是必需改的屏幕视图包括列入入围名单的所述至少在所述显示器上在所述电子装置的屏幕视图上显示内容，其中确定与所述至少一个即将到来的事件相关的且在所述至少一个即将到来的事件执行期间基于一个或多个隐私参数修改所述电子装所述电子装置的第二屏幕和连接的电子装置的屏幕中的至4[0003]图1A和图1B示出根据相关技术的在共享电子装置时保持个人信息安全以免被与息，诸如用户驾驶执照号码(DL号码)、驾驶执照号码有效性、用户姓名、用户出生日期息安全以免被与其他用户共享。模糊和/或遮盖个人信息并修改应用内容是相关技术的方5[0011]本公开的各方面在于至少解决上述问题和/或缺点并至少提供下文所述的优点。改的屏幕视图将对于执行至少一个即将到来的事件不是必需的/不是非敏感用户界面(UI)组件的一个或多个私有对象排除。非敏感UI组件对于执行即将到来的事件是必需(最低要要增强与电子装置相关联的硬件组件或框架的情况下保护 电子装置的各种可用特征来执行即将到来的事件。其结果是，当电子装置实时共享所显示的即将到来的事件和在即将到来的事件执行期间共享所显示的内容的相关联的用户意图；述电子装置在即将到来的事件执行期间基于一个或多个隐私参数修改所述电子装置的屏6件不是必需的一个或多个私有对象排除；响应于确定所述安全视图与即将到来的事件兼割处理来提取所述电子装置的屏幕视图的RoI，其中，所述RoI包括用户界面(UI)组件(例电子装置的修改的屏幕视图包括列入入围名单的所述7处理器基于一个或多个隐私参数修改所述内容中包括的一个或多个私有对象的数量和位[0027]通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、[0029]图1A和图1B示出根据相关技术的在共享电子装置时保持个人信息安全以免被与[0031]图2B示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的用户界[0032]图2C示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的智能分[0033]图2D示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的安全视[0035]图4是示出根据本公开的实施例的用于确定电子装置的即将到来的事件和共享所[0036]图5是示出根据本公开的实施例的用于使用预训练的装置上深度学习分类器来确[0037]图6是示出根据本公开的实施例的用于使用预训练的装置上深度学习分类器确定每个UI组件的事件相关性分数以获得执行即将到来的事件的UI组件的最小集合的方法的[0038]图7是示出根据本公开的实施例的用于确定执行即将到来的事件的UI组件的最小[0039]图8是示出根据本公开的实施例的用于智能地修改电子装置的屏幕视图以管理屏[0040]图9示出根据本公开的实施例的用于在执行支付事件时管理屏幕视图的隐私的方[0041]图10示出根据本公开的实施例的用于在执行酒店预订事件时管理屏幕视图的隐[0042]图11示出根据本公开的实施例的用于在执行出租车预订事件时管理屏幕视图的[0043]图12示出根据本公开的实施例的用于管理多显示器电子装置的屏幕视图的隐私8[0045]提供参照附图的以下描述以帮助全面理解由权利要求及其等同物定义的本公开例。在本文中可被称为单元或模块等的这些块通过模拟或数字电路(诸如逻辑门、集成电[0051]因此，本文的实施例公开了一种用于管理电子装置上的屏幕视图的隐私的方括由电子装置在即将到来的事件执行期间基于一个或多个隐私参数修改电子装置的屏幕9户的即将到来的事件以及在即将到来的事件执行期间共享所显示的内容的相关联的用户数、事件相关性分数等)智能地修改电子装置的屏幕视图来管理电子装置上的屏幕视图的隐私。修改的屏幕视图将对于执行即将到来的事件不是必需的/不是非敏感UI组件的一个或多个私有对象排除。非敏感UI组件对于执行即将到来的事件是必需的(最小所需UI组电子装置相关联的硬件组件或框架的情况下保护视(TV)、智能手表等)上的一个或多个屏幕视图能够在即将到来的事件执行期间显示修改存储包括将由处理器(120)执行的指令的一个或多个程序。所述一个或多个程序包括用于处理器基于一个或多个隐私参数修改所述内容中包括的一个或多个私有对象的数量和位(RAM)或高速缓冲存储器中)。存储器(110)可以是内部存储单元，或者它可以是电子装置[0062]通信器(130)被配置用于经由一个或多个网络(例如，无线电技术)在内部硬件组[0066]更具体地，隐私控制器160可基于一个或多个隐私参数改变内容中包括的一个或制器160可基于隐私参数改变内容中包括的一个[0068]UI事件检测器(161)确定电子装置(100)的用户的即将到来的事件以及在即将到来的事件执行期间共享所显示的内容的相关联的用户意图。即将到来的事件包括但不限用相关联的信息。UI事件检测器(161)将多个事件参数应用于预训练的装置上机器学习[0070]智能分数生成器(162)确定与即将到来的事件相关的所显示的内容的一个或多个(162)使用预训练的装置上深度学习分类器来确定每个UI组件的敏感度指[0071]安全视图生成器(163)在即将到来的事件执行期间，基于一个或多个隐私参数修改电子装置(100)的屏幕视图。修改的屏幕视图将对于执行即将到来的事件不是必需的一个或多个私有对象排除。电子装置(100)的屏幕视图显示在电子装置(100)的第一屏幕中未示出)上和/或连接的电子装置(图2A中未示出)的屏幕上。安全视图生成器(163)基于[0072]图2A中的多个模块/组件中的至少一个可通过AI引擎(164)实现。与AI引擎(164)存储在非易失性存储器和易失性存储器中的预定义的操作规则或AI引擎(164)来控制输入[0074]AI引擎(164)可包括多个神经网络层。每个层具有多个权重值并且通过前一层的计算和多个权重的运算来执行层运算。神经网络的示例包括但不限于，卷积神经网络[0077]虽然图2A示出了电子装置(100)的各种硬件组件，但应理解，其他实施例不限于执行相同的或实质上类似的功能来管理屏幕视图的[0078]图2B示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的UI事件[0081]屏幕抓取引擎(161b)抓取所显示的内容以提取RoI，并基于应用内容定位将所提对象的可能性。置信度分数由以下等式确定，置信度分数＝Pr(包含对象)*IoU(pred,[0082]其中Pr指示概率且IoU指示并集交集，其是用于测量对象检测器对特定数据集的[0083]屏幕分割引擎(161c)通过使用预训练的深度学习模型(例如，预训练的装置上深上下文信息、时间戳信息、位置信息以及与电子装置(100)的当前运行的应用相关联的信[0085]图2C示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的智能分[0087]敏感度和隐私检测器(162a)将一组规则/试探法与预训练的装置上深度学习分类入检测器(161a)触发时，敏感度和隐私检测器(162a)从所有预训练的分类器参数中提取[0088]事件相关性预测器(162b)使用包括试探法策略集和智能预测模型的混合式架构[0089]后向消除器(162c)接收标记的UI组件集合、以及敏感度以获得列入入围名单的UI组件。列入入围名单的UI组件是事件定制的且隐私保护的UI组[0090]图2D示出根据本公开的实施例的用于管理屏幕视图的隐私的电子装置的安全视[0091]参照图2D，安全视图生成器(163)包括事件预期UI提取器(163a)和布局修改器[0092]事件预期UI提取器(163a)通过选择性地仅保留执行用户感兴趣的事件所需要的预期UI提取器(163a)随后使用上下文语义搜索(CSS)来确定即将到来的事件的性质、意图和实现状态，使用由隐私保护原理引导的UI组件的所有可能子集。事件预期UI提取器取器(163a)提取所有UI组件并发现仅需要快速响应(QR)码来完成[0094]布局修改器(163b)基于以下一个或多个因素智能地修改电子装置(100)的屏幕视容时如何持握电子装置(100))以及用户反馈(例如，手动修改屏幕视图)。布局修改器电子装置(100)的修改的屏幕视图包括列入入围名单的UI组件，其对于执行即将到来的事[0095]图3是示出根据本公开的实施例的用于管理屏幕视图的隐私的方法的流程图法包括在即将到来的事件执行期间基于一个或多个隐私参数修改电子装置(100)的屏幕视[0098]图4是示出根据本公开的实施例的用于确定电子装置的即将到来的事件和共享所方法包括使用预训练的装置上深度学习分类器(多类别分类器模型)将所归一化的输入进折叠的、翻转的)上以UI组件的安全视图兼容显示来共享第一屏幕(140a)的所显示的内容[0101]图5是示出根据本公开的实施例的用于使用预训练的装置上深度学习分类器来确习分类器以基于多样化数据集来确定UI组件的敏感度/隐私并且所述多样化数据集包括：将提取/变换的标记的UI组件的集合提供给预训练的装置上深度学习分类器。在操作504，[0104]图6是示出根据本公开的实施例的用于使用预训练的装置上深度学习分类器确定每个UI组件的事件相关性分数以获得执行即将到来的事件的UI组件的最小集合的方法的[0106]在操作601，该方法包括检索标记的UI组件的集合并加载预训练的装置上深度学策特征值的向量，并将提取/变换的标记的UI组件的集合提供给预训练的装置上深度学习[0107]图7是示出根据本公开的实施例的用于确定执行即将到来的事件的UI组件的最小[0110]图8是示出根据本公开的实施例的用于智能地修改电子装置的屏幕视图以管理屏[0114]图9示出根据本公开的实施例的用于在执行支付事件时管理屏幕视图的隐私的方加油。在加油之后，汽油泵雇员请求QR码(901)以便向用户发送支付请求。为了进行支付否高是高是中是中是高否低否低[0120]隐私控制器(160)确定QR码、UPIId和手机号码是对于执行即将到来的事件[0121]图10示出根据本公开的实施例的用于在执行酒店预订事件时管理屏幕视图的隐店以预订房间(1001)。酒店雇员要求用户出示在验证/登记/预订过程期间的一些ID(1002)。用户在他的或她的电子装置(100)上启动图库应用(1003)以完成验证/登记/预订在电子装置(100)的屏幕视图上时，隐私控制器(160)接收共享所显示的内容的用户意图/否低否低是高是中否低否高是中否高[0127]隐私控制器(160)确定姓名、会员身份ID和有效性是对于执行即将到来的事件必控制器(160)智能地修改电子装置(100)的屏幕视图(904)，使会员身份ID和有效性变红并[0128]图11示出根据本公开的实施例在执行出租车预定事件时管理屏幕视图的隐私的朋友(第二用户)预订出租车(1101和1102)。用户启否低是低否高否高是低[0134]隐私控制器(160)确定图像、上车位置和到哪儿对于执行即将到来的事件是必需的UI组件，但只有上车位置和到哪儿是安全的。隐私控制器(160)智能地修改电子装置[0135]图12示出根据本公开的实施例的用于管理多显示器电子装置的屏幕视图的隐私[0136]参照图12，考虑示例场景(1201)，其中，在示例场景(1201)中，已经要求用户(1203b)共享他的许可证信息以便验证他的许可证到