CN119497856A 用于利用独立服务器来促进数据的安全交换的方法和系统 （谷歌有限责任公司）

2025.01.15PCT/US2022/0800592022.11.17WO2024/019767EN2024.01.25用于利用独立服务器来促进数据的安全交本文所述的实现方式利用独立服务器来促器经由至少部分地在客户端装置处执行的自动化助理应用接收将被传输到给定第三方应用的器模型来处理客户端数据以生成不透明客户端器使用第二编码器解码器模型来处理响应数据2在用户的客户端装置处经由至少部分地在所述客户端装置处执行的自动化助理应用获得将被传输到给定第三方应用的所述用户的客从所述客户端装置将所述客户端装置数据传输到独其中将所述客户端装置数据传输到所述独立服务器使用特定于所述自动化助理应用的先前训练的自动化助理应将所述不透明客户端装置数据传输到所述给定第三方应用，而据中的任何客户端装置数据传输到所述给定其中将所述不透明客户端装置数据传输到所述给定第三方应用致使所述给定第三方其中将所述响应数据传输到所述独立服务器使用特定于所述给定第三方应用的先前训练的给定第三方应将所述不透明第三方响应数据传输到所述客户端装置，而不将所述第在所述客户端装置处从所述独立服务器接收所述不透明致使所述不透明第三方响应数据被用于生成将被提供来呈现给所述客户端装置的所致使所述内容被提供来呈现给所述客户端装置的所经由所述客户端装置从所述用户接收包括请求的用户输入，所基于处理包括所述请求的所述用户输入来生成请求数据，所述请经由至少部分地在所述客户端装置处执行的自动化助理应用识别对将被提供来呈现基于对将被提供来呈现给所述用户的所述建议的所述需求数据将被传输到所述独立服务器以获得所述不透明第6.如任一项前述权利要求所述的方法，其中所述不透明7.如权利要求6所述的方法，其中基于处理至少所述不透明客户端装置数据来生成所3使用给定第三方排名模型来处理至少所述不透明客户端装置数据以生成给定第三方8.如权利要求6所述的方法，其中基于处理至少所述不透明客户端装置数据来生成所使用给定第三方建议模型来处理至少所述不透明客户端装置数据以生成给定第三方9.如权利要求6所述的方法，其中所述不透明第三方响应数据包括来自与所述词表相且其中将所述客户端装置数据从所述客户端装置传输到所述独立服务器是响应于确定所从所述客户端装置将非隐私敏感的附加客户端装置数据直接传输到所述给定第三方在所述客户端装置处从所述给定第三方应用直接接收非隐私敏感的附加第三方响应基于响应于致使所述内容被提供来呈现给所述客户端装置的所述用户而接收的用户输入来生成反馈信号，所述反馈信号将被用于更新所述先前训练的自动化助理应用编码从所述客户端装置将所述反馈信号传输到所述独14.如权利要求13所述的方法，其中将所述反馈信号传输到所述独立服务器进一步致基于所述反馈信号来更新所述先前训练的自动化助理应用编码器一解码器模型和/或第三方应用编码器解码器模型是针对所述自动化助理应用的特定于所述给定第三方应用在独立服务器处经由至少部分地在所述客户端装置处执行的自动化助理应用接收来使用特定于所述自动化助理应用的先前训练的自动化助理应处理所述客户端装置数据以生成不透明客户端装从所述独立服务器将所述不透明客户端装置数据传输到所述给定第三方所述客户端装置数据中的任何客户端装置数据传输到所述给定第三方应4其中将所述不透明客户端装置数据传输到所述给定第三方应用致使所述给定第三方使用特定于所述给定第三方应用的先前训练的给定第三方应从所述独立服务器将所述不透明第三方响应数据传输到所述客户端其中将所述不透明第三方响应数据传输到所述客户端装置致使所述不透明第三方响应数据被用于生成将被提供来呈现给所述客户端装置的所致使所述内容被提供来呈现给所述客户端装置的所在所述独立服务器处经由至少部分地在所述客户端装置处执行的所述自动化助理应用接收来自所述用户的所述客户端装置的并且将被传输到附加给定第三方应用的附加客使用特定于所述自动化助理应用的附加先前训练的自动化助理应型来处理所述附加客户端装置数据以生成附加不透明客户端从所述独立服务器将所述附加不透明客户端装置数据传输到所述附加给定第三方应其中将所述附加不透明客户端装置数据传输到所述附加给定第三方应用致使所述附从所述独立服务器将所述附加不透明第三方响应数据传输到所述客户端其中将所述附加不透明第三方响应数据传输到所述客户端致使所述附加不透明第三方响应数据被用于生成将被提供来呈现给所述客户端装置致使所述附加内容被提供来呈现给所述客户端装置的所用编码器解码器模型是针对所述附加给定第三方应用的特定于所述自动化助理应用的，5方应用编码器解码器模型是针对所述自动化助理应用的特定于所述附加给定第三方应用的，以促进所述自动化助理应用与所述附加给定第三方应用之间的数据的所述安全交换，在独立服务器处获得将被用于生成数据的不透明版本的与词表在所述独立服务器处经由至少部分地在多个客户端装置中的相应客户端装置处执行在所述独立服务器处从给定第三方应用接收对应响应数据集合，所合中的每个响应数据集合是由所述给定第三方应用基于所述对应客户端装置数据集合中基于(i)所述词元集合和(ii)所述对应客户端装置数据集合来生成多个自动化助理应致使基于所述多个自动化助理应用训练实例来训练特定于所述自动化助理应用的自基于(i)所述词元集合和(iii)所述对应响应数据集合来生成多个第三方应用训练实致使基于所述多个给定第三方应用训练实例来训练特定于所述给定第三方应用的给在致使所述自动化助理应用编码器一解码器模型基于所述多致使所述独立服务器利用所训练的自动化助理应用编码器对应自动化助理应用与所述给定第三方应用之间的数据的安21.如权利要求20所述的方法，其中生成所述多个自动化助理应用训练实例中的给定从所述对应客户端装置数据集合中识别将被用作所述给定自动化助理应用训练实例从所述词元集合中识别将被用作所述给定自动化助理应用训练实例的训练实例输出22.如权利要求21所述的方法，其中生成所述多个第三方应用训练实例中的给定第三从所述对应响应数据集合中识别将被用作所述给定第三方应用训练实例的训练实例6从所述词元集合中识别将被用作所述给定第三方应用训练实例的训练实例输出的一致使差分隐私技术被所述多个客户端装置利用来致使所述对应客户端装置数据集合致使所述差分隐私技术被所述给定第三方应用利用来致使所述对应响应数据集合以致使联邦学习技术被所述多个客户端装置利用来致使所述对应客户端装置数据集合致使所述联邦学习技术被所述给定第三方应用利用来致使所述对应响应数据集合以在用户的客户端装置处经由至少部分地在所述客户端装置处执行的自动化助理应用获得将被传输到给定第三方应用的所述用户的客从所述客户端装置将所述客户端装置数据传输到独其中将所述客户端装置数据传输到所述独立服务器使用特定于所述自动化助理应用和所述给定第三方应用两者的将所述不透明客户端装置数据传输到所述给定第三方应用，而据中的任何客户端装置数据传输到所述给定其中将所述不透明客户端装置数据传输到所述给定第三方应用致使所述给定第三方其中将所述响应数据传输到所述独立服务器使用特定于所述自动化助理应用和所述给定第三方应用两者的所述先前训练的编码将所述不透明第三方响应数据传输到所述客户端装置，而不将所述第在所述客户端装置处从所述独立服务器接收所述不透明致使所述不透明第三方响应数据被用于生成将被提供来呈现给所述客户端装置的所致使所述内容被提供来呈现给所述客户端装置的所存储器，所述存储器存储指令，所述指令在由所述一个或多一个或多个处理器执行如权利要求1至257所述指令在由一个或多个处理器执行时致使所述一个或多个处理器执行如权利要求1至258擎可处理与用户的口头话语相对应的音频数据以生成ASR输出，诸如口头话语的语音假设 一个或多个预测意图，以及任选地，与一个或多个预测意图中的每个预测意图相关联的参而被提供来呈现给用户的内容和/或将由自动化助理或另一计算装置响应于口头话语而执行的动作。[0002]在许多实例中，自动化助理可在履行用户的请求时和/或在主动提供内容来呈现给用户时与各种第三方交互。例如，假设用户提供“Assistant,playCrazyusing口头话语。在此示例中，自动化助理可生成NLU输出，该NLU输出至少包括预测音乐回放意自动化助理可基于客户端装置数据来推断艺术家参数的各种艺术家槽值，以确定口头话语的多个解释。进一步地，自动化助理可将多个解释中的一个或多个解释传输到“ExampleMusicStreamingPlatform”和/或恶意行为者危害，因为“ExampleMusicStreamingPlatform”和/或恶意行为者可能反推出通过网络传输的用于确定口头话语的多个解释中要主动提供歌曲推荐来呈现给用户。在此示例中，自动化助理可基于多个迥异用户群组(cohort)中的该用户所属的给定用户群组的用户中的每个用户具有相同或相似的音乐偏好来确定该给定群组的群组数据。进一步地，自动化助理可将群组数据传输到“Example而，在将用户所属的给定群组的群组数据传输到“ExampleMusicStreamingPlatform”9新提交各种口头话语(并且任选地包括更具体槽值)和/或手动与“ExampleStreaming[0005]本文所述的实现方式涉及利用独立服务器来促进多个迥异方之间的数据的安全(encoderdecoder)模型来处理客户端装置数据以生成为客户端装置数据的不透明版本的定第三方应用可致使给定第三方应用处理不透明客户端装置数据以生成第三方响应数据，响应数据，该第三方响应数据是基于不透明客户端数据生成的并且将被传输回客户端装型来处理第三方响应数据以生成为第三方响应数据的不透明版本的不透明第三方响应数据中的任何底层第三方响应数据。这使得给定客户端装置和/或至少部分地在给定客户端[0006]尽管上述示例是关于促进自动化助理与给定第三方应用之间的数据的安全交换换的编码器解码器模型和/或附加编码器解码器模型可在独立服务器处的联合会话期间与词表相对应的对应词元集合、对应客户端装置数据集合以及对应第三方响应数据集合。定用户群组数据、给定用户简档数据和/或可被传输到给定第三方应用的其他给定客户端定第三方用户简档数据和/或可被传输回给定客户端装置和/或自动化助理的其他给定第时，编码器解码器模型学习生成给定对应客户端装置数据集合的由一个或多个词元表示练编码器解码器模型和/或附加编码器解码器模型来生成第三方装置数据的不透明版模型时，编码器解码器模型和/或附加编码器解码器模型学习生成给定第三方应用数据包括先前响应于用于生成给定自动化助理应用训练实例的对应客户端装置数据集合而生模型和/或附加编码器一解码器模型来促进参与联合训练会话的多个迥异方之间的数据的自给定第三方应用的数据的显式用户请求(例如，“Assistant,playasongusing自动化助理识别到对将被提供来呈现给给定客户端装置的给定用户的建议或推荐的需求或需要多个迥异方之间的数据的传送的任何其他场景的目的而利用编码器一解码器模型传输的数据是隐私敏感数据(诸如包括给定客户端装置的给定用户个人的数据的数据)而本文所述的技术实现多个迥异方之间(诸如自动化或相似准确率和/或召回率，这是因为由于在于联合训练会话期间生成数据的不透明版本统。独立服务器可由作为与开发和/或维护本文所述的自动化助理的同一实体或者与开发和/或维护本文所述的自动化助理的实体不同的实体括存储器、用以执行存储在存储器中的指令的处理器、以及用以通过有线或无线局域网和/或应用编程接口接收和/或传输数据的网路接口中的一个或多个网络接口。进一步地，[0017]图1描绘了展示本公开的各个方面并且在其中可实现本文所公开的实现方式的示[0018]图2描绘了根据各种实现方式的使用图1的各种组件来展示本公开的各种方面的[0019]图3描绘了例示根据各种实现方式的从客户端装置的角度促进数据的安全交换的[0020]图4描绘了例示根据各种实现方式的从独立服务器的角度促进数据的安全交换的[0021]图5描绘了例示根据各种实现方式的在独立服务器处训练各种编码器一解码器模[0023]现在转向图1，描绘了展示本公开的各个方面并且在其中可实现本文所公开的实式中，客户端装置110和安全数据交换系统180可经由[0025]客户端装置110可执行自动化助理客户端114。自动化助理客户端114的实例可以由客户端装置110的操作系统直接实现。自动化助理客户端114可经由网络199中的一个或多个网络与在客户端装置110处本地实现的和/或在远程实现的安全数据交换系统180交器)的交互)可形成从用户的角度似乎是自动化助理115的逻辑实例的内容，用户可与该自装置110上执行的自动化助理客户端114互动的用户实际上可与他或她自己的自动化助理理客户端114和/或可实现安全数据交换系统180的一个或多个远配置为检测由客户端装置110的用户使用一个或多个用户界面输入装置提供的用户输入。如与用户的口头话语或客户端装置110的环境中的其他声音相对应的音频数据。附加地或获视觉数据，该视觉数据与在视觉组件中的一个或多个视觉组件的视场中检测到的图像个触敏组件被配置为捕获与指向客户端装置110的触摸输入相对供内容来使用一个或多个用户界面输出装置以可听方式和/或以视觉方式呈现给客户端装以视觉方式呈现给用户。附加地或替代地，客户端装置110可配备有一个或多个触觉传感器，该一个或多个触觉传感器使得能够提供内容来经由客户端装置110的触觉传感器中的客户端装置110处(或在与客户端装置110的用户相关联的另一计算装置处)的存在来识别客户端装置110(或与客户端装置110的用户相通过以下方式满足口头话语：在客户端装置110和/或与客户端装置110的用户相关联的其置110的用户相关联的其他计算装置执行用以满足口头话语的任何其他动作。在各种实现可利用基于存在传感器113确定的数据来确定任何用户(任何用户或特定用户)当前是否接算装置)的用户来获得将在客户端装置110(或其他计算装置)处主动提供的推荐和/或建引擎111所述的用户界面输入组件中的一个或多个用户界面输入组件来检测用户的存在。穿戴计算装置等)和/或其他计算装置发射的各种类型的无线信号(例如，波，诸如无线电用GPS和/或Wi_Fi三角测量例如基于去往/来自客户端装置110的GPS和/或Wi_Fi信号来检地或共同地由客户端装置110用来基于由用户所携带/操作的其他计算装置发射的信号来部识别(FID)以基于经由客户端装置110的视觉组件捕获的视觉数据从捕获他/她的面部辨地基于客户端装置110和/或其他计算装置与用户的位置的接近度而在客户端装置110和/软件应用的一个或多个存储器、用于访问数据和执行软件应用的一个或多个处理器和/或或120A2可使用ASR模型(例如，循环神经网络(RNN)模型、transformer模型、RRN_transducer(RNN_T)模型和/或能够执行ASR的任何其他类能够执行NLU的任何其他类型的RNN或其他ML模型)和/或基于语法的规则来处理ASR输出以中的ML模型可以是本地存储在客户端装置110处的装置上ML模型，或客户端装置110和/或[0037]在各种实现方式中，ASR输出可包括例如被预测为与用户的在音频数据中捕获的能够识别对实体类别(诸如人)的所有引用)和/或按较低粒度级别注释对实体的引用(例言输入的内容来解析特定实体，和/或可任选地与知识图谱或其他实体数据库进行通信来实现方式中，NLU引擎130A1和/或130A2的一个或多个组件可依赖于来自NLU引擎130A1和/解析器可依赖于来自实体标注器的注释来将对同一实体的引形成可采用本文所述的技术的装置生态系统。这些附加客户端装置和/或计算装置可与客交换系统180来确保在它们之间传输的任何隐私敏感数据都是以隐私敏感方式传输的。特交换引擎160来确保在它们之间传输的任何隐私敏感数据都是以隐私敏感方式传输的。在各种实现方式中，并且如图1所描绘，安全数据交换引擎160可包括客户端装置数据引擎第一编码器一解码器模型220，以及针对自动化助理115的特定于“ExampleMusicStreamingPlatform”的第二编码器一解码器模型230。尽管图2是关于针对自动化助理和进它们之间的数据的安全交换。数据基于在多个客户端装置中的相应客户端装置处检测到的相应用户的一个或多个对应议数据或对应推荐数据，该对应建议数据或对应推荐数据基于自动化助理115识别到对将被提供来呈现给多个客户端装置的相应用户的来自“ExampleMusicStreaming群组数据202可以是表示基于共享的共同兴趣的用户的集档数据203可能包括不易从用户群组数据202查可访问的一个或多个用户简档(例如，存储在3P简档数据库240中)获得的3P简档数据209。客户端装置的对应请求的数据，并且对应3P响应数据集合可包括可由“ExampleMusic[0048]例如，假设给定客户端装置的给定用户先前提供了somemusicusingExampleMusic该给定用户群组数据指示自动化助理115已经将给定用户分配到200个迥异自动化助理群组中的与喜欢硬摇滚音乐的用户相关联的第三群组；以及给定用户的给定用户简档数据，该给定用户简档数据指示用户最喜欢的硬摇滚艺术家是“Exampl客户端装置数据集合(例如，至少基于至少包括“p首歌曲或其排名；给定3P群组数据，该给定3P群组数据指示50个迥异“ExampleMusic仅在推断时而且在联合训练会话期间确保客户端装置数据的隐私性[0050]在各种实现方式中，与词表相对应的对应词元集合可使用词元引擎163来从词元成客户端装置数据和3P响应数据的不透明版本以经由安全数据交换系统180进行不透明版本的安全交换。进一步地，由于对应词元集合是由自动化助理115和“ExampleMusicStreamingPlatform”共同商定的，因此自动化助理115和“ExampleMusicStreaming倾向ML模型、NLU模型和/或其他ML模型)除由相应维护底层数据的安全性的方式使用。实例输入中所包括的给定对应客户端装置数据集合的训练实例的对应训练实例输入中所包括的对应为输入应用给定对应客户端装置数据集合(第一编码器解码器模型220。ML模型训练引擎164可以此方式基于存储在自动化助理应用解码器模型220基于阈值量的自动化助理应用训练实例来训练、第一编码器一解码器模型的训练实例输出。通过基于给定自动化助理应例输入中所包括的给定对应客户端装置数据集合练实例的对应训练实例输入中所包括的对应为输入应用给定对应客户端装置数据集合(例如第一编码器解码器模型220。ML模型训练引擎164可以此方式基于存储在自动化助理应用解码器模型220基于阈值量的自动化助理应用训练实例来训练、第一编码器一解码器模型于生成给定3P应用训练实例的给定对应3P响应数据集合可与上述示例中用于生成给定自器模型230被训练来生成训练实例输入中所包括的给定对应3P响应数据集合的不透明版本(和其他3P应用训练实例的对应训练实例输入中所包括的对应3P响应数据集合的不透明版为输入应用给定对应3P响应数据集合(例如，上文所述的给定3P应用训练实例的训练实例外，ML模型训练引擎164可将预测输出与来自对应词元集合的一个或多个附加词元(例如，全数据交换系统180的ML模型引擎165可利用训练的第一编码器一解码器模型220来促进从全数据交换系统180的ML模型引擎165可利用训练的第二编码器一解码器模型230来促进从据交换系统180实现各个迥异方之间的数据的安全交换，由此减少数据可能受到危害的实例的量并且保护可使用安全数据交换系统180传送的与用户相关联的数据的隐私性。[0058]例如，再次假设给定客户端装置的给定用户先前提供了口头话语“Assistant,115可致使ASR引擎120A1和/或120A2处理捕获口头话语的音频数据以生成ASR输出(例如，与口头话语相对应的辨识文本)。进一步地，自动化助理115可致使NLU引擎130A1和/或的给定用户被分配到的给定群组(诸如指示给定用户对摇滚音乐感兴趣的给定群组)的指艺术家。过一个或多个网络(例如，网络199)将不透明客户端装置数据20StreamingPlatform”。响应于接收到不透明客户端装置数据205，“ExampleMusic于口头话语并且基于至少处理不透明客户端装置数据205而应当播放的艺术家和/或歌曲可基于在不透明客户端装置数据205中编码的用户请求数据201和用户简档数据203来动态配到的给定3P群组的3P群组数据208可基于在不透明客户端装置数据205中编码的用户请地或替代地将由自动化助理115管理的用户简档数据203映射到由“ExampleMusic在给定用户的给定客户端装置处执行的自动化助理115。响应于接收到不透明3P响应数据此实例中，内容212可包括响应于接收到口头话语“Assistant,playsomemusicusing到口头话语“Assistant,playsomemusicusingExampleMusicStreamingPlatform”定用户仅收听歌曲的前30秒，则反馈引擎166可将此用作负反馈信号来生成负面强化第一编码器解码器模型220和/或第二编码器解码器模型230的附加自动化助理应用训练实例[0062]尽管图2的示例是关于自动化助理115和给定3P应用(例如，“ExampleMusic相同或相似方式但关于由各方生成的其他数据和/或利用各种对应词元集合来训练各种附115的情况下实现迥异3P应用之间的数据的安全传如，可利用相同和/或相似技术来训练单个编码器一解码器模型，以促进自动化助理115与或相似方式生成，但可用于训练特定于自动化助理应用和3P应用两者的单个编码器一解码型220的训练的解码器部分165A2以及训练的编码器部分165A3提供给“ExampleMusic码器模型230的迥异编码器部分和解码器部分由迥异方本地实现而在各方之间传输数据的解码器模型230来生成数据与数据的不透明版本之间的映射，使得在推理时不需要主动利[0065]现在转向图3，描绘了例示从客户端装置的角度促进数据的安全交换的示例方法[0066]在框352处，系统经由至少部分地在客户端装置处执行的自动化助理应用获得将第三方应用用户简档数据)来生成响应客户端装置数据的第三方响应数据。给定第三方应呈现给客户端装置的用户。系统可提供内容来以视觉方式和/或以可听方式呈现给客户端装置的用户。系统响应于获得附加客户端装置数据而返回到框352以执行图3的方法300的[0069]现在转向图4，描绘了例示从独立服务器的角度促进数据的安全交换的示例方法[0070]在框452处，系统经由至少部分地在客户端装置处执行的自动化助理应用接收来[0072]在框458处，系统使用特定于给定第三方应用的先前训练的给定第三方应用编码器解码器模型来处理第三方响应数据以生成不透明第三方响应数据(例如，如关于图2和装置的用户。系统响应于接收到附加客户端装置数据而返回到框452以执行图4的方法400户端装置(和客户端装置的其他组件)处执行的自动化助理无法访问或观察底层第三方响应数据。尽管自动化助理(和客户端装置的其他组件)无法访问或观察底层第三方响应数第三方响应数据以至少基于不透明第三方响应数中，给定用户的由系统和/或给定第三方应用维护的音乐偏好可被视为隐私敏感数据。因[0076]在框552处，系统获得将被用于生成数据的不透明版本的与词表相对应的词元集用共同商定，以促进自动化助理与给定第三方应用之间以双向方式进行的数据的安全传[0077]在框554处，系统经由至少部分地在多个客户端装置中的相应客户端装置处执行第三方响应数据集合是由给定第三方应用基于对应客户端装置数据集合中的一个或多个于处理对应客户端装置数据集合中的相应客户端装置数据集合生成的数据。值得注意的私技术来保护对应客户端装置数据集合和对应第三方响应数据集合中所包括的底层数据自动化助理应用的自动化助理应用编码器一解码器模型和/或特定于给定第三方应用的给500的附加迭代时，系统可发起特定于自动化助理应用的但针对迥异第三方应用的另一自动化助理应用编码器一解码器模型和/或特定于附加给定第三方应用的附加给定第三方应服务，并且独立服务器可以是不开发和/或维护主动利用独立服务器来促进数据的安全交[0082]现在转向图6，描绘了可任选地用于执行本文所述的技术的一个或多个方面的示他组件中的一者或多者可包括示例计算装置610的一个[0083]计算装置610通常包括至少一个处理器614，该至少一个处理器经由总线子系统置610中或输入到通信网络上的所有可能用户或另一机器或计算装置的所有可能类型的[0086]存储子系统624存储提供本文所述的模块中的一些或所有模块的功能性的编程和的方面以及用于实现图1和图2所描绘的各所使用的存储器625可包括多个存储器，包括用于在程序执行期间存储指令和数据的主随块可由存储子系统624中的文件存储子系统626存储，或者存储在处理器614可访问的其他[0088]总线子系统612提供用于