CN115474266B 用噪声信道加速分布式主成分分析的方法和系统（香港科技大学）

(12)发明专利63/193,0422021.05.25US有限公司11112专利代理师张娜李荣胜HO4W52/36(2009.01)术.2020,(第01期),全文.由第一装置从服务器接收更新的矩阵，其中第一装置是联合主成分分析中的参与者由第一装置从服务器接收更新的矩阵，其中第一装置是联合主成分分析中的参与者由第一装置确定相对于更新的矩阵的局部梯度，其中局部梯度基于存储在第一装置处的局部数据由第一装置使用线性模拟调制来调制局部梯度，从而产生经调制的局部梯度由第一装置调整传输功率，从而产生经调整的传输功率由第一装置接收同步信息以将第一无线信号与第二无线信号同步由第一装置经由第一无线信号向服务器发送经调制的局部梯度，其中第一无线信号包括经调整的传输功率，并且其中第一无线信号与由第二装置发送的第二无线信号同步所公开的技术一般针对在存在噪声信道的信轮次中在子信道上传输经过线性模拟调制的21.一种用噪声信道加速分布式主成分分析的方法，包括：由第一装置从服务器接收更新的矩阵，其中，所述第一装置参与联合主成分分析；由所述第一装置确定相对于所述更新的矩阵的局部梯度，其中，所述局部梯度基于存储在所述第一装置处的局部数据；由所述第一装置使用线性模拟调制对所述局部梯度进行调制，生成经调制的局部梯由所述第一装置调整传输功率，生成经调整的传输功率；以及由所述第一装置经由第一无线信号将所述经调制的局部梯度发送至所述服务器，其中，所述第一无线信号包括所述经调整的传输功率，并且其中，所述第一无线信号与由第二装置发送的第二无线信号同步，其中，调整所述传输功率包括：响应于在所述服务器处检测到潜在的鞍区，减小所述传输功率。2.根据权利要求1所述的方法，其中，执行减小所述传输功率的步骤，以便增加所述第一无线信号中的噪声，从而能够从在所述服务器处检测到的所述潜在的鞍区脱离。3.根据权利要求1所述的方法，其中，调整所述传输功率的步骤还包括：响应于在所述服务器处检测到非静止区或最优区，增加所述传输功率，以便使用先前通过减小所述传输功率而节省的功率。4.根据权利要求1所述的方法，其中，在多个重复周期中执行所述方法。5.根据权利要求1所述的方法，其中，重复所述方法以能够在所述服务器处确定包含来自高维数据的信息的低维子空间，所述高维数据包括存储在所述第一装置处的所述局部数据和存储在其他装置处的其他局部数据。6.根据权利要求1所述的方法，还包括：由所述第一装置接收用于将所述第一无线信号与所述第二无线信号同步的同步信息。7.一种被配置为参与联合主成分分析的服务器设备，所述服务器设备包括：存储器，其存储可执行指令，当所述可执行指令由所述处理器执行时，促使执行操作，所述操作包括：接收包括全局梯度的聚合信号，其中，所述全局梯度包括在各个装置处计算的相应的局部梯度的组合，其中，由所述各个装置同时无线传输所述相应的局部梯度，以对所述相应的局部梯度进行空中组合以形成所述聚合信号；基于所述全局梯度更新矩阵，生成更新的矩阵；确定与所述全局梯度相关联的区类型；基于所述区类型确定由所述各个装置应用的功率调整；以及将所述更新的矩阵和所述功率调整发送至所述各个装置，其中，所述功率调整包括：响应于所述区类型包括潜在的鞍区，减小由所述各个装置应用的传输功率。8.根据权利要求7所述的服务器设备，其中，减小所述传输功率导致所述各个装置的无线传输中包括的噪声增加，并且其中，所述噪声增加使得能够从所述潜在的鞍区脱离。9.根据权利要求7所述的服务器设备，其中，所述功率调整还包括：响应所述区类型包3括非静止区或最优区，增加所述传输功率，以便所述各个装置能够使用先前通过减小所述传输功率而节省的功率。10.根据权利要求7所述的服务器设备，其中，根据预定频率在多个重复的周期中执行所述操作。11.根据权利要求7所述的服务器设备，其中，重复所述操作以使得能够计算包含来自高维数据的信息的低维子空间，所述高维数据包括存储在所述各个装置处的相应的局部数12.根据权利要求7所述的服务器设备，其中，所述操作还包括：发送用于将所述各个装置的所述相应的局部梯度的同时无线传输同步的同步信息。13.一种非暂时性机器可读介质，包括可执行指令，当所述可执行指令被处理器执行由多个装置中的装置参与联合主成分分析，其中，所述联合主成分分析包括多个通信轮次，其中，所述多个通信轮次中的每个通信轮次包括从所述多个装置向服务器的同时无线从所述服务器接收更新的矩阵；确定相对于所述更新的矩阵的局部梯度，其中，所述局部梯度基于存储在所述装置处的局部数据；使用线性模拟调制对所述局部梯度进行调制，生成经调制的局部梯度；经由无线信号将所述经调制的局部梯度同时无线发送至所述服务器，其中，所述无线信号包括所述经调整的传输功率，并且其中，所述无线信号与由所述多个装置发送的多个无线信号同时发生，其中，调整所述传输功率包括：响应于在所述服务器处检测到潜在的鞍14.根据权利要求13所述的非暂时性机器可读介质，其中，执行减小所述传输功率的操作，以便增加所述无线信号中的噪声，从而使得能够避免在所述服务器处检测到的所述潜在的鞍区。15.根据权利要求13所述的非暂时性机器可读介质，其中，调整所述传输功率还包括：响应于在所述服务器处检测到非静止区或最优区，增加所述传输功率，以使用先前通过减小所述传输功率节省的功率。16.根据权利要求13所述的非暂时性机器可读介质，其中，所述联合主成分分析使得能够在所述服务器处确定包含来自高维数据的信息的低维子空间，所述高维数据包括存储在所述多个装置处的局部数据。4用噪声信道加速分布式主成分分析的方法和系统[0001]相关申请的交叉引用[0002]本申请要求于2021年5月25日提交的、标题为“用于加速具有噪声信号的分布式主成分的方法和系统”的美国临时专利申请No.63/193,042的优先权，其全部内容过引用合并于本文中。技术领域[0003]本申请总体涉及可应用于联网计算装置的情境中的主成分分析(PCA)技术，更具体地，涉及针对在连接到网络的边缘装置上分布的数据计算低维子空间的PCA技术。背景技术[0004]近年来，诸如智能电话、物联网(IoT)传感器和各种各样的其他装置的边缘装置上分布的庞大数据以及无所不在的连接已经触发了朝向分布式机器学习和大规模数据分析的范式转变。[0005]主成分分析(PCA)作为数据分析中的标准技术提供了一种发现被称为主成分的低维子空间的简单方法，该方法使高维数据集的信息损失最小化。这对于数据压缩、简化和特征提取是有用的。由于这些原因，PCA在从无线通信到机器学习的几乎所有科学领域中得到应用。[0006]PCA的常见方法基于数据表的奇异值分解(SVD),该数据表包括按照行的所有数据样本。然而，所需的数据集中使得该方法对于在移动网络中实现PCA是不可行的，因为上传移动数据侵犯了数据样本的隐私。[0007]上述背景仅旨在提供一些当前问题的情境概述，而不旨在穷举。在阅读以下详细描述之后，其它情境信息可以变得更加明显。附图说明[0008]参考以下附图描述本公开的非限制性和非穷举性实施例，其中除非另有说明，否则在各个示图中相同的附图标记指示相同的部件。[0009]图1示出了根据本文描述的一个或多个实施例的AirPCA系统的示例架构。[0010]图2示出了根据本文描述的一个或多个实施例的用于边缘装置的示例发射机设[0011]图3示出了根据本文描述的一个或多个实施例的用于边缘服务器的示例接收器设[0012]图4A、图4B和图4C示出了根据本文所述的一个或多个实施例的三种示例类型的[0013]图5A是根据本文描述的一个或多个实施例的提供无噪声AirPCA、具有功率控制的AirPCA和集中式PCA的示例比较的曲线图。[0014]图5B是根据本文描述的一个或多个实施例的提供具有功率控制的AirPCA、具有固5定功率的AirPCA和集中式PCA的示例比较的曲线图。[0015]图6A是提供使用第一数据集的示例第一学习性能比较的第一曲线图。[0016]图6B是提供使用第二数据集的示例第二学习性能比较的曲线图。[0017]图7A是示出了功率消耗系数对具有区域自适应功率控制的AirPCA的学习性能的示例影响的第一曲线图。[0018]图7B是示出了功率消耗系数对具有区域自适应功率控制的AirPCA的学习性能的示例影响的第二曲线图。[0019]图8A是示出了装置的数量对具有区域自适应功率控制的AirPCA的学习性能的示例影响的曲线图。[0020]图8B是示出了截断阈值对具有区域自适应功率控制的AirPCA的学习性能的示例影响的曲线图。[0021]图9是表示根据本公开的各个方面和实施例的参与联合主成分分析的装置的示例操作的流程图。[0022]图10是表示根据本公开的各个方面和实施例的参与联合主成分分析的服务器的示例操作的流程图。[0023]图11是根据本文描述的一个或多个实施例的可以实现本文引用的各种装置中的任何装置的示例计算装置。具体实施方式[0024]参考附图描述本公开的各个方面或特征，其中相同的参考标号始终用于指示相同的元素。在本说明书中，为了解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，应当理解，本公开的某些方面可以在没有这些具体细节的情况下或者利用其他方法、组件、材料等来实践。在其它实例中，以框图形式示出了公知的结构和装置以便于描述本公开。[0025]本文描述的技术的一个或多个方面总体针对基于空中联合学习(FL)的无线系统中的联合PCA的有效设计，该无线系统利用多接入信道的波形叠加特性来实现空中聚合的低延迟。该设计在本文中被称为空中PCA,或“AirPCA”。此外，公开了一种功率控制方案，其使装置的传输功率适应随机梯度下降(SGD),使得信道噪声转变为用于下降的加速器。[0026]FL技术可用于保护数据隐私以实现分布式PCA,也称为联合PCA。联合PCA可以帮助压缩和简化在网络边缘处分发的数据(例如，由车辆感测或增强现实/虚拟现实(AR/VR)应用生成并且由不同装置收集的数据),以方便存储以及它们在边缘学习中的进一步使用。[0027]FL框架涉及更新预测模型的装置。每个装置可以使用局部数据来生成局部更新，并且局部更新(而不是数据)可以被发送到服务器。服务器可以聚合更新并更新全局模型。[0028]联合学习还可以通过避免上传原始数据来保护装置的数据所有权，同时提供一种充分利用分布式移动数据的机制。服务器可以请求每个装置上传用于全局模型的更新，该全局模型使用局部训练数据来计算。更新不直接暴露局部数据的内容，并且包含比局部数据少得多的信息，因此保护了用户的数据所有权。6计算装置的主成分的估计并且将装置的局部估计上传到服务器以进行聚合，从而获得全局估计。单次方法的缺点是共享局部主成分引起了数据隐私问题。此外，当装置的数量增加时，上传全部SVD结果导致高通信延迟。通过适度地减少局部子空间估计的维数，可以减轻通信延迟问题。然而，局部子空间估计的维数减小导致了偏误(biasederror),当局部数据集高度非独立且相同地分布时，偏误使全局估计失真。[0030]联合PCA的另一解决方案是应用功率方法，功率方法可以与空中聚合集成以提供快速收敛和可忽略的通信延迟。然而，功率方法对噪声扰动敏感，使得其在无线网络中不可[0031]本公开的实施例可以应用基于SGD的处理来解决联合PCA,作为找到子空间(主成分)以通过投影到该子空间上来最小化数据压缩的误差函数的优化问题。在联合PCA的情境中，应用SGD的困难来自于作为子空间的优化变量的酉/正交约束，这使得优化问题不可分解。FL不能直接应用于不可分解的优化问题。可以通过以下发现来克服该困难：没有酉/正交约束的无约束问题的解决方案也解决了原始约束问题。[0032]本公开的实施例可以利用SGD方法对于信道噪声是鲁棒的这一观察。此外，在存在信道噪声的情况下，SGD方法可以保证收敛到全局最优，因此SGD方法对功率方法进行了改进。此外，通过在梯度上传阶段采用空中聚合，还可以解决通信延迟问题，并且因此所公开[0033]在具有许多装置和高维数据的场景中，从装置上传局部模型更新可能导致FL(包括联合PCA)的通信瓶颈。已经出现了各种技术来克服瓶颈，包括源编码和资源管理。空中FL是通过叠加由装置同时发送的模拟调制模型更新来实现空中聚合的一类技术。与数字正交接入相比，支持同时接入的空中聚合在装置的数量大时具有减少多接入延迟的优点。[0034]然而，在空中FL中使用的未编码模拟传输可能将接收信号暴露于信道噪声的扰动，这可能潜在地降低学习性能。本公开的实施例通过利用AirPCA的误差函数的特性，可以将这个缺点转化为AirPCA的优点。[0035]为了使用FL对模型(例如，深度神经网络)进行训练，(预测)损失函数是数据集相关的并且不具有已知的表达式。相反，PCA误差函数被很好地定义，并且其理论属性被很好地理解。PCA误差函数具有有限数量的静止点，其包括一个全局最优点和多个离散鞍点。有相对较大斜率的非静止区，和(3)以全局最优点为中心的最优区。这些特性表明，如果下降路径遇到鞍区，则梯度下降可以被困在具有零梯度的鞍点处。一种解决方案是向梯度添加人工噪声以从鞍点逃脱。另一方面，噪声减慢了鞍区外的下降，并且降低了收敛精度。代替添加人工噪声，本公开的实施例可以通过放大存在于AirPCA中的接收信号中的信道噪声在鞍区中的影响但减小存在于AirPCA中的接收信号中的信道噪声在下降路径上的其他类型的区中的影响，来利用存在于AirPCA中的接收信号中的信道噪声以帮助从鞍点脱离。[0037]实施例可以通过设计用于AirPCA的区域自适应功率控制来利用噪声。为了实现区域自适应功率控制，可以执行下降速度分析。实施例可以将下降速度分析的框架应用于AirPCA,该框架建立在用于集中式PCA训练的基于鞅(martingale)的分析方法上。该框架可[0038]可以通过在给定数量的通信轮次上减小期望误差函数来测量AirPCA的下降速度。7使用该框架并利用误差函数的上述特性，可以数学地表征下降路径上不同区中的下降速度。[0039]考虑在非静止区中的梯度下降。在存在衰落的情况下，可以导出下降速度的下限，该下限被示出为期望的接收信噪比(SNR)以及期望的活动装置的数量的单调递增函数，由于空中聚合中的信号幅度对准，期望的接收信噪比对于所有装置可以是均匀的。[0040]相反，在鞍区中的下降速度是这两个变量的单调递减函数，因为它们的减小放大了噪声效应并且加速了从鞍点的脱离。最后，在信道噪声的影响下，只要步长足够小，下降路径就可以最终以概率进入最优区。[0041]基于下降速度分析的分析结果，通过协调装置的传输功率，可以设计用于在线功率控制的简单方案以使均匀的接收SNR适应当前下降区的类型。从而加速AirPCA的梯度下降。当检测到鞍区时，接收SNR可以被固定在最小值处以放大噪声效应，使得下降路径可以从鞍点脱离。这促使在平均功率约束下的功率节省。[0042]另一方面，当检测到非静止区或最优区时，通过在当前轮次中用尽先前轮次的所有功率节省(称为单次节省消耗)或使用具有控制节省-耗散速度的共同比率的递减几何序列将功率节省分配在多个轮次上(称为逐渐节省消耗)来增强接收SNR。[0043]可以使用几个公知的真实数据集(例如，修改的国家标准技术研究所(MNIST)数据集、加拿大先进研究所10类(CIFAR-10)数据集以及被称为AR数据集的面部图像数据集)进行实验来评估AirPCA的学习性能。所公开的区域自适应功率控制被示出在从鞍点脱离和加速AirPCA收敛方面是有效的。区域自适应功率控制亦可达到集中式PCA的收敛准确性。此外，发现如果优化了共同比率，则逐渐节省消耗可以胜过单次节省消耗。还可以研究诸如装置数量和信道截断阈值的其它参数的影响。述了一般概述和示例计算装置。[0045]示例AirPCA系统[0046]图1示出了根据本文描述的一个或多个实施例的AirPCA系统的示例架构。示例架过线性模拟调制来调制信号，并且可以同时进行发送。服务器110可以在每个子信道上接收聚合信号(叠加波形)。由于全局梯度是局部梯度的平均值，所以服务器110可以根据聚合的信号直接估计全局梯度。[0047]A.空中聚合系统[0048]示例架构100可以包括支持AirPCA的宽带空中聚合系统。示例宽带空中聚合系统100可以包括与单个服务器110通信的K个装置(101、102、103)。通信可以包括多个轮次，每个轮次可以被划分为上行链路传输阶段和下行链路传输阶段。[0049]图2示出了根据本文描述的一个或多个实施例的用于边缘装置的示例发射机设计。示例发射机设计可以被结合到例如图1中的装置101、装置102、装置103中。示例发射机反转206、快速傅里叶逆变换(IFFT)208、添加CP和并串转换器210、可以将来自210的输出与载波211组合的混合器212、以及天线214。8[0050]图3示出了根据本文描述的一个或多个实施例的用于边缘服务器的示例接收器设更新315。c个符号划分为c/M个块。每个块在一个0服务器在第n轮次通信中接收的第i个聚[0053]其中，s,n表示由装置k发送的符号，并且高斯随机变量h~CN(0,1)和29~CN(0,o²)分别表示对应的子信道的增益和噪声，p2,是预编码系数。可以采用被设计为满足被称为截断信道反转的平均功率约束的现有方案。图2中的截断信道反转206的设计可以支持图3的接收器处的信号对准，等式(1)中的预编码系数可以给出[0058]其中，如下所述，可控接收功率P,和常数G分别被称为信号幅度校准因子和截断9匀地分布在K个装置上。令D表示通过对全局数据集进是(P1)在不具有其酉/正交约束的情况下的简化版本：[0074]从鞍点脱离的方法是将人工噪声添加至梯度中。然后最优点W*的列空间解决了问[0075]作为FL的特殊情况，分布式PCA的迭代算法可以基于SGD。为了描述该算法，考虑算法的任意通信轮次。在开始，服务器将当前主成分W广播给所有装置，以基于所有局部数据[0077]此外，将装置k处的数据协方差矩阵定义为R₅=XX,其中，D×1₀的矩阵X包括局[0079]装置将它们的局部梯度上传到服务器以便聚合，然后更新主成分W。注意，全局目标函数F(W)的梯度可以根据局部梯度写为：[0083]其中，z是表示噪声的随机向量。然后，当前轮次(比如轮次n)中的主成分W由服务器更新：述如下。为了促进同相和正交信道上的传输，局部和全局梯度(矩阵)VF.(W)和▽F(W)利用映射函数g(.)和g(.)进行复数向量化，其中结果被表示为9k(W)=vec[VF(W)]和g(W)=vec[VF(W)],每个包括个元素。给定装置上的独立同分布(i.i.d.)数据分布，无偏估计的以下假设在分布式学习和估计的文献中是常见的。[0087]假设1(无偏估计):在每个装置处计算的局部梯度可以被假设为全局梯度的无偏[0089]其中，估计误差向量△被称为数据噪声并且针对给定的常数k²满足：[0091]注意，不同的装置处的数据噪声{△}是相关的。[0092]为了实现空中聚合，每个装置使用线性模拟调制来发送其局部梯度。遵循独立同分布(i.i.d.)数据分布的模型，装置k处的符号，即局部梯度8(W)的元素，可以被建模为具有均值η和方差v²的相同分布的随机变量；所有装置的统计是相同的，并且它们是已知的。为了便于等式(2)中的功率控制，在第n轮次中将未被截断的符号归一化以具有零均值和单位方差，即，,然后在子信道上发送；否则，发送符号0。在时间上同步(即，在3GPP中使用定时提前)并且在等式(3)中使用截断信道反转，所有装置同时发送它们的具有对齐的边界的0FDM符号，以执行空中聚合。这产生了由服务器接收的符号向量：[0094]然后，对接收到的符号进行去归一化，以给出噪声全局梯度的元素，表示为=0)=(1-cact)K接近零。将归一化等式和等式(13)代入到等式(14)中给出了由服务器接收的噪声全局梯度：[0100]通过将等式(15)中的g(Wn)解向量化为矩阵F(Wn),如等式(10)中那样更新主[0102]在这一部分中，根据不同类型的区中的下降速度和收敛精度来量化AirPCA的收实施例的三种示例类型的区。图4A示出了非静止区类型的示例。图4B示出了示例鞍区类型。图4C示出了示例最优区类型。[0103]A.定义和假设问题的目标函数F(W)包含离散鞍点，一个全局最优而没有局部最优。这种函数属于如下定义的严格的鞍函数族。[0108]表示为Rn的非静止区(见图4A)是条件1)成立的区，因此可被定义为[0109]表示为Rsa的鞍区(见图4B)是条件1)和条件2)成立的区，因此可被定义为Rsa={W∈RD×d:|IVF(W)|<E;Amin([0110]表示为R。的全局最优区(见图4C)是条件3)成立的区，因此可被定义为Rop={W∈RD×d:|W-W*|l≤8;Am的主成分状态{Wo,…,Wn-1}CRns,并且接收功率被控制为{P…,Pn-1}。若步长第二项将下降速度减小了与数据噪声方差k²成正比且与执行空中聚合的装置的预期数目导致的更精确的分布式估计。来抑制信道噪声的影响。特别地，给定功率序列,如果另一序列{P8,.…,P}逐元素地大于{Pm},则{PM}导致n个轮次上误差函数的较大的预期减少。[0127]定理2(鞍区中的下降速度):考虑鞍区R中的n轮次梯度下降，对应的主成分状态为{Wo、…、Wn-13CRsa,有限接收功率为{P,...,Pn-1}C[Pmin,Pmax]式(20),则n个轮次上的期望误差减少可以声引起的梯度扰动具有保证预期下降(或者等效地严格地为正的预期误差减小)的有益效[0131]从等式(21)中可以得到的对于功率控制的重要观察是，通过降低接收信号功率来增强信道噪声，增强了期望的误差减少。因此，希望将功率设置为其最小值，小节中顺序描述。义可知，可通过估计Hessian矩阵的最小特征值(即入min(H(Wn)))并相对于某一给定的声，使得下降路径可以脱离鞍点而不会困在鞍点处。另一方面，Hessian矩阵H(W)的估计是困难的。具体地，服务器最多知道一个下降路径，该下降路径仅提供H(W)的部分知识，但是计算其特征值需要全部知识。由于基于其定义检测鞍区的难度，我们提出了如下所述的简单且有效的在线检测方案。再次考虑第n轮次，在该轮次中发现聚合梯度II9(Wn)的范数低于给定阈值E,而在前一轮次中的范数高于C。这表示下降路径进入了作为鞍区或最优区的区。默认地，该区被检测为鞍区，然后接收信号功率被降低以放大噪声效应，以使路径从f₀,评估N₀个轮次中得到的预期误差减少，即[F(Wn-N₀)-F(Wn)]。如果鞍区的检测是正确的，则根据定理2,从鞍点的脱离将导致极大的误差减少，因此[F(Wn-N₀)-F(Wn)]≥fo。N₀个轮次之后保持在该区内，那么功率控制适合于最优区以降低噪声，从而确保收敛之后[0145]在线下降区检测的方案总结在下面的算法1中。[0146]算法1:在线下降区检测[0148]B.在线功率控制[0149]基于上述在线区域检测方案，区域自适应功率控制的原理是在下降路径进入鞍区时降低接收信号功率，而在路径进入非静止区或最优区时增加功率。前者使用信道噪声帮助路径从鞍点脱离(参见定理2),而后者克服噪声以接近最陡下降(参见定理1)。[0150]考虑检测到鞍区R的情况。然后，由每个装置控制等式(3)中的截断信道反转，使得在Ra中的逗留期间，接收信号功率固定在选择的参数数学上，对于所有式(4)中的平均功率约束下，需要选择Pmin使其小于最大平均接收功率,这节省了在其它类型的区中使用的功率。令Na表示R内下降的轮次数量。则功率节省被给出为中被使用，即对于n=n₁…、nn-1,ano=1且aₙ=0。换句话说，对于n=n₁、…、nN-1,[0153]2)逐渐功率节省消耗：累积的功率节省遵循an,=(1-q)q³在所有轮次中被消外，功率控制方案的计算复杂度针对每个轮次为0(Dd)。有固定功率的AirPCA进行比较，可以观察到信道噪声对于AirPCA从鞍点脱离的有效性。功率控制的AirPCA(标记为“具有功率控制的AirPCA”)和没有信道噪声的AirPCA(标记为的主要成分，而在无噪声情况下则不能。原因是前者的(梯度)下降路径在信道噪声的帮助下从鞍点脱离，而后者的下降路径被困在该点。[0158]接下来，在图5B中比较了具有区域自适应功率控制的AirPCA、具有固定功率的提出的功率控制方案相对于具有固定功率的情况有效地加速了收敛。例如，为了实现比集中式PCA水平(即，5.2的误差)高7%的PCA误差(即，5.6的误差),与具有固定功率的AirPCA的1740轮次相比，学习延迟是大约1170轮次，即，学习延迟减少了33%。在最后的比较中，可以得到相同的观察，即区域自适应功率控制加速收敛。最后，值得提及的是，针对MNIST的下降过程的初始部分(参见图图5A、5B)与针对其它数据集的下降过程的初始部分(参见图6A、6B)相比相对较陡峭。原因是MNIST中的数据样本是手写字母的黑白图别由彩色图像和灰度图像组成。通常，下降速度取决于成分的功率分布，其相对于不同的数据集有所变化。[0160]参考图7A和图7B,示出了在区域自适应功率控制的建议方案中在它们对学习性能的影响方面的两种功率消耗系数设计，即单次功率节省消耗(图7A)和逐渐功率节省消耗(图7B)。MNIST和CIFAR-10数据集都被使用，并且下降步长分别被设置为μ=0.005和μ=0.02。可以看出，在具有优化参数(即，q=0.8)的非静止区和最优区中的功率节省的逐渐消耗实现了比单次方案或具有q的替换值(例如，0.5或0.995)的逐渐方案更快的收敛。可以观察到，它们对收敛的不同影响位于非静止区和最优域，而不是位于信号功率不受功率消耗[0161]图8A和图8B示出了其它系统参数的影响。图8A示出了装置的数量对具有区域自适应功率控制的AirPCA的学习性能的影响。图8B示出了截断阈值对具有区域自适应功率控制的AirPCA学习性能的影响。[0162]考虑具有区域自适应功率控制的AirPCA,在图8A中针对不同数量(K={10;20;50})的装置绘制了PCA误差对轮次数量的曲线。每个装置被提供有从数据集中随机抽取的10个数据样本。因此，AirPCA/集中式PCA中使用的总数据与装置的数量成正比。我们取CIFAR-10数据集用于具有0.02步长的实验。对于K={20;50}的情况习性能更好。另一方面，当该数量较小时(例如，K=10),基于SGD的AirPCA由于抑制信道噪声的有限数据和不足的聚合增益的联合效应而不能收敛(参见等式(16))。相反，使用SVD的集中式PCA不会遇到这种问题。防止发散的一个可能的解决方案是以减慢收敛为代价来减[0163]接下来，我们研究等式(3)中的信道截断阈值G对具有区域自适应功率控制的AirPCA的学习性能的影响。为此，在图8B中针对对于CIFAR-10数据集的截断阈值G(G={0:001;0:2;0:5})的各种值绘制了PCA误差相对于轮次数量的曲线。注意，G控制截断子信道的预期比率。可以看出，将G设置太小或太大会导致发散。前者是由于在空中聚合的活动子信道上的幅度对齐的约束下太小的接收信号功率(参见等式(3)),后者是由于太多的截断子信道，其严重地扭曲上载的局部梯度。这提示在一些实施方案中需要优化G。[0164]图9是表示根据本主题公开的各个方面和实施例的参与联合主成分分析的装置的示例操作的流程图。所示的框可表示在方法中执行的动作、计算装置的功能组件或在可由处理器执行的机器可读存储媒体中实施的指令。虽然以示例顺序示出了操作，但是在一些实施例中可以消除、组合或重新排序操作。[0165]图9所示的操作可以例如由诸如图1所示的装置101的装置执行，装置101可以包括一组其他装置(诸如，装置102、103)中的第一装置。示例操作902包括由第一装置101从服务器110接收更新的矩阵，其中第一装置101是联合主成分分析中的参与者。示例操作904包括由第一装置101确定相对于更新的矩阵的局部梯度，其中局部梯度基于存储在第一装置101处的局部数据。示例操作906包括由第一装置101使用线性模拟调制来调制局部梯度，从而产生经调制的局部梯度。示例操作908包括由第一装置101调整传输功率，从而产生经调整的传输功率。示例操作910包括由第一装置101接收同步信息以将第一无线信号与第二无线信号同步。示例操作912包括由第一装置101经由第一无线信号向服务器110发送经调制的局部梯度，其中第一无线信号包括经调整的传输功率，并且其中第一无线信号与由第二装置(例如，装置102)发送的第二无线信号同步。[0166]在根据图9的一些实施例中，在操作908处调整传输功率包括例如响应于在服务器110处检测到潜在的鞍区而减小传输功率。可以执行减小传输功率以便增加第一无线信号中的噪声，从而使得能够从在服务器110处检测到的潜在的鞍区域逃脱。如本文所公开的，在操作908处调整传输功率可进一步包括增加传输功率以便使用先前通过减小传输功率而节省的功率。[0167]在根据图9的一些实施例中，可以在多个重复周期中执行所说明的方法。该方法可以重复以使得能够在服务器110处确定包含来自高维数据(包括存储在第一装置101处的局部数据和存储在其他装置102、装置103处的其他局部数据)的信息的低维子空间。[0168]在根据图9的一些实施例中，可以由多个装置101、装置102、装置103中的装置101允许操作参与联合主成分分析，其中联合主成分分析包括多个通信轮次，并且其中多个通信轮次的每个通信轮次包括从多个装置101、装置102、装置103到服务器110的同时无线传输。每个通信轮次的操作可进一步包括从服务器110接收更新的矩阵，确定相对于更新的矩阵的局部梯度(其中局部梯度基于存储在装置101处的局部数据),使用线性模拟调制来调制局部梯度从而产生经调制的局部梯度，调整发射功率从而生成经调整的传输功率，以及经由无线信号将经调制的局部梯度同时无线地传输到服务器110,其中无线信号包括经调整的传输功率，且其中无线信号与由多个装置101、装置102、装置103发送的多个无线信号是同时的。[0169]图10是表示根据本主题公开的各个方面和实施例的参与联合主要组件分析的服务器的示例操作的流程图。所示的框可表示在方法中执行的动作、计算装置的功能组件或在可由处理器执行的机器可读存储媒体中实施的指令。虽然以示例顺序示出了操作，但是在一些实施例中可以消除、组合或重新排序操作。[0170]图10中所示的操作可以例如由诸如图1中所示的边缘服务器110的服务器来执行。示例操作1002包括接收包括全局梯度的聚合信号。全局梯度包括在各个装置101、装置102、装置103处计算的相应的局部梯度的组合，其中，由各个装置101、装置10传输相应的局部梯度，用于相应的局部梯度的空中组合以形成聚合信号。[0171]示例操作1004包括基于全局梯度更新矩阵，从而产生更新的矩阵。示例操作1006[0172]示例操作1008包括基于区类型确定用于由各个装置101、装置102、装置103应用的功率调整。功率调整可以包括例如减小由各个装置101、装置102、装置103应用的传输功率。传输功率的减小响应于区类型包括潜在的鞍区。传输功率的减小可以实现包括在各个装置101、装置102、装置103的无线传输中的噪声的增加，其中噪声的增加使得能够从潜在的鞍装置103能够使用先前通过减小发射功率而节省的功率。[0173]示例操作1010包括向各个装置101、装置102、装置103发送更新的矩阵、功率调整和同步信息。同步信息可以将由各个装置101、装置102、装置103进行的相应的局部梯度的同时无线传输同步。[0174]与图9一样，图10的操作可以根据定义的频率在多个重复周期中执行。可重复所述处的相应的局部数据)包含的信息的低维子空间。[0175]为了提供所公开的主题的各个方面的上下文，图11和以下讨论旨在提供对可实现所公开的主题的各个方面的合适环境的简要概括描述。尽管在本文中已经在运行在一个和/或多个计算机上的计算机程序的计算机可执行指令的一般上下文中描述了本主题，但是本领域的技术人员将认识到，所公开的主题也可以结合其他程序模块来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。基本上任何其它信息存储组件等术语指的是“存储器组件”或在“存储器”或包括该存储器的组件中体现的实体。将理解，本文描述的存储器组件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者，作为说明而非限制，易失性存储器擦除ROM(EEPROM)或闪存中。易失性存储器可以包括随机存取存储器(RAM),其充当外部高件旨在包括但不限于这些和任何其他合适类型的存储器。[0177]此外，将注意到，所公开的主题可以用其它计算机系统配置来实施，包括单处理器或多处理器计算机系统、迷你计算装置、大型计算机、以及个人电子产品等。所示的各方面也可以在分布式计算环境中实践，在分布式计算环境中，由通过通信网络链接的远程处理装置执行任务。然而，本主题公开的一些方面(如果不是全部方面的话)可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储装置中。[0178]图11示出了计算系统1100的框图，该计算系统例如被配置为作为控制器818操作，并且可操作以执行根据实施例的所公开的系统和方法。计算机1112可以是例如系统1100的硬件的一部分，系统1100包括处理单元1114、系统存储器1116和系统总线1118。系统总线1118将包括但不限于系统存储器1116的系统组件耦接到处理单元1114.处理单元1114可以是各种可用处理器中的任一种。双微处理器和其它多处理器体系结构也可用作处理单元[0179]系统总线1118可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线、和/或使用各类可用总线体系结构中的任一种的局部总线，这些总线体系结构包括但不限于工业标准体系结构(ISA)、微通道体系结构(MSA)、扩展ISA线(USB)、高级图形端口(AGP)、个人计算机存储卡国际协会总线(PCMCIA)、火线(IEEE[0180]系统存储器1116可以包括易失性存储器1120和非易失性存储器1122。基本输入/输出系统(BIOS)可以存储在非易失性存储器1122中，该基本输入/输出系统包含诸如在启动期间在计算机1112内的元件之间传输信息的例程。作为说明而非限制，非易失性存储器或闪存。易失性存储器1120包括RAM,其用作外部高[0181]计算机1112还可包括可移动/不可移动、易失性/非易失性计算机存储介质。例如，图11示出盘贮存器1124。盘贮存器1124包括但不限于，如盘驱动器、软盘驱动器、磁带驱动器、闪存卡、或记忆棒等装置。另外，盘贮存器1124可包括单独的或与其它存储介质组合的存储介质，其它存储介质包括但不限于，诸如紧致盘ROM装置(CD-ROM)、CD可记录驱动器盘驱动器。为了便于将盘贮存器1124连接到系统总线1118,通常使用可移动或不可移动接[0182]计算装置通常包括各种介质，其可包括计算机可读存储介质或通信介质，这两个术语在此如下彼此不同地使用。[0183]计算机可读存储介质可以是可由计算机访问的任何可用存储介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读存储介质可结合用于存储诸如计算机可读指令、程序模块、结构化数据或非结构化数据等信息的任何方存储装置、或可以用于存储期望信息的其它有形介质。在这方面，本文中的如可应用于贮存器、存储器或计算机可读介质的术语“有形”应理解为仅排除传播无形信号本身作为修饰符，并且不放弃对不仅传播无形信号本身的所有标准贮存器、存储器或计算机可读介质的覆盖。在一方面，有形介质可包括非暂时性介质，其中本文中的如可应用于贮存器、存储器或计算机可读介质的术语“非暂时性”应被理解为仅排除传播暂时性信号本身作为修饰语，并且不放弃对不仅传播暂时性信号本身的所有标准贮存器、存储器或计算机可读介质的覆算机可读存储介质可以由一个或多个本地或远程计算装置例如经由访问请求、查询或其他数据检索协议来访问，以便针对由介质存储的信息进行各种操作。[0184]通信介质通常以诸如已调制数据信号等数据信号(例如载波或其它传输机制)来体现计算机可读指令、数据结构、程序模块或其它结构化或非结构化数据，并包括任何信息传递或传输介质。术语“已调制数据信号”或信号指这样的信号：其一个或多个特征被设置或改变，以便在一个或多个信号中的编码信息。作为示例而非限制，通信介质包括有线介质[0185]可以注意到，图11描述了在用户和在合适的操作环境1100中描述的计算机资源之间担当中介的软件。这种软件包括操作系统1128。操作系统1128可以存储在盘存储器1124上，用于控制和分配计算机系统1112的资源。应注意，所公开的主题可用各种操作系统或操作系统的组合来实施。[0186]系统应用程序1130利用操作系统1128通过存储在系统存储器1116或盘贮存器1124上的程序模块1132和程序数据1134对资源的管理。在一些实施例中，气体传感器控制应用1131可以控制结合图11描述的操作，以便执行气体传感器测量并识别测量的气体或气体浓度。气体传感器控制应用1131可以使用如本文所述的气敏FET阵列的部件来控制测量，并且可以将测量数据记录为数据1134。[0187]用户可以通过输入装置1136(包括经由本文所述的指尖指针)向计算机1112输入命令或信息。作为示例，移动装置和/或便携式装置可以包括在触敏显示面板中实现的用户接口，触敏显示面板允许用户与计算机1112交互。输入装置1136包括但不限于，诸如鼠标、和其他输入装置通过系统总线1118通过接口端口1138连接到处理单元1114。接口端口1138或与无线服务相关联的逻辑端口等。输出设备1140使用与输入设备1136相同类型的一些端[0188]因此，例如，USB端口可以用于向计算机1112提供输入，以及从计算机1112向输出装置1140输出信息。提供输出适配器1142以说明存在一些输出装置1140,如监视器、扬声器和打印机，以及使用特殊适配器的其它输出装置1140。作为说明而非限制，输出适配器1142包括提供输出装置1140和系统总线1118之间的连接手段的显卡和声卡。应当注意，其它装置和/或装置的系统提供输入和输出能力，诸如远程计算机1144。[0189]计算机1112可以使用到一个或多个远程计算机(诸如，远程计算机1144)的逻辑连且通常包括相对于计算机1112所描述的许多或所有元件。[0190]为了简洁起见，仅存储器贮存器1146与远程计算机1144一起示出。远程计算机1144通过网络接口1148逻辑上连接到计算机1112,然后通过通信连接1150物理地连接至计算机1112。网络接口1148包括有线和/或无线通信网络，诸如局域网(LAN)和广域网(WAN)。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环等。WAN技术包括但不限于点对点链路、像综合业务数字网(ISDN)及其变体那样的电路交换网[0191]通信连接1150指用于将网络接口1148连接到总线1118的硬件/软件。虽然为了清楚说明，通信连接1150被示为在计算机1112内部，但是它也可以在计算机1112外部。用于连接到网络接口1148的硬件/软件可以包括例如内部和外部技术，诸如调制解调器，包括常规[0192]以上对本主题公开的所示实施例的描述(包括摘要中的描述的)不旨在是穷举或将所公开的实施例限制为所公开的精确形式。尽管为了说明的目的在本文中描述了具体实施例和示例，但是如相关领域的技术人员可以认识到的，在这样的实施例和示例的范围内考虑的各种修改是可能的。[0193]在这方面，虽然已经结合各种实施例和对应的附图描述了所公开的主题，但是在适用的情况下，应当理解，可以使用其他类似的实施例，或者可以对所描述的实施例进行修改和添加，以用于执行所公开的主题的相同、类似、替代或替代功能，而不偏离所公开的主题。因此，所公开的主题不应限于本文描述的任何单个实施例，而是应根据所附权利要求书的广度和范围来解释。[0194]如在本说明书中所采用的，术语“处理器”可以指基本上任何计算处理单元或装置，包括但不限于单核处理器、具有软件多线程执行能力的单处理器、多核处理器、具有软件多线程执行能力的多核处理器、具有硬件多线程技术的多核处理器、平行平台、以及具有分布式共享存储器的并行平台。另外，处理器可以指被设计为执行本文描述的功能的集成控制器(PLC)、复杂可编程逻辑器件(CPLD)、分立门或晶体管逻辑、分立硬件组件或其任意组合。处理器可以采用纳米级架构，诸如但不限于基于分子和量子点的晶体管、开关和门，以便优化空间使用或增强用户设备的性能。处理器也可以实现为计算处理单元的组合。与组件的操作和功能相关的基本上任何其它信息存储组件等术语指的是“存储器组件”或在“存储器”或包括该存储器的组件中体现的实体。将了解，本文所描述的存储器组件可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。在指代计算机相关实体或与具有一个或多