广义主元分析

广义主元分析 gpca GPCA 算法是基于 PCA 算法改进的非线性方法 该方法运用在运动分割中有优良表现 PCA 目的是将 D 维的样本空间映射到 d 维 d D 的线性空间中 以达到降维的 D RS 效果 PCA 可以直接用奇异值分解 SUV 的计算方法求解 可获得一组新的正交基描述 新的样本空间 以去除样本数据空间存在的冗余和干扰 PCA 有一关键假设 在求正交基 时 假设它们是标准正交的线性组合 问题简化为 YPX 但 PCA 算法使用单一模型分割子空间单一 需事先通过先验知识指定分割后子空间 S 的维 数 因此算法局限性大 GPCA 算法 现实中很多数据集的映射到高维空间中后 数据分布不符合单一线性模型 就无法有效表 示数据 因此用混合线性模型 Hybrid Linear Model 进行数据集合估计 问题 1 对于给定样本点 将其分割到个子空间 其中 N j D j RxX 1 1 n n i D i RS 1 子空间的维数 在未知数据归属下 解决如下问题 dim ii Sd Ddi 0 1 求解出子空间的数目 n 和维数集合 n ii d 1 2 求解每个子空间的基 i S 3 求解对应属于每个子空间的样本点 根据子空间维数不同 子空间可包含线性模型 平面模型 超平面模型等 在求 1 时 可估计相应子空间模型属性 问题 1 求解是循环问题 如要得到子空间模型 就必须先知道数据集的分类 然后对每 一类数据建模 要知道数据所属类别 就需知道子空间的模型 大多数方法是随机的为每 个子空间选取一组基 然后通过迭代运算来估计数据分割和子空间分布 比如算法 算法等 等 但是 大多数这样的迭代算法对于初始值是敏感的 换句话说 他们都最终得到的是局部 优解而不是全局优解 在文 18 提出了新的方法 使得子空间分割不再要求初始化 如果可计算获得子空间 的数目 使用等简单聚类算法去分割数据 使用算法去获得每个类的基 那么仅仅使用代数的 方法就可以处理子空间分割的问题 对于数据集中的任意点 必满足 其中为所子空间的正交向量 原始 k Rx 0 xbT ii bx 数据集为 假设数据集中的数据处于 n 个不同的线性子空间 K RX c X 子空间的维数为 在文 22 中证明 估计 n 个不同的线性子空间可以ncXXc 1 c m 统一得到估计 n 个维数为的线性子空间的问题 1 K 估计 n 个维的线性子空间的问题又可以通过下面的方法求解 假设这 n 个1 K 维的线性子空间的正交向量为 对于则有 那么 对1 Kncbc 1 ci Xx 0 ic xb 于任何都有 Xx b c cn xbxp 1 0 n c KcKcn xbxbxp 1 11 0 估计 n 个维的线性子空间的问题 实际上的核心问题在于求解 n 个子空间的基 即1 K 为正交向量 而与数据集中的数据组成线性齐次方程 c b c b K RX k xxx 21 可得到 其中为 X 的 K 个分量 CxVxcxxcxc T n n KM nn k 2 1 111 k xx 1 是 x 的范德默矩阵 而 C 向量是正交向量的线性组合 xV c b 0 1 1 1 1 1 1 1 1 22 1 11 n n N n N nn nn T n c c xx xx xx CxV 有下式成立 0 2 1 C xVn TxV xV CL TN n T n n 但是子空间的个数 n 还是未知 文献 18 中证明可以根据下面这条原则求解 n 若多项式 的次数小于 n 那么 X 中并非所有点 x 能使得多项式 2 5 成立 则需满秩 n L nn MLrank 如果多项式的次数大于 n 那么所有数据点都能够使得多项式成立 所1 nn MLrank 以可以从的秩来判断子空间的数据 n 即 niM niM niM Lrank i i i i 1 1 1 总结式 2 6 则子空间数目的求解方法 可以用式 2 7 表达 1 min ii MLrankin 但是在有噪声的情况下 经常满秩 的秩可以定义为 11rr 式中为的第个奇异值 为预设的阈值 根据上述的推导过程 当求得子空间的 i n L 个数 n 就可以解出多项式的系数 C 再通过分割算法得到 就得到了各个子空间的基 数据 c b 集的每个向量所属子空间就是与该向量距离最近的子空间 对于不同子空间 其不同利用代 数等式可表达在的不同 xpn M Dinga Z Tian and H Xue Adaptive Kernel