数据驱动建模：奇异值分解与主成分分析.ppt

数据驱动建模：奇异值分解与主成分分析 data-driven modeling: singular value decomposition (SVD) and principal component analysis (PCA),“Omics”: 海量数据,microarray: 在N个样本中 同时监测M个基因的表达水平 数据量： M x N 未考虑关于N个基因的背景知识,问题,如何刻画数据的主要变化趋势？ 个别基因与主要趋势如何联系？ 如何用“最少数量” 的独立参数（最少的假设），来代表数据中“有意义”的信息？,假设： k种相互独立的调控机制，其相对贡献：j 对每个基因的影响： Uj （有M个分量） 对每个实验条件的影响：Vj (有N个分量）,N 组（不同条件下）近似观察结果：,？与每组观察结果对应的体系状态参数,复习,线性组合、线形空间 向量的内积，正交 向量、基矢量 线性变换与矩阵乘法,SVD 是什么？,考虑 M x N 的矩阵 A,数据压缩与数据过滤,小的奇异值代表误差,example,奇异值分解与几何变换： A的“大小”（范数）,x,b=Ax,奇异值分解与线形方程组,奇异值为零和不为零的U(V)向量将M(N)维线性空间分为U0(V0)和U1(V1) 两个互相正交的子空间。 V0: A 的零空间 U1: A 的定义域,例子：代谢流量平衡,可能的稳态流量是零空间的向量,线性最小二乘拟合,理想模型,实际观察,误差最小的结果,Back to gene expression data,在N个样本中 同时监测M个基因的表达水平 数据量： M x N 基因表达矩阵,M 个基因的表达水平不一定是相互独立的 N 个样本不一定是相互独立的,基因和样本之间是如何关联的？,uj: “eigengene” vj: “eigen expression”,含义？,“eigengene” j is only expressed in the jth “eigenarray” with expression level j,假设所有观察数据受到 k 种互相独立的调控机制的影响。 每种调控机制对各个基因表达的影响： uj uj系数： 相对强度和相位 （对基因归一化） 不同调控机制对表达数据的贡献：j 每种调控机制对各个样本的贡献：vj vj的系数：相对强度和相位 （对样本归一化）,例子：出芽酵母细胞周期基因表达 数据驱动建模 （PNAS,2000，10102）,390 min /30 min ( 14 samples) 6109 open reading frames (ORFs)， 5981 genes with complete data 表达数据: 5981x 14,SVD,SVD-original data,最大奇异值 90%的表达水平,time invariant ( vj constant ),表明： 样本是在稳态基础上的小的变化,SVD-original data,The second, third, and fourth eigengenes, which show oscillations during the cell cycle, capture about 3%, 1%, and 0.5% of the overall relative expression, respectively.,data normalization by SVD,SVD-filter 2,filter 1,SVD-filtered data,expand to real genes/real mechanisms,eigenarray, eigengene regulatory mechanisms,14 samples correlations with two eigenarrays,Sorting the genes,主成分分析 （principal component analysis，PCA),高维数据-低维数据,N组观察数据 每组观察M个变量 （数据是M维的） 希望用LM个变量来代替原来的数据,1、计算M 个变量间的协方差矩阵,PCA,2、协方差矩阵对角化,PCA,3、本征值排序,4、 变量替换,PCA变换的性质,1、 新的数据分量是正交的,2、如果保留全部非零本征值，总协方差不变,数据分析中的应用,数据投影（可视化）/聚类,每个基因： 多个样本表达数据 （N) (M) 样本之间的协方差矩阵 -主成分（每个样本的加权） -用多个组合样本中表达数值描述每个基因 基因之间的协方差矩阵 -主成分 （每个基因的加权） -用多个基因表达的组合数据来描述每个样本,320 genes, 7 samples,