欧氏距离类间距离——最短距离PPT课件VIP

-,1,Analysisofmicroarraydata,CuiQinghua2009-03-06,-,2,Outline,IntroductionDatabasesDetectionofdifferentiallyexpressedgenesClusteringClassificationPrincipalcomponentanalysis(PCA)PathwayandOntologyanalysisSurvivalanalysis,-,3,Introduction,我只强调一点，基因芯片数值反应的是mRNA的丰度（abundancy），因此，可以在一定程度上反应基因的表达水平。,-,4,BiologicalQuestion,SamplePreparation,DataAnalysis&Modelling,MicroarrayReaction,MicroarrayDetection,TakenfromSchena&Davis,Microarray总流程,-,5,应用,差异表达基因检测（不同组织、不同时间、不同条件等）基因联合调控疾病诊断基因功能鉴定药物筛选和新药开发,-,6,应用：以人类疾病为例,神经系统：肿瘤、aging,CNS炎症、多发性硬化、老年痴呆、精神分裂症、癫痫、帕金森病等；呼吸系统：肺癌、支气管哮喘、原发性肺动脉高压、肺间质纤维化、结节病等；消化系统：肿瘤，肠炎等其他：造血系统疾病、传染性疾病、生殖系统疾病以及泌尿系统疾病等,-,7,s1s2s3sjsM,g1g2gigN,geneprofile,arrayprofile,Gi,Aj,Microarraydatamatrix,Mi,j,-,8,Databases-三大基因表达数据库,美国国立生物信息中心NCBI的GeneExpressionOmnibus数据库(GEO,/geo/),-,9,Databases-三大基因表达数据库,欧洲生物信息学研究所EBI的ArrayExpress数据库(http:/www.ebi.ac.uk/microarray-as/ae/),-,10,Databases-三大基因表达数据库,美国斯坦福大学的SMD数据库(/),-,11,数据预处理,数据缺失原因图像受到污染图像分辨率不足片上灰尘或刮痕缺失数据的处理方法舍弃该数据（同时丢掉了有用信息！）再做一次实验（太昂贵了！）用某个数取代，比如样本均值K-nearestneighbors估计奇异值分解（SVD）估计标准化Log变换线性回归伸缩+平移,-,12,Detectionofdifferentiallyexpressedgenes,两类样本ttestWilcoxontest多类样本anova多重检验校正BonferoniFDR,-,13,软件-SAM,SignificanceAnalysisofMicroarrays(Tusheretal.2001)需要R软件包Excel嵌入式函数,-,14,Clustering,-,15,Clustering三要素,相似性度量PearsonscorrelationSpearmanscorrelationEuclidiandistanceCityblockdistance聚类准则聚类算法,-,16,聚类算法,层次聚类：假设有N个样本，第一级，每个样本为1类，即有N类，依次合并，直到样本只有一类。非层次聚类K-meansFuzzyc-means自组织映射。,-,17,Clustering软件-Cluster,MichaelEisenetal.步骤：打开软件装入数据（格式解释）选择聚类办法设置参数运行,-,18,-,19,层次聚类法的基本步骤,层次聚类法的基本步骤对数据进行变换；定义样本间的距离（如欧氏距离）、类别之间的距离（如最短距离）；首先将t个样本各自视为一类：得到初始的分类G(1)（含有t类），计算t个样本两两之间的距离，它们等价于初始的类间距离，得到初始的距离矩阵D(1)；将距离最近的两类合并为一新类，得到新的分类G(2)（含有t-1类），并计算新类与其它类的类间距离，得到新的类间距离矩阵D(2)，再按照最小距离准则并类，得到G(3)（含有t-2类）、D(3),。直到所有样本都并成一类；画出谱系聚类图，决定分类的个数及各类的成员。,-,20,X1,X2,X3,X4,X5,X6,X1,X2,X4,X3,X5,X6,-,21,层次聚类法举例,已知：根据5种灵长类动物朊粒蛋白的氨基酸序列比较，得到它们之间的距离矩阵（经过数据变换处理）。X(1)：Gibbon（长臂猿）；X(2)：Symphalangus；X(3)：Human（人）；X(4)：Gorilla（大猩猩）；X(5)：Chimpanzee（黑猩猩）,构造：样本间距离欧氏距离；类间距离最短距离；,-,22,步骤15个物种各自构成1类，得到5类，有：初始分类G(1)=X(i)(i=1,2,3,4,5)初始类别数目m=5初始类间距离矩阵D(1),D(1),-,23,步骤2由D(1)知，合并X(1)和X(2)为一新类C(4)=X(1),X(2)，有：新的G(2)=X(3),X(4),X(5),C(4)新的类别数目m=4新的类间距离矩阵D(2),D(2),-,24,步骤3由D(2)知，合并X(3)和X(4)为一新类C(3)=X(3),X(4)，有：新的G(3)=X(5),C(4),C(3)新的类别数目m=3新的类间距离矩阵D(3),D(3),-,25,步骤4由D(3)知，合并X(5)和C(3)为一新类C(2)=X(5),C(3)，有：新的G(4)=C(4),C(2)新的类别数目m=2新的类间距离矩阵D(4),D(4),-,26,步骤5由D(4)知，最后合并C(4)和C(2)为一新类C(1)=C(4),C(2)，有：新的G(5)=C(4),C(2)新的类别数目m=1新的类间距离矩阵D(5),D(5),-,27,X(1),X(2),X(3),X(4),X(5),步骤6画谱系聚类图,1,2,3,0,Gibbon,Symphalangus,Human,Gorilla,Chimpanzee,-,28,影响聚类结果的主要因素样本间距离的定义dij类间距离的定义Dij,-,29,层次聚类linkage方法,Linkage方法直接影响了聚类结果，它取决于类间距离如何定义。关于类间距离有如下几种：Centroidlinkage：几何中心距离。仅适用于欧氏距离。ThedistancebetweentwoclustersistheEuclideandistancebetweentheircentroidsSinglelinkage：最短距离Completelinkage:最长距离Averagelinkage:平均距离,-,30,centroidlinkage几何中心距离,讨论（递推公式）：设Gr是由Gp和Gq合并得到的新类，考虑Gr与Gs（sp,q）的类间距离（几何中心距离）Drs，有：,定义：用Gp和Gq两类几何中心的距离为两个类之间的距离。,用Gp和Gq表示两个类，它们所包含的样本数目分别为tp和tq，类Gp和Gq之间的距离用Dpq表示。,-,31,singlelinkage最短距离,讨论（递推公式）：设Gr是由Gp和Gq合并得到的新类，考虑Gr与Gs（sp,q）的类间距离（最短距离）Drs，有：,定义：Gp和Gq中最邻近的两个样本的距离为这两个类之间的距离。,-,32,completelinkage最长距离,讨论（递推公式）：设Gr是由Gp和Gq合并得到的新类，考虑Gr与Gs（sp,q）的类间距离（最长距离）Drs，有：,定义：Gp和Gq中相距最远的两个样本的距离为这两个类之间的距离。,-,33,averagelinkage类平均距离,讨论（递推公式）：设Gr是由Gp和Gq合并得到的新类，考虑Gr与Gs（sp,q）的类间距离（类平均距离）Drs，有：,定义：用Gp和Gq中每两两样本间距离的平均值作为两个类之间的距离。,-,34,类别数目的确定,X(1),X(2),X(3),X(4),X(5),1,2,0,Dcr1,Dcr2,Dcr3,Dcr4,Dcr5,-,35,层次聚类结果的可视化-TreeView,-,36,非层次聚类,选取聚类种子点(Clusterseeds),初始分类,修改分类,分类是否合理？,最终分类,是,否,-,37,例,-,38,Microarray数据模式分类,预处理,特征提取,机器学习,决策,训练样本,新样本,分类器,决策,X,F(X),Y,-,39,-,40,模式分类算法,线性分类器神经网络最近邻贝叶斯分类器隐马尔科夫模型分类器决策树支持向量机,-,41,Principalcomponentanalysis(PCA,主成分分析),基因芯片数据维数高，难以可视化基因芯片数据噪音比较强PCA主要的应用降维去噪,-,42,PCA数学基础：统计和线性代数,均值(mean):标准差(standarddeviation):方差,-,43,PCA数学基础：统计和线性代数,协方差（covariance）:以上测量都是针对一维变量的，然而，实际数据很多都包含2维以上的数据，统计分析的一个重要目标是检查这些维之间是否有某种关系。,-,44,PCA数学基础：统计和线性代数,协方差（covariance）例子:样本：一个班里抽取12个学生。2维：一是每个学生的期末成绩，另一是每个学生花费在学习上的时间,-,45,PCA数学基础：统计和线性代数,协方差距阵（covariancematrix）矩阵代数（线性代数）：这方面知识不介绍了，感兴趣的同学可以课下自学。,-,46,PCA:举例说明,-,47,PCA软件,Toomany!ExcelSPSSMatlabRCluster,-,48,PathwayandOntologyanalysis,Genesetenrichmentanalysis(GSEA),-,49,-,50,-,51,-,52,-,53,-,54,-,55,-,56,-,57,-,58,-,59,BiNGO:GeneOntologyanalysisofgenecluster,二项分布如果进行n次独立试验，用X记成功次数，则有：超几何分布对N件产品（其中有M件次品）进行不放回抽样检查，在n件样品中的次品数X显然是随机变量，它的分布是超几何分布,-,60,-,61,-,62,“Survival”analysis,PIB5PA271241.9e-6Miz190630.08GROUCHO70880.004CBLB8680.08HBO1111430.008UBE3A73370.01RASGAP257800.04SKP165000.03SODD95300.03,Biomarker!,-,63,Survivalanalysis,SurvivalcurveestimateandtestSurvivalcurve:thefractionofpatientswhosurviveforatleastonemonth,atleastthreemonths,etcSurvivalcurveestimateSurvivalcurvetest(comparison,standardtherapycomparedtoanewertherapy?),-,64,Survivalcurveestimates:Kaplan-Meier,-,65,Su