生物信息学中的数据挖掘.ppt

1、生物信息学中的数据挖掘,李 荣 2001年12月,后基因组时代的研究方向,基因组怎样产生功能的 主要问题： 不同基因，不同细胞过程中的功能 基因调控方式 基因与基因产物的互作用方式 以上2种网络 基因表达水平在不同细胞类型和状态下的不同,基因芯片,建立基因表达模式：基因表达矩阵 基因为行 情形为列,基因表达分析举例,1.发现某些基因的表达与某癌症相关 2.探索哪些情况影响这些基因的表达 探索哪些基因有相似的表达模式 3.调查哪些化合物（潜在的药物）能降低这些基因的表达,基因表达矩阵分析,不同基因的表达模式比较：行比较 不同情形的表达模式比较：列比较 以上两种结合（前提：数据规范化）,比较-发现

2、相似或不同,行比较： 两行相似意味两基因共调控或功能相关 列比较： 哪些基因的表达变化了,相似性（距离）的度量,将对象（行或列）作为n维空间的点或n维向量 计算点间距离 欧几里德距离：结果明显但非最佳 将n维向量作为随机变量用相关系数计算（ 与n维向量间的角度有关） 将n维向量长度规范化为1，则以上两种相关,相似性（距离）的度量,无如何选择最佳距离度量的理论 最合适距离度量方法不一定存在 选择依赖于具体问题 已知的共调控基因标准集和基因调控网络模型可能有助于发现潜在的相似性度量,矩阵分析,无监督方法：聚集 有监督方法：构造分类器 有其他信息，如功能分类，作为行或列标签,无监督分析：聚集,用相似

3、性分组 可看作维规约 层次聚集、k-means、自组织图 桶方法 专用方法：如在图中发现近似系的方法,聚集结果中一个聚集的可视化表示,例,K-means方法：3000基因15个时间点，聚为30 类 层次聚类：8600基因80次实验，10个类,选择有趣的基因,比较两个或多个情形，得到表达变化的基因,双路（two-way)聚类-基于分片的聚类,行聚类与列聚类结合 哪些基因在列聚类中做重要 如：6500个基因，40肿瘤，20正常组织,有监督分析：构造分类器,线性识别 决策树 支持向量机（SVM） 邻居分析,有监督分析-优化,属性（基因）多于对象（情形） 不限制分类器的复杂度也可找到优良的识别器 可以

4、构造简单的分类器，满足简单性与分类精确性,一个新算法,用无监督聚类得到表达模式空间的层次结构 用有监督方法发现与聚类结构相关的最佳阈值,发现调控因素 从聚类中发现基因功能 原理：,识别推定的调控信号方法,1 基于选定的度量聚类基因 2 在聚类的基因中提取推定的激发序列 3 在过表达的聚类中发现序列模式 4 用统计显著性标准评价发现的模式的质量,计算分析的步骤,Step 1 聚类表达数据 Step 2 发现序列模式 Step 3 发现显著性阈值，其中会重复Step 2 Step 4 模式选择 Step 5 模式分组 Step 6 评价发现的模式,结论,基因表达分析方法处于初级阶段 使用粗糙 未系

5、统地研究合适的相似性度量方法 评估度量质量的方法 来自不同平台的数据的比较,发展方向,分析方法大量涌现 可靠的相似表达分析方法 度量方法的研究 聚类结果的评价方法 系统化分析基因的方法 逐基因分析方法被网络式分析取代 结合生物知识深入分析,基因表达数据聚类分析算法的评价,系统、定量地评估聚类算法的结果,方法,将某个聚类算法作用于各实验数据中，保留一种情况，用于评价算法预测能力 三个聚类算法：平均连接层次聚类、CAST、自组织图 三个公共数据库,传统方法：用生物学知识可视化地评价（1）,构建模拟数据集D(i,j) i:基因I的平均表达水平 j：每个情形（实验）j的平均表达水平 dij：用i +

6、j为均值，1为参数的标准正态分布 所以模拟数据集无本质的模式。,传统方法：用生物学知识可视化地评价（2）,将计算作用于模拟数据集 结果可视化,左图：原数据聚集结果 右图：模拟数据聚集结果,之前无系统的数据驱动的方法定量地评估 提出一种定量的数据驱动的方法评估与比较不同聚类算法的算法,相似矩阵,预聚类 将两个基因表达原始序列归约为一个值：对相似数,聚类算法评价的历史方法,外部标准分析 将聚类结果与已知的“金”标准比较 内部标准分析 用给定数据集内的信息评价,问题描述,n个基因，m个实验 共调控基因的表达水平相似 比较聚类算法A与算法B的结果,方法,用m-1个实验聚类 用剩余的1个实验评估算法的预

7、测能力 同一聚类的基因在此实验中表达是否相似 优良指数FOM（figure of menz）,FOM,情形0,1,(e-1),(e+1),(m-1)被用于聚类 情形e用于评估 产生K个聚类C1，C2，CK 聚类大小为S1，S2，SK R(i，j)表示基因i在情形j的表达 FOM(e，k)：e情形验证K个聚类的FOM ：聚类Ci 的基因在情形e的平均表达,续,m个情形轮流作为校验情形 总FOM越小越好,由上图可知：B方法优于A方法 聚类质量与聚类数有关 对给定数据集预先不能确定最佳聚类数,小结,本质为评价分类器的精确度 并假设对象的标签 轮流隐藏每个对象的标签 用分类器统计对象的标签,作者提出的

8、算法,不预先假设任何基因的信息 用FOM评估 可用于任意聚类算法与相似矩阵,实验用算法,CAST、重复算法、K-means 随机聚类算法,：情形e下聚类Ci中最高表达水平 ：情形e下聚类Ci中最低表达水平 表达范围= 范围FOM,情形e的最小可达FOM：情形e下最小的可能FOM 计算复杂度为,将重复、CAST、K-means算法随机聚类 分别作用于三个基因表达数据集 计算得到可信的FOM（e,k） 随机聚类主要步骤重复了1000次 重复聚类主要步骤重复了10次 K-means主要步骤重复了30次,分析,聚类数目增加FOM减小 算法可获得高质量的聚类 简单地增加聚类数目FOM减小,相似矩阵的效果

9、（1）,用信息熵作为相似矩阵,结论,聚类算法的效果依赖于 给定的数据集 聚类数目 FOM的定义,此方法也用于验证给定数据集的聚类的存在,计算模拟数据集的FOM，其趋势与有内在模式的完全不同 模拟数据集的趋势更接近于随机聚类算法,没有聚类算法是完全优秀的,K-means快 例某一实验， K-means 2秒，其他算法50秒以上 CAST可信度高,进一步的工作方向,比较不同算法聚类结果的相似性 基因x,y在算法A中处于同一个聚类 计算其在算法B中处于同一个聚类的可能性 数据集中变量的标准化 不同标准化方法对算法预测能力的作用,交互的可视聚类算法,用3维空间直接可视化对象间的距离 设计距离矩阵 根据

10、要求的距离查找点 单值分析算法 弹性着床方法 用3-D浏览器，可视化这些点,无监督的神经元网络,自组织树算法SOTA(self-organizing tree algorithm) 按照二叉树的拓扑生长 结合了层次聚类的表达能力与神经元网络的强壮性,数据质量挖掘DQM,数据质量：始终满足用户的期望 DQM：精细地运用数据挖掘技术度量与提高数据质量 在大型数据库中，检测、量化、解释、校正数据质量缺陷,已用到的算法,偏差和异常检测 聚类与依赖分析 分类 神经元网络,度量和解释数据质量缺陷,理解何种方法适合何种数据 怎样用KDD方法,校正有缺陷的数据,检测并剔除有缺陷的数据 估计丢失值和不正确值,扩展KDD处理模型,在KDD过程中加入显示的数据质量阶段 度量与提高数据质量不仅作为KDD项目的初始阶段，在实际挖掘与调度阶段也是重要部分,建立处理模型为“纯DQM”,DQM从数据分析中分离出来,用关联规则DQM,数据库D，任何满足质量度量阈值的规则都可以有效产生 例：Zip code :80801Cit