基因表达谱聚类

1、基因表达谱聚类分析文章来源：I文章作者：I发布时间：2006-12-211字体：大中小学习过程可以采用从全局到局部的策略。采取这种策略时，学习初期可设定较大的交互作用半径R，随着学习过 程的不断推进，逐步减小R，直至不考虑对邻近单元的影响。邻域的形状可以是正方形或者圆形。KFM的聚类结果与K均值相似，它的优点是自动提取样本数据中的信息，同时也是一种全局的决策方法，能避 免陷入局部最小，缺点在于必须实现人为设定类的数目与学习参数，而且学习时间较长。KFM方法克服了 K-均值 聚类的一些缺点：它应用类间的全局关系，能提供大数据集内相似性关系的综合看法，便于研究数据变量值的分布及 发现类结构。而且，

2、它具有更稳健更准确的特点，对噪声稳定，一般不依赖于数据分布的形状。8.4.2.5其它聚类方法聚类方法是数据挖掘中的基本方法，数据挖掘的方法很多，在基因表达谱的分析中，除了以上常用方法外，还有一 些其它的方法。由于对聚类结果尚没有一种有效的方法进行评价，尤其是对聚类结果的进一步生物学知识发现尚没有 新的分析思路和成功应用，因此，科学家们在不断地研究一些新方法。这些方法有不同的原理，能够提取不同数据特 征，有可能对具体的数据得到更有意义的结果，发现更多的生物学知识。这里，简单介绍这些方法的原理，更详细的 介绍请参看相关文献。模糊聚类分析方法:这是一种模拟人类的思维方法，通过隶属度函数来反映某一对象

3、属于某一类的程度。基本思 路是计算两两基因表达谱之间的相似性程度，构建模糊相似矩阵，利用模糊数学中的传递闭包计算方法得到模糊等价 矩阵，选择不同的置信水平从模糊等价矩阵中构建动态聚类图。对于特定的置信水平，可以实现对基因表达谱的分类。 该方法的优点是利用了模糊数学中的隶属度概念，能够更好的反映基因表达谱之间的相互关系，而且它是一种全局的 优化方法，与向量的顺序无关。模糊C均值算法:该方法同样将模糊数学中的隶属度概念引入到常用的K均值聚类方法中。对于K均值算法， 一个基因表达谱所属的类只有一个，因此，它与各类别的关系要么是1，要么是0，即属于或不属于某一类。而对于模糊C均值法，一个基因表达谱是否

4、属于某一类，是以隶属度来确定第i个样本属于第j类的可能性。最终的聚类结果取决于分析的目的，可以根据最大隶属度来确定基因表达谱的分类，即一个基因表达谱只属于一类； 但往往是确定隶属度的阈值，只要大于该阈值，就可以将基因表达谱划分为该类，这样的划分结果是一个基因表达谱 可以属于多个类，这也是可以被生物学家接受的。模糊C均值法与K均值法的实现过程基本相同，所不同的是对于;同样它没有一个明确的类界限，模糊C均值法并不是直接将样本向量归类，而是计算属于各类别的隶属度 在计算聚类中心时，需要考虑所有的样本向量，根据隶属度四来计算聚类中心。谱聚类:K均值聚类对于聚类中心相距较远的数据样本具有很好的聚类效果，

5、而对于具有同心圆特征的数据样本 很难得到好的分类效果，而谱聚类(Spectral clustering)能够很好的对具有这种特征的样本进行聚类。谱聚类是一 种基于矩阵特征向量的方法，也是一种能根据顶点之间的权值对图进行划分的方法。用图表示基因表达谱矩阵，基因 表达谱可以看作是一组顶点，连接顶点的边的权值反映了两个表达谱之间的相似性，这样就得到有权无向图G(V， A)，聚类过程等价于将G划分为不连接的子集，这可以通过简单地删除连接边来实现。聚类过程包括两个步骤：第 1步是将表达谱空间转化为相似度矩阵的特征向量空间；第2步是应用简单的K均值法对特征向量空间的特征向量 进行聚类，得到的结果就对应了基

6、因表达谱的聚类结果。该方法可以根据特征值自动确定分类数目。谱聚类在聚类过 程中进行了特征空间的转换，可以将大的空间转化为较小的空间，从而可以更快速地处理大规模的数据。超顺磁性聚类:超顺磁性聚类(superparamagnetic clustering )是一种基于模拟非均匀铁磁物质的物理特性的聚类 方法，将数据聚类问题视为检验不均匀Potts模型的平衡特性。根据表达谱向量之间的距离矩阵构建图，顶点是数据 点，如果两个点之间的距离满足K-mutual-neighbor准则，则称为邻居。数据点的聚类等价于有权图的划分。给每一 数据点分配一个Potts自旋子，相邻数据点间引入强度随距离下降的相互作用

7、函数。非均匀Potts模型系统随温度变 化表现出三相：在低温下，所有自旋子呈现完全有序的排列，系统为铁磁相；随着温度的升高，小区域自旋子形成磁 化“颗粒”，附属于同一“颗粒”者相互间产生强耦合，而无关者间相互作用很弱，不同“颗粒”的排列呈无序状态，为超 顺磁相；在高温下，系统不表现任何有序性，为顺磁相。在超顺磁相的转换温度下，磁化率表现出显著的峰值。原则 上，超顺磁相可以有一系列的转换点。随着温度的升高，系统可以首先分裂为两类，其中每一类又可以分裂为更多的 子类，这样，数据就分层组织为类。超顺磁性聚类算法的优点是对噪声及初始化不敏感，因为类由系统的综合性质产 生。由磁化率的峰值很容易鉴别主要的

8、分界，从而能清楚显示类的构成和分界，并且在每一个分辨率上能自动确定类 数。双向聚类法:以上所述方法主要是对基因表达谱进行聚类，或针对基因表达矩阵的行进行聚类分析，将具有相似 模式的基因表达谱分为一组，这是在应用中要解决的主要问题。基因表达数据矩阵中的列表示了实验条件，可以是时 间序列，也可以是不同的肿瘤样本或病人样本。从生物学应用的角度，针对列的聚类可以发现各实验条件之间的相互 关系，例如，同一肿瘤类型的样本可以聚成一类，它们具有相似的基因表达模式，这样就可以基于表达谱对肿瘤进行 分类。从数学的角度，数据矩阵中的每一列对基因表达谱的行聚类结果有着不同的影响，挑选部分列进行聚类的结果 与选择所有

9、列进行聚类的结果是不同的。将两者结合起来，就称为双向聚类法，在行和列两个方向上进行聚类分析， 通常采用贪婪迭代检索的方法来发现子矩阵或稳定的类，这些子矩阵中感兴趣的模式具有特定的生物学意义。在应用 中，可以根据具体的目的，确定以降低基因维数还是以降低样本维数为主，通过迭代得到稳定的若干样本分类或基因 分组。8.4.3基于模型的聚类方法在基因表达数据显著性分析时，我们提到贝叶斯方法的应用，它分别对两种条件下的数据构建模型，通过比较它们 的模型参数来确定表达差异的显著性。同样，基因表达谱分析也可以引入建模的方法，假定每一个基因表达谱是由一 种内在的概率模型产生的，它满足一定概率分布或者分布的有限组

10、合，例如多元正态分布，而所有的基因表达谱是由 若干个概率模型混合产生的，这样就可以通过确定这些概率模型，来实现对基因表达谱聚类的目的。高斯混合模型是 该聚类方法中的常用模型。与上面所述的各种启发式聚类算法比较，基于模型的方法具有的最大优点是，不需要使用 严格的方法来确定类的数目或最佳的聚类方法，但是不足是计算量非常大，对于大量数据的分析比较困难。基于混合模型的聚类，首先假设数据中蕴含的每一类样本由一种内在的概率分布混合产生，例如高斯混合模型，独 立多元观测yi，y2，.，yn组成的数据Y中每一元素yk由参数为Uk （均值向量）和Ek （协方差矩 阵）的多元正态分布模拟，（8-24）u E式中的

11、det是求矩阵行列式值的函数。算法的目标是由数据预测参数 k和Ek并确定相应于这些参数预测的类。为了便于参数预测，对Ek进行特征值分解：，D 为特征向量组成的正交矩阵，确定模型的取向，A为对角矩阵，元素与Ek的特征值成正比，确定模型的形状入为标量，确定模型的体积。约束和改变部分参数，可以得到这一概率框架下的一组模型，如，等体积球模型（EI :，I为单位矩阵）、不等体积球模型（VI:）等，以适应数据特征的变化。模型参数可以通过EM （期望最大化）方法估计。每一种协方差矩阵与类数组合情况相应于不同的概率模型，由贝叶斯信息准则（BIC）估计每一种模型下数据被观测到的概率， 计算模型的BIC得分，最后

12、选择BIC得分最大的模型和参数对该样本进行分类。8.4.4支持向量机如上所述，对于基因表达谱数据矩阵M，在对行或列向量进行聚类分析时很少或根本没有用到生物学知识，所得到 的结果是否具有生物学意义，还需要进一步的分析。然而，对于特定的数据矩阵，都有特定的生物学背景，例如，基 因之间存在相关性，可以分成若干功能类，样本之间也存在某种关系，可能来自患有相同肿瘤的病人。将这些知识应 用于聚类方法中，挑选部分样本作为训练样本，可以提取特征构建分类器，然后对其它的样本进行分类，实现聚类的 目的。这种方法称为有监督学习方法，支持向量机(support vector machine， SVM)就是这样一种从少

13、量样本中 提取分类信息的机器学习方法。因为SVM仅仅需要少量样本，而实现对大量样本的分类，这与分类问题中通常有明 确类别存在的情况下对未知类别进行分类是不同的，所以，在这里将它作为一种聚类方法进行介绍。统计学习理论是目前针对小样本统计估计和预测学习的最佳理论，它从理论上较系统地研究了风险最小化原则成立 的条件、有限样本下经验风险与期望风险的关系以及如何利用这些理论找到新的学习原则和方法等问题。支持向量机 是实现统计学习理论思想的具体方法，可以用于解决小样本、非线性及高维学习问题，不需要足够的样本来构建特征 空间，而仅仅需要少量的样本来构建分类界面，这些用来构建分类界面的样本就称为支持向量。考虑

14、图8.4所示的二维两类线性可分情况，图中实心点和空心点分别表示两类训练样本点，分类线H能把两类 正确地分开，H 1，H 2平行于H，并且分别为两类样本中离分类线H最近的点，H 1、H 2之间的距离叫做 两类的分类空隙或分类间隔，最优分类线就是要求分类线不但能将两类正确地分开，同时要求使两类的分类空隙最大， 从而使真实风险最小。对于高维空间，最优分类线就成为最优分类面。假设线性可分样本集为是类别标号，则分类判别函数为,分类面方程为。将判别函数归一化，使两类所有样本都满足，即使离分类面最近的样本的判别值为1，这样分类间隔=2/。要使间隔最大，必须使 最小，要求分类线对所有样本能正确分类，就要求它满

15、足：(8-25)因此，满足上述条件且使最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面H 1 ,H 2上的训练样本就是使等号成立的那些样本，即支持向量。那么，如何求最优分类面？根据上述讨论，最优分类面问题可以表示成在条件(8-25)的约束下，求函数的最小值。为此，可以构建Lagrange函数(8-26)其中 0，为Lagrange系数，问题转化为对w和b求Lagrange函数的极小值，分别对w和b求偏微分并令它们等于0，在约束条件(8-27)之下，对求解下述函数的最大值，(8-28)若为最优解，则，即最优分类面的权系数向量是训练样本向量的线性组合。求解上述问题

16、后得到的最优分类函数是：(8-29)sgn()为符号函数。由于非支持向量对应的 均为0，因此，式中的求和实际上只对支持向量进行，而是分 类的阈值，可以由任意一个支持向量求得，或通过两类中任意一对支持向量取中值求得。从最终的分类判别函数中可 以看到，只含有待分类样本与训练样本中的支持向量的内积运算。对于两类情况的分类，就是要构建最优分类面或超平面。对于大多数真实世界的问题，包含不可分的数据，也就是 在数据空间中不存在一个超平面可以成功的区分两类样本。一个解决办法是将数据映射到更高维的空间，在那里定义 一个可分隔的超平面。这个更高维的空间称为特征空间，而对应的训练样本所在的空间叫输入空间。问题就成

17、为如何 选择一个足够维度的特征空间，使得训练数据可分。SVM的基本思想是首先通过非线性变换将输入空间变换到一个高维的特征空间，然后在这个新空间中求取最优线 性分类面，而这种非线性变换是通过定义适当的内积函数实现的。用于超平面分类点的决策函数仅仅包含特征空间中 点之间的点积，因此寻找特征空间中可分隔超平面的算法完全可以用输入空间中的向量和特征空间中的点积来陈述。 SVM能够定位超平面，不需要明确地表示特征空间，只需要简单地定义称为核心函数的函数K，它在特征空间中起 着点积的作用，这个技术避免了明确表示特征向量的计算负担。SVM的判别函数为：(8-30)一些简单的核心函数有多项式形式的内积 函数(

18、8-31)和核函数型内积(8-32)(8-31)(8-32)是高斯宽度，等于正样本与最近负样本间欧氏距离的中值，得到的SVM是一种径向基函数分类器。8.4.5聚类结果的可视化对微阵列基因表达谱的聚类分析得到的一般是基因的分组信息和基因表达谱的相互关系，如何进一步了解同组基因 的表达谱差异？不同组基因之间是否存在相互关系？哪些基因是上调或下调的？幅度变化有多大？在何种条件下发 生较大的变化？这些问题是生物学家普遍关注的问题，需要通过简单、直观的方法来给出这些答案。数据对于大多数 人来说太抽象了，而文字的描述又难以反映数据的本质，采用可视化的方法可以大大方便对表达谱分析结果的理解，有利于对这些问题

19、的回答。在数据挖掘中，可视化方法可以用来发现数据中的固有结构，这是因为人类的眼睛和大脑具有强大的结构探测能力 这是长期进化的成果。可视化方法就是以各种可以发挥出人类在模式处理方面的特殊能力的方式来显示数据。可 视化方法在数据挖掘中占有非常重要的地位，它是筛选数据寻找未知数据关系的理想方法。可视化方法是生物信息学 中常用的一种表示和发现生物学知识的方法，典型的例子有蛋白质三维构象的显示、转录因子DNA结合位点一致序 列的logo表示、基因调控网络的图形表示等。基因表达谱的数据特点是基因数目多，样本少，而每一个数据点所表示的是基因在特定条件下的表达数据，经过数 据预处理后，往往是与参考样本表达水平

20、的比值的对数值，负值表示基因表达水平的下调，正值表示上调，值的绝对 值反映了变化的幅度。因此，对于表达谱数据及其聚类结果通常用两种方式表示。第一种可视化表示方式是彩色盒图和树状图（dendrogram）。所谓的彩色盒图是用不同的颜色小方盒来表示基因表 达谱数据，一个小方盒表示一个数据，绿色表示数据小于0，红色表示数据大于0，相对应的生物学意义是对应的 基因在相应的条件下是上调还是下调，而颜色的深浅反映了数据的绝对值大小。基因表达谱的很多聚类结果是以树状 图的形式表示的，例如，对于层次聚类法、模糊聚类等方法，这些结果的可视化是通过树状图和彩色盒图相结合表达 的（如图8.5 （ a）所示）。树状图

21、是系统发生分析中常用的物种进化关系的表示方法，在这里反映了基因表达 谱之间的关系，通过不同层次的剪枝，可以得到不同的基因子集。树状图和彩色盒图的结合，可以很好地反应具有不 同表达特征的基因之间的相互关系，例如，对于细胞周期的基因表达检测，可以很方便地知道哪些基因是周期性表达 的，它们的表达高峰分别在哪一个时期等。从这种方式的表示中，可以方便地发现相关的基因，并对它们进行深入的 分析。对于k均值、SOM等聚类方法得到的结果也可以用彩色盒图表示，分在同一组的基因安排在一起，也能基 本反映基因表达谱之间的相互关系。该方法的局限性在于基因的数量很大，很难对全部基因进行同时的细节观察。第二种可视化表示方

22、式是点线图。在直角坐标系的第一象限中用点表示基因表达数据，并用线将相邻的点连接起来。 这样，一条曲线就表示了一个基因在不同条件下的表达水平，对于时间相关的数据，可以在一定程度上反应基因的动 力学行为。对表达谱聚类分析后，得到的每一个基因子集可以在一个图中显示出来，如图8.5（ b）所示。点线图 比盒形图更能直观地表示基因的表达水平和不同基因在相同条件下的差异。可视化方法对于基因表达谱聚类结果的理解非常重要，对于生物学家分析和理解生物学意义具有不可替代的作用。 除了上述两种主要的表示方法外，还有一些方法可以直观地根据表达谱数据显示基因之间的相互关系，例如，多维缩 放分析和主成分分析的图示结果等。

23、将表达谱分析结果与基因序列、转录调控因子、启动子等其它数据结合起来，应 用可视化技术显示这些数据及其关系，有助于深入理解基因表达调控，认识基因之间的相互作用，发现新的生物学知 识。8.4.6聚类结果的定量评价从上述对聚类算法的介绍来看，聚类方法很多，针对同一个数据集，可以选择不同的相似度函数和不同的聚类方法， 自然会产生一个问题，针对特定的数据集，这么样的聚类结果是“好”的？很显然，不同的聚类方法得到的结果是不一 样的，也许它们可能会从不同的侧面来反映特定的生物学知识。但是，从目前在生物医学中的应用看，对特定的表达 谱数据，最常用的还是层次式聚类、K均值算法或自组织特征映射法。为什么有许多其它

24、的方法而不用呢？这也是 拥有基因表达实验数据的生物学家面临的一个主要问题，如何为他的数据集选择正确的聚类算法？要选择“好”的聚类 方法，首先必须对各种聚类方法进行评价，分析其适用的数据集类型，然后才能针对特定的数据集推荐“好”的聚类方法，最后还得对聚类结果进行评价，判断所得结果是有效的，正确的。要对聚类结果进行评价，黄金标准当属于能否发现生物学知识，即从数据出发，能够找到新的生物学知识或得到明 确的对某些生物学问题的答案，例如，能够预测未知功能的基因，能够明确样本的肿瘤分型，能够获得基因之间的调 控关系等等。能够在生物医学中得到应用，该方法就是有效的，就是好的方法。但是，对方法进行生物学评价是

25、非常 困难的。聚类方法作为一种探索性的知识发现方法，它的结果是预测性的，而生物学知识还是非常不完备的，很难从 理论上来证明，因此必须通过生物学实验的验证才能证明其预测的正确性。就目前的生物分子信息检测技术而言，还 是非常困难的。目前，对聚类结果的评价主要从内部标准和外部标准两个方面进行。所谓的内部标准，是指利用结果 的统计特征，而不借助任何外来信息进行评价，例如，类间分离度、类内紧致性等；所谓外部标准是指有一个参考标 准，分析新的聚类结果与参考标准的匹配性，来判断聚类方法的好坏。聚类结果的有效性分析是聚类分析方法的瓶颈， 以下介绍常用的几种聚类算法的定量评价指标。（1）误差平方和准则：假定有一

26、组样本，要求将这些样本分成c个类，由于存在多种可能的分类方案，到底哪种分法最好？这就必须定义一个准则函数，聚类问题就变成对这个准则函数求极值的问题。最简单的准则是误差平方和准 则，其准则函数定义如下：（8-33）其中c为聚类数，f表示第i个聚类的样本集合，mi是集合f 中所有样本的中心。显然，使J最小化的聚类 就是最好的聚类。当每类的样本都很密集，而各类之间又有明显的分离，使用这种准则进行聚类可得到最好的结果。 而当各类界限不清楚时，利用这种准则得到的聚类结果往往不能令人满意。（2 ） Silhouette 值：采用类间分离度和类内紧致性来评价聚类结果的好坏是常用的方法。如果在样本空间中，各个聚类彼此分隔得比较 远，而每个聚类中的样本又彼此靠近，则可以认为聚类效果好。因此，可以用类间距离与类内距离的比值作为衡量聚 类结果的标准。基因表达谱的分类有效性分析的另一种方法是采用最小类间距离与类内平均距离的相对差值作为判断 依据，其计算公式如下：(8-34)其中b(i)为某类中的样本i到其它类样本的平均距离的最小值，a(i)为某类中的样本i与类内其它样本的平均距 离。S(i)的值反映了样本i的分类情况，一般通过某类中所