(概率论与数理统计专业论文)预测蛋白质二级结构分类的新方法.pdf_第1页
(概率论与数理统计专业论文)预测蛋白质二级结构分类的新方法.pdf_第2页
(概率论与数理统计专业论文)预测蛋白质二级结构分类的新方法.pdf_第3页
(概率论与数理统计专业论文)预测蛋白质二级结构分类的新方法.pdf_第4页
(概率论与数理统计专业论文)预测蛋白质二级结构分类的新方法.pdf_第5页
已阅读5页,还剩33页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中文摘要 中文摘要 生物信息学的主要任务是从急剧增加的生物序列数据中提取新的知识。蛋 白质数据库是生物序列数据库的重要组成部分。目前从直接测得或者从d n a 序列翻译出来的蛋白质序列数量急剧增长,蛋白质数据库中已知一级结构的蛋 白质数量已经大大超过了已经测定空间三维结构的蛋白质数量,所以目前希望 完全依靠实验手段来逐一确定它们的空间结构的想法是不现实的,无论是来自 资金方面的还是时间方面的限制都不能让生物学家完成这一工作。 与d n a 序列不同,蛋白质是生命的具体表现形式。蛋白质所处的环境比 d n a 序列复杂得多,它的一级结构即氨基酸序列的排列顺序并不能完全确定其 本身的生物和化学特性,二级结构和三维结构在蛋白质活动过程中同样起到了 相当关键的作用。所以如何通过已知的蛋白质一级序列的信息,快速地得到其 二级结构和三维结构的相关信息,已经成了人们研究的重要方向。 本文构造了一种新的方法预测蛋白质二级结构的类型,属于球、还是口 类型。该方法使用了b p 神经网络,通过一种新型的描述蛋白质一级结构的向 量c m v 构造网络的训练集,训练神经网络。最后使用神经网络的输出建立了 一个决策系统预测蛋白质二级结构的类型。为了提高训练速度,文中也对神经 网络的并行计算进行了讨论。 关键字: 蛋白质二级结构预测,b p 神经网络,主成分分析,s v d 分解 a b s t f a c t a b s t r a c t t h em a i nt 解kf o rb i o i n f o 衄a t i c si st 0o b l a i nn e wi n f b 珊a t i o nn d mm e n d i d l v i l l c r c 嬲i 1 1 9b i o l o g i c a ls e q u c n c e 胁i nw i l i c ht i l ep r o 把md a t a b a s ec o n s i s 拓o ft h e m 巧0 rp a r lc u r r e n t l ym en u m b e ro ft l l ep f o t e i ns e q l l c n c e si n c r e a s e 廿e m e n d o l l s l y 台o me i t h c rd h c tt e s 矗n go r 【 n as e q u e n c e 缸a n s l a t i o n i np r o t e i nd a t a b 豁e ,m e n l l m b e ro fk n o w np r 主m a 巧s 仃i t u r e so fp r o t e i i l si sm u c hg r e a t e rt l l a nt l l a to fm e d e t e n n i n e dt l l r c e d i m e n s i o n a ls t m c t i l r eo fp r o t e h l s a sa s u l t ,i t i si m p r a c t i c a lf o r b i o l o 西s t s t 0d e t e 册i n et h e s p a t i a ls 劬c t l l r eo fp r o t e i l l ss o l e i yb ym e a i l s o f c 】【p e r i m e n 乜,n e i n l e r 疗o mt l l ec o n s i d e 枷o no f f i l n d i n go rt i i n e d i 氐r e mf 如mt l l ed n a s e q u e n c e s ,p r o t c i n sa r ee s s e n t i a lt ot h es 臼眦t u r ea n d n m c t i o no fa j l l i 、,i n gc e l l sa i l dv i m s e s s i n c et h cl i v i l l ge n “啪m e mo fp r o t e i i l si s m u c hm o r ec o m p l e xt h a i lm a to fd n a s e q u e n c e s ,n l ep r i n l a r ys 仉l c t u r eo fp r o t e i l l s , w h i c hi sa i s ok n o w na s 锄i n oa c i ds e q u e n c e s ,c 咖o tc o m p l e t e l yd e t e 加a i n e 也e b i o l o g i c a la n dc h e m i c a lc l l a r a c t e r i s t i c so fm ep r o t e i n sn l e n l s e l v e s ,b e c a u s et l l e s e c o n d a r y 趾dt l l r e e d i f n e m i o n a ls n u c t u r e so fp r o t e i i l sp l a ya ne q u a l l yi n l p o n a n t r o l ei 1 1 舭b i o l o g i c a la 1 1 dc h e m i c a l c t i o n so f p r o t e i i l s t h e r e 丘) r e ,h o wt op r 0 1 n p t l y o b t a i nl l l ei 村b m a t i o no ft h es e c o n d a r ya n d l r e e d i m e n s i o n a lo fp r o t e i mb a s e do n 伍e i r 脚a r y 蛐n l c n e si sb e c o m i n ga ni m p o r t a mr e s e a r c ha r e a mt l l i sw o r k ,an o v e lm e m o do fp m t e i ns e c o i l d a r ys 劬c t u r ep r e d i c 缸o n 懈 i 1 1 n d d l l c e d t h em e t h o dw 雒a i mt 0d e t e 瑚1 i n ew h e 血e rt l l es e c o n ( i a r ys m l c t u r c s b e i o n gt 0p u r c l y 口p r o t e i n ( n os 臼州) ,p u r c l y - p r o t e i n ( n oh e i 政) ,0 ra 移- p r o t e i n b 硒e do nb pa n i f i c i a ln e u r a ln e 铆o r k ( a n n ) ,ad e c i s i o ns y s t e mi se s t a b l i s h e dt h e 拄a i n h gs e to f t h ea n ni sc o m p o s e do f 吐懵c m vv e c t o rw l 矗c hi st od c s e 硒em e 廊a r ys 劬c t i l r c mo r d c rt 0i r l c r c 豁et 玉1 e 订a i l l i n gs p e e do ft h ea n n ,ap a r a l l e l c o m p u t 证gm e n l o d 、v a sd i s c l l s s e di i ld e t a i li i lt l l i sm e s i s k e yw o r d s : p r i m a r yp r o t e i ns e q u e n c e s ,p r e d i c t i l l gp r o t e i nc l 嬲s ,b pa r t i f i c i a ln e l l r a l n e t w o r k ,c o m p o s i t i o nm | o m e mv 毫c 协r s v d i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定, 同意如下各项内容:按照学校要求提交学位论文的印刷本和电子版 本;学校有权保存学位论文的印刷本和电子版,并采用影印、缩印、 扫描、数字化或其它手段保存论文;学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务;学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版;在不以赢利为目的的前 提下,学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名:锨 加多年,月勿日 经指导教师同意,本学位论文属于保密,在年解密后适用 本授权书。 指导教师签名:学位论文作者签名: 解密时间:年月 日 各密级的最长保密年限及书写格式规定如下: 南开大学学位论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师指导下,进行 研究工作所取得的成果。除文中已经注明引用的内容外,本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体,均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名: 年歹月矽日 引言 第一章引言 第一节生物信息学 生物信息学是生物学、医学、化学、数学和计算机学等学科相互渗透、互 相促进的一门交叉学科。当前随着科学技术的进步,人们从生物体内得到的信 息与日俱增,但是面对着海量的数据,生物学、医学等应用学科却发现能从其 中取得的有效信息却相对很少。换言之,一面是物理、化学等学科从生命体中 取得的大量数据,一面是生物学,医学,药学等应用学科对知识的渴求,两者 的矛盾渐渐凸现出来,为了解决这类矛盾,生物信息学这个交叉学科便应运而 生了。 目前生物信息学主要是对d n a 和蛋白质水平的数据进行研究,主要包括 序列比对、蛋白质结构预测d n a 上的编码区非编码区预测与识别、分子进化 和比较基因组学、药物设计等几个方面,与之相关的其它的边缘项目也在积极 开展中。其中d n a 和蛋白质是主要的研究对象【1 】。 为了研究如此大规模的数据,统计学、概率论、信息论、计算机技术以及 所有可能被用来分析的工具都可以被用到生物信息学中,也正是如此多的方法 结合使用,分工合作大大地促进了生物信息学本身的发展。作为一门朝阳学科, 生物信息学正被越来越多的人所重视,将来它的研究成果也必将大大加快人类 进步的步伐。 第二节基因与蛋白质 基因是一种d n a 或者r n a 序列上记录的信息,作为生命体中最根本的信 息记录来源一直倍受各个方面的重视。人类基因组计划、水稻基因组计划、古 细菌基因组计划等一系列的测序工作相继展开,并取得相当好的进展,目前 g e n e b a i l l 【等数据库中的基因数据已经相当可观。但是随着一些基因组计划的完 成,人们越来越发现先前的那种认为“把各种生物基因组全部碱基序列测序出 来就可以揭示各种生命体的奥妙”的想法过于天真了。 毕竟基从d n a 或者r n a 序列中取得的基因信息不直接参与生命体的各种 第l 页 引言 生命活动。而只能通过控制蛋白质的表达的方法间接控制生命体内的新陈代谢 等活动。只有蛋白质才是生命体的具体表现,是参加到所有生命活动第一线的 “战士”。 蛋白质是一种由2 0 种氨基酸组成的复杂结构,相邻的两个氨基酸之间由 “肽键”连接而成。多个由肽键连接而成的氨基酸称为肽链,所以蛋白质也可 以说是由肽链组成的。与只含有4 种碱基的d n a 或者r n a 序列相比,蛋白 质有着更复杂的结构。而且蛋白质的存在环境也比较复杂,其功能与蛋白质本 身的结构和各种氨基酸侧链上的不同的侧基有着密切的关系。 第三节神经网络及应用 人工神经网络理论是一种仿生学的杰作,它使巨大的信息并行处理和计算, 既是高度的非线性动力系统,又是自适应组织系统。神经网络可以被用来模拟 智能行为,决策控制等行为,可以在某些时候用于数据压缩。从解剖学和生理 学来看,人脑是一个复杂的并行系统,它不同于传统的n e m a l l l l 式计算机, 更重要的是它具有“认知”“意识”和“感情”等高级脑功能。我们以人工方法摸拟 这些功能,毫无疑问,有助于加深对思维及智能的认识,这种模拟及其背后的 数学理论构成了人工神经网络理论。 8 0 年代初,神经网络的崛起,已对认知和智力的本质的基础研究乃至计 算机产业都产生了空前的刺激并起到了极大的推动作用当今世界,计算机技 术突飞猛进的发展,大规模并行计算机层出不穷,一个又一个计算速度的记录 被打破,这些都为神经网络的具体实现提供了良好的基础。 本文主要内容就是利用并行计算和人工神经网络这两个有力的工具构造一 种对蛋白质二级结构进行分类和预测的新方法。 第2 页 基础知识 2 ,1 1蛋白质结构 第二章基础知识 第一节蛋白质的结构 蛋白质是由氨基酸组成的,蛋白质中的氨基酸序列又是由m r n a 上的密码 子序列决定的,一旦m r n a 序列被确定那么蛋白质中的氨基酸序列也就被确定 下来,经过生物体一系列的组装过程,一条肽链就生成了。蛋白质中氨基酸的 排列顺序被称为蛋白质的一级结构。 由于肽链上不同原子间电荷相互作用在氨基酸问形成了许多氢键,这些氢 键将原来线性结构的肽链折叠卷曲,便形成了蛋白质的二级结构。 不同的氨基酸具有不同的侧基,肽链上氨基酸侧基的相互的作用使得肽链 进一步卷曲缠绕,形成了蛋白质的三维结构。 在整个过程中,伴侣蛋白和膜可以辅助这一过程。蛋白质的生物活性和其 空间结构有着密切关系,氨基酸序列在很大程度上决定了蛋白质的结构,但是 由于形成过程中经过了其它物质的辅助,这种关系也不是完全确定的关系,其 间的过程比较复杂微妙,目前人类还没有完全清楚它们之间的相互作用是如何 发生。 2 1 2蛋白质结构的预测 研究蛋白质的结构有着很重要的意义,分析蛋白质结构、功能及其关系是 蛋白质组计划中的一个重要组成部分。如果失去了这些信息,那么我们对蛋白 质的研究就会显得苍白无力,无所适从。了解了蛋白质的结构,有助于了解蛋 白质的作用,了解蛋白质如何行使其生物化学功能,认识蛋白质与蛋白质( 或 其它分子) 之间的相互作用,这无论是对于生物学还是对于医学和药学,都是 非常重要的。对于未知功能或者新发现的蛋白质分子,通过结构分析,可以进 行功能注释,指导设计,进行功能确认的生物学实验,大大缩短试验周期降低 试验费用。通过分析蛋白质的结构,确认功能单位或者结构域,可以为遗传操 第3 页 基础知识 作提供目标,为设计新的蛋白质或改造已有蛋白质提供可靠的依据,同时为新 的药物分子设计提供合理的靶分子结构。 一些蛋白质序列具有独特的氨基酸序列,它们经常形成特征性结构。可以 用现有的方法和信息预测这些结构。但是对大多数蛋白质而言,二级结构预测 的准确性仅仅为7 0 一7 5 ,序列三维结构的匹配方法虽然已经成型但是仍然 不太可靠,这些领域一直是人们探索的方向。 一级结构决定了蛋白质的成分,三维结构即蛋白质的空间结构决定了其生 物活性。蛋白质二级结构处在一级结构和三维结构之间,是一种中间结构,正 确预测蛋白质的二级结构对蛋白质整体结构的预测的研究有着重要的意义。 我们研究蛋白质最终目的是要研究其三维结构,但是目前对三级结构的确 定主要还是物理和化学方面的手段。通过结晶、衍射等方法最终测得特定蛋白 质的结构,这些方法的成本和工作方式直接决定了其很难进行海量的试验检测。 随着复杂的统计和机器训练技术的发展,这些技术已经开始被应用与蛋白 质结构的预测,本文的主要内容就是考虑如何使用机器学习的方法对蛋白质的 二级结构分类进行预测,这也将对三维结构的预测产生重要的影响 2 】。 第二节蛋白质二级结构 2 2 1蛋白质二级结构的分类 蛋白质是氨基酸通过肽键相互联系形成的链( 图1 ) ,因此链的许多构像取 决于围绕口炭原子的链的旋转,这些构像的多样性造成了蛋白质的差异【3 】。链 中每个氨基酸都有极性,即作为氢键的c = o 基和作为氢键供应位的n h 基。氨基 酸中不同侧链r 也对整个氨基酸的极性产生影响,这些静电作用力相互作用, 产生各个位置上的氢键,改变原来口炭原子上的化学键的角度,使得肽链以一 种更加稳定的形式出现,这就是蛋白质的二级结构。二级结构有一下几种: 口 螺旋、口折叠、环、卷曲。其中前两者是最典型的情况。 第4 页 基础知识 许多蛋白质核心区由规则的二级结构( 口螺旋和折叠) 组成,再折叠成一 个三维结构。在这些二级结构中,相邻的氨基酸间会形成规则的氢键,而氨基 酸有相似的角和妒角( 图2 ) 。这些结构的形成会使得每个氨基酸上的极性基 团中性化。在疏水环境下,二级结构牢固的填塞在蛋白质核心区。 图2 第5 页 。、,;,、 o i c oh ;| r ,hin i 。 j,专=p, , 、。 酊 母& ,s ,j一,1hi 礴多 基础知识 如上图左上部分带状区域是典型的折叠,右侧螺旋状结构则是典型的口 螺旋。 2 2 2球螺旋 如图3 a 口螺旋一圈有3 6 个氨基酸,并且在每4 个碱基间形成一个氢键, 平均长度位1 1 1 i n 。这种结构最长见的位置是在蛋白质的核心区表面,那里提供 了一个与水环境接触的面。 2 2 3箩折叠 如图3 b 卢折叠是由肽链上平局5 1 0 个连续氨基酸的肽段与其后5 1 0 个氨基酸的肽段构成的氢键所形成的结构。相互作用的肽段可能很近,中间通 过一小段环绕回来,也可能相距很远,中间穿插由其它结构。每段都是平行的, 方向相同( 图3 b 左侧) 或者相反( 图3 b 右侧) 。这两种形式的氢键分布是不 同的,从图上也可以看出。 a 螺旋 bp 折叠 图3 第6 页 基础知识 2 2 4环与卷曲 环是蛋白质链的一个区域,主要满足以下三点:( 1 ) 介于口螺旋和卢折叠之 间;( 2 ) 具有多种长度和三维结构;( 3 ) 位于结构的表面。 卷曲是非螺旋、非折叠,亦不可识别的转角二级结构中的一个区域。 本文中主要讨论对口螺旋、口折叠相关的预测 2 3 1p d b 数据库 第三节蛋白质数据来源 人们通常所熟悉的d n a 序列存储在诸如g e n b a n k 和e m b l 这样的d n a 数据库中【4 】。和d n a 一样,蛋白质也有自己的数据库。对一个蛋白质而言, 氨基酸序列中的每个原子在一个给定的空间坐标上的位置都是唯一的,这些坐 标一起组成了蛋白质三维结构的记录。现在通常通过蛋白质结晶以及x 射线确 定分子结构,核磁共振( n l v i i t ) 也常用于研究蛋白质结构。旦发现蛋白质分子 中每个原子的三维坐标,这些坐标就以图表形式存储在布鲁海文数据库中( t h e b r o o k h a v e np r o t c i n d a t a b a i l k ,简称p d b ) 中【5 】【9 】。 布鲁克海文蛋白质数据库口d b ) 是由美国布鲁克海文国家实验室所维护 的关于生物大分子三维结构的数据档案。p d b 由美国国家科学基金等组织提供 资助,对全球的科研工作者、教育工作者以及学生等提供免费服务。 2 3 2p d b 数据库的数据验证简介 蛋自质数据库使用a u 幻d e pi n p mt o o l ( a di d 收集和处理数据,通过网络 提供的这些数据包括原子结构、参考文献、生物大分子信息( 如姓名、序列和来 源) 、配体信息、实验信息和基本数据【6 】【7 】。在数据处理过程中,格式和术语 是标准化的,对结构进行许多不同的检验对基本的数据和序列进行认可,在检 测过程中所用的时间是蛋白质分子复杂性的一个函数。通过a di t 提交的数据 被接受后,立即自动回复作者,新的信息加载到核心数据库,进而加以分析, 包括用a di t 协助诊断错误或检查文中矛盾的地方。彻底分析该条资料后,它 第7 页 基础知识 才出现在p d b 资料库中,同时还存储并反馈其验证资料,等待作者的回复意见。 待作者同意及其它检验通过后该条资料才获准发布。 p d b 的验证内容包括共价键的距离和角度;立体化学结构验证;原子命名法; 分子内部结构与化学键;配体和原子命名;序列比较和疏水性 8 】。 2 3 3p d bs e l e c t , p d b 中的蛋白质的相似度是不同,总的来说生物体进化过程中亲缘关系越 近的蛋白相似度也越高。为了简化研究对象,生物学家从蛋白质库中选出同源 性较小,具有代表性的蛋白质的子集进行研究【1 0 】【1 1 】,其中p d bs e l e c t 就是常 用的一个 p d bs e l e c t 是指从p d b 数据库中筛选出一个比较小的子集,这些子集中的 每个元素( 蛋白质序列) 都具有一定代表性,任意两个元素之间同源性都小于 一个给定指m ,同时p d b 中的任意一个蛋白质序列都可以在这个小子集中找到 一条序列,使得两条序列的同源性大于m 。 这样做可以有效的去掉重复性过高的序列,提高数据处理效率。 目前已被公认的p d bs e i e c t 包含p d bs e l e c t2 5 和p d bs e l e c t9 0 ,印 前者相似度小于2 5 ,后者相似度小于9 0 。另外还有一个显而易见的集合 p d bs e l e c tl o o ,即p d b 本身。 本文中使用的数据全部来自p d b 和p d bs e l e c t 数据库。 2 4 1神经元 第四节神经网络 神经网络最根本的单元称之为神经元,神经元用来模拟人体上的神经细胞, 当其周围由n 个点通过n 个不同的触角对它产生刺激后,该神经元会相应的作 出反应,得到一个输出值,这个值可以用作最终结果,也可以用来刺激其它神 经元。 第8 页 基础知识 图4 如图4 ,向量) 【= ( 一x 。) 是n 个输入值,向量,= ( f 1 。) 代表n 个不同触角的 权值,函数,( f ) 通常取一个值域为 o ,1 】的单调函数,且满足1 i m ,( x ) = o , l i m ( 力= l ( 人们通常形象地称之为s 型函数) 根据s 型函数不同,神元也被分为不同种类:( 1 ) 在b p 神经网络中, ,( x ) = 石南,我门称之为连续型神经网络。( 2 ) 如果取,( x ) = :筹, 即神经元只有激活( 1 ) 和非激活( o ) 两个状态,则称之为离散型神经元。 2 4 2b p 神经网络 b p 神经网络是一种由多层神经元构成,层层传递信息的神经元网络,也称 之为多层感知器,其中最常用的就是3 层感知器,如 图5 ,本节以此为例介绍b p 神经网络的结构和学习算法。 第9 页 基础知识 - - - - - - - - + m 个 n 个隐节点 图5 图中b p 神经网络的从左向右依次为第一层( 输入层) 、第二层( 隐层) 、第三 层( 输出层) 。输入层有m 个节点,但这m 个节点只是m 个占位符,并不是神经 元,它负责将输入向量x 的m 个分量全部传递给隐层的n 个节点,隐层由n 个神经元组成,这n 个神经元又称为隐节点。从输入层到隐层的网络为层间全 互连结构,即每个输入节点到每个输出节点均由一条边连接,但是同一层之间 两点无直接联系。这样每条边作为隐层神经元的输入边都有一个权值,我们定 义从第i 个输入节点到第j 个隐节点对应的边的权重为彬。,这样我们得到一个 m n 的矩阵矿。 同样的输出层上有z 个神经元作为输出节点。隐层和输出层同样由层间全 互连的网络矿连接,则矿便是一个包含了栉,个元素的矩阵。对应着从第j 个隐节点到第k 个输出节点的边的权值。 当向输入层输入向量x ( 毛j 。) 的时候,隐层每个隐节点都会接到这个输 入,并且产生输出约埘。,这些输出又作为输出层点的输入被网络矿传递给输 出节点,输出节点再按照神经元的计算法则产生最终的输出负或。至此神经 网络一次完整的工作过程结束。 第1 0 页 f f 基础知识 2 4 3神经网络的学习 神经网络的输出值完全由神经网络的输入值和中间互连网络权重值所决 定,一个有价值的神经网络是希望在特定的输入值的情况下可以求出特定的输 出值。那如何制造一个这样的神经网络昵? “学习”就成为达到这一目的的必 要方法。下面我门以一个输入向量z ( 而j 。) 与一个期望的输出向量y ( m ,) 为 例,说明b p 神经网络的学习过程。 初始状态:神经网络的结构参数m i l ,l 都被确定下来,矩阵矿和矿都被填 入区间【o ,1 】上的随机数。 步骤l :按照正常网络的工作计算各个节点的输出,中间我们记隐节点j 的输出为“,= ( 一) ,输出节点k 的输出值为允= 厂( 材,) 。 ,t i ,;j , 步骤2 :求输出误差p = ( 儿一丸) 2 i - l 步骤3 :计算误差e 相对于各个边的偏导数 表2 ( 允咄m 骞, 意以砉( 允训唼”肌,( 参咿x ( 2 1 ) 步骤4 :训练最终目标是使得向量尽量靠近y ,即p 一0 。根据简单的导 数知识可知只要让在每条边的权值加上梯度方向上的增量即可: ( p + 1 ) 。( 力+ 口毒 。 g , = ( p ) + 口2 ( 多。一y 。) ( “,) “, ( p + 1 ) = ( p ) + 口嘉 , 。 。 ( 2 4 ) = ( p ) + 盯2 - ( 见一n v ( 叶) ,7 ( 一) 一 第l l 页 基础知识 公式( 2 3 ) 和( 2 4 ) 中p 表示第p 次学习后的网络权重,口是一个( o ,1 】区间上 的参数,用于调整每次学习的步长。 如此这样反复的输入向量x 并用王,修网络正权重的值,会导致e 逐渐减小, 当y 和9 足够接近,即e 足够小的时候我们可以认为训练结束,网络训练成 功【1 4 】【1 5 】a 向量x 和y 组成的一维向量( 置y ) ,我们通常称之为训练样本。一般的神 经网络会使用许多训练样本依次反复训练一个神经网络,使之达到设计目标。 所有这些训练样本组成的集合称之为训练集。 第五节主成分分析方法 2 5 1主成分分析思想 现实问题中常常会遇到影响此问题的很多变量,这些变量多且又有一定的 相关性,因此我们希望从中综合出一些主要的指标,这些指标所包含的信息量 又很多。这些特点,使我们在研究复杂的问题时,容易抓住主要矛盾。 那么怎样找综合指标? 若有一些指标五一,五p ,取综合指标即它们的线性组合f ,当然这样的线 性组合有很多,我们希望得到的线性组合f 包含尽量多的信息,即v a r 口) 最大, 这样得到f 记为“,然后再找产z ,与,z 无关,以此类推,我们找到了一组 综合变量,:,。,m ,这组变量基本包含了原来变量的所有信息。 2 5 2主成分分析的数学模型 x = ( x l ,x 2 , 设样本资料距阵为: 第1 2 页 、, m 和 , , : p 确:h ,。l = 、, b 基础知识 综合指标为 e2 口l l _ + 4 2 l x 2 + + 口州x p 兀= 口l m z l + 口2 m z 2 十+ 口册,x m 简写为 e 。口l ,x l + 也+ + x p ( f 5 l ,朋) 并取酊+ + 2 = 1 要求( 1 ) e ,t 不相关。( 2 ) 互是x ,x ,的线性函数中方差最大的,依 此类推。 2 5 3主成分的推导。 由代数学知识我们有如下三个定理: 定理2 1 :若a 是p 阶实对称阵,则一定可以找到正交阵u ,使 u “a u = 托g 帆,如,砷j ,其中a ,兄,是a 的特征根。 定理2 2 :若上述a 的特征根所对应的单位特征向量为“,记 u = ( ,甜,) ,则不同特征根对应的特征向量正交,即“,。“2o 。 记x = ( 而,x p ) ,设f 2a l x l + + 口p x p2 口i x ,找到系数a ( n 一= 1 ) , 使。砸f ) 最大,即7 a r ( f ) = v a r ( 口x ) = 口v 盯( x ) 口2 一孙最大。 定理2 3 :设的特征根为 如以 o ,对应的标准正交基为 ,“2 ,“,。则v a 妒) = ,口= ,记五2 地。,e 与e 无关,f 22 甜2 。, 依此类推。显然我们就得到称e 为第一主成分,e 为第二主成分,。巴为 第胁主成分。 为前m 个主成分累计贡献 率 页 献 n 贡 第 分成主一 第为 土如。 称义定 基础知识 率。 一般应用中若m 个主成分的累计贡献率超过8 5 ,那我们认为前m 个主 成分基本包含了原来指标信息。 上述矩阵的求解过程将用到矩阵的s v d 分解。 2 5 4主成分分析的几何意义 主成分分析从几何直观意义上看就是有一组n 维向量,用来描述n 空间中 的一组散点,这些点无论投影到哪个坐标轴上都有一定的离散性,这种离散性 用这些点在该轴上的坐标分量的方差描述。 做主成分分析的过程实际上就是如下操作,我门在空间找到任意直线作为 新的坐标轴,使得这些点在这个坐标轴上的坐标的方差比其它的都大,这样我 们可以说这组坐标包含了一维情况下最多的信息量,此坐标轴的方向的单位向 量就是我们的第一主成分,各个点在这个轴上的坐标就该点的在第一主成分的 含量。接下来,我们在这条直线的正交补空间中找到第二条使得投影坐标方差 最大的直线,这条之闻就成为我们找的第二个坐标轴,该轴上的单位向量就是 第二主成分如此下去我们便找到第n 主成分。 由于前m 个主成分的贡献率会很大,我们可以将所有的点投影到这m 个 坐标上,得到前n 个m 维坐标,这样既降了维,又不丢失过多的信息量,一举 两得的目的便达到了。 第1 4 页 使用神经网络方法对蛋白质二级结构进行分类 第三章使用神经网络方法对蛋 白质二级结构进行分类 第一节神经网络的历史和设计概论 3 1 1神经网络在生物信息学中的功效 神经网络可以模拟大脑中神经细胞的运作来解决实际问题,一大群的神经 元间通过突触相互连接,一些负责接收数据,而另外一些负责处理这些数据。 神经网络尝试通过学习过程修改权值,从“无知”状态成长为一名“智者”。网 络的复杂性决定了它可以模拟高度复杂非线性的系统,而生物信息学的大量问 题正是这个样子的,其中还包括许多n p 完全问题【1 4 】。 神经网络优越的特性使得它很早就被应用到生物信息学领域,该方法被应 用到预测蛋白质结构的方面的例子也很多( q i a i l 和s e j n o w s k i ,1 9 8 8 ;m u g g l e 伽e t a i ,1 9 9 2 ;s t o l o r ze ta 1 ,1 9 9 2 ;r o s t 和s a n d e f 1 9 9 3 ) ,这些例子已经被综述( h o l l e y 和k a r p l u s ,1 9 9 1 :h i r s t 和s t e 珈l b e 唱,1 9 9 2 ) 。据报道,早先的方法准确率可以 达到6 3 石4 。多重序列对位排列的信息可以使得这些方法预测的准确率提高 到7 0 的水平。理论上,这些神经网络模型能从序列中获取更多的信息。神经 网络也曾经用于构建大肠杆菌中的翻译起点,启动子位点以及蛋白剪切点和特 定结构的模型。 已有的典型的预测二级结构的方法是在蛋白要预测的位置开一个长为w 窗 口,将这个窗口中的氨基酸序列作为组输入宽度为w 的向量传递给特定的神 经网络,然后让神经网络给出特定的判断。针对这种方法发现窗口宽度在1 3 1 7 效果比较好,更大的窗口并不能提高预测精度【l 】。 3 1 2神经网络的设计要点 神经网络本身有很多种,每一种又可以有不同的层数和节点数,对一个特 定的网络又可以给不同的训练集让其学习,所以设计神经网络是一个相对复杂 第1 5 页 使用神经网络方法对蛋白质二级结构进行分类 的过程,涉及到具体问题各个方面, 就网络本身,主要考虑如下几点要素( 1 ) 网络类型,( 2 ) 网络层数( 3 ) 网络每层节点分布情况( 如果为一维分布则只要确定节点数) 。( 4 ) 网络层问的 联网情况。 就训练集设计,要考虑如下几点( 1 ) 输入节点的数据定义( 2 ) 输出节点 数据定义( 3 ) 训练集的选择。 3 1 3神经网络的设计目标 神经网络的设计的最终目标是训练出一个与需求完全吻合的网络,对任何 一个输入值都可以输出一个正确的输出结果。当然这个目标有点像物理学中完 全不存在摩擦力的理想情况一样难以达到,甚至是可望而不可及的,但是这并 不能阻挡我们对网络本身的探讨和优化。就像这个世界不是完美的,我们却仍 然可以为很多很多美丽东西而选择生存下去。 为了使得网络可以被需求接受,我们可以提高网络训练次数,选择恰当的 训练集使得训练结果的误差限制在某个可以忍受的占限度以内。但是在一定的 时间内,过大的训练集会导致单个训练样本训练机会减少。我们设计的网络要 在有限而且可接受的时间限度内完成训练,所以网络的收敛速度也是我们要关 注的对象,而试验表明这个又往往跟样本集的样本个数负相关。 增加节点层数和节点数会增加网络可以容纳的信息量,但是也增加了网络 训练所需要的时间,必须要在这点上作出权衡。 不同的网络类型往往应用于不同类型的问题,针对所选择的问题应该选择 相应的类型的网络。 第二节以c 肼为输入核心的b p 神经网络设计 3 2 1问题的产生和设计过程 在预测二级结构的过程中,我们发现,如果能实现预测蛋白质二级结构分 类的功能,预测出蛋白属于纯口类型( 不含片断) 、纯卢类型( 不含口片断) 和妒 类型中的一种,会将二级结构的预测精度提高8 个百分点。2 0 0 3 年底我们试图 第1 6 页 使用神经网络方法对蛋白质二级结构进行分类 解决利用神经网络对蛋白质二级结构含量的预测问题,当时希望使用b p 神经 网络直接预测蛋白质二级结构的甜含量和含量( 1 2 】,并由此实现分类。但在 实践中,在p d bs e l e c t2 5 样本集合中,最高精度达到9 2 。事实上如果希 望使用使用预测蛋白质二级结构含量的方法预测蛋白质二级结构分类,那么该 方法的精度至少要超过9 5 。而神经网络固有的弱点,使得这一点几乎是不可 能达到的。所以我们换一个思路。 长时间以来,我们总结出来的神经网络学习记忆能力超强,组织和预测能 力很弱的特点。扬长避短,我们建立一个由多个网络共同组成的决策系统。这 就好比个学生的工作能力有限,为了使它完成一项高难度的的工作,可以让 3 个学生一起作出判断,这三个学生都学习过一定的文化知识,那么当它们同 时做出同一个判断的时候,这个判断的正确率将会很高。 实际操作中,按照已知蛋白的二级结构含量属于纯口类型,纯声类型还是 n 猡类型,将训练集分为三组,将原来两个输出节点的网络拆分成两个各自含 有一个输出节点的网络,这样我们就得到6 个独立的神经陌络,当一个未知的 蛋白质需要进行预测的时候,我们可以将它的信息同时输入6 个网络,通过 个决策系统( 见图8 、图9 ) ,考察6 个不同的输出判断该蛋白的二级结分类。 当试验做到此时,又发现了新的问题,这个预测系统的灵敏度和特异度都 比原来有所提高,但是仍然有可以改善的空间。由于决策系统直接依赖神经网 络输出,神经网络输出和网络学习精度又有密切关系,为了继续降低神经网络 的学习误差,简化训练集,我们对2 个样本数量过多的训练集进行了s v d 分解, 并取它们的前2 维主成分,筛选出有代表性的约3 0 样本进行训练( 参考3 2 6 ) 这又使得在s 2 5 中的预测误差减少了几个百分点。 于是沿着上边的思路,我们又将所有预测为假阴性的纯口类型和纯口类型 的蛋白质相邻的8 个邻居的实际值作为训练集,重复上边的思路构造了分类过 程p 2 ,观察预测结构,p 2 的虽然成功的将大部分错误的预测为印类型的蛋白 质“拯救”回集合与岛中,但是有带入了部分筇类型的杂质( 图8 ) ,最后 我们选择了用p l 中未用的两个条件组成决策系统p 3 l ,p 3 2 剔除以上杂质以完 成分类工作。以纯盯类型蛋白质为例,决策条件p 2 与p 3 l 至少挽救出5 0 的 第1 7 页 使用神经网络方法对蛋白质二级结构进行分类 假阴性纯盘蛋白,这说明这个补救措施还是很有效果的。 整个过程的产生是经过尝试,修补,再尝试,再修享卜反复推敲丽成的,始 终希望充分的发挥神经网络学习能力强的特点完成预测分类的工作。以上简单 的说明了设计思路,其中具体细节将在后续章节中详细阐述。 3 2 2 c m v ( c 咖p o s i t i o nm o m e n tv j c t o r ) 以往描述一个蛋白值经常用到成分向量( 而x 。) ,分别代表2 0 种氨基酸在 这个氨基酸序列中所占的比例,这种方法显然丢失了各个氨基酸在序列中位置 信息。为此我们;i 入c m v 的概念 1 2 】 定义3 1 :令o 是一个p d b 中的蛋白质序列,a j 是该序列中第i 个氨基酸; 我们将氨基酸以d ,e ,f ,g h ,i ,k ,l ,m ,n ,p ,q ks ,t ,v ,w y 的顺序排序,成 分向量j ”) 代表o 中对应氨基酸的含量,对整数七0 ,定义k 阶的顺序统 计量为( x :“,管一,芦磐) ,其中: 牡丽可待丽弘,啡,2 。( 3 1 ) n 为氨基酸序列的长度,为第i 种氨基酸出现第j 次的位置,k ,是第 i 种氨基酸在序列中出现的次数。 定义蛋白质0 的顺序统计置矩阵为如。= x 1x 2 x 2 0 并 ”z x 并f 研工5 舶x 署 足= m a ) 【皤t j ) 当前任务是预测蛋白质二级结构,那么实际上我们就是求两个函数 丘:蛋白质顺序统计量矩阵4 叫蛋白质白结量 厶:蛋白质顺序统计量矩阵4 _ 蛋白质雕量。 我们制作的神经网络也是为了模拟这两个菲线性函数。 第1 8 页 使用神经网络方法对蛋白质二级结构进行分类 随着k 的增长c m v 矩阵的时间复杂度会增长很快,特别是对包含大量数 据的数据库而言,运算时间显得尤为重要。 定义3 2 :为了即保留一定的位置信息量又节约时间,我们通常只组合使用 o 阶和l 阶顺序统计量矩阵: 铲b 为了使用方便,我们将该矩阵记做一维向量:( 一,而,x 如,x f l ) ,x 弘,矗) , 并定义该向量为氨基酸序列的c m v 向量。 c m v 向量与以往的成分向量相比保留住了氨基酸序列的位置信息,又比 上文的顺序统计量计算矩阵节约计算时间,且矩阵维数不随氨基酸编号而变化, 便于计算机处理,其众多优点使得我们最终选取蛋白质的c m v 向量作为预测 函数的输入向量。 3 2 3选取b p 神经网络进行蛋白质二级结构的分类 p b 神经网络作为神经网络的典型代表目前有着广泛的应用,而且三层感知 器结构非常适合做分类预测 1 3 】,k o l m o g o r o v 定理证明了当输入节点为n 隐节点 数为2 n + l 的时候网络具有最鲟的学习效果。 我们决定使用与c m v 向量相匹配的4 0 个输入节点的神经网络对蛋白质二 级结构。输出节点个数为2 ,分别对应兀与五的输出值。 神经网络的训练集:选取p d bs e l e c t2 5 中所有序列长度大于8 0 的蛋白 质,并利用d s s p 方法计算它们二级结构中a 和的含量【1 6 】,计算它们的c m v 作为神经网络的训练集,选取p d bs e l e c t9 0 中的蛋白质作为检测集。可以检 测训练效果。 3 2 4训练过程中遇到的问题及解决 网络设计确定后,训练误差的下降速度成了我们的最难解问题,当前的网 络结构是4 0 8 1 2 ,无论怎么优化代码,调整训练参数,训练误差就是下降 不够。 第1 9 页 、 加m 却 x x 堡旦塑丝塑竺互兰型里鱼垦三堑竺塑垄堑坌鲞 最终想到只有两个方法可以解决问题:( 1 ) 程序代码并行化,多计算机( c p u ) 同时处理;( 2 ) 适当减小样本的训练集合。 3 2 5神经网络程序的并行化 神经网络程序并行化的方法早以有之,通常的解决方法是将每层的神经元 分别放到n 个机器上,每层开始计算前先互相通讯将前一层的输出数据广播到所 有节点,然后所有节点再同时计算下一层数据,学习的时候也是如此,由于实 验室机器有限,n 值不可能太大;另外随着n 值增长,点对点的通讯次数增长很 快,也消耗掉了大量通讯时间( 图6 a ) 。 为了解决这个问题,我们采取了另外一种。从逻辑上将2 个输出节点的3 层b p 神经网络换成两个独立的一个输出节点的3 层b p 神经网络,输入层和隐层 结构不变( 图6 b ) 。实践证明,该方法节约了并行进程间的通讯和同步的时间, 去除了两个输出节点在训练的时候对输入层与隐层间权重据真的相互干扰,训 练速度明显增加。当并行计算节点较少时采取这种并行化方案比较好。 图a圈b 3 2 6训练集的精简 图8 p d b l e c t 2 5 含有2 4 4 0 个样本,我们记之为集合s 2 5 ,数据相对较少, 第2 0 页 使用神经网络方法对蛋白质二级结构进行分类 但是对于当前选择的网络还是过于庞大,我们尝试了运行很久程序,误差始终 无法下降到可以接受的范围内。最终我们发现直接使用s 2 5 集合训练网络并妄 图使用该网络预测其它节点的口和结构的含量是不切实际的,网络容量和训 练集之间存在一定的矛盾无法解决。 降低训练样本个数,意味着拆分训

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论