生物信息学第二讲数据库与数据存储格式上篇

1、生物信息学生物信息学谢文海谢文海 讲师讲师 21995年，人类基因组计划（年，人类基因组计划（HGP）第一个五年总结报告中给出的定义：生物信）第一个五年总结报告中给出的定义：生物信息学是一门交叉科学，它包含了生物信息的息学是一门交叉科学，它包含了生物信息的获取、加工、存储、分配、分析、获取、加工、存储、分配、分析、解释解释等在内的所有方面，它等在内的所有方面，它运用运用数学、计算机科学和生物学的工种工具来数学、计算机科学和生物学的工种工具来阐明阐明和理解和理解大量数据所包含的生物学意义。大量数据所包含的生物学意义。是一门融合生命科学和数理科学的新兴学科，是一门融合生命科学和数理科学的新兴学科，

2、以核酸、蛋白质等生物大分子数以核酸、蛋白质等生物大分子数据库为主要研究对象据库为主要研究对象，以数学、信息学、计算机科学为主要研究手段以数学、信息学、计算机科学为主要研究手段，对原始，对原始数据数据进行存储、管理、注释、加工进行存储、管理、注释、加工，通过对生物信息的查询、搜索、比较、分，通过对生物信息的查询、搜索、比较、分析，从中析，从中获取基因编码、基因调控、核酸和蛋白质结构功能及其相互关系等理获取基因编码、基因调控、核酸和蛋白质结构功能及其相互关系等理性知识性知识，探索生命起源、生物进化以及细胞、器官和个体发生、发育、病变和，探索生命起源、生物进化以及细胞、器官和个体发生、发育、病变和衰

3、亡的分子机制。衰亡的分子机制。生物信息学的定义：生物信息学的定义：回顾回顾3回顾回顾4回顾回顾5回顾回顾6第二章第二章 数据库与数据库与生物序列的搜集和存储生物序列的搜集和存储生物信息计算机基础知识简介生物信息计算机基础知识简介分子生物信息数据库分子生物信息数据库生物信息数据存储格式生物信息数据存储格式生物信息的检索和提交生物信息的检索和提交7第二章第二章 生物序列的搜集和存储生物序列的搜集和存储生物信息计算机基础知识简介生物信息计算机基础知识简介分子生物信息数据库分子生物信息数据库生物信息数据存储格式生物信息数据存储格式生物信息的检索和提交生物信息的检索和提交8生物信息计算机基础知识简介生物

4、信息计算机基础知识简介计算机硬件知识计算机硬件知识操作系统操作系统 Linux 程序语言程序语言 perl、 python 、R 等等数据库数据库 9Linux操作系统操作系统 天才大学生天才大学生Linus Torvalds开发开发 Linux Kernel 4.3 RC5 用于用于 PC 的免费的免费Unix 开放源代码，业余爱好者共同开发开放源代码，业余爱好者共同开发免费、安全、高速免费、安全、高速 它的出现，使得它的出现，使得Unix成为一个低廉或免费的成为一个低廉或免费的OS 系统资源消耗系统资源消耗Windows or Mac 开发软件的接触平台，有用于计算机生物学和一般开发软件的

5、接触平台，有用于计算机生物学和一般性研究的丰富工具库性研究的丰富工具库10 基于命令行基于命令行 X窗口系统：让程序在屏幕上画图窗口系统：让程序在屏幕上画图 GNOME KDE： 桌面环境，类似于桌面环境，类似于Windows11建立建立Linux工作站工作站 一台废旧电脑一台废旧电脑 安装打包的安装打包的Linux（Red Hat、Debian、SuSE、ubuntu窗口界窗口界面强大）面强大） 1213Perl 代码代码14/lds/Boulder-1.30/Boulder/Blast.pm1516数据库数据库 理解数据库、理解数据库、DBMSDB

6、MS的作用和意义的作用和意义 了解数据库管理系统了解数据库管理系统 理解各种数据库模型理解各种数据库模型 理解数据库相关的基本概念理解数据库相关的基本概念17什么是数据库什么是数据库数据库是数据表及相关操作对象的集合数据库是数据表及相关操作对象的集合数据表由一个或多个相关的数据项组成数据表由一个或多个相关的数据项组成 记记 录录18为什么使用数据库？为什么使用数据库？条理分明条理分明检索方便检索方便维护容易维护容易减少错误减少错误信息挖掘信息挖掘名姓聘任时间KarlaJablonski2004-03-11 MartineRance2002-02-05 MargaretSmith2008-09-

7、29 GaryThomas1988-08-09 19在数据库出现之前，人们书面文档来存储数据在数据库出现之前，人们书面文档来存储数据 容易丢失数据容易丢失数据 数据重复、冗余数据重复、冗余 难于查阅和使用难于查阅和使用 维护成本高维护成本高20早期数据保存方式早期数据保存方式 计算机文件计算机文件 操作、修改、查找数据操作、修改、查找数据磁盘磁盘计算机系统进行数据处理计算机系统进行数据处理传送信息传送信息磁带磁带可以以不同的文件格式进行数据保存可以以不同的文件格式进行数据保存今天，人们依然采用文件方式保存一些数据今天，人们依然采用文件方式保存一些数据21什么是什么是 DBMS?BrianA00

8、4AllenA003RickyA008ShaneA007数据库数据库检索数据检索数据 插入数据插入数据更新数据更新数据 删除数据删除数据数据库管理系统数据库管理系统(database management system, DBMS) 对数据库进行管理的系统软件，提供对数据库进行管理的系统软件，提供DB的建立、查询、更新以及各种的建立、查询、更新以及各种数据控制功能。数据控制功能。2222分布式数据库系统分布式数据库系统其他数据源其他数据源允许相互进行数据交换和数据访问允许相互进行数据交换和数据访问远程数据库连接主数据库远程数据库连接主数据库本地数据库本地数据库远程数据库远程数据库远程数据库远程

9、数据库23数据库数据库 数据模型（数据模型（data model, DM) 数据库结构和语义的一种抽象描述。由数据库结构和语义的一种抽象描述。由数据的结构数据的结构、数据操作数据操作和和数据库数据的约束条件数据库数据的约束条件 。 1）数据结构）数据结构:数据模型中的数据结构主要描述数据的类型、内容、性数据模型中的数据结构主要描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，质以及数据间的联系等。数据结构是数据模型的基础，数据操作数据操作和约和约束都基本建立在数据结构上。不同的数据结构具有不同的操作和约束。束都基本建立在数据结构上。不同的数据结构具有不同的操作和约束。2）

10、数据操作）数据操作:数据模型中数据操作主要描述在相应的数据结构上的操数据模型中数据操作主要描述在相应的数据结构上的操作类型和操作方式。作类型和操作方式。3）数据约束：数据模型中的数据约束主要描述数据结构内数据间的）数据约束：数据模型中的数据约束主要描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。规则，以保证数据的正确、有效和相容。描述用来存储数据的容器；描述用来存储数据的容器；在该容器中存储和检索数据的过程；在该容器中存储和检索数据的过程；24数据库模型-层次模型层

11、次数据模型模拟现实生层次数据模型模拟现实生活中的各种分层组织。活中的各种分层组织。层次数据库是一组通过链接层次数据库是一组通过链接而互相联系在一起的记录。而互相联系在一起的记录。特点是特点是记录间的联系是通过记录间的联系是通过指针实现指针实现，表示的是对象的，表示的是对象的联系。联系。缺点是无法反映多对缺点是无法反映多对象的联系象的联系，且由于层次顺序，且由于层次顺序的严格和复杂，导致数据的的严格和复杂，导致数据的查询和更新操作复杂。查询和更新操作复杂。25数据库模型-网状模型销售代表销售代表顾客顾客产品产品发票发票付款记录付款记录发票物品项发票物品项不同的相关的信息组成一个不同的相关的信息组

12、成一个“网状网状”的模型，的模型，它使用它使用网格结构表示实体类型、实体间联系网格结构表示实体类型、实体间联系。特点是记录间的联系通过指针实现，多对多关特点是记录间的联系通过指针实现，多对多关系容易实现。缺点是编程复杂。系容易实现。缺点是编程复杂。26数据库模型-关系模型记录和记录之间通过属性之间的关系来进行连接记录和记录之间通过属性之间的关系来进行连接 保证数据独立性，并形成数据集之间的关系。保证数据独立性，并形成数据集之间的关系。753862981成绩成绩学号学号刘三阳刘三阳3李东李东2张明张明1姓名姓名学号学号刘三阳刘三阳753姓名姓名成绩成绩学号学号27数据和信息数据和信息数据 8赵六

13、赵六 10王五王五 15李四李四 20 张三张三 联赛获胜场次联赛获胜场次 运动员运动员信息信息联赛最佳运动员张三28数据库元元 组组课程编号课程编号课程名称课程名称学时学时学期学期平均成绩平均成绩J001数据库基础36178J003C语言60181Z004操作系统44267X001编译原理40266属性属性行（记录）行（记录）列列表、记录、行列关系表、记录、行列关系29数据库 数据库系统是一个基于计算机的记录保存系统，数据库系统是一个基于计算机的记录保存系统，它最主要的用途是记录和维护信息。它最主要的用途是记录和维护信息。 数据库管理系统数据库管理系统 (DBMS) 包括一组相关的记录以及包

14、括一组相关的记录以及一组用来访问和操作这些记录的程序。一组用来访问和操作这些记录的程序。30 降低存储数据的冗余度降低存储数据的冗余度 更高的数据一致性更高的数据一致性 存储的数据可以共享存储的数据可以共享 可以建立和遵循某些标准可以建立和遵循某些标准 便于维护数据完整性便于维护数据完整性 能够实现数据的安全性能够实现数据的安全性计算机化数据库的好处计算机化数据库的好处生物信息学数据库产生的动力 生物分子数据的高速增长生物分子数据的高速增长 有效的存储有效的存储 计算机技术迅速发展计算机技术迅速发展 数据存贮技术的成熟数据存贮技术的成熟 互联网互联网 共享共享 生物信息分析是现代生物学研究的基

15、础生物信息分析是现代生物学研究的基础 及时的获取数据及时的获取数据 高效的利用数据高效的利用数据 3233现代生物信息数据库的特征现代生物信息数据库的特征（1 1）数据更新速度快，数据量呈指数增长趋势）数据更新速度快，数据量呈指数增长趋势 （2 2）数据库使用频率快速增长，重要性日益被科研工作者所认识）数据库使用频率快速增长，重要性日益被科研工作者所认识 （3 3）数据库的复杂程度不断增加）数据库的复杂程度不断增加（4 4）数据库网络化）数据库网络化 互联网上访问；公共数据库之间相互链接；集成数据库系统。互联网上访问；公共数据库之间相互链接；集成数据库系统。（5 5）面向应用。如提供在线分析工

16、具。）面向应用。如提供在线分析工具。（7 7）先进的计算机硬件和软件的配置）先进的计算机硬件和软件的配置 一级数据库一级数据库概念：概念：数据直接来源于实验获得的原始数据，只经过简单的归类整理和注释数据直接来源于实验获得的原始数据，只经过简单的归类整理和注释 包含：包含： 基因组数据库、基因组数据库、 核酸序列数据库、核酸序列数据库、 蛋白一级结构序列数据库、蛋白一级结构序列数据库、 生物大分子三维空间结构数据库（主要为蛋白质）生物大分子三维空间结构数据库（主要为蛋白质）二级数据库二级数据库概念：概念：对原始生物分子数据进行整理、分类的结果，是在一级数据库、实验数据和对原始生物分子数据进行整理

17、、分类的结果，是在一级数据库、实验数据和理论分析的基础上针对特定的应用目标而建立的。理论分析的基础上针对特定的应用目标而建立的。包含：包含：种种类繁多：真核生物启动子序列库类繁多：真核生物启动子序列库 EPD ；功能模体；功能模体(motif)数据库数据库 PROSITE 数据数据直接来源于实验获得的原始数据，直接来源于实验获得的原始数据，只经过简单的归类整理只经过简单的归类整理和注释。和注释。 数据库名称数据库名称 数据来源数据来源 基因组数据库基因组数据库 基因组作图基因组作图 序列数据库序列数据库 （核酸和蛋白质）（核酸和蛋白质） 序列测定序列测定 结构数据库结构数据库 X射线衍射和核磁

18、共振射线衍射和核磁共振 基因组数据库的主体是模式生物基因组数据库，此外还包括染色体，基因突变，遗传疾病，分类学，比较基因组，基因表达和调控，放射杂交，基因图谱等各种数据库。 /genome3940Map view EMBL-EBI和和Sanger研究所共同开发的一个系统。研究所共同开发的一个系统。Ensembl产生并维护关于各种模式生物基因组的自动注释。产生并维护关于各种模式生物基因组的自动注释。人类基因组、小鼠基因组、大鼠基因组、黑猩猩基因组等。人类基因组、小鼠基因组、大鼠基因组、黑猩猩基因组等。Ensembl试图试图跟踪这些基因组的序列片

19、段，并将序列片段组装成单个长序列，跟踪这些基因组的序列片段，并将序列片段组装成单个长序列，进而分析这些经过组装的进而分析这些经过组装的DNA序列，搜索其中的基因，发现生物学家或医学序列，搜索其中的基因，发现生物学家或医学工作者感兴趣的序列。工作者感兴趣的序列。Ensembl所用的基因预测程序为所用的基因预测程序为GenScan。单核苷酸多态性（单核苷酸多态性（SNP）、重复序列与其它序列高度相似（或同源）的序列。）、重复序列与其它序列高度相似（或同源）的序列。Ensembl 数据库还提供疾病、细胞等方面的信息，并且提供数据搜索、数据下数据库还提供疾病、细胞等方面的信息，并且提供数据搜索、数据下

20、载、载、统计分析等服务。统计分析等服务。42/GENSCAN.htmlGeneScanEnsembl (/)44最新版本最新版本45酵母酵母大肠杆菌大肠杆菌果蝇果蝇线虫线虫老鼠老鼠是数据库是数据库也是灵活和通用数据库管理系统也是灵活和通用数据库管理系统Sanger中心已将其中心已将其用于线虫和人类基因的浏览和检索用于线虫和人类基因的浏览和检索库内资源包括：库内资源包括：限制性图谱、基因结构信息、质粒图谱、参考文献等。限制性图谱、基因结构信息、质粒图谱、参考文献等。秀丽线虫秀丽线虫Caenorhabditis ele

21、gans一种透明的、生活在海滩泥沙中的小虫一种透明的、生活在海滩泥沙中的小虫细胞数目一定：成虫细胞数目只有细胞数目一定：成虫细胞数目只有959个，个，其中包括其中包括302个神经元；个神经元； 48AceDB /The AceDB software is primarily developed to run under the Unix operating system49/UCSC Genome Browser由由University of California Santa Cruz (UCSC) 创立和维护的，

22、创立和维护的，该站点包含有该站点包含有人类、小鼠和大鼠等多个物种的基因组草图人类、小鼠和大鼠等多个物种的基因组草图，并提供一系列的网页分析工具。，并提供一系列的网页分析工具。站点用户可以通过它可靠和迅速地站点用户可以通过它可靠和迅速地浏览基因组的任何一部浏览基因组的任何一部 分分，并且同时可以，并且同时可以得到与该部分有关的基因组注释信息，如已知基因，预测基因，表达序列标得到与该部分有关的基因组注释信息，如已知基因，预测基因，表达序列标签，信使签，信使RNA，CpG岛，克隆组装间隙和重叠，染色体带型，小鼠岛，克隆组装间隙和重叠，染色体带型，小鼠 同源性等同源性等50http:/genome.u

23、/5152主要核酸序列数据库主要核酸序列数据库: 主要蛋白质序列数据库：主要蛋白质序列数据库：GeneBank是具有目录和生物学注释的核苷酸综合数据库是具有目录和生物学注释的核苷酸综合数据库由美国国家生物信息中心负责维护由美国国家生物信息中心负责维护 GenBank数据库的数据来源有三种：数据库的数据来源有三种：直接来源于测序工作者提交的序列直接来源于测序工作者提交的序列与其它数据机构协作交换的数据与其它数据机构协作交换的数据美国专利局提供的专利数据美国专利局提供的专利数据5556 GenBank statisticsFrom1982tothepresent,thenumbero

24、fbasesinGenBankhasdoubledapproximatelyevery18months.n 1980年开始建设，年开始建设，1982年正式运行年正式运行n 欧洲主要的核酸序列收集单位欧洲主要的核酸序列收集单位n欧洲生物信息中心（欧洲生物信息中心（EBI),德国海德堡站点负责维护德国海德堡站点负责维护 EMBL数据库的数据来源有三种：数据库的数据来源有三种：直接来源于测序工作者提交的序列（直接来源于测序工作者提交的序列（Sanger测序中心）测序中心）与其它数据机构协作交换的数据与其它数据机构协作交换的数据欧洲专利局提供的专利数据欧洲专利局提供的专利数据n日本日本1984年开始建

25、立，并于年开始建立，并于1987年正式服务。年正式服务。n 亚洲唯一的核酸序列数据库亚洲唯一的核酸序列数据库n生物信息学中心和日本国家遗传研究所的生物信息学中心和日本国家遗传研究所的DNA数据库（数据库（CIB-DDBJ),共同组建。共同组建。 DDBJ数据库的数据来源有二种：数据库的数据来源有二种：研究者提交的序列（研究者提交的序列（90%直接来源于日本）直接来源于日本）与其它数据机构协作交换的数据与其它数据机构协作交换的数据重要蛋白质序列数据库：重要蛋白质序列数据库：SWISSPROT(欧洲欧洲)PIR(美国美国)蛋白质序列数据库蛋白质序列数据库nSWISS-PROT和和PIR是国际上两个

26、主要的蛋白质序列数是国际上两个主要的蛋白质序列数据库，目前这两个个数据库在据库，目前这两个个数据库在EMBL和和GenBank数据数据库上均建立了镜像库上均建立了镜像 (mirror) 站点。站点。nSWISS-PROT数据库包括了从数据库包括了从EMBL翻译而来的蛋白翻译而来的蛋白质序列，这些序列经过检验和注释。质序列，这些序列经过检验和注释。nPIR数据库的数据由美国家生物技术信息中心数据库的数据由美国家生物技术信息中心(NCBI)翻译自翻译自GenBank的的DNA序列。序列。 名称名称维护维护单位单位 注释注释 冗余度冗余度 数据量数据量 更新更新SWISSSWISSPROTPROTE

27、BIEBI 部分完善部分完善 小小 中等中等 较慢较慢PIRPIRNCBINCBI 完善完善 较大较大 较大较大 较慢较慢 1986创建创建瑞士日内瓦大学医学生物化学系和欧洲生物信息学研究瑞士日内瓦大学医学生物化学系和欧洲生物信息学研究所所(EBI)合作维护合作维护 在在EMBL和和GenBank数据库上均建立了镜像站点数据库上均建立了镜像站点; 数据库包括了从数据库包括了从EMBL翻译而来的蛋白质序列，经过翻译而来的蛋白质序列，经过 检验和注检验和注释；释； 数据记录包括两部分：数据记录包括两部分： 序列序列 注释注释：结构域、功能位点、跨膜区域、二硫键位置、翻译后的结构域、功能位点、跨膜区

28、域、二硫键位置、翻译后的修饰修饰 数据存在滞后性数据存在滞后性66Swiss-prot储存数据增速放缓/sprot 1. 由美国由美国NCBI翻译自翻译自GenBank的的DNA序列序列(1984年年)； 2. 在在EMBL和和GenBank数据库上均建立了镜像站点；数据库上均建立了镜像站点； 3. 数据依据注释的质量分为数据依据注释的质量分为4类。类。 分类名称分类名称(Name)说明说明(Comment)记录数记录数(Number of entries)PIR1已分类、已注释已分类、已注释(Classified and annotated)13572P

29、IR2已注释已注释(Annotated)69368PIR3未核实未核实(Unverified)7508PIR4未翻译未翻译(Unencoded or untranslated)1966970/三个子数据库三个子数据库n蛋白质结构数据库蛋白质结构数据库 nPDB n蛋白质分类数据库蛋白质分类数据库 nSCOP和和CATH 1. 目前最主要的蛋白质分子结构数据库；目前最主要的蛋白质分子结构数据库； 2. 1970年代建立，美国年代建立，美国Brookhaven国家实验室维护管理国家实验室维护管理; 3. 1988年，由美国年，由美国RCSB(rese

30、arch collaboratory for structural biology)管理；管理； 4. 以文本格式存放数据，包括原子坐标、物种来源、测定以文本格式存放数据，包括原子坐标、物种来源、测定方法、提交者信息、一级结构、二级结构等；方法、提交者信息、一级结构、二级结构等； 5. PDBsum数据库：数据库：PDB注释信息综合数据库，具有检索、注释信息综合数据库，具有检索、分析、可视化的功能。分析、可视化的功能。/pdbhttp:/www.ebi.ac.uk/thornton-rv/databases/pdbsum/lSCOP (Structural

31、Classification of Proteins)lCATH( Class, Architecture, Topology, Homology)n描述了描述了结构和进化结构和进化关系。关系。nSCOP数据库数据库从不同层次从不同层次对蛋白质结构进行分类，以反对蛋白质结构进行分类，以反映它们结构和进化的相关性。映它们结构和进化的相关性。n第一个分类层次为家族，通常将第一个分类层次为家族，通常将序列相似性程度在序列相似性程度在30%以上以上的蛋白质归入同一家族，有比较明确的进化关系。的蛋白质归入同一家族，有比较明确的进化关系。n超家族：序列相似性较低，超家族：序列相似性较低，结构和功能特性结构

32、和功能特性表明它们有表明它们有共同的进化起源，将其视作超家族。共同的进化起源，将其视作超家族。n折叠类型：无论有无共同的进化起源，只要折叠类型：无论有无共同的进化起源，只要二级结构单二级结构单元具有相同的排列和拓扑结构元具有相同的排列和拓扑结构，即认为这些蛋白质具有，即认为这些蛋白质具有相同的折叠方式。在这些情况下，结构的相似性主要依相同的折叠方式。在这些情况下，结构的相似性主要依赖于二级结构单元的排列方式或拓扑结构。赖于二级结构单元的排列方式或拓扑结构。n类型类型Class、构架、构架Architecture 、拓扑结构、拓扑结构Topology和和同源性同源性Homology 。n分类基础

33、是分类基础是蛋白质结构域蛋白质结构域。与。与SCOP不同的是，不同的是，CATH把蛋白质分为把蛋白质分为4类，即类，即a a主类、主类、b b主类，主类，a-ba-b类（类（a/ba/b型型和和a+ba+b型）和低二级结构类型）和低二级结构类。低二级结构类是指二级。低二级结构类是指二级结构成分含量很低的蛋白质分子。结构成分含量很低的蛋白质分子。nCATH数据库的数据库的第二个分类第二个分类依据为由依据为由螺旋和螺旋和折叠形折叠形成的成的超二级结构排列方式超二级结构排列方式，而不考虑它们之间的连接，而不考虑它们之间的连接关系。关系。n第三个层次为第三个层次为拓扑结构拓扑结构，即二级结构的形状和二级结构间，即二级结构的形状和二级结构间的联系。的联系。n第四个层次为第四个层次为结构的同源性结构的同源性，它是先通过序列比较然后再，它是先通过序列比较然后再用结构比较来确定的。用结构比较来确定的。nCATH数据库的最后一个层次为数据库的最后一个层次为序列序列(Sequence)层次层次，在，在这一层次上，只要结构域中的序列同源性大于这一层次上，只要结构域中的序列同源性大于35%，就被，就被认为具有高度的结构和功能的相似性。对