生物工程和大数据

什么是大数据 大数据技术(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。（在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代中2 大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、value（价值）。 大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值）。生物大数据“大数据”一词最初起源于互联网和IT行业，然而随着“人类基因组计划”的完成，带动了生物行业的一次革命，高通量测序技术得到快速发展，使得生命科学研究获得了强大的数据产出能力，包括基因组学、转录组学、蛋白质组学、代谢组学等生物学数据，这些数据具有数据量大（Volume）、数据多样化（Variety）、有价值（Value）、高速（Velocity）等特点。生物大数据不仅带有“大数据”的特点，而且具有生物数据自身的特性，下面将结合大数据的“4V”特点一一具体阐释：1、数据量大：上个世纪末进行的“人类基因组计划”是由6个国家花费30亿美元10几年的时间才得以完成，如今，只需花费几千美元几个小时即可完成一个人基因组的解析。如此低廉高效的研究方式得到生物科学家们的青睐，大量的物种得以测序解析，使得生物研究家们进入的生物数据的海洋。据不完全统计，截止到2013年6月，深圳华大基因研究院仅原始的测序相关的数据量就达到12PB，并且以每月60TB的速度增长，预计未来几年内每月的原始数据增量会超过2PB。2、数据多样化：由于测序仪器种类繁多（比如常见的高通量测序仪器CG测序仪、illumina hiseq、Roche 454、Ion Torrent等），产生的数据格式也各不相同。同时，利用不同的生物信息分析软件或分析流程处理得到的结果也是千差万别。3、价值高：随着生物信息学的发展，越来越多有价值的信息从生物数据中挖掘出来，这些价值不仅体现在其在生物科研领域，而且已应用于农业、健康和医学等领域。4、高速：这主要体现在数据的急剧增长速度，不仅体现在数据的量上，而且在数据的多样化和价值上。应用编辑“十一五”以来，国务院批准发布促进生物产业加快发展的若干政策和生物产业发展“十一五”规划，大力推进生物技术研发和创新成果转化。生物大数据本身好比一块有待开发的土地资源，我们基于大数据的“4V”特点，推进其在医疗健康、农业和食品等领域的快速应用1 ，比如基因检测、优良农作物品种培育等。中国生物技术发展中心调研生物大数据发展情况 为应对大数据时代带来的挑战，了解大数据技术发展态势以及对未来我国生物技术领域的科研能力、公共管理和产业竞争力方面的影响，探讨应对措施，生物中心肖诗鹰副主任于2014年5月6-7日带队到复旦大学、浙江大学进行了调研。 在复旦大学、浙江大学科研管理部门的支持配合下，召开了题为“大数据对我国生物技术发展的挑战”的研讨会，来自复旦大学、浙江大学、同济大学、中科院上海生命科学研究院、中科院计算生物学研究所、浙江大学第一附属医院以及上海张江转化医学研发中心等单位的有关专家，围绕大数据对我国生物技术发展的挑战，进行了交流讨论。 浙江大学李兰娟院士认为，当前生物领域存在“课题越多，数据孤岛越多，资源浪费越大”的问题，迫切需要国家在生物大数据领域开展顶层设计。复旦大学金力院士认为，生物大数据在国际和国内都是一个新兴学科，未来如何发展尚不十分明朗，我们应从国家今后发展需求上，做好态势分析，特别针对我国生物资源的优势、资源安全以及交叉学科发展方面思考，如何推动这个领域的发展，使之满足国家需求并力争国际领先。 与会有关专家分别从生命科学、医学、信息学、数学、药学等不同研究领域介绍了国际大数据技术的发展状况及相关研究进展，并对未来我国发展生物大数据的研究重点、研究方向以及存在问题进行了深入研讨。 此次调研为生物中心做好生物大数据领域的战略研究提供了很好的基础，并为“十三五”生物领域开展大数据研究提出了很多有建设性的意见建议。把大数据与基因测试结合起来，虽然还是存在争议，但是已经有一家生物技术公司 Recombine 做到了，而且极大地降低了基因测试的成本。我们可以预想，互联网与生物技术的结合会产生越来越多的初创企业应用关于“秤砣爸爸”说的两个公司，我都不熟悉。仅就自己对生物大数据产业的理解，看看这个问题的走向，对这个问题说说我的看法：个人觉得，生物大数据的产业链条起码分三个层次，其核心是大数据的收集、组织和存贮，这部分需要大量的资源，创新公司没有能力在初期有这个实力，也就是只有华大这样的“巨无霸”才行；外层应该是大量的应用层开发公司，现在这样的小型公司越来越多，主要依赖自己熟悉的生物技术对市场提供服务，对象可以是科研单位、企业（如药厂）或个人；中间层是生物信息云的生存空间，它需要提供上到数据中心，下到应用层的接口，实现数据层和应用层的控制分离（有点象MVC但不相同），实现数据分布计算和存贮的自动化，提供数据可视化接口。为什么产业的将来会是这个结构呢？1， 大数据的共享是趋势。数据拥有量越大的公司其数据量增长会越快，（这是类比富人越富的无标度网络的特性决定的，是自由市场条件下的公理），数据会被垄断；而新生的数据公司除非有足够多的资源来占有数据，在自有的数据资源上建立起大数据应用是不可能的。但是，由于数据中的价值一旦被解读大数据的这部分价值就失效，所以大数据的拥有者（大企业或政府），为了实现在竞争中早日兑现价值，必然会尽快数据共享，提供给新的创新小公司。数据孤岛会因为竞争而逐渐消失。2， 单一公司的包含所有全部数据流水线的生产方式落后于时代。现在无论是华大还是到小的服务公司，应该都是把IT应用从HPC或共有云上虚拟机上从头开发，分布和平行与业务逻辑没有完全实现隔离，由于大数据分布并行和生物信息的学科特点差异较大，在各方面方法日新月异的今天，人员培训和维护开发成本会越来越高。由上面两点看，产业链会逐渐层次化。生物信息云是在夹缝中生存的，其是否能成功的关键是对外API的设计，符合生物数据的特点，不是简单的键值对结构能描述以序列为代表的生物数据，这样的技术背景，应该只有以大数据背景