大数据时代的统计学.docx

大数据时代的统计学摘要：本文主要围绕“大数据”展开话题，结合“统计学”专业，论述了什么是大数据，什么是统计学，在对概念的了解基础上掌握大数据的发展历程以及统计学的发展历程。从中找出大数据与统计学的联系，然后进一步了解在大数据时代下统计学所处的地位以及大数据时代下统计学的变化和发展。在前人的研究基础上，我们进一步的发现问题并探讨问题，运用统计学方法去解决大数据时代下的一些问题，并提出自己的看法。关键词：大数据；统计学；数据挖掘；数据分析引言本文写作的目的在于阐述大数据的定义、历史发展及趋势、运用领域等有关大数据的问题，以及阐述统计学的定义、发展趋势、运用领域等有关统计方面的问题。在此基础上探析大数据时代下的统计学发生的变化，带来的影响，以及所导致的统计学的发展趋势。有关大数据的文献很多，涉及的领域也相当广泛，如互联网、天文学、大气科学、基因组学、大规模电子商务等等，都离不开计算机作为载体，它们都成为了大数据的来源。本文写作主要基于运用统计学知识去处理大数据所涉及问题，而运用统计方法分析问题所涉及的范围也相当广泛。对于大数据的到来，对于统计学来说是福音，因为它为大数据时代处理大数据问题带来了有效的解决方法。本文所引用文献主要来自于2011年到2015年的国内外有关大数据的期刊文献，从不同角度描述了大数据对当今时代的影响，尤其是对本文的另一位主角-统计学的影响。而对于一个统计学专业出身的人，对于大数据时代下统计学的发展有喜有忧，大数据时代的到来在一定程度上促进了统计学的发展，同样的也带来了巨大的挑战。这些都需要我们一步步的解决并完善。正文1 大数据的来源与发展历程“大数据”这个术语最早期的引用可追溯到apacheorg的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度1-5。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。就这样，“大数据”在不知不觉中进入了我们的生活，无论哪里都有着它的影子，这说明“大数据时代”已经到来。我们可以这样来定义“大数据时代”，大数据时代是建立在通过互联网、物联网等现代网络渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和展示的信息时代。在这个时代，人们几乎能够从任何数据中获得可转换为推动人们生活方式变化的有价值的知识22。“大数据时代”的到来引起了业界和学界的广泛关注,大量研究成果不断涌现。那么什么是大数据呢？大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据是一种大规模数据的管理和利用的商业模式和技术平台的泛指，它与传统的海量数据不同的是，它除了数据规模呈现几何级数增长的特征之外，还包括所有数据类型的采集、分类、处理、分析和展现等多个方面，从而最终实现从大数据挖掘潜在巨大价值的目的18。到目前为止对于大数据还没有统一的定义。对于大数据，其特点18在于：（1）数据体量大。普遍认为PB级的数据为大数据的起点。（2）数据类型繁多。既可以是传统的有因果关系的结构化数据如关系数据库数据，但更多的是诸如网络日志、视频、图片、地理位置信息等等的半结构化和非结构化数据。（3）价值密度低。大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而产生价值。以视频为例，连续不间断监控过程中，可能有用的数据仅有一两秒。(4) 处理速度快。大数据时代更强调实时分析，而不是批量分析,奉行 1秒定律。即一般要在秒级时间范围内给出分析结果，时间太长就失去价值。基于统计学的角度，我们应该如何理解“大数据”呢？李金昌认为，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据20。2 统计学的发展历程由于人类的统计实践是随着计数活动而产生的，因此，统计发展史可以追溯到远古的原始社会，也就是说距今足有五千多年的漫长岁月。但是，能使人类的统计实践上升到理论上予以概括总结的程度，即开始成为一门系统的学科统计学，却是近代的事情，距今只有三百余年的短暂历史。统计学发展的概貌，大致可划分为古典记录统计学、近代描述统计学和现代推断统计学三种形态18-20。古典记录统计学形成期间大致在十七世纪中叶至十九世纪中叶。统计学在这个兴起阶段，还是一门意义和范围不太明确的学问，在它用文字或数字如实记录与分析国家社会经济状况的过程中，初步建立了统计研究的方法和规则。到概率论被引进之后，才逐渐成为一项较成熟的方法。最初卓有成效地把古典概率论引进统计学的是法国天文学家、数学家、统计学家拉普拉斯(P.S. Laplace，17491827)。因此，后来比利时大统计学家凯特勒指出，统计学应从拉普拉斯开始。近代描述统计学形成期间大致在十九世纪中叶至二十世纪上半叶。由于这种“描述”特色由一批原是研究生物进化的学者们提炼而成，因此历史上称他们为生物统计学派。生物统计学派的创始人是英国的高尔登(F. Galton，18221911)，主将是高尔登的学生毕尔生(K.Pearson，18571936)。现代推断统计学形成期间大致是二十世纪初叶至二十世纪中叶。人类历史进入二十世纪后，无论社会领域还是自然领域都向统计学提出更多的要求。各种事物与现象之间繁杂的数量关系以及一系列未知的数量变化，单靠记录或描述的统计方法已难以奏效。因此，相继产生“推断”的方法来掌握事物总体的真正联系以及预测未来的发展。从描述统计学到推断统计学，这是统计发展过程中的一个大飞跃。统计学发展中的这场深刻变革是在农业田间试验领域中完成的。因此，历史上称之为农业试验学派。对现代推断统计的建立贡献最大的是英国统计学家哥塞特(W.S. Gosset，18761937)和费雪(R.A. Fisher，18901962)。在大数据时代，对统计学来说既是机遇又是挑战，机遇在于大数据的分析主要建立在统计学的基础上对数据进行处理、分析，从而使得大数据“可视化”，而挑战在于，当下传统统计学的方法对于大数据的不适用，这需要我们进一步对统计学进行发展与创新。3大数据时代对统计学的影响统计学是一门古老的学科，已经有三百多年的历史，在自然科学和人文社会科学的发展中起到了举足轻重的作用; 统计学又是一门生命力及其旺盛的学科，他海纳百川又博采众长，随着各门具体学科的发展不断壮大。毫不例外，大数据时代的到来，给统计学科带来了发展壮大机会的同时，也使得统计学科面临着重大的挑战。怎样深刻地认识和把握这一发展契机，怎样更好地理解和应对这一重大挑战，这就迫使我们需要澄清大数据的概念明确大数据的特征; 重新审视统计的工作过程提出新的统计思想理念22。3.1 大数据对样本和总体的影响统计利用大数据的目的6是为了推断经济总体或社会总体，经济或社会指标的平均数或分位数等情况。统计学强调的是样本的代表性，而代表性这一要求一般是通过概率抽样来满足的。大数据虽然有着海量的样本量，能够提供丰富的信息，但是严格来说，大数据并不是一个抽样样本，相反大数据样本会存在缺乏代表性、信息冗余、存在噪声等诸多问题，这种情况下很容易带来分析结果的系统偏差26。如果说，传统统计研究的数据是有意收集的结构化的样本数据，那么现在我们面对的数据则是一切可以记录和存储、源源不断扩充、超大容量的各种类型的数据。样本数据与大数据的这种区别，具有什么样的统计学意义? 我们知道，样本数据是按照特定研究目的、依据抽样方案获得的格式化的数据，不仅数据量有限，而且如果过程偏离方案，数据就不能满足要求。基于样本数据所进行的分析，其空间十分有限-通常无法满足多层次、多角度的需要，若遇到抽样方案事先未曾考虑到的问题，数据的不可扩充性缺点就暴露无疑。而大数据是一切可以通过现代信息技术记录和量化的数据，不仅所蕴含的信息量巨大，而且不受各种框框的限制-任何种类的数据都来者不拒、也无法抵拒。不难发现，大数据相比于样本数据的最大优点是，具有巨大的数据选择空间，可以进行多维、多角度的数据分析。更为重要的是，由于大数据的大体量与多样性，样本不足以呈现的某些规律，大数据可以体现; 样本不足以捕捉的某些弱小信息，大数据可以覆盖; 样本中被认为异常的值，大数据得以认可。这将极大地提高我们认识现象的能力，避免丢失很多重要的信息，避免失去很多决策选择的机会20。所以说，在大数据时代下，大数据既是样本，也是总体。由于计算机处理技术发生着日新月异的变化，人们处理大规模复杂数据的能力日益增强，从大规模数据中提取有价值信息的能力日益提高，人们将会迅速进入大数据时代。数据时代，不仅会带来人类自然科学技术和人文社会科学的发展变革，还会给人们的生活和工作方式带来焕然一新的变化22。3.2 相关分析变化大数据时代的到来使得相关分析需要达到的要求更高，针对传统统计分析中的相关测量法存在的缺陷，大数据时代的相关分析首先满足“通用性”和“均等性”两个准则，相关分析的结果应该只与变量之间连动性的紧密程度有关，而不应受变量间相关形式的影响29-30。近些年，国外已经有很多学者开始注意到大数据时代相关分析方法的重要性，对如何改进相关分析方法进行了研究。Reshef等学者（2011）基于信息论中关于两个事件集合的相关性信息度量提出了一种关于相关性分析的改进方法-最大信息系数(Maximal InformationCoefficient，MIC)的，可以对变量间的非函数相关关系进行有效的识别。David Lopea-Paz等学者（2013）运用 Copula 转换提出了随机相关系数（Randomized Dependence Coefficient，RDC），并与MIC方法进行了对比，证明前者的时间复杂度更低。Hoang V.Nguyen等学者（2014）根据MIC方法，提出了更一般化的相关分析方法-最大相关分析（Maximal Correlation Analy-sis，MAC），扩展了MIC方法的运用范围，可以对两组变量之间的非函数相关关系进行准确的测量27。新兴的相关分析方法在最近几年涌现，一方面是由于国内外学者看到了大数据分析中传统统计相关分析存在的缺陷，运用传统统计方法已经无法满足大数据时代数据分析的需求；更重要的在于，国内外学者们都看到了大数据时代相关分析思维的重要性，看到了相关分析在特征选择、变量依赖关系识别中的实用性27。大数据时代，相关分析的运用范围之广、重要性之大是我们不能忽略的，也是传统相关分析所面临的巨大机遇。如何以相关分析思路为起点探究新的分析方法，使统计相关分析方法能够更顺应时代的变化，体现出传统统计思维的经典与先进，在大数据下能够发挥作用，即是传统相关分析面临的挑战也是机遇7。3.3 因果分析的变化随着大数据时代的到来，经济中，对于数据的分析发生了很大的变化，从原来的注重因果分析到如今对相关分析的看重。人们不再过多的关注“为什么”。而更加的想知道“是什么”4 大数据时代下统计学面临的机遇和挑战4.1 大数据时代下统计学面临的机遇一个新生事物的出现将必定导致传统观念和技术的革命。数码照相机的出现导致传统相片胶卷和影像业的已近消亡。如果大数据包含了所有父亲和儿子的身高数据，只要计算给定的父亲身高下所有儿子的平均身高就可以预测其儿子身高了。模型不再重要，当年统计学最得意的回归预测方法将被淘汰。大数据的到来将对传统的统计方法进行考验。统计学会不会象科学哲学那样，只佩戴着历史的光环，而不再主导和引领人们分析和利用大数据资源。现在其他学科和行业涌入大数据的热潮，如果统计学不抓紧参与的话，将面临着被边缘化的危险8-12。现今统计学的目标是通过获取数据和分析数据发现真理( 总体的参数和性质) ，统计方法和理论对数据有过高的要求。而大数据充满了各种随机的、非随机的误差和偏倚，不能满足这些苛刻的要求。按照波普的科学划界准则，只要我们能从大数据中提炼出具有可证伪的结论，那么这个结论还是科学的，可以用于知识积累。这些可证伪的大数据结论可作为进一步科学研究的假说，以数据驱动研究24。4.2 大数据时代统计学面临的挑战大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时务”，需要不同的应对。统计数据的搜集方面，传统的统计抽样调查不再适用，这需要我们结合大数据的来源来搜集数据；数据整理方面，不再是传统的计算机所能运行的，它需要更大的存储以及计算机处理数据的能力；数据分析方面，很多传统的统计方法不再有效，利用这些方法对数据进行分析，未必能得到我们想要的结果，这就需要我们对统计方法的创新与发展做进一步的努力。对统计工作者而言，这种改变不仅意味着拓宽了统计研究的范畴丰富了统计研究的内容增强了统计学的生命力，还意味着统计工作及统计研究的四个转变22：（1） 转变统计研究过程。传统的统计研究过程包括统计设计、收集数据、整理与分析和统计资料的积累、开发与应用等四个基本环节。大数据时代，由于数据规模巨大、数据结构复杂等特点，以及整理数据可能损坏原有数据中有价值信息，针对大数据的统计研究过程仅包括数据整理与分析和数据的积累、开发与应用两个基本环节。进一步的分析表明，大数据整理与分析过程仅指数据储存工作。总的说来，大数据统计研究过程包括数据储存和数据的积累、开发与应用两个环节。（2）转变统计研究方法。传统的统计研究方法，如建立回归方程、估计模型参数、检验参数估计结果等因为大数据的特点而无法实施，对大数据的统计分析是以相关关系为基础展开的。但针对大数据的相关关系分析不同于传统的相关关系的分析，传统的相关分析基本是线性相关分析，大数据研究的相关关系分析的不仅是线性相关，更多的是非线性相关以及不明确函数形式的线性关系。（3）转变统计研究目的。传统统计研究的目的主要是为了探寻现象( 或变量) 间的相关关系、因果关系以及建立在相关关系或因果关系基础上的预测分析。大数据由于数据规模巨大和数据结构复杂以及要求数据处理速度快等特点，因果分析往往不可行。大数据时代统计研究分析的目的主要是研究现象间的相关关系以及建立在相关分析基础上的预测分析。（4）转变统计研究工作思想。传统统计研究工作中，囿于计算技术的限制，总是希望用尽量少的数据和相对复杂的模型尽量获取有价值的信息。传统的统计抽样调查方法虽然在小数据时代有助于节省费用、了解总体信息，但可能存在抽样框不稳定、调查样本片面、调查结果经不起细分以及纠偏成本高昂的缺陷。在大数据时代，样本即总体，由于计算机超前的数据处理能力，可以通过分析处理大数据了解总体各方面的信息。另外，还需将传统统计质量管理控制中的事后检验转变为事先预测，以及转变尽量利用复杂模型的思想为巧用简单模型的思想。结论从统计学角度定义，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据。大数据时代下，统计学发生了很多的变化，传统的统计学方法已经不能够很好的处理大数据问题。这要求我们必须改变传统的统计学分析思维，从数据获取、处理、分析方面找到更加适合大数据的一套完整的统计分析方法。对于每一位统计工作者来说，这既是机遇，有是挑战。机遇在于，在大数据时代下，统计学的地位不容忽视，它是处理大数据问题的有效途径。挑战在于，要得到一套适合大数据的统计分析方法实属不易，这需要我们每一位统计学者和工作者的不懈努力。参考文献1Radosaw Bandomir, Mariusz Krawczyk, Jacek Namienik.A New Analyzer Based on Pellistor Sensor with Neural Network Data Postprocessing for Measurement of Hydrocarbons in Lower Explosive Limit RangeJ.Journal of Automated Methods & Management in Chemistry, 2005, 2005(2).2S. G. Wesnousky.Possibility of Biases in the Estimation of Earthquake Recurrence and Seismic Hazard from Geologic DataJ.Bulletin of the Seismological Society of America, 2010, 100(5A).3Patricia L. Mabry.Making Sense of the Data ExplosionJ.American Journal of Preventive Medicine, 2011, 40(5).4V. Letouzey, S. Huberlant, P. Mares et al.Assessment of Quality of Life of Patients Supported for Genital Prolapse Surgery: Feasibility of a Computerized Data CollectionJ.The Journal of Minimally Invasive Gynecology, 2011, 18(6).5Patricia L. Mabry.Making Sense of the Data ExplosionJ.American Journal of Preventive Medicine, 2011, 40(5).6卢敏,刘学.大数据-任务并不简单J.软件和信息服务,2011,11:44-52.7姜奇平.大数据时代到来J.互联网周刊,2012,01:6.8Hang Yang, Simon Fong, Guangmin Sun et al.A Very Fast Decision Tree Algorithm for Real-Time Data Mining of Imperfect Data Streams in a Distributed Wireless Sensor NetworkJ.International Journal of Distributed Sensor Networks, 2012, 2012.9B. Zhu, L. Xu, D. Faries et al.PMH83 Comparison of Total Health Care Costs Between Remitters and Non-Remitters for Schizophrenia Patients from a Prospective Longitudinal, Observational Study in the Presence of Missing DataJ.Value in Health, 2012, 15(4).10W. Aigner, A. Rind, S. Hoffmann.Comparative Evaluation of an Interactive Time-Series Visualization that Combines Quantitative Data with Qualitative AbstractionsJ.Computer Graphics Forum, 2012, 31(3pt2).11Ahmed M. Abdel-Khalek, Mostafa A. Elseifi, Kevin Gaspard et al.Model to Estimate Pavement Structural Number at Network Level with Rolling Wheel Deflectometer DataJ.Transportation Research Record: Journal of the Transportation Research Board, 2012, 2304(-1).12B. Zhu, L. Xu, D. Faries et al.PMH83 Comparison of Total Health Care Costs Between Remitters and Non-Remitters for