大数据时代统计学面临机遇与挑战论文.doc

大数据时代统计学面临机遇与挑战论文 摘要：作为与数据紧密相关的统计学学科，在大数据的时代背景下，当今数据的获取和规模发生了根本的变化，统计学面临着新的机遇和挑战，需要在方法论上有所突破，研究统计学在大数据时代的发展趋势有着十分重要的时代意义。 关键词:大数据；统计学；样本；机遇；挑战 21世纪爆发的信息技术革命，改变了社会发展过程中的方方面面。在云技术、物联网技术等高科技信息技术的大规模革新背景下，网络数据增长速率十分惊人，海量庞大的数据标志着大数据时代的来临。作为与数据紧密相关的统计学学科，在大数据的时代背景下，将会面临一系列的机遇和挑战，研究统计学在大数据时代的发展趋势有着十分重要的时代意义。 1.大数据时代统计学面临的挑战 统计学是一门传统的学科，发展至今已经有几千年历史，无论是学科理论领域内还是生产实践过程中，统计学的发展已经十分成熟，存在着许多成熟的研究成果。统计学的不断发展为人类的社会生产带来了极大的影响，随着大数据时代数据呈现海量、分散式的分布状态，其对统计学的影响也是较为明显的。一方面，大数据时代数据之“大”已经超出人们的想象，数据之“全”让人们对于事情的认知更加全面，大数据的多样性、大体量改变了数据样本与总体之间的关系，另一方面，大数据的数据多样性的特点改变了传统统计对数据统计分析的主观诉求，过去人们通过统计分析更偏向于追求“为什么”，而现在的统计分析更趋同与追求“是什么”。这一系列的影响对于统计学的进一步发展提出了新的发展挑战： 1.1样本选取以及标准的确定难度加大 样本统计属于统计学的核心内容，统计学通过样本统计对客观事物数量特点、数量关系等展开研究。在大数据背景下，样本与总体之间的局部与整体之间的关联性将会进一步地降低，造成样本即是总体的变化趋势，因而会造成大样本的标准化的变更。数据来源的多样化进一步的提升了样本数量，继而提升了统计精确度，促进了统计学学科的高精尖的发展。但随着样本数量越来越多，而从网络环境中采集到的数据多半属于非结构化的数据，但传统统计学要求结构化数据，利用传统的关系数据库难以对非结构数据进行有效的转换，难以挖掘大数据大样本数据中的潜在信息。大数据时代统计样本的选取工作难度不断提升，传统统计学缺乏非结构数据的建设，难以发挥出大数据时代，大数据库有效转换非结构与结构数据的优势，也为统计学的进一步发展提出了新的挑战。 1.2统计软件以及统计方法的欠缺 随着信息计算机技术的快速发展，基于计算机运算环境的统计学软件应运而生，统计学软件的使用有效提升了统计学中对数据分析和处理的效率和精准率，统计模型也进一步的简化了统计的实际操作，更有利于一般性的统计工作的实践操作。大数据背景下，现阶段发展较为成熟的统计学软件如SPSS、DPS等，尚不能够实现大数据高速传输、存储功能，软件功能还需要一定的开发和升级。与此同时，数据在大数据时代下属于一项资本，其被开发的水平还略显不足，绝大多数被互联网、搜索引擎以及电子商务等相关IT公司、统计机构所掌握。 2.大数据时代统计学面临的机遇 2.1统计效率的提升 在大数据时代，统计学的统计效率得到了更好的体现。一方面，大数据的多样化、及时性特征能够有效弥补传统统计中数据的滞后性问题，有效的提升了统计的时效性，另一方面，大数据的高速传输为统计的动态数据的收集提供了保障。与此同时，大数据可被频繁反复应用，采集的统计数据不再单单局限于一种相关用途，其能够服务于各式各样的需求。对采集数据应用的次数逐步增多，数据所具备的潜在价值被更全面的挖掘，而采集数据所产生的成本并不会受数据应用的次数所影响，故各式各样用途的平均统计成本将得到显著地降低。 2.2统计学科体系的新延伸 大数据引入到统计学科之中，庞大的数据使得样本的选取、标准划分都产生了新的变化，传统统计中的样本统计将会进一步的朝向总体统计的方向发展，一并囊括总体统计、样本统计的统计学科体系，能够有效消除总体统计的数据采集难度，弥补样本统计的数据采集不足，达到有效延伸统计学科体系的目的。 2.3统计学科的应用范围扩大 传统的统计学实践是为了去了解一个结果或者一个原因，但基于大数据的统计学科将向人们展示的是一个具体的过程。从前，人们习惯于根据“研究问题”来驱动“收集数据”。今后，大数据到处可得，人们将会用“数据”驱动“研究问题”而这种功能性的还变，促进了统计学应用范围的进一步扩大，例如传统的统计学往往被用来作为一个数学形式的参考信息，例如卫生统计、生产统计等等，但在大数据背景下，数据本身所含有的信息更加丰富化和多元化，基于海量用户下的网络数据所包含的信息极为广阔，而这些信息涉及到他们生活中的方方面面，这些信息一旦被深入挖掘出来，将会促进许多产业的快速发展。在大数据背景下，传统统计学的结构化数据局限会逐步接触，在非结构或者半结构的数据统计下，统计学将会应用到许多传统意义上无法数据化的行业领域中。 3结束语 数据是统计学科的核心，也是统计学科的主要价值体现。大数据时代改变了传统的数据的意义，数据所包含的信息、传播速度、分布速度也远远超出了我们的想象，数据核心意义的转变，迫使得以此为基础的统计学科必然会随之做出改变。机遇与挑战并存，在新的时期，统计学要想快速完成其学科的有效转换，就必须要进一步的深入研究大数据的时代特征，并有效地与传统统计学结合起来，以达成统计学科的进一步发展。 参考文献： 1维克托迈尔舍恩伯格，肯尼思库克耶大数据时代生活、工作