浅析大数据的发展

1、    浅析大数据的发展    王晨晨 孙睿摘要：随着网络信息化的日益普遍，移动互联网、电子商务等大大拓展了互联网的应用领域，我们将会接触越来越多甚至爆炸性增长的数据。大数据给我们社会政治、经济、文化、生活方面都带来深远影响，我们也在“大数据”时代中寻求更高效合理利用大数据的方法，使之对我们产生更积极的影响。关键词 ：大数据；数据分析；影响1大数据的定义及发展背景近几年来，随着计算机和信息技术的飞速发展和日渐普及的应用，各行各业应用系统的规模迅速扩大，每个行业应用系统所产生的数据呈爆炸性的增长。【1】很多企业的数据已经远远的超出了现有的计算机技术和信息技

2、术的处理能力，因此，我们需要寻求一种有效的大数据处理技术，来满足现有企业大数据的处理需求。由于大數据处理需求的迫切性和重要性，近年来大数据技术已经在全球的学术界、商界以及各国政府都得到了高度的关注和重视。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。【2】”为了紧跟全球大数据发展的潮流和趋势，我国各界也对大数据给予了高度的关注。在我看来，大数据是一个“仁者见仁，智者见智”的东西。对于投资人和创业者而言，大数据就是一个非常热门的融资标签。对于一些互联网公司和it工程师而言，大数据就是很多的数据

3、进行处理计算。对于广大的消费者和用户而言，大数据就是企业通过搜集与用户相关的隐私，然后进行营销。从理论上来讲，大数据公司通过搜集用户的相关行为信息，可以更好地了解消费者的喜好和需求，从而可以做出相应的决策以更好地向用户销售自己的产品。3大数据的七大特性3.1 海量性海量性是大数据最明显的特点。现如今许多企业都面临着数据量大规模增长的问题，其中idc的报告预测称：全球数据量将扩大50倍。从目前来看，大数据的规模仍是一个不确定的指标，每个企业的数据数量都在源源不断地增长，并且还有各种意想不到的来源，都可以产生大量数据。3.2 多样性许多人认为，大数据多样性的产生是由于人们越来越多的使用互联网，并且

4、搜索不同内容。然而随着传感器、智能设备等的飞速发展，数据也变得更为复杂，因为它不仅仅包含传统数据类型，还包括网页日志、社交媒体、电子邮件等多种类型的数据。并且，大数据时代的数据格式也变得更加多种多样，包括文本、图片、视频音频等更多类型。除此之外，数据也多了许多我们意想不到的来源。3.3 高速性高速性主要描述的是数据的接收和处理速度。在数据处理的速度方面，有一个著名的“1秒定律”，也就是说要在秒级时间范围内给出分析结果，超出了这个时间，数据也就失去价值了。数据的高速性可以体现在两个方面，一方面是数据的产生速度快，比如社交媒体的用户众多，所以短时间内产生的数据量已经巨大，又比如gps的位置信息，同

5、一时间会有非常多的人同时使用定位。另一方面，是数据的处理速度快。时间就是金钱，时间越久，数据的价值就越低，而且数据本身就具有时效性，过了一定的时间，数据可能就会失去其本身的意义了。3.4易变性大数据具有多层的结构，这也就是说大数据会有多变的形式和类型。与传统型数据相比，大数据存在着很多不规则且模糊不清的特性，所以会导致有些数据无法用现有的分析手段进行分析。所以对于很多现代企业来说，如果更好地分析现有的各种形式的复杂数据成为其所面临的挑战。3.5真实性数据的质量和真实性决定数据带给我们的价值。数据的质量并不容易判定，有时候大量真实的数据不见得是有质量的数据，真正对我们有帮助的数据才可以算作高质量

6、的数据。但是高质量的数据一定是真实的。我们可以通过更加先进的数据分析处理技术，来降低数据的不确定性，可以用更先进的数学方法来保证数据的真实性，从而使所得数据更好地为我们所用。3.6复杂性大数据的复杂性主要体现在数据类型、数据结构、数据细节的多样性。随着数据量的增长，数据的类型越来越多，数据结构也越来越多，这些都使大数据变得越来越复杂。简单来说，不同的数据类型具有不同的规则，所以对数据进行处理时就不能用单一的处理方法，要用数据自己的语言语法来连接处理。3.7低价值密度性低价值密度性，简单来说就是数据量虽然庞大，但有价值的信息并没有那么多，也就是高质量信息并不多。如今，数据爆炸式增长，信息海量，但

7、信息的价值密度并不高，这也就要求我们能够在庞大的信息量中，提取最有用的信息来加以利用，这对于目前的我们来说是一个需要解决的难题。4大数据处理的关键架构大数据主要的处理模式主要有两种，分别为流处理和批处理。批处理是先存储后处理，而流处理则是直接处理。【3】大数据处理的关键架构主要包括文件系统层、数据存储层、资源管理层、资源协调层、计算框架层、数据分析层、数据集成层和操作框架层。这些框架层次给大数据处理过程提供了比较全面的功能，比如可以对数据进行存储管理、提高资源的利用率、良好的协调资源分布等。大数据处理的流程包括数据抽取与集成、数据分析、数据解释三个部分。其中，数据抽取与集成是整个流程的基础。由

8、于数据类型多样、数据来源广泛、数据结构复杂，所以这给大数据的抽取带来了极大的挑战。在这个过程中，首先要保证数据的质量及真实性。其次，数据分析是整个大数据处理流程的核心，因为大数据的价值就产生于其分析的过程。根据人们不同的需求，选择相对应有部分或全部的数据进行分析，并得到尽可能好的分析结果。5大数据的影响大数据对于我们来说，是一个既遥远又亲近的存在。在生活方面，app会记录我们的浏览信息，推送相关链接，方便我们搜索。在交通方面，交管机构可以根据人们出行的大数据进行分析，采取合理措施以解决高峰期拥堵问题，同时计算机动车对环境的污染程度，提出合理方案来缓解环境污染问题。在医疗方面，大数据也是一个全新

9、且重要的应用。公共卫生部门可以通过覆盖全国的患者的电子病历进行全面完整的疫情监测；各地的医疗信息可以通过公共平台共享，这样既方便各医疗机构之间的交流学习，又可以提升落后地区的医疗水平，减少误诊率；医药研发机构可以更快速的掌握各地的医疗卫生数据，了解公共疾病药品的需求，更加合理的配置研发资源，更有效率的生产产品；居民可以通过云平台，及时了解疾病特征，对比自身健康程度，能够更及时地发现疾病，早治疗，实现疾病的科学管理。【4】然而，大数据带给我们方便的同时，也给我们带来了一些不良影响，比如信息安全问题。大数据时代的到来，传统的信息安全措施已经不足以保护我们的隐私，所以导致大量信息的泄露。现在很多ap

10、p对于手机都是深度植入，有些商家为了利益甚至可能会出卖用户的信息。6总结综合来看，未来若干年，大数据仍是这个社会发展的主流。商务智能、医疗共享、公共服务等仍需要大数据的支持与发展，我们也将面临更大的挑战，不仅要研究更智能更高效的数据处理方法，也要更努力的克服大数据时代所带来的弊端。凡事都有两面性，我们应当更加积极的用好大数据有价值的一面，同时尽量避免大数据给我们带来的不利因素。未来很长，仍值得努力与期待。参考文献：1 黄星宇. 浅谈大数据j. 科技视界， 2014（30）：90-90.2 维克托·迈尔-舍恩伯格， 肯尼思·库克耶， viktormayer- schonberger，等. 大数据时代：生活、