大数据技术及应用

大数据技术及应用

大家下午好！今天我和大家交流的题目是大数据技术及应用。随

着互联网技术的飞速发展，电子商务、云计算、物联网、社交网络等

新兴服务的兴起，使得人类社会创造、存储数据的种类和规模正以前

所未有的速度增长，人类来到了大数据时代。大数据代表了信息技术

发展的最新成果，但对与我们这些不从事IT行业的人来说，大数据可

以说是既熟悉又目生，熟悉是因为我们时常会从各种新闻媒体（包括

电视、杂志、书籍）中看到、听至人大数据信息铺天盖地；目生是因为

我们不知道大数据是什么意思，对我们的工作学习生活有什么影响。

那末为了解开大数据神奇面纱，线面我就和大家共同学习大数据先关

知识。

一、大数据产生的时代背景

大数据的兴起源于人类社会数据量的爆发式增长。人类社会发展

到21世纪，特别是最近几年，随着互联网和挪移互联网的快速发展，

社交网络、搜索引擎、电子商务、视频网站、电子游戏、微博、微信

每天都在产生大量的数据。据网上一篇疯传的帖子《互联网的一天》

中指出，“每天互联网上要发出2940亿封邮件，200万篇博客，1288个

新应用可供下载，数据流量可以刻1.68亿张DVD光盘工

这里所说的数据并非单纯指人们在互联网上发布的信息，物联

网（传感器，智能家居、智慧城市）、车联网、GPS、医学影像、安全

监控、金融（银行、股市、保险）、电信（通话、短信）、工业设备、

汽车、电表等设备上无数的数码传感器，随时测量和传递着有关位置、

运动、震动、温度、湿度乃至空气中化学物质变化的信息、，可以说各

行各业，各种设备随时都在产生着大量数据。

美国互联网数据中心指出，互联网上的数据每年将增长50%,每

两年便将翻一番，而目前世界上90%以上的数据是最近儿年才产生的。

这可以称之为数据领域摩尔定律。

根据事物的发展规律：量变引起质变。如此巨大的数据量，引起

了人们对数据价值的重新认识、挖掘和应用。最早提出“大数据''时代

到来的是全球知名咨询公司麦肯锡。2022年5月，麦肯锡发布了名为

《大数据：创新、竞争和生产力的下一个前沿》的研究报告，报告中

指出：“大数据将成为企业的核心资产，对大数据的分析将成为竞争的

关键，并会引起新一轮生产力的增长与创新，对海量数据的有效利用

将成为企业在竞争中取胜的最有利武器工

二、什么是大数据

(一)大数据概念

在讲大数据概念之前，我们先来看一个例子。我们不少人都上过

网，也都在网上购过物。比如在亚马逊网站买书，在淘宝买衣服等，

在亚马逊网站有这么一个推荐系统，当你在这个网站浏览某一个产品

时，比如说买一本书，他通过以往保存的其他人大量的搜索、点击、

浏览记录，根据你的浏览记录，分析出你想要什么产品，然后通过推

荐系统给你推荐出不少同类产品，从而使你能够快速的找到自己想要

的产品。这就是大数据在我们日常生活中应用的一个例子。通过这个

例子我们可以更容易的理解大数据的概念。

大数据(bigdata),或者称巨量资料，指的是所涉及的资料量规

模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、

处理、并整理成为匡助企业经营决策更积极目的的资讯。

那末我们该如何理解这句话呢？我觉得所谓大数据就是基于海量

数据的产生、获取，通过运用大数据分析技术，对这些海量数据进行

挖掘及整合，使之展现出巨大的商业价值，这就是我理解的大数据

大数据技术的意义不在于掌握庞大的数据信息，而在于对这些含

故意义的数据进行专业化处理，从大量数据中发现新的信息和价值。

正像《大数据时代》一书作者维克托・迈尔・舍恩伯格所说：“以一种前所

未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服

务，或者深刻的额洞见如果把大数据比作一种产业，那末这种产业

实现盈利的关键，在于提高对数据资源的“加工能力”，通过“加工”实

现数据的“增值工

(二)大数据的4V特征

大数据与“小数据''相比，有哪些特征呢？大数据主要有4个特征。

也就算是“4V模型:

1.规模性(volume)：指的是数据量巨大。这主要指两个方面，一

是指存储量大；二是指增量大。从刚才的背景介绍，可以看浮现在数

据的增速和储存量都非常大。现在，每天会有2.3ZB量的数据产生。

这是一个什么概念呢？现在普通我们电脑的硬盘大小都以GB,或者TB

为单位。1ZB=1024EB=10242PB=10243TB=1024JGB。如果你有一台1TB

硬盘容量的电脑，那1ZB就是大致等于10亿台电脑的容量，远远超出

了我们普通的想象。

2.多样性(variety)：指数据类型繁多。也包括两个方面。一个是

数据来源多。包括文本、视频、图片、地理位置、甚至点击率、浏

览量等各种各样的信息；二是数据类型多。包括传统结构化的数据和

非结构化的数据。

3.高速性(Velocity)：主要表现为数据处理速度快，在数据量

非常庞大的情况下，也能够做到实时处理。比如说我们通过手持终端

设备关注天气、交通、物流等信息、，我们要求能够在短期内得到我

们想要的结果，大数据的高速性恰恰能满足我们的这样一个要求，能

够对大量信息进行快速的分析，并把分析结果快速的反馈给用户。

4.价值性(value)：价值性体现出的是大数据运用的真实意义所

在。大数据具有价值密度低，商业价值高的特点。也就是说，大量的

数据中无用的信息不少，实用的信息很少，或者说很难发现，就像沙

里淘金一样，但你不管怎样，你总会淘到金子，总会发现真正有价值

的东西。以视频监控为例，连续不间断监控过程中，可能实用的数据

仅仅有一两秒，但就着一两秒钟，却往往有着极其重要的价值。

三、大数据时代带来的影响

1.大数据对社会的影响

在2022年，美国爆发甲型H1N1禽流感的前几周，谷歌公司就准

确的预测到了禽流感将在冬季发生，并且能够精确预测到发生的地区

和州，及时提醒美国国家公共卫生机构进行预防，从而避免了禽流感

大面积的爆发。那末谷歌是如何做到的呢？原来谷歌是通过分析人们

在网上大量的搜索记录来完成这个预测的。谷歌每天通过分析整个美

国几十亿条检索记录，把和禽流感相关的特定词条进行分析，比如，

“哪些是治疗感冒和发烧的药物"，分析他们在不同地区和时间的搜索

频率，就能够准确的预测出禽流感发生的时间和地点。这就是大数据

的应用对社会公共卫生带来积极影响的一个例子。从这个例子可以得

到这么一个结论。就是大数据分析并不依赖于单个数据的准确性，比

如:某个人搜索“哪些是治疗感冒和发烧的药物“，并不能得出这个人一

定得了禽流感，某个地区大量的人搜索“哪些是治疗感冒和发烧的药

物”，就能够反应出该地区一定发生了禽流感。所以说，大数据分析不

追求个别数据的准确性，可以允许错误的存在，但当分析的数据达

到一定规模时，这些个别的错误对我们的结果不会构成影响，通过对

大量数据的分析我们依然能够得出正确的结论。

2.大数据对企业的影响

刚才讲的亚马逊推荐系统就是大数据应用对企业影响的一个方

面，他可以匡助企业增大销量。下面我们在来看一个例子。我们都知

道阿里巴巴和新浪微博合作的事情。2022年，阿里巴巴斥资5.86亿人

股新浪微博，推出了新浪微博淘宝版。那末阿里巴巴为什么要和新

浪合作呢？一个更重要原因就是大数据营销战略。

新浪微博在中国有几亿活跃用户，掌握了大量用户日常生活行为信

息，这个量十分庞大，但新浪却无法进行利用。我们再看阿里巴巴，

是中国最大电商平台，它有产品、有购买信息，但这些购买信息不足

以匡助阿里巴巴了解人群特点和喜好。所以，阿里巴巴跟新浪微博台

作，就可以掌握大量完整的用户日常生活行为信息，从而对其分类，

根据不同人群甚至不同个体的喜好、偏好、兴趣、爱好、习惯、传播

习惯、分享路径等等，推荐不同的商品，那末就能实现精准营销，个

性化营销。从这个例子我们可以得出这么一个结论：就是数据再也不

是静止和陈旧的。以前，一旦完成为了采集数据的目的后，数据就

会被认为没实用处了，成为负担和垃圾。而在大数据时代，我们可

以对数据进行重复开辟和利用，从而发掘出数据新的潜在价值。数

据的真实价值就像飘荡在海洋中的冰山，第一眼只能看到冰山一角,

而大部份则隐臧在表面之下。我们必须通过挖掘才干发现数据更多的

价值。

3.大数据对个人的影响

未来的大数据除了将更好的解决社会问题、商业营销问题，还有一

个可预见的趋势大数据将更好的服务于人本身。比如，建立个人的数

据档案，将每一个人的日常生活习惯，身体体征，社会网络，知识能力,

爱好性情，疾病嗜好，情绪波动.….换言之，就是记录人从出生那一刻

起的每一分每一秒，将除了思维外的一切都储存下来，这些数据可

以被充分的开辟利用：医疗机构将实时的监测用户的身体健康状况；

教育机构更有针对性的制定用户喜欢的教育培训计划；服务行业可以

为用户提供及时健康的符合用户生活习惯的食物和其它服务；社交网

络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活

动；政府能在用户的心理健康浮现问题时进行及时有效的干预，防范

自杀，刑事案件的发生；金融机构能匡助用户进行有效的理财管理，

为用户的资金提供更有效的使用建议和规划；道路交通、汽车租赁及

运输行业可以为用户提供更合适的出行路线和路途服务安排。大数据

的开辟应用将深刻的改变人们的生活方式，更好地为人的生活服务。

4.大数据对军事的影响

作为军人来说，我们可能更关心大数据会给军事带来哪些影响。

现代战争是高科技战争，大量的高科技设备应用于战场，产生大量的

数据信息，战场情况瞬息万变，如何从纷繁复杂的信息中获取真正有

用的价值，匡助我们在战场上做出正确的判断，我想这正是大数据的

用武之地。一个有趣的例子，1948年辽沈战役期间，司令员林彪要求

每天要进行例行的“每日军情汇报“，由值班参谋读出下属各个纵队、

师、团用电台报告的当日战况和缴获情况，那几乎是重复着千篇一律

索然无味的数据：每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多

少，枪支、物资多少。有一天，参谋照例汇报当日的战况，林彪蓦地

打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗？“大家

都很茫然，因为如此战斗每天都有几十起，差不多一模一样的枯燥数

字。林彪扫视一周，见无人回答，便接连问了三句：“为什么那里缴获

的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的

小车与大车的比例比其它战斗略高?”，，为什么在那里俘虏和击毙的军

官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图

的墙壁，指着地图上的那个点说：“我猜想，不，我断定!敌人的指挥

所就在这里！”果然，部队很快就抓住了敌方的指挥官廖耀湘，并取得这

场重要战役的胜利。这就是运用大数据分析思维在军事上的应用。从

一些看似不相关的数据中，进行分析挖掘，从而找出对我们有价值

的信息。

5.大数据对隐私的影响

任何事物都有两面性。人们在享受大数据带来的便利的同时，也

必然要承担大数据带来的隐患。当你在不同的网站上注册了个人信息

后，可能这些信息（包括年龄、性别、地域、生活状态、态度、行踪、

兴趣爱好、消费行为、健康状况等）已经被扩散出去了，当你莫名其

妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号

码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人

信息早就被各种商业机构非法存储或者贱卖给其它任何有需要的企业

或者个人了。并且这些信息你永远无法删除，它们永远存在于互联网

的某些你不知道的角落。除非你更换掉自己的所有信息，但是这是不

可能的。当我们在微博，微信，QQ空间这些社交平台输入我们的各种

私人信息时，你就不要指望你还有隐私权了，就算你及时的删除了私

人信息，但这些信息有可能已经被其他人转载或者保存了，更有可能

已经被百度或者Google存为快照，早就提供给任意用户搜索使用了。更

可怕的是，目前还有一种职业叫人肉专家，他们负责从互联网上找到

一个与他们根本就无关系的用户的任意信息。