信息技术（基础模块）课件 专题4 活用数据处理 任务4 初识大数据

任务4初识大数据专题4活用数据处理01任务描述03知识学习05拓展延伸07举一反三02感知体验04讨论活动06自我评价0801任务描述小小经常听到“大数据”“云计算”“人工智能”这些时尚术语，但她不是特别了解大数据及其应用。通过网络查询，了解到大数据的处理分析正成为新一代融合应用的结点，大数据已经渗透进我们的生活、学习和工作中，如大数据技术能实现交通优化，能通过收集家庭能耗数据给人们切实可用的节能提醒。01任务描述03知识学习05拓展延伸07举一反三02感知体验04实践操作06自我评价0802感知体验小小想和同学一起去看电影，但不清楚最近哪些电影票房高，小小利用百度查询，访问了观影大数据网站——艺恩，如图4-4-1所示。在网站上可以看到最近全国播放电影的大数据信息，是不是很奇妙。01任务描述03知识学习05拓展延伸07举一反三02感知体验04讨论活动06自我评价0803知识学习1.认识大数据新一代信息技术的发展，给信息时代带来无处不在的技术应用，海量数据不断产生，蕴含着巨大的社会、经济、科研价值。大数据（BigData）又称巨量资料，指的是无法在一定时间范围内通过人脑甚至主流软件工具进行捕捉、管理和处理的数据集合，它需要在信息技术支撑下，利用全新的数据分析处理方法，在海量、复杂、散乱的数据集合中提取有价值信息的技术处理过程，其核心就是对数据进行智能化的信息挖掘，并发挥其作用。03知识学习2.大数据的特征大数据是在极短的时间内通过信息技术和软硬件工具对实际发生的各类事件产生的信息进行感知、获取、管理、处理和服务的巨量数据集合。它具有数据规模大、来源丰富、类型复杂、变化迅速等诸多特征。传统数据就是IT业务系统里面的数据，如输入或导入的产品信息、客户资料、财务数据等。传统数据是结构化的，数据量在TB级以下。大数据包括结构化的传统数据以及来源于社区网络、互联网、物联网等渠道的文本、图片、音频、视频等非结构化的数据，如图4-4-3所示。

地图导航已成为交通重要应用之一，基于对海量数据的合理分析，提供实时路况及路况预测等服务，应用于各大城市。同学们在计算机浏览器中打开百度地图智慧交通网站，查看所在城市的拥堵情况，以及基于大数据预测的未来拥堵情况。图4-4-2所示为重庆市实时拥堵情况。03知识学习2.大数据的特征03知识学习2.大数据的特征根据大数据产生、采集、处理和应用的特点，总结其具有以下特征，简称“4V”：①大量（Volume）：数据体量巨大，达到PB级别；②多样（Variety）：数据类型繁多，有网络日志、视频、图片、地理位置信息、环境信息、生物体征信息等；③高速（Velocity）：处理速度快，可从各种类型数据中快速获取高价值信息，与传统的数据挖掘技术有本质区别；④价值（Value）：只要合理利用数据并对其进行正确、准确的分析，就会带来高价值回报。大数据的“4V”特征如图4-4-4所示。03知识学习3.大数据的采集与分析方法大数据的处理流程主要可以概括为四步：采集、预处理、统计和分析、挖掘与呈现。（1）采集大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库进行简单的查询和处理工作。例如，电商会使用传统的关系型数据库MySQL和Oracle等存储每一笔事务数据。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，如火车票售票网站和淘宝网站，它们并发的访问量在峰值时可达到百万级，所以需要在采集端部署大量数据库才能支撑。如何在这些数据库之间进行负载均衡和分片需要深入思考和设计。（2）预处理虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且在导入基础上做一些简单的预处理工作。03知识学习3.大数据的采集与分析方法（3）统计和分析大数据的统计和分析主要是利用分布式数据库或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。大数据分析的主要特点和挑战是分析涉及的数据量大，其对系统资源占用大。（4）挖掘与呈现数据挖掘主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，实现一些高级别数据分析的需求。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。数据呈现也称为数据可视化。不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观地展示数据，帮助人们有效理解数据，从而真正利用好大数据。03知识学习4.大数据的应用在信息化发展历程中，数字化、网络化和智能化是三条并行不悖的主线。数字化奠定基础，实现数据资源的获取和积累；网络化构建平台，促进数据资源的流通和汇聚；智能化展现能力，通过多源数据的融合分析呈现信息应用的类人智能，帮助人类更好地认知复杂事物和解决问题。大数据的应用场景广泛，已经覆盖社会、经济、政治等各个领域，如图4-4-5~图4-4-7所示。03知识学习4.大数据的应用在信息化发展历程中，数字化、网络化和智能化是三条并行不悖的主线。数字化奠定基础，实现数据资源的获取和积累；网络化构建平台，促进数据资源的流通和汇聚；智能化展现能力，通过多源数据的融合分析呈现信息应用的类人智能，帮助人类更好地认知复杂事物和解决问题。大数据的应用场景广泛，已经覆盖社会、经济、政治等各个领域，如图4-4-5~图4-4-7所示。03知识学习4.大数据的应用01任务描述03知识学习05拓展延伸07举一反三02感知体验04讨论活动06自我评价0804讨论活动

通过网络搜索，浏览去年的春节小长假人口流动指数大数据，并讨论人口流动的特征。01任务描述03知识学习05拓展延伸07举一反三02感知体验04讨论活动06自我评价0805拓展延伸

大数据为乡村振兴注入“新动力”

随着我国农村农业信息化尤其农村电商的深入发展，农村农业成为大数据资源生产和应用的主战场，大数据应用成为乡村振兴的重要突破口。

利用大数据技术对农业产业链全链条分析，实现农产品价格预测预警，从而解决部分农产品盲目生产或供应波动问题。大数据还在农产品加工与流通领域以及农产品上行和农资产品下行等方面发挥重要作用，其中农产品质量追溯和农村电商包括农村物流就是典型应用场景，尤其是农村电商破解了我国农业生产经营中个体分散性与大市场对接性的矛盾。

贵州作为全国首个大数据综合试验区，大数据基因已经深深地植入贵州的广袤土地，大数据与农业融合发展指数逐年提高，运用大数据信息化技术促进农业提速增效，促进黔货出山，巩固脱贫攻坚成果，成为深入实施乡村振兴战略的重大举措。图4-4-8所示为国家大数据（贵州）综合试验区展示中心内的贵州电商云展示区域。

细数成绩的背后，我们不难发现，大数据助力乡村振兴的基本路径，是借助互联网的力量，用数据化、电商化、产融结合等模式，提高生产效率，改变生产方式，增加农民收益。01任务描述03知识学习05拓展延伸07举一反三02感知体验04讨论活动06自我评价0806自我评价请根据自己的学习情况完成表4-4-1，并按掌握程度填涂☆。01任务描