人工智能与未来 课件 3.6 大数据

Data第3章数据主讲：王红梅2035目录CONTENTS3.13.23.3数据那些事数据概述数据表示与获取3.43.5数据存储与管理数据分析与可视化3.6大数据问题：大数据如何获取？当我们积累的数据越来越多，大数据的概念就自然产生了，对大数据的应用也就成了研究的课题。到底多大算大数据呢？3.6.1什么是大数据（一）数据的级别1KB=1024BTXT文本文件1MB=1024KB一份word文档或一首mp3音乐1GB=1024KB一部电影1TB=1024GB普通硬盘1PB=1024TB大约2个机柜的存储设备1EB=1024PB大约2000个机柜的存储设备1ZB=1024EB全球电子设备存储的数据3.6.1什么是大数据大数据级别3.6.2大数据是怎么来的？传统企业原有数据机器和传感器采集数据社交数据大数据处处离不开我的贡献呀

（1）互联网数据

数以亿计的网络终端设备，比如智能手机、PC机、平板，昼夜不停地生产数据，这是大数据的主要来源。

（2）感知数据

随着物联网发展，智慧城市、智慧交通、智慧安防、智慧农业等工程积极推进，大量的传感器被部署应用，比如摄像头、卫星定位器、雷达以及温度、高度、浓度等各种传感器，这些传感器不停地进行数据采集，使数据量快速增长。3.6.2大数据是怎么来的？1辆自动驾驶汽车每天产生的数据：60TB1个智慧工厂每天可以产生的数据：1PB1座智慧城市每天可以产生的数据：2.5PB大型强子对撞机实验每年产生的数据：25PB谷歌搜索引擎的数据总规模（2021年）为62PB全球数据同比增速维持在25%左右2025年，全球数据量达175ZB3.6.2大数据是怎么来的？问题：大数据有什么特征？4V特征：Volume，Variety，Velocity，Value（1）Volume——大数据必须大，PB级别，拥有不是目的，开发利用才有价值。（2）Variety——大数据“五彩缤纷”大数据形态是多样的；来源与用途是多样的；联系性强，交互频繁。3.6.3大数据的特征4V特征：Volume，Variety，Velocity，Value（3）Velocity——大数据唯“快”不破数据生产速度快；数据处理必须快；数据存在时效性；“链接”的快速性。（4）Value——大数据价“值”无限数据是一种新的经济资源；“大数据”是一种解决问题的方法；大数据的价值还在于预测。大数据的价值具有隐藏性和低密度性。3.6.3大数据的特征3.6.4大数据处理的流程大数据的处理流程数据采集挖掘分析数据管理数据可视化问题：大数据有什么价值？1.大数据催生新思维

大数据，改变了人民思考问题和解决问题的思维方式。

（1）可以收集和分析全数据，不再依赖数据“抽样”，可以得到更加全面准确的信息，可以使判断更加准确。

（2）大数据的海量与全面，可以更多地运用“相关分析”解决问题

（3）大数据的快速性与巨大性，使得“概率”求解比“精确”求解更加可靠和有效。3.6.5大数据的价值2.大数据与人工智能紧密结合，提升新能力

大数据分析处理更多地采用机器学习、深度学习的方法。

（1）通过机器学习进行预测分析、分类、聚类和异常检测等。

（2）通过构建深度神经网络进行图像识别、语音识别、内容生成等。

运用自然语言处理算法进行文本挖掘、情感分析和语义分析等，可以用于舆情监测、市场研究、客户需求分析等场景。3.6.5大数据的价值3.大数据广泛应用，推动社会进步

大数据广泛应用，已经渗透到各行各业，通过不断融合创新，推动社会形态更新。

大数据用于防疫解决公共卫生灾难问题，大数据助推智慧城市、大数据助推智慧农业、大数据助推智慧教育、大数据推动智慧营销等等，社会处处是“智慧”。3.6.5大数据的价值讨论：（1）当你们在购物平台的浏览的时候，你给平台提供了什么？它是怎么知道你的喜好给你推荐商品的呢？（2）你听说过新石油吗？指的是什么呢？请举例自己班的学生数据是生产要素，是人工智能的基础;计算机数据获取:数制转换、信息编码和工具采集。数据可以用存储器存储。计算机数据可以通过结构化管理赋予意义。通过可视化、美化、分析等显现数据中的信息。必须发展大数据，适应大数据。小结：（1）掌握获取计算机数据的方法有数制转换、信息编码和工具采集。（2）数据可以用多种形式存储。存储的数据要保证安全、可用、可共享。（3）计算机数据只是一堆0/1代码符号，可以通过结构化管理赋予意义。（4）可以通过可视化、美化、分析等手段显现数据中的信息。（5）数据的“大”而“杂”对传统数据处理提出挑战，必须发展大数据，适应大数据。思考：1.为什么人工智能离不开数据？