大学基础与计算机 1

第8章

大数据与人工智能人

格

能

力

责

任

奉

献目录大数据概述大数据储存与管理大数据处理与分析可视化与Python实战大数据的应用0405030201人工智能通识0601大数据概述大数据发展历程1大数据概述大数据的发展经历了技术萌芽、奠基、突破与生态构建、成熟应用与技术融合四个阶段。从19世纪的打孔卡到21世纪的云原生技术，大数据技术不断演进。关键里程碑在大数据发展历程中，谷歌的GFS、MapReduce和BigTable等技术奠定了大数据技术的基础。ApacheSpark的出现进一步提升了数据处理速度，推动了大数据技术的广泛应用。数据类型与来源两分法01按结构划分数据类型数据按结构可分为结构化数据、半结构化数据和非结构化数据。结构化数据如数据库表格，半结构化数据如JSON格式，非结构化数据如图片和视频。

1大数据概述02按来源划分数据类型数据按来源可分为机器生成数据、用户生成数据和业务过程数据。机器生成数据如传感器数据，用户生成数据如社交媒体帖子，业务过程数据如企业运营记录。

1大数据概述大数据的特点特征描述典型场景示例体量数据规模从TB级扩大到EB级（1EB=10亿GB），全球数据总量每两年翻一番微信每天产生约450亿条消息速度数据生成与处理需接近实时，如金融交易系统要求延迟低于毫秒级高频股票交易数据流多样性结构化数据（如数据表）占比不足20%，80%的数据为非结构化数据（如文本、图像等）医疗CT影像、社交媒体评论价值需通过机器学习从海量数据中提取价值，如广告点击率预测电商用户行为分析真实性数据质量参差不齐，需对数据进行清洗、验证，如传感器噪声数据需滤波处理工业设备振动信号去噪1大数据概述大数据技术技术层面核心功能实现手段大数据感知与获取利用ETL工具，实现多源异构数据的规范化整合，构建数据分析基础ETL工具、网络爬虫大数据存储与管理利用分布式文件系统、非关系数据库等，实现对海量的结构化、半结构化数据的存储与管理分布式文件系统（如HDFS）非关系数据库（如NoSQL）大数据处理与分析利用高效计算框架和编程模型，实现对海量数据的处理与分析分布式计算框架（如Spark）并行编程模型（如BSP）大数据可视化将复杂数据或分析结果转化为直观图形，辅助人们决策和洞察交互式可视化工具（如Tableau）02大数据存储与管理2大数据存储与管理分布式文件系统通俗的讲,当网络中的两台主机要进行通信时,必须知道通信双方各自的地址,这就是我们所理解的Internet地址,即IP地址,也称网际地址。NoSQL数据库一种不使用传统SQL来操作数据的数据库，它在设计上专为大数据存储、灵活的数据模型和高效的读写操作而优化。云存储

一种通过互联网将数据存储在远程服务器上的技术，用户无须关注具体的物理硬件，而是通过网络来访问、管理和共享存储的数据。03大数据处理与分析3大数据处理与分析批处理与流计算对比批处理计算特点批处理计算适用于处理大规模历史数据，具有高吞吐量和成本效益高的特点，但延迟较高。流计算特点流计算能够实时处理数据流，响应速度快，适用于需要即时反应的场景，如实时监控和推荐系统。3大数据处理与分析图计算与查询分析场景图计算应用图计算专注于处理数据之间的复杂关系，适用于社交网络分析、推荐系统和知识图谱等领域。查询分析计算应用查询分析计算通过SQL语言对数据进行查询和分析，广泛应用于数据仓库和商务智能领域，帮助用户快速获得数据洞察。04可视化与Python实战4可视化与Python实战大数据可视化概念

大数据可视化的核心目的是通过图形化的手段，将复杂的数据和信息以更加直观、易懂的方式展示出来，帮助用户从海量数据中发现潜在的规律和趋势。可视化元素可视化元素是构建大数据可视化图形的基本组件，主要包括数据点、线条与曲线、颜色与大小、标签与注释等。坐标系是大数据可视化中用于映射数据的框架，它通过x轴、y轴，甚至z轴的组合来展示数据。图表类型是大数据可视化的基本形式，不同的图表类型适用于展示不同类型的数据。坐标系图标类型4可视化与Python实战数据预处理（1）数据清洗。去除无效、重复、缺失或错误的数据，确保数据的质量。（2）数据集成。将不同来源的数据进行整合并统一格式，保证数据的一致性。（3）数据转换。根据可视化需求，对数据进行转换，如标准化、归一化等，以便对数据进行对比和分析。（4）数据聚合。将数据按某些维度（如时间、地点等）进行聚合，减少数据量，提高可视化效率。

（5）数据抽样。在数据量过大的情况下，采用抽样方法从中选取代表性数据，降低计算复杂度。4可视化与Python实战大数据可视化工具开源可视化工具开源可视化工具通过免费、灵活和可定制的特性，为数据分析、科学研究和商业应用提供了强大的支持。商业可视化工具商业可视化工具通常提供更为完善的功能、用户支持和安全性，适用于企业用户或非技术背景的用户快速完成专业级分析，并且其通常是收费的。编程语言中的可视化库编程语言中的可视化库为开发者提供了高度定制化的解决方案。4可视化与Python实战大数据可视化常用方法时间序列可视化是一种用于展示数据随时间变化的趋势和模式的方法，特别适用于分析具有时间维度的数据集。时间序列可视化关系网络可视化用于展示数据中各个元素之间的关系，通常以节点（点）和边（连线）表示。关系网络可视化地理信息可视化通过地理图层展示与地理位置相关的数据，能够清晰地展现空间分布、位置关系以及地理变动趋势。地理信息可视化多维数据可视化通过图形方式展示多个变量或维度之间的关系，通常用于处理复杂的数据集，特别是在数据维度较多的情况下。多为数据可视化4可视化与Python实战Python实战【例8-2】使用

turtle库绘制蓝色正方形。在

Python中实现的代码如下：

importturtlewindow=turtle.Screen()window.title("蓝色正方形绘制")pen=turtle.Turtle()pen.speed(1)pen.pensize(3)pen.color("blue")pen.begin_fill()for_inrange(4):pen.forward(200)pen.right(90)pen.end_fill()pen.hideturtle()4可视化与Python实战Python实战【例8-3】使用Matplotlib库绘制一个正弦函数的数据可视化图表。在Python中实现的代码如下：pythonversion:3.8numpy,matplotlibcopyfrombookISBN:978-7-115-48558-8importnumpyasnpimportmatplotlib.pyplotaspltx=np.arange(0,6,0.1)y=np.sin(x)plt.plot(x,y)plt.show()05大数据的应用5大数据的应用大数据在互联网领域的应用大数据在生物医学领域的应用大数据在物流领域中的应用大数据在城市管理领域中的应用大数据在金融领域中的应用06人工智能通识6人工智能通识

人工智能是研究人类智能及其规律，并模拟人类智能行为的学科，其核心任务是开发能够在感知、理解和决策等方面展现出类似人类智能行为的智能系统。黄金时代务实与复苏严冬时代二次低谷短暂回暖迅猛发展1956-1974年1980—1987年1993—2010年1974-1980年1987—1993年2011年至今6人工智能通识人工智能的分类按智能水平分类按应用领域分类窄域人工智能通用人工智能超人工智能自然语言处理计算机视觉机器人技术专家系统6人工智能通识人工智能三大核心要素数据数据是人工智能学习和训练的基础。大量的数据（包括文本、图像、视频、音频等）为模型提供了信息来源。算法算法是人工智能模型的核心，决定了系统如何从数据中提取有用的信息并做出智能决策。计算能力强大的计算能力是实现高效人工智能的基础。6人工智能通识人工智能的研究范畴知识的表示与推理自然语言处理计算机视觉智能搜索机器学习机器人学6人工智能通识大语言模型通过对大规模文本数据进行训练，能够理解、生成并操作自然语言文本的深度学习模型。大语言模型能够准确理解和生成各种语言的文本，适应多种自然语言处理任务。1.强大语言理解与生成能力。大语言模型在文本生成、翻译、情感分析等领域表现出色，显著提高工作效率。2.广泛应用与高效性。大语言模型可以将预训练获得的知识，轻松迁移到不同领域和任务，实现快速优化。3.通用性与迁移学习能力。随着数据量和计算能力的提升，大语言模型的性能不断改进，并支持多语言处理。4.持续优化与跨语言支持。6人工智能通识大语言模型的核心思想1基于大规模数据的预训练2Transformer架构与自注意力机制4文本生成与适应性5多模态融合（部分模型