人工智能通识教程课件 项目3 人工智能数据基础-大数据

人工智能数据基础——大数据项目3项目导入

数据的生成和记录自古以来是人类活动的重要组成部分，而在人工智能时代，数据更成为驱动智能模型进化的重要基础。从最早的结绳记事到如今的信息洪流，数据的形态与规模发生了翻天覆地的变化。如今，随着智能手机、可穿戴设备、物联网传感器等智能终端的普及，以及云计算技术的飞速发展，数据以前所未有的速度增长，渗透到生活每一个角落，为人工智能训练提供了海量素材。CONTENT目录1大数据基础2大数据关键技术大数据基础任务3.1任务3.1大数据基础学习目标了解大数据的概念、大数据的来源。了解大数据的主要特征。

了解大数据的结构类型。熟悉大数据的技术架构。

了解大数据的应用情况和发展趋势。1.数据与大数据

数据（Data）是信息的载体，是描述事物的符号记录，是构成信息和知识的基础。它可以是数字、文字、图像、视频、音频等各种形式，用于记录、分析和解释现实世界中的现象和事件。任务3.1大数据基础传统数据大数据数据量GB→TBTB→PB以上增长速度数据量稳定，增长缓慢持续实时生产数据多样化主要为结构化数据半结构化、非结构化、准结构化、多维数据价值统计和报表数据挖掘，预测分析2.大数据的来源（1）互联网数据（2）移动设备数据（3）视频和音频数据（4）交易数据（5）数据库数据（6）传感器数据任务3.1大数据基础3.大数据的主要特征任务3.1大数据基础计量单位等价关系字节数（B）的指数表示KB1KB=1024B210MB1MB=1024KB220GB1GB=1024MB230TB1TB=1024GB240PB1PB=1024TB250EB1EB=1024PB260ZB1ZB=1024EB270YB1YB=1024ZB280DB1DB=1024YB290NB1NB=1024DB21004.大数据的结构类型（1）结构化数据具有明确和固定格式的数据。（2）半结构化数据具有一定的结构，但不如结构化数据那样严格和固定。（3）准结构化数据具有一定结构但又不完全符合传统关系型数据库二维表结构要求的数据。（4）非结构化数据没有固定格式或结构的数据。任务2.2程序设计语言和工具5.大数据的技术架构任务3.1大数据基础数据采集层数据存储层数据处理层数据分析层数据接入实时批量采集数据数据持久化存储各种格式的数据数据处理批处理和流处理数据分析数据挖掘与建模数据应用层

数据可视化为决策等提供支持6.大数据的应用领域任务3.1大数据基础（1）金融服务（2）医疗健康（3）电子商务（4）物流与供应链（5）智能制造（6）公共服务（7）农业畜牧（8）出行交通7.大数据的发展趋势任务3.1大数据基础（1）数据隐私与安全（2）人工智能与机器学习集成（3）实时数据处理（4）数据治理与合规（5）多云与混合云环境（6）数据质量与数据资产管理（7）数据民主化大数据关键技术任务3.2学习目标熟悉掌握大数据开发过程。了解大数据采集的相关技术、采集工具和采集方法。了解大数据预处理的过程。了解大数据存储与管理的方法。了解大数据分析与挖掘的概念。了解大数据可视化的特征、作用、常用工具。任务3.2大数据关键技术1.大数据采集

大数据采集是指从各种来源系统和环境中系统性地获取数据的过程。

这些数据源可能包括结构化数据、半结构化数据、准结构化数据以及非结构化数据。大数据采集的目标是获取尽可能全面、准确的数据，为后续的数据存储、处理、分析和挖掘提供基础支持。任务3.2大数据关键技术2.大数据采集技术（1）数据库采集（2）系统日志采集（3）网络数据采集（4）感知设备数据采集（5）其他辅助性采集手段任务3.2大数据关键技术3.大数据采集工具（1）WebScraper（2）Flume（3）Kafka（4）Logstash（5）Scrapy任务3.2大数据关键技术4.大数据采集方法（1）批量采集

适用于数据量较大但实时性要求不高的场景。通过定时任务或触发机制，批量从数据源中拉取数据并存储到目标系统中。（2）实时采集

适用于对实时性要求较高的场景。通过消息队列、流处理框架等技术手段，实现数据的实时传输与处理。（3）增量采集

针对已采集过的数据源，只采集新增或变化的数据部分，以减少数据传输量和处理时间。任务3.2大数据关键技术5.大数据预处理

大数据预处理是指对原始数据进行一系列处理操作，以提高数据质量、减少数据冗余、降低数据复杂度，从而满足后续数据分析与挖掘的需求。这一过程包括数据清洗、数据集成、数据变换、数据归约等。数据采集数据清洗数据集成数据变换数据归约数据挖掘知识评价等数据挖掘结果二次预处理任务3.2大数据关键技术5.大数据预处理（1）数据清洗数据清洗是大数据预处理的第一步，目的在于识别并纠正数据中的错误、不一致性和异常值。（2）数据集成数据集成是将来自不同数据源的数据合并到一个统一的数据存储中的过程。这一步骤需要解决数据冗余、数据冲突和数据不一致等问题。（3）数据变换数据变换是将数据转换为适合分析的形式的过程。（4）数据规约数据归约是在保持数据原貌的前提下，最大限度地减少数据量。任务3.2大数据关键技术1）分布式系统

分布式系统是由多个计算机节点通过网络连接而成的系统，这些节点在逻辑上形成一个整体，但在物理上却是分散的。每个节点都可以独立地执行程序、处理数据，并通过网络与其他节点进行交互，以实现共同的目标。特性：①

自治性②

并行性③

全局性④

资源共享6.大数据存储与管理任务3.2大数据关键技术2）集群

集群是指一组相互独立的计算机或服务器，它们通过高速网络互联，共同组成一个较大的计算机服务系统。在这个系统中，每个节点（即集群中的每台计算机或服务器）都是运行各自服务的独立服务器，但它们之间可以彼此通信，协同向用户提供应用程序、系统资源和数据，并以单一系统的模式加以管理。特性：①

高可用性②

可靠性③

可伸缩性④

负载均衡6.大数据存储与管理任务3.2大数据关键技术3）NoSQL数据库NoSQL数据库是一类非关系型数据库，它们打破了传统关系型数据库（如MySQL、Oracle）的束缚，通过键值对、列存储、文档存储或图形存储等方式，来存储和管理非结构化或半结构化数据。特性：①

灵活性②

高性能性③

可扩展性④

高可用性和容错性6.大数据存储与管理任务3.2大数据关键技术4）云存储

云存储利用大量的、分布在不同地理位置的服务器（或称为存储节点）组成一个庞大的虚拟存储资源池，通过高速网络向用户提供数据的存储、访问和管理功能。特性：①

可扩展性②

高可用性③

数据持久性④

性能优化⑤

灵活性和便捷性6.大数据存储与管理任务3.2大数据关键技术7.大数据分析与挖掘1）大数据分析

大数据分析是一个复杂而系统的过程，它包括数据的收集、存储、处理、分析和挖掘等多个环节。这些环节共同协作，从海量数据中提取出有价值的信息。2）大数据分析的方法①

描述性分析

通过统计和图表描述数据的基本特征，如均值、中位数、众数、分布情况等。②

预测性分析

通过建立数学模型，利用历史数据预测未来的趋势和结果，如时间序列分析、回归分析等。③

探索性分析

通过数据可视化、聚类分析、关联规则挖掘等方法，发现数据中的潜在规律和关联。④机器学习

利用算法让计算机自动学习和改进，从而实现对数据的分类、预测、聚类等任务，如决策树、神经网络、支持向量机等。任务3.2大数据关键技术7.大数据分析与挖掘3）数据挖掘

数据挖掘是指通过自动或半自动化的技术从大量数据中提取有用的模式、趋势和知识的过程。数据挖掘结合统计学、机器学习、数据库技术和人工智能等领域的技术，用于揭示数据中的隐藏信息和潜在关系，支持决策制定和策略优化。4）数据挖掘的过程①

数据准备②

数据建模③

模型评估与优化④

结果解释与应用任务3.2大数据关键技术7.大数据分析与挖掘5）常用的数据挖掘技术与应用①

分类将数据分为不同的类别或组，以便进行预测或决策。②

聚类将数据分为不同的簇或组，使得同一簇内的数据相似度较高，而不同簇间的数据相似度较低。③关联规则挖掘发现数据项之间的有趣关系或规则。④

异常检测识别出与大多数数据显著不同的异常点或离群点，这些异常点可能代表欺诈、错误或特殊情况。⑤

预测分析利用历史数据预测未来的趋势或结果，如股票价格预测、销售额预测等。任务3.2大数据关键技术8.大数据可视化1）大数据可视化的特征

①

交互性②

多