人工智能基础与应用（含典型案例视频分析）课件 第4章 大数据管理

大数据概述大数据的基本概念及特征大数据在以云计算为代表的技术创新基础上将原本很难收集和使用的数据利用起来，通过不断创新，为人类创造更多的价值。可以说，大数据是互联网发展到一定阶段的必然产物。大数据简介大数据是指所涉及的资料量规模巨大，无法通过目前主流软件工具，在合理时间内进行捕捉、管理、处理,并整理成为有助于企业经营决策的信息资产。大数据技术：指从各种各样类型的数据中，快速获得有价值信息的能力。包括数据采集、预处理、存储及管理、分析及挖掘等。大数据工程：指大数据的规划、建设、运营、管理的系统工程。大数据涉及的主要领域大数据科学：是关注网络发展和运营过程中发现和验证大数据的规律，及自然和社会活动之间的关系。大数据应用：目前重点应用于商业智能、政府决策、公共服务三大领域。规模性：指数据的量以及其完整性。大数据的基本特征多样性：多种途径的数据来源，使非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。价值性：体现大数据运用的稀缺性、不确定性和多样性。从多维度，多角度，多层次的数据中找到宝藏。高速性：表现为数据流和大数据的移动性，要求具有时间敏感性和决策性的分析。当前价值一种生产力；带来IT的技术革命；各行各业引发创新模式；给生活带来深刻的变化；提升电子政务和政府社会治理的效率。大数据的的值未来价值各种实时传感采集设备及分析系统，提供支持未来的智慧城市、智慧交通、智慧能源、智慧医疗、智慧环保等。大数据的商业价值：可以对顾客群体细化可以模拟实境可以提高投入回报率可以实现数据存储空间出租可以管理客户关系可以进行个性化精准推荐可以实现数据搜索云技术：借助云计算的处理能力实现大数据的价值。分布式处理：将分布的大数据统一管理控制，协调一致地完成信息处理。存储技术：实现大数据存储平台，并提供高效的分析及处理。感知技术：采用各种感知设备自动的实现大数据的采集。大数据的技术基础大数据技术大数据技术的概念大数据技术是用于处理海量、高速、多样化数据集的复杂技术与工具集合，其核心目标是从数据中提取价值，支撑决策制定与趋势分析。技术集合大数据技术并非单一技术，而是一系列用于处理海量、高速、多样化数据集的技术与工具的集合。01核心目标其核心目标是有效管理和分析数据，从中提取隐藏的价值，以支持科学决策、趋势预测和模式识别。02全生命周期它覆盖了数据从产生到应用的完整生命周期，主要包括数据采集、清洗、存储、处理、分析和可视化等关键环节。03大数据技术的发展追溯至20世纪80年代，数据库、数据仓库和数据挖掘技术的发展为大数据概念的形成奠定了基础。早期奠基121世纪，互联网和移动设备的普及催生了数据爆炸式增长，Hadoop等开源技术的诞生提供了新的处理平台。互联网推动2近年来，与人工智能、云计算、物联网等技术的深度融合，推动大数据技术向更多领域拓展，实现实时化、智能化处理。融合与拓展3从概念到广泛应用的演进之路大数据处理的核心流程一套完整的大数据处理流程，涵盖了从原始数据到最终洞察的六个关键步骤。每一步都依赖特定的技术与工具。实际架构中，数据存储可能同时出现在清洗之后、处理之前，也可能作为数据湖贯穿多个阶段（虚线表示数据流向）。处理与分析环节往往需要反复从存储中读取数据，因此图中用虚线连接表示依赖关系。数据采集01数据采集自各种源头，包括物联网传感器、社交媒体、企业交易系统、服务器日志文件等。多样化来源02采集工具必须能够处理高并发、大数据量的场景，同时确保数据传输的稳定性和完整性。核心要求03常用工具包括ApacheFlume（日志采集）、Kafka（消息队列）、Logstash（数据收集）以及各类ETL工具。典型技术获取原始数据数据清洗01必要性由于大数据来源多样，原始数据常包含噪声、缺失值和不一致性，数据清洗是确保后续分析准确性的关键前置步骤。02关键步骤主要工作包括去除重复记录、处理缺失值、纠正数据错误、进行数据标准化与格式化等。03常用工具可使用Pandas、OpenRefine等工具进行交互式数据清洗，或利用SparkSQL等进行大规模数据集的分布式清洗。为高质量分析奠定基础数据存储以分布式架构应对PB级数据挑战01分布式文件系统HadoopHDFS（分布式文件系统）是大数据存储的基石，它将大文件分割成块并分布存储在集群节点上，提供高容错性和高吞吐量。02NoSQL数据库面对半结构化和非结构化数据，MongoDB、Cassandra等NoSQL数据库提供了灵活的存储模式和高效的读写性能。03现代数据仓库AmazonRedshift、GoogleBigQuery等云数据仓库服务，为大规模结构化数据分析提供了高性能、全托管的解决方案。04数据湖数据湖允许以原始格式存储海量数据，ApacheHadoop和Spark生态系统为其提供了强大的计算支持，实现“按需解析”。数据处理分布式计算框架是大数据处理的核心引擎01批处理模型ApacheHadoopMapReduce是批处理的鼻祖，它通过“分而治之”的策略，将大规模数据集的处理任务分解到集群节点并行执行。通用计算引擎02ApacheSpark凭借其内存计算能力，支持批处理、流处理、机器学习和图计算等多种场景，处理速度远超MapReduce。核心优势03这些框架能够支持并行处理海量数据集，通过横向扩展集群规模，显著提升计算效率，处理时间从小时级缩短至分钟甚至秒级。数据分析从描述过去到建议未来，驱动智能决策四种分析类型01分析能力从低到高可分为：描述性分析（发生了什么）、诊断性分析（为什么发生）、预测性分析（可能发生什么）和规范性分析（应该怎么做）。核心技术02借助统计分析、机器学习、数据挖掘和人工智能等技术，从海量数据中识别模式、发现关联、预测趋势。最终目标03分析的最终目标是将数据转化为有价值的洞察，为商业、科研、社会治理等领域的决策提供强有力的支持。数据可视化让复杂数据一目了然，驱动高效决策将复杂的分析结果通过图形、图表、仪表板等形式直观地呈现出来，帮助决策者快速理解数据背后的规律、趋势和异常。核心价值01Tableau、PowerBI、Qlik等现代可视化工具提供强大的交互式和动态展示能力，使用户能够深入探索数据细节。工具能力02直观的可视化呈现加速了数据洞察的传递与共享，真正实现了数据驱动的决策制定，最大化数据的商业与社会价值。最终赋能03大数据采集采集的数据主要分为三类。结构化数据，如存储于关系型数据库中的规整数据；半结构化数据，如XML、JSON等具有一定结构但不固定的文档；非结构化数据，如图片、视频、音频等。概念定义数据类型数据采集是大数据流程的第一步，指利用多种技术手段，从网站、社交媒体、传感器、日志文件等不同数据源获取大量、多样化数据的过程，是后续所有数据分析的基础。数据采集概述常见的数据采集方式包括直接从数据源（如数据库）获取原始数据；使用ETL（抽取、转换、加载）工具进行系统化数据集成；以及利用网络爬虫技术从海量网页中自动抓取所需信息。采集方式重要作用数据采集的质量直接决定了后续分析的价值。一个有效的数据采集策略能够确保数据的完整性、准确性和时效性，为从数据中发现洞见、支持决策提供坚实可靠的基础。八爪鱼采集工具的应用场景金融数据监控通过设定监控任务，八爪鱼可以7x24小时不间断地监控各大新闻门户网站，自动抓取并上传最新发布的新闻内容，帮助媒体机构、研究人员及企业舆情部门实时追踪热点事件。八爪鱼能够自动采集各类金融数据，如上市公司的季报、年报、财务报告以及基金的每日最新净值，为金融分析师和投资者提供及时、准确的市场信息，辅助投资决策。新闻实时监控对于电商运营者，八爪鱼可以实现在各大电商平台之间同步商品信息。例如，在一个平台发布新品后，可自动将商品详情、价格、库存等信息更新到其他关联店铺，极大提升运营效率。电商信息同步自动化与智能化用户可通过可视化流程设计实现自动化采集，无需编程。其智能识别技术能自动识别网页数据，并提供超过300个主流网站的采集模板，简化操作，支持多种数据格式导出。强大的脚本编辑除了图形化界面操作，ContentGrabber还允许用户通过参数文件进行详细设置，可以精确地调整HTTP请求头、Cookies、代理、重定向规则等，以应对各种复杂的网站反爬机制。ContentGrabber工具特点主要面向具备高级编程技能的用户，提供了丰富的脚本编辑和调试界面。用户可以通过编写复杂的正则表达式和自定义脚本，实现对抓取过程的精细控制，满足高度定制化的数据采集需求。灵活的参数选择多种数据导出格式支持设定定时任务，实现自动化、周期性的数据抓取。其强大的模板编辑功能，允许用户为特定网站创建深度定制的抓取模板，确保每次数据采集的准确性和实时更新。采集到的数据可以轻松导出为多种格式，包括CSV、JSON、XML，甚至可以直接写入SQLServer、MySQL、Oracle等数据库，方便与现有的数据分析流程和工具进行无缝集成。自动化与模板功能可视化数据挖掘RapidMiner工具特点平台覆盖了数据处理的各个流程，包括数据清洗、转换、可视化、模型训练、评估和部署。它内置了上千种学习算法和函数库，几乎可以为任意数据类型构建出精准的预测模型。集成化分析环境RapidMiner是一款强大的可视化数据挖掘工具，用户通过拖放式的图形化界面即可构建完整的数据分析流程，无需编写代码，极大地降低了数据科学和机器学习的门槛。强大的扩展能力其核心操作是通过连接各类“算子”（Operator）来形成一个“流程”（Process）。整个流程就像一条生产线，输入原始数据，经过一系列处理和分析步骤，最终输出模型或结果。除了自身丰富的功能，RapidMiner还支持与Python、R、Hadoop等主流数据科学生态系统进行无缝集成，这增强了其处理复杂数据挖掘任务的能力，满足专业用户的深度分析需求。流程化的操作模式大数据存储与分析大数据存储的概念大数据存储是指用于管理和存储海量、多样、高速生成的数据的一套技术、架构和方法，能够经济高效地存储、检索和处理传统数据库无法应对的大规模数据集。主要目的：为后续的大数据分析（批处理、实时流、机器学习）提供数据底座。主流的大数据存储方案分布式文件系统分布式文件系统将多台服务器的存储资源汇集起来，为用户提供一个统一的、巨大的文件系统视图。Hadoop分布式文件系统(HDFS)：这是大数据时代的奠基技术之一。它专为大规模数据集的批处理而设计，通过将数据分块并在多台服务器上创建副本，实现了高容错性。一个典型的场景是，它在数据仓库的建设中，作为底层的廉价、可靠的存储底座，为上层的数据分析提供支撑。Ceph：一个高性能、高可扩展的分布式存储系统，最大特点是统一存储。它可以在同一套硬件集群上，同时提供对象、块和文件三种存储接口，具备极强的灵活性和适应性。例如，OpenStack等云平台常选择Ceph作为其后端存储。其他分布式文件系统GlusterFS：采用无中心节点的对称式架构，避免了单点故障，配置灵活，非常适合需要大规模文件共享的场景，如媒体文件存储。MinIO：一款高性能、与AmazonS3API完全兼容的对象存储系统。它专为云原生环境设计，常被用作数据湖的存储层。GoogleFileSystem(GFS)：HDFS的设计灵感来源，是Google为其搜索引擎等业务开发的专有文件系统NoSQL数据库当传统关系型数据库在海量数据和高并发面前显得力不从心时，NoSQL数据库应运而生。它通过放弃部分关系特性（如强一致性），换取了极致的水平扩展能力和高性能。以下是几种主流NoSQL数据库的对比数据库数据模型核心特点适用场景HBase列族型强一致性，与Hadoop生态整合好，适合大规模、稀疏的表结构时序数据（如物联网传感器数据）、日志存储Cassandra列族型高可用、最终一致性，写入性能极高，无单点故障，支持跨数据中心部署大规模写入（如消息系统）、时间序列数据、物联网数据MongoDB文档型模式灵活（Schema-less），支持JSON格式，开发效率高，适合快速迭代内容管理、用户画像、实时分析、移动应用Redis键值型基于内存，支持多种数据结构，提供极致的读写性能缓存、会话管理、实时排行榜、消息队列数据仓库与数据湖这两个是用于结构化分析的数据管理架构，代表了两种不同的数据管理哲学。数据仓库(DataWarehouse)：适合处理结构化数据，为商业智能（BI）和报表分析而优化。数据在进入前需经过“清洗、转换、加载（ETL）”流程，形成统一的格式，能确保数据的高度一致性和质量，但流程相对固化。数据湖(DataLake)：以原始格式（RawData）低成本存储海量的结构化、半结构化和非结构化数据，为数据科学家进行探索性分析提供了最大的灵活性。但若缺乏有效治理，容易退化为“数据沼泽”。湖仓一体(Lakehouse)：为融合数据仓库和数据湖的优势而生的新一代架构。它在数据湖之上引入了数据仓库的数据管理能力（如事务支持、Schema强制等），解决了传统数据湖的数据一致性和性能问题。云存储服务云存储是大数据存储的现代化方案。它提供了几乎无限的容量、按需付费的模式和免运维的便利，已成为众多企业的首选。对象存储：作为数据湖和云原生应用的标准存储层，对象存储完美契合海量非结构化数据的存储需求，具有极高的可扩展性和较低的成本。主流服务包括：AWSS3（行业标杆，生态丰富）、AzureBlobStorage（与微软生态无缝集成）、GoogleCloudStorage（与谷歌的大数据分析服务如BigQuery集成度高）。块存储与文件存储：提供传统意义上的“硬盘”或“文件服务器”功能，通常与云服务器搭配使用，用于承载数据库或需要共享文件的应用。例如AWS的EBS和EFS服务。（1）数据类型处理海量非结构化数据（图片、视频、日志），对象存储或数据湖是不错的选择；管理内部业务的结构化数据，关系型数据库或数据仓库更为合适；而处理社交关系或知识图谱这类数据，则推荐图数据库。（2）访问模式高性能、低延迟的场景（如实时风控），应选择内存数据库（如Redis）；对于大规模、高吞吐的批处理任务（如每日报表计算），HDFS是理想之选；而对于需要灵活查询和复杂分析的场景，数据仓库或列式存储会更合适。大数据存储技术的选择（3）数据量与增长若数据量预计将爆发式增长，建议优先考虑具备线性扩展能力的分布式系统，如HBase或Cassandra。（4）一致性与可用性金融交易系统等场景需要强一致性保障，HBase是可靠选择；而像社交Feed流这类对短暂不一致不敏感的场景，则可优先考虑Cassandra或云存储服务。（5）成本与技能栈自建开源系统（如Hadoop）可以降低成本，但需要专业的运维团队。而云存储服务虽然需要持续付费，但能省去运维的麻烦。如果团队擅长SQL，那么优先选用支持SQL接口的仓库或湖仓一体方案会是一个明智的决定。大数据分析的概念大数据分析是指对规模巨大、类型多样、产生速度快的数据集合，运用先进的算法和技术进行整理、挖掘、建模，从而提取出传统方法难以发现的、具有价值的深度洞察、趋势预测和决策依据的过程。核心目标：从数据到价值。大数据分析不是为了分析而分析，其最终目的是解决实际问题。①交易数据：大数据平台能够获取时间跨度更大、更海量的POS或电子商务购物数据，还包括行为交易数据。这些大多都是结构化数据。②人为数据：大数据平台能够获取广泛存在于电子邮件、文档、图片、音频、视频，以及社交媒体产生的数据流。这些大多都是非结构数据。大数据分析的主要数据类型④机器和传感数据：机器和传感器数据是来自新兴的物联网所产生的，包括功能设备创建或生成的数据，例如，可以自动向中央服务器传输数据的智能温度控制器、工厂机器和连接互联网的家用电器。③移动数据：智能移动设备上的App应用都能够追踪和沟通无数事件，包含了从App内的交易数据到个人信息资料或状态报告事件等海量信息。大数据分析的核心技术与关键算法（1）机器学习(MachineLearning)

监督学习(SupervisedLearning)：在"有标准答案"的数据上学习，用于预测已知的目标。例如，通过历史数据学习，预测用户是否会流失（分类），或预测房价是多少（回归）。关键算法包括决策树（规则清晰易懂）、支持向量机(SVM)（高维分类出色）、朴素贝叶斯（基于概率快速分类）和线性/逻辑回归（预测数值或概率）。无监督学习(UnsupervisedLearning)：在"没有标准答案"的数据中，自己寻找结构和规律，用于探索未知的模式。例如，聚类分析(Clustering)将用户自动分成不同群体，以便进行精细化运营。关键算法包括K-Means（快速易用，需预设分组数）、层次聚类（无需预设，生成树状图）和DBSCAN（自动识别不规则形状的群体）（2）关联规则挖掘(AssociationRuleMining)找出隐藏在数据中的"捆绑"关系。最经典的案例是购物篮分析(MarketBasketAnalysis)，例如发现"购买啤酒"和"购买尿布"的强关联，从而优化商品陈列。AprioriFP-Growth是两种经典算法（3）统计分析(StatisticalAnalysis)

描述性统计：通过均值、中位数、标准差等指标，概括数据的基本情况，是探索数据的起点。推断性统计：利用样本数据推断总体特征，并通过假设检验验证结论，使分析结果更具说服（4）高性能计算框架(High-PerformanceComputingFramework)当数据量远超单机处理能力时，需要分布式计算框架，如ApacheSpark，它支持批处理、流处理、SQL查询和机器学习等多种任务，是处理PB级大数据不可或缺的工具。YARN作为资源调度系统，负责管理集群的CPU、内存等资源，并为上层应用（如MapReduce、Spark）按需分配。它实现了资源管理的统一，使多种计算框架可以共存于一个Hadoop集群中。MapReduce并行计算HDFS将大文件切分成数据块（Block），并以多副本的形式存储在集群的多个数据节点（DataNode）上。元数据由名称节点（NameNode）管理，这种架构保证了高容错性和高吞吐量。YARN资源管理核心组件构成Hadoop是一个开源的分布式计算框架，其核心由三部分组成：HDFS（分布式文件系统）负责海量数据存储，MapReduce（分布式运算编程框架）负责数据并行处理，YARN负责集群资源管理和调度。HDFS分布式存储MapReduce是一种编程模型，将计算任务分为Map（映射）和Reduce（规约）两个阶段。数据在不同节点上并行执行Map任务，然后将结果汇总进行Reduce操作，极大提升了处理效率。Hadoop核心框架解析Spark核心框架解析Spark是一个通用、快速的大规模数据处理引擎。其核心优势在于基于内存的计算，处理速度远超基于磁盘的MapReduce，特别适合需要多次迭代计算的机器学习和数据挖掘任务。统一的组件生态核心数据结构RDDSpark的核心抽象是弹性分布式数据集（RDD），它是一个不可变的、可分区的分布式对象集合。RDD支持丰富的转换和操作，并且具备容错机制，能够在节点故障时自动恢复。Spark生态系统包括多个核心组件：SparkCore提供基础功能，SparkSQL用于处理结构化数据，SparkStreaming用于实时流处理，MLlib提供机器学习库，GraphX用于图计算。Spark被广泛应用于大规模数据处理、交互式查询、实时流处理和机器学习等场景。例如，在广告点击预测、金融风控和推荐系统中，Spark能够提供高效、可靠的计算支持。HBase采用“行键-列族-列-时间戳”的数据模型。数据按行键排序，同一列族的数据物理上存储在一起，支持稀疏数据（空值不占空间）和多版本数据，非常灵活。HBase核心框架解析为保证高可用和数据一致性，HBase采用写前日志（WAL）和多副本机制。通过Region的自动分裂和负载均衡，实现系统的水平扩展，能够轻松应对PB级别的数据存储需求。核心功能与机制HBase是一个高可靠、高性能、可伸缩的分布式列式存储系统，构建于HDFS之上。它专注于提供海量数据的实时随机读写能力，是GoogleBigTable思想的开源实现。灵活的数据模型HBase广泛应用于需要高并发读写的场景，如对象存储（图片、文章）、时序数据（监控日志）、用户画像系统、车联网轨迹数据存储以及作为OLAP引擎（如Kylin）的底层存储。大数据可视化技术提高数据可读性现代可视化工具不仅是展示工具，更是分析工具。它支持下钻、联动、筛选等交互式操作，帮助用户从不同维度探索数据，更容易地发现数据之间隐藏的关联和模式。人脑对视觉信息的处理速度远超文字。数据可视化将复杂、抽象的数据集转换为直观的图表和图形，使非专业人士也能快速理解数据背后的含义、趋势和异常点。支持深度数据分析提升工作与协作效率通过数据可视化工具，可以自动化生成各类报告和仪表盘，将分析师从繁琐的手工制图中解放出来。同时，支持多人在线协作，促进团队内部的信息流通和知识共享。辅助高效决策制定在商业决策和科学研究中，直观的可视化结果能够帮助决策者快速把握问题的核心，对比不同方案的优劣，从而更迅速、更准确地做出选择，抓住转瞬即逝的机会。可视化的意义用户无需编写代码，只需通过简单的拖放操作，即可将数据字段映射到图形属性（如颜色、大小、标签），快速创建出条形图、折线图、地图等多种丰富的可视化图表。直观的拖放式操作广泛的数据连接能力强大的交互式分析Tableau能够轻松连接到多种数据源，包括本地的Excel、文本文件，以及服务器上的MySQL、Oracle、Hadoop、MongoDB等主流数据库和大数据平台，实现数据的快速整合。便捷的发布与共享创建完成的仪表板可以一键发布到TableauServer或TableauOnline，方便团队成员通过浏览器或移动设备随时随地访问和协作，确保决策者能够获取最新的数据洞察。Tableau生成的仪表板是高度交互的。用户可以通过点击、筛选、下钻等方式，对数据进行实时探索和分析，从不同角度深入挖掘数据背后的洞察，实现自助式数据分析。Tableau可视化工具核心特点定位为自助式商业智能分析工具，面向业务人员和数据分析师，强调易用性与探索性，通过拖放完成数据处理与可视化探索。定位为企业级报表工具，解决复杂报表需求与数据填报场景，功能强大灵活，可制作各类格式报表及大屏驾驶舱。FineBIFineReportFineBI适用于业务人员自主探索数据；FineReport适用于构建统一报表中心或开发固定格式报表/数据大屏。功能侧重差异适用场景不同FineBI侧重敏捷探索式分析以发现问题；FineReport侧重固化展示性报表制作以汇报结果，支持数据回写业务系统。国产可视化工具对比ECharts的优势在于