人工智能基础与应用 课件 第二章 人工智能的关键技术

人工智能的关键技术目录CONTENTSAI技术概览机器学习0102深度学习03NLP与CV04知识图谱0506前沿技术三大案例透视AI落地价值百度火星车数字人“祝融号”百度火星车数字人“祝融号”通过轻量深度神经网络模型和高精度4D扫描技术，实现了知识科普和虚拟主持功能，展示了机器学习在数字人创造和交互方面的巨大潜力。西安12345智慧政务西安市“12345”市民热线通过自然语言处理技术实现了智能问答和知识库管理，提升了政务服务效率和用户体验，成为AI在智慧政务领域的成功应用案例。聊城“城市大脑”聊城“城市大脑”以城市大数据为基础，结合计算机视觉技术，构建了感知设施统筹、数据统管的智能化支撑体系，实现了城市运行状态的全面感知和高效管理。010203AI技术概览01AI核心要素与分类体系人工智能的“四位一体”核心要素包括数据、算法、算力与应用场景。数据是AI的燃料，算法是处理数据的工具，算力是算法运行的保障，而应用场景则是AI落地的关键。四者相互关联，共同推动AI的发展。AI的“四位一体”核心要素AI技术体系庞大，涵盖从基础算法到实际应用的全链条。核心技术包括机器学习、深度学习、自然语言处理、计算机视觉与知识图谱等；支撑技术有大数据、优化算法和联邦学习等；应用技术则涉及机器人技术、语音识别、推荐系统等。AI技术分类体系机器学习02机器学习是人工智能的重要分支，它赋予计算机在不进行明确编程的情况下从数据中学习和改进的能力，让计算机通过分析大量数据自动发现规律和模式。机器学习的定义数据集是机器学习的基石，包含用于训练和测试模型的大量数据样本。数据集分为训练集、验证集和测试集，分别用于训练模型、调整参数和评估性能。数据集模型是机器学习的核心，通过学习数据中的规律对新数据进行预测或分类。模型可以看作一个数学函数，将输入特征映射到输出目标变量。模型训练是模型学习数据规律的过程，通过优化算法调整模型参数以最小化预测误差。测试则是评估模型性能的过程，通过在测试集上运行模型了解其泛化能力。训练与测试机器学习定义与术语监督、无监督与强化学习监督学习是最常见的机器学习类型，需要带有标签的数据集。模型通过学习输入特征与目标标签之间的关系来构建，适用于回归和分类任务。监督学习无监督学习处理没有标签的数据集，目标是发现数据中的隐藏结构或模式，常见任务包括聚类和降维。无监督学习半监督学习、强化学习等。强化学习主要是通过智能体与环境的交互来学习，根据环境反馈调整行为策略以最大化长期奖励。AlphaGo就是强化学习的经典应用案例。其他学习方式线性回归原理线性回归假设输入特征与目标变量之间存在线性关系，通过找到最佳拟合直线来预测新数据。其目标是最小化残差平方和，即预测值与实际值之差的平方和。线性回归的基本原理在多元回归中，线性回归的矩阵形式为y=Xβ+ε，其中y是目标变量向量，X是特征矩阵，β是参数向量，ε是误差向量。通过最小二乘法求解参数β。线性回归的矩阵形式线性回归基本原理二元回归示意图决策树构建全流程决策树是一种基于树结构的模型，通过一系列条件判断将数据分为不同类别或预测目标值。每个内部节点代表一个条件判断，叶节点代表一个类别或预测值。决策树的基本概念决策树的构建过程中，常用信息增益、基尼系数等不纯度指标来选择最优分割特征。基尼系数在实际应用中更为广泛，因为它计算简单且效果较好。特征选择方法决策树通过递归分割子节点的方式构建。每次选择信息增益最大的特征进行分割，直到节点纯净或达到停止条件。最终形成的树结构可以直接用于分类或预测。决策树的递归分割010203顾客是否购买酸奶的决策树流程支持向量机核心思想支持向量机是一种用于分类的监督学习算法，其核心思想是通过找到一个超平面将不同类别的数据分开，目标是最大化分类间隔以获得最佳分类效果。支持向量机的基本原理在二维空间中，分界线是直线，数学表达式为w1x1+w2x2=b。分类规则为：如果w1x1+w2x2+b≥1属于类别A，如果w1x1+w2x2+b≤-1属于类别B。分界线的确定与分类规则K均值聚类实战步骤K均值聚类的目标是将数据分成K个类别，使得同一组内的数据尽可能相似，不同组的数据尽可能不同。组内平方和（WCSS）用于衡量聚类效果。K均值聚类的目标K均值聚类的具体步骤包括：初始化中心、分配数据点到最近中心、重新计算中心。重复上述步骤直到中心不再变化或变化很小。聚类的具体步骤聚类效果的好坏可以通过组内平方和（WCSS）来衡量。WCSS越小，说明簇内数据越集中，聚类效果越好。聚类效果的衡量Q-learning的核心公式为Q(s,a)←Q(s,a)+α·[r+γ·maxQ(s',a')-Q(s,a)]，其中Q(s,a)表示状态-动作价值，α是学习率，r是即时奖励，γ是折扣因子。Q-learning的核心公式Q-learning的经济逻辑是新价值=旧价值+学习率×[即时利润+未来利润现值-旧价值]。通过不断更新Q值，智能体可以学习到最优的行为策略。Q-learning的经济逻辑强化学习Q-learning公式机器学习训练五步法数据收集与预处理是机器学习的第一步，包括去除重复项、处理缺失值、数据清洗、归一化、标准化以及数据增强等操作，确保数据的质量和一致性。数据收集与预处理特征选择是从原始数据中选择最具代表性的特征，减少模型复杂度；特征提取则是通过变换或组合原始特征，生成新的低维特征，提升模型性能。特征选择与提取选择合适的机器学习模型是关键步骤。训练过程通过优化算法调整模型参数，以最小化预测误差或最大化某种性能指标。模型选择与训练机器学习的训练步骤机器学习训练五步法使用测试数据集评估模型性能，常用指标包括准确率、召回率、F1分数、均方误差等。根据评估结果对模型进行优化，如调整参数或增加特征。模型评估与优化经过训练和优化后的模型可以部署到实际应用中。部署时需考虑模型的性能、可扩展性和安全性，并进行持续监控和维护。模型部署与应用深度学习03神经网络三层结构神经网络由输入层、隐藏层和输出层组成。输入层接收数据，隐藏层进行特征提取和转换，输出层给出最终预测结果。神经网络的基本结构浅层神经网络具有一个或两个隐藏层，适合处理简单任务；深层神经网络具有多个隐藏层，能够自动学习数据中的复杂模式，适用于复杂任务。浅层与深层网络的区别卷积神经网络（CNN）适用于图像处理，循环神经网络（RNN）适用于序列数据，生成对抗网络（GAN）则用于生成任务，如图像生成和风格迁移。典型深度学习架构神经网络前向传播与损失计算前向传播是数据从输入层到输出层的逐层加工过程。每个神经元的输出通过激活函数进行非线性变换，最终得到模型的预测值。前向传播过程损失函数衡量模型预测值与真实值之间的差异，是模型优化的目标。常见的损失函数包括均方误差和交叉熵损失，分别用于回归和分类任务。损失函数的作用反向传播与权重更新反向传播通过计算损失函数对模型参数的梯度，调整参数以最小化损失。这一过程包括计算预测值与真实值之间的差异，以及损失对每个参数的梯度。反向传播的核心权重更新通常使用优化算法，如梯度下降、随机梯度下降或自适应矩阵估计优化算法。这些方法通过调整学习率，逐步优化模型参数。权重更新方法NLP与CV04自然语言处理十项技术分词技术是将文本划分为独立词汇单元的基础任务，对于中文尤为重要。常见的分词算法包括基于规则、统计和深度学习的方法。分词技术词性标注是确定文本中每个词汇词性的过程，如名词、动词等。它能够提高文本分析的准确性和效率，是NLP中的关键技术之一。词性标注命名实体识别用于识别文本中的特定实体，如人名、地名等。它在信息抽取和文本摘要等任务中发挥重要作用，帮助系统提取关键信息。命名实体识别句法分析确定句子中词汇之间的关系，包括短语结构和依存关系分析。它为机器翻译、问答系统等任务提供语法结构信息，是理解句子语义的基础。句法分析计算机视觉七项技术图像预处理是计算机视觉的基础，包括图像增强、去噪、滤波等操作。通过预处理可以提高图像质量，为后续的特征提取和识别打下坚实基础。图像预处理特征提取是从图像中提取有用信息的关键环节，如边缘、角点、纹理等。特征描述则对这些特征进行量化表示，以便于后续的匹配和识别。特征提取与描述目标检测与识别是计算机视觉的核心任务，用于在图像中找出特定物体的位置和类别。它广泛应用于自动驾驶、安防监控等领域，具有重要的实际价值。目标检测与识别知识图谱05知识图谱定义与演进知识图谱是一种用于描述实体之间关系的语义网络，将复杂信息以图的形式呈现。它通过节点表示实体，边表示实体之间的关系，使数据不仅可存储，还可被理解和分析。知识图谱的定义知识图谱的概念源于20世纪的知识工程领域，2012年谷歌推出知识图谱项目后迅速发展，广泛应用于医疗保健、金融服务等多个领域，提升了数据的语义理解和应用能力。知识图谱的发展历程五步构建技术链路数据采集是构建知识图谱的第一步，涉及从文本、数据库、传感器等多源数据中收集数据，为图谱提供丰富的信息基础。数据采集知识抽取从采集的数据中提取实体、关系和属性。常用方法包括命名实体识别、关系抽取和文本解析，为知识图谱构建提供核心内容。知识抽取知识融合将抽取到的知识与已有知识整合，解决实体对齐和数据冲突问题。通过数据清洗和融合技术，确保知识图谱的一致性和准确性。知识融合五步构建技术链路知识存储将知识图谱存储在图数据库中，如Neo4j。图数据库支持高效的图遍历和查询操作，便于后续的知识检索和分析。知识存储知识推理利用图谱中的知识进行逻辑推理，发现新的知识或回答复杂问题。通过规则引擎或图算法，实现知识的深度挖掘和应用。知识推理前沿技术06机器人技术全景机器人技术的定义机器人技术综合应用计算机科学、机械工程、电子工程等多学科技术，设计和制造能够自主或半自主执行任务的机器人系统，广泛应用于工业、医疗、服务等领域。机器人技术的应用场景机器人技术在工业制造中用于提高生产效率和产品质量，在医疗保健中辅助手术和康复训练，在服务行业提供个性化服务，显著提升了各领域的效率和质量。机器人技术的优势机器人技术在效率、质量、安全性及个性化服务等方面具有显著优势。机器人能够长时间工作，精确执行任务，减少人为错误，并在危险环境中保障人类安全。010203大数据4V特征与场景大数据具有数据量大（Volume）、数据类型多样（Variety）、数据生成速度快（Velocity）和数据价值密度低（Value）的特征，为数据分析和应用带来挑战和机遇。大数据的4V特征在金融行业，大数据技术用于评估信用风险、欺诈风险，提供个性化金融产品和服务，帮助金融机构更好地管理风险，提升客户满意度。大数据在金融行业的应用在零售行业，大数据技术用于预测销售趋势、优化库存管理、提供个性化推荐，帮助零售商提升客户体验和销售额，增强市场竞争力。大数据在零售行业的应用在医疗保健行业，大数据技术用于分析患者数据、预测疾病、优化医疗资源分配，帮助医疗机构提高服务效率和质量，改善患者就医体验。大数据在医疗保健行业的应用云计算三层服务模式IaaS通过互联网提供虚拟化的计算资源，用户可根据需求租用和管理资源，降低硬件成本，提高资源利用效率。IaaS服务模式PaaS为开发者提供开发平台和运行环境，支持快速开发和部署应用程序，同时提供数据分析和机器学习工具