人工智能通识基础（微课版）课件第2章 人工智能核心技术应用

第2章

人工智能核心技术应用目录01人工智能核心技术02机器学习基础应用03深度学习04自然语言处理技术在人工智能技术飞速发展的当下，其已从理论探索逐步走向实际应用，深刻改变着各个行业的发展模式与人们的生活方式。人工智能核心技术作为推动这一变革的关键驱动力，是连接人工智能理论与现实场景的重要桥梁。本章聚焦人工智能核心技术应用，带领读者深入探索人工智能领域的核心技术体系。这些核心技术涵盖机器学习、深度学习、自然语言处理等关键领域，它们相互支撑、协同发展，共同构成了人工智能应用落地的技术基石。总之，人工智能核心技术的应用范围广泛，随着技术的持续进步和应用领域的不断拓展，它将在更多领域发挥重要作用，推动社会进步和经济发展。导论1.理解人工智能核心技术的概念范畴，明确机器学习、深度学习、自然语言处理等核心技术的定义。2.理解并掌握机器学习的原理及应用3.理解并掌握深度学习的核心模型及应用场景4.理解并掌握自然语言处理技术的应用学习目标1.培养数据思维与分析能力，能够认识到数据在人工智能核心技术应用中的核心地位。2.在理解人工智能核心技术原理与应用场景的基础上，能够结合具体行业需求，思考技术落地的可行性与潜在创新点。3.增强自主学习与知识整合能力，形成系统化的知识框架，适应技术不断发展的需求。素养目标2.1什么是人工智能核心技术52.1什么是人工智能核心技术

人工智能应用技术，作为将人工智能落地于具体场景的技术体系，覆盖计算机视觉、机器学习、深度学习等关键技术领域。通过将算法模型与行业需求紧密结合，该技术为智能制造、智慧医疗、智能教育等垂直领域赋予强大动力，实现智能化转型与创新发展。其核心技术包含机器学习、深度学习框架、自然语言处理等。在本章节中，我们将深入探讨人工智能核心技术中的机器学习基础应用、深度学习以及自然语言处理，全面剖析其技术原理、应用场景，为读者构建起关于人工智能应用技术的完整知识体系。62.1什么是人工智能核心技术7技术名称通俗解释代表应用机器学习让计算机从数据中学习规律垃圾邮件识别、房价预测深度学习用“多层神经网络”模拟人脑人脸识别、语音识别自然语言处理让计算机“听懂人话”机器翻译、智能客服2.2机器学习应用基础82.1.1机器学习的定义

机器学习（MachineLearning,ML）是人工智能的核心组成部分，指计算机通过数据自动学习规律和模式，并利用这些模式进行预测或决策的技术方法。其核心是从数据中学习，而非通过显式编程实现功能本质上，机器学习通过构建数学模型，使计算机系统无需显式编程即可执行特定任务，从而在复杂环境中实现预测、决策和优化。这一领域不仅涵盖了数学、统计学和计算机科学的交叉知识，还涉及认知科学和工程应用的广泛整合。近年来，机器学习在学术界和工业界均获得显著进展，其应用范围从简单的数据分类扩展到自动驾驶、自然语言处理等高度复杂的场景，体现了其作为通用技术平台的潜力。92.1.2机器学习的主要范式传统机器学习涵盖监督学习、无监督学习和强化学习等范式，依赖手工设计特征进行模型训练。代表算法包括决策树、SVM、K近邻等，适用于结构清晰、特征明确的任务。它们共同构建起该领域的核心方法论体系。

10监督学习一种基于标注数据训练模型的学习方式，通过学习输入与标签之间的映射关系，实现对新数据的预测。无监督学习在无标注数据条件下，通过识别数据中的结构与模式进行学习的方法。强化学习一种基于奖惩反馈机制的学习方式，代理（agent）通过与环境的交互学习策略，以最大化长期累积奖励。传统的机器学习范式2.1.2机器学习的主要范式类型特点

典型算法应用场景监督学习使用带标签的数据训练决策树、SVM、神经网络垃圾邮件分类，房价预测无监督学习无标签数据K-means、PCA客户细分、异常检测强化学习通过“奖励”学习Q-learning、深度强化学习游戏AI、自动驾驶112.1.3机器学习的基本流程12在实际应用场景中，机器学习的流程一般涵盖数据收集、数据预处理、模型选择与训练、模型评估与调优这几个关键步骤。2.1.3机器学习的基本流程13数据收集是机器学习流程的起始环节。在这一阶段，关键任务是收集与目标任务紧密相关的数据。数据来源具有多样性，传感器所采集的数据、数据库存储的数据、日志文件记录的数据等，都可能成为机器学习的数据基础。收集数据时，数据的质量与完整性是需要重点关注的因素。若数据中存在缺失值、异常值或者噪声，就必须对数据进行清洗和处理，以保障数据的可用性。数据预处理是机器学习流程的第二步。在此阶段，需要对收集到的数据开展预处理操作，让数据能够适配模型训练与评估的要求。数据预处理包含特征选择、特征提取、特征转换等多个子步骤。特征选择，指的是从原始数据中挑选出与任务相关的特征；特征提取，是从原始数据中挖掘并生成新的特征；特征转换，则是对原始特征进行变换处理，使模型训练和评估更为高效。模型选择与训练是机器学习流程的第三步。在这一阶段，首要任务是依据任务特性和数据特点，挑选出适宜的模型，随后对模型进行训练。不同的任务性质以及数据特征，适配的模型也有所不同。常见的机器学习模型包括线性回归、逻辑回归、决策树、支持向量机等。模型训练的过程，就是利用训练数据来调整模型参数，使模型能够更好地拟合数据内在规律的过程。模型评估与调优是机器学习流程的最后一步。在这一阶段，需要运用测试数据对训练好的模型性能进行评估，并依据评估结果对模型进行调优。常用的评估指标包括准确率、精确率、召回率、F1值等。模型调优，就是根据评估结果对模型参数进行调整，以提升模型性能。01020304数据收集数据预处理模型选择与训练模型评估与调优2.1.4机器学习的常用算法14机器学习有许多常用的算法，它们各自在不同的场景和任务中得到了广泛应用。以下介绍机器学习的一些常用的机器学习算法及其原理。常用算法决策树算法朴素贝叶斯算法支持向量机神经网络算法聚类算法决策树算法决策树是一种基于树形结构的监督学习算法，常用于分类与回归任务。其核心思想是通过递归地划分数据集，使每个子集中的样本尽可能“纯”，即尽可能属于同一类别。在分类任务中，内部节点表示特征判断条件，分支代表判断结果，叶节点对应最终预测的类别。如右图所示流程图就是一个决策树模型。决策树分裂节点的常用准则包括信息熵（Entropy）：衡量数据的不确定性，熵值越低，表示数据纯度越高信息增益（InformationGain：衡量某一特征在划分数据后所带来的熵的减少量。信息增益越大，表示该特征划分效果越好基尼指数（GiniIndex）：衡量数据集的混杂程度，值越小表示数据越纯，常用于CART（分类回归树）算法决策树的优点包括结构直观、结果易解释、可处理连续与离散特征等。但其易发生过拟合，需通过剪枝或结合集成方法（如随机森林）进行改进，以提升模型的泛化能力。152.1.4机器学习的常用算法-决策树算法朴素贝叶斯算法朴素贝叶斯（NaiveBayes）是一类基于贝叶斯定理的概率分类算法，因其结构简单、计算高效，广泛应用于文本分类、垃圾邮件过滤、情感分析等任务。该算法的“朴素”之处在于假设特征在给定类别条件下相互独立，尽管这一假设在现实中往往不完全成立，朴素贝叶斯仍在高维数据场景中表现良好。朴素贝叶斯基于贝叶斯定理，通过先验概率与似然的乘积计算后验概率，并选取具有最大后验概率的类别作为预测结果。其核心公式为：其中P(C|X)是后验概率，P(X|C)是似然，P(C)是先验概率，P(X)是观测证据。根据条件独立性假设，该模型将P(X|C)分解为各个特征的乘积，从而大幅降低计算复杂度。162.1.4机器学习的常用算法-朴素贝叶斯算法支持向量机（SupportVectorMachine,SVM）SVM是一种训练机器学习的算法，可以用于解决分类和回归问题，同时还使用了一种称之为kerneltrick（支持向量机的核函数）的技术进行数据的转换，然后再根据这些转换信息，在可能的输出之中找到一个最优的边界(超平面)。简单来说，就是做一些非常复杂的数据转换工作，然后根据预定义的标签或者输出进而计算出如何分离用户的数据。算法原理：如右图，将数据集分割开来的直线称为分平面。在图中，由于数据点都在二维平面上，所以此时分隔超平面就只是一条直线。但是，如果所给数据点是三维的，那么此时用来分割数据的就是一个平面。若为N维，则为N-1维的超平面，也就是分类的决策边界如果数据点离决策边界越远，那么其最后的预测结果也就越可信。我们希望找到离分割平面最近的点，确保它们离分割面的距离尽可能远。这里点到分割面的距离被称为间隔。支持向量就是离分割超平面最近的那些点。接下来要试着最大化支持向量机到分割面的距离，需要找到此问题的优化求解方法。此处不作介绍注意：SVM本身是一个二类分类器，对多类问题应用SVM需对代码做修改当直线不能将数据点分开时，即非线性可分，如下图所示，可以使用一种称为核函数的工具将数据转换为易于分类器理解的形式。核函数作用是实现从一个特征空间到另一个特征空间的映射。经过空间转换之后，可以在高维空间中解决线性问题，也就等价于在低维空间中解决非线性问题。172.1.4机器学习的常用算法-支持向量机2.1.4机器学习的常用算法-神经网络算法神经网络算法神经网络算法是一种基于生物学的学习算法,其基本思想是通过对神经元之间的连接进行调整来学习数据。常见的神经网络包括前馈神经网络(feedforwardneuralnetworks)和循环神经网络(recurrentneuralnetworks)。相对于其他算法,神经网络算法有较强的拟合能力,可以学习到复杂的模式和规律。18聚类算法聚类算法是一种无监督学习算法，其目标是将相似的数据点分组到同一个簇内，将不相似的数据点分组到不同的簇内。常见的聚类算法包括K-means和层次聚类。K-means聚类通过迭代优化来将数据划分为K个簇。它首先随机选择K个初始簇心，然后将每个样本分配到最近的簇心，接着更新簇心为当前簇中所有样本的均值，重复这一过程直到簇心不再变化或达到最大迭代次数。K-means聚类适用于数据量较大且数据分布较为均匀的场景。它需要预先指定簇数K，适合处理凸形簇，且在处理大规模数据集时效率更高。层次聚类通过构建一个树状结构（dendrogram）来表示数据的层次关系。它有两种基本思路：凝聚聚类（自下而上）和分裂聚类（自上而下）。凝聚聚类从每个样本作为一个单独的类开始，逐步合并最相似的类，直到所有样本归为一类；分裂聚类则从所有样本作为一个类开始，逐步分解异质性最大的类，直到每个样本成为一个单独的类。层次聚类适用于数据量较小且需要探索数据层次结构的场景。它不需要预先指定簇数，可以根据树状图自由决定分割层数，适合发现任意形状的聚类结构。192.1.4机器学习的常用算法-聚类算法1.自动特征提取能力：深度学习技术能够自动从数据中学习并提取多层特征，有效减少了人工干预的需求，进而提升了模型的性能表现。2.广泛的适应性：机器学习适用于图像、文本、语音、时序等多种不同类型的数据，并且在医疗、金融、工业等诸多行业都能发挥重要作用。3.实时推理能力突出：经过充分训练的模型具备快速推理的能力，能够为在线推荐、语音助手等实时性要求较高的应用提供支持。4.良好的可扩展性：即便在数据规模不断扩大、模型复杂度持续增加的情况下，机器学习模型依然能够保持较高的性能水平，非常适合大数据环境下的应用。优势1.对数据依赖程度高：模型训练需要大量高质量的标注数据，获取这些数据不仅成本高昂，而且一旦数据存在偏差，很可能对模型的最终效果产生负面影响。2.可解释性不足：一些复杂模型，例如神经网络，其决策过程难以解释清楚，这在一定程度上限制了它们在医疗、法律等对决策解释要求较高的关键领域的应用。3.存在偏差与公平性问题：训练数据中若存在偏见，可能导致模型在性别、种族等方面做出不公平的决策。4.计算资源消耗巨大：深度模型的训练与推理需要高性能的硬件设备支持，这使得将其部署到移动设备或边缘设备面临较大挑战。5.泛化能力有待提高：在小样本数据或者数据分布发生变化的场景中，模型容易出现过拟合现象，泛化能力不足。6.维护成本较高：由于数据漂移现象的存在，模型需要持续更新，这无疑增加了维护成本，在实时系统中，这种情况更为复杂。局限性202.1.5机器学习的优势及局限性2.3深度学习212.1深度学习的定义

深度学习（DeepLearning）特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特点是具有自动提取特征的能力，所提取的特征也称为深度特征或深度特征表示，相比于人工设计的特征，深度特征的表示能力更强、更稳健。因此，深度学习的本质是特征表征学习。深层神经网络是深度学习能够自动提取特征的模型基础，深层神经网络本质上是一系列非线性变换的嵌套。目前看来，深度学习是解决强人工智能这一重大科技问题的最具潜力的技术途径，也是当前计算机、大数据科学和人工智能领域的研究热点。222.3.1深度学习核心模型和技术分类类型典型模型特点及应用场景监督学习卷积神经网络（CNN）处理图像、视频，通过卷积核提取空间特征，用于人脸识别等循环神经网络（RNN/LSTM）处理时序数据，记忆历史信息如语言翻译、语音识别无监督学习自编码器（Autoencoder）压缩数据或者异常检测生成对抗网络（GAN）生成逼真数据，由生成器和判别器对抗训练伪造人脸、补全壁画强化学习深度Q网络（DQN）智能体通过环境反馈学习最优策略232.3.2与传统机器学习的联系与区别特征传统机器学习深度学习特征处理依赖人工特征工程自动从原始数据提取特征数据需求中小规模数据海量数据（百万到数十亿样本）计算资源CPU即可训练，资源消耗低依赖GPU/TPU，计算成本高可解释性较高（如决策树规则可溯源）低（如黑箱模型，特征抽象难解释）典型应用场景结构化数据非结构化处理（图像、语音等）242.3.3深度学习的分类及算法25一种深度学习模型，核心在于其独特的网络结构，这种结构使其在处理图像数据时表现出色。它特别适用于处理具有网格状结构的数据。01卷积神经网络(CNN)是一类专门用于处理序列数据的人工神经网络模型，其核心特点在于具备记忆能力，通过隐藏状态在时间维度上传递信息，使模型能够捕捉上下文中的时序依赖关系。02循环神经网络（RNN）基于博弈论的思想，构建了一个独特的二人零和游戏的机器学习新框架。GAN的核心结构由两个主要部分构成：生成器（Generator）和判别器（Discriminator）。03生成对抗网络（GAN）2.4自然语言处理技术262.4.1自然语言处理的兴起与发展272.4.2自然语言处理技术的广泛应用场景28自然语言处理（NLP）致力于使计算机能够理解和生成人类语言。NLP技术在许多领域都有广泛的应用。语言翻译情感分析文本摘要聊天机器人语音识别和合成文本分类和主题建模问答系统NLP应用场景2.4.3自然语言处理核心技术29核心技术

文本预处理文本预处理在自然语言处理（NLP）领域中占据着至关重要的地位，它是确保后续处理步骤顺利进行的基础性环节。词法分析词法分析作为自然语言处理领域的基础性步骤，扮演着至关重要的角色。过程涵盖了多个细致的操作环节。词嵌入词嵌入是一种将自然语言中的词汇转换成计算机能够理解和处理的向量表示的技术过程。句法分析句法分析是深入研究句子内部结构组成及其相互关系的