计算机与信息技术基础 课件 第7章 人工智能与应用

人工智能与应用01人工智能概述02机器学习目录Content03视觉识别04自然语言处理05AIGC人工智能的缘起

人工智能的起点是1956年的达特茅斯会议。在这次会议上，麦卡斯首次提出了人工智能（ArtificialIntelligence）这个术语。由麦卡斯、明斯基等人发起成立了一个独立的人工智能研究学科，为后续人工智能发展奠定了学科基础。人工智能的概念人工智能是一门科学，是使机器做那些人需要通过智能来做的事情。（马文·明斯基）人工智能是一门关于研究知识的表示、知识的获取和知识运用的学科。（尼尔森）人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器。人工智能的发展1950，图灵测试诞生。1954，第一台可编程机器人问世。萌芽期1956年夏，人工智能诞生。1966-1972，首台人工智能移动机器人Shakey。1966,第一台聊天机器人ELIZA。启动期1981，日本启动人工智能计算机研究。1982，第一个成功的商用专家系统R1问世。1986,首台3D打印机横空出世。突破期20世纪70年代，人工智能瓶颈期。算力不足，导致人工智能研究停滞。消沉期1997，深蓝战胜人类国际象棋冠军。2016，人工智能AlphaGo战胜围棋世界冠军。近十年，我国人工智能应用产业全面铺开。高速发展期1997-5-11“深蓝”战胜国际象棋世界冠军卡斯帕罗夫2016-3-15，AlphaGo战胜围棋世界冠军李世石无人驾驶人脸识别人工智能医疗人工智能应用场景AI合成主播智能家居AI教育机器人机器学习基本原理

机器学习是一门多领域交叉学科，它旨在让计算机系统能够从数据中自动学习规律和模式，进而对未知的数据进行预测或决策。机器学习过程机器学习的任务分类监督学习无监督学习强化学习通过带有标签的训练数据来构建模型，使模型能够对新的输入数据做出预测或分类。训练数据没有人工标注的标签，算法需要自动从数据中发现潜在的模式、结构或规律。让智能体（例如机器人）通过与环境的交互学习最优策略，以最大化长期累积奖励。监督学习框图强化学习框图机器学习的训练流程数据集收集与预处理将原始数据转换为适合模型训练和分析的格式。关键步骤包括：数据收集、数据清洗和特征工程。模型选择选择机器学习模型时，需根据所处理的机器学习任务类型以及数据自身的特点来进行挑选。对于分类任务，如判断邮件属于正常邮件还是垃圾邮件，可选择适用于分类问题的模型，如逻辑回归、决策树或神经网络等。对于回归任务，如预测股票价格走势，应选择适用于回归问题的模型，如线性回归或神经网络回归等。对于无监督学习中的任务，如聚类或降维，则需选择相应的聚类算法。数据集划分将经过预处理的完整数据集按照一定比例划分为“训练集、验证集和测试集”三个部分，各部分有着不同的作用。训练集：让模型学习数据中的规律，依据训练集中输入特征与对应输出的关系来调整模型参数，使其拟合数据内在模式。验证集：训练过程中用于调整模型超参数，对比不同超参数组合下模型的性能，选出最优配置，避免模型过拟合或欠拟合。测试集：在模型训练及超参数调整完毕后，评估模型对未见过数据的预测能力以此判断模型在实际应用中的有效性。设定损失函数和优化算法损失函数的主要作用是衡量模型预测结果与真实结果之间的差异程度，它是模型训练过程中优化的目标。优化算法是机器学习中用于寻找使损失函数最小化的模型参数的方法。选择合适的优化算法来更新模型的参数，目的是使损失函数的值不断减小，让模型逐步拟合数据中的规律，达到更好的预测性能。模型训练进入迭代训练，在每一轮epoch中，将训练集数据输入模型，模型生成预测结果，通过损失函数计算预测与真实结果差异得到损失值，再依据优化算法基于损失值计算参数梯度，按梯度反方向和设定学习率更新参数，使模型拟合数据规律。模型测试当模型完成训练以及超参数调整后，就进入测试流程，其核心目的是判断模型在实际应用场景中的预测性能。机器学习的训练流程机器学习的训练流程图经典案例：乳腺癌诊断数据集来源：样本数据由美国威斯康星大学医院的WilliamH.Wolberg博士等人收集整理，最初发布于1995年的UCI机器学习数据库（UCIMachineLearningRepository）。UCI机器学习数据库是一个广泛使用的公开数据集仓库，为机器学习研究人员和从业者提供了丰富的实验数据。该样本数据也可以从加利福尼亚大学欧文分校的机器学习库中下载。通常采用机器学习中的逻辑回归算法来构建乳腺癌诊断模型，逻辑回归是一种经典的二分类算法，它通过建立一个线性模型来预测样本属于某个类别的概率，然后根据设定的阈值将概率转换为类别标签。1选取数据样本首先从数据集中挑选出用于模型训练和测试的数据样本。2读取训练样本，训练分类器将选取的数据样本分为训练集，利用训练集中的数据对分类器进行训练，使其能够学习到数据中的特征和模式。3用测试样本测试已训练好的模型使用独立的测试样本对已经训练好的分类器进行测试，评估模型的性能。4报告测试结果将测试得到的结果进行整理和分析，形成测试报告，展示模型的准确性、可靠性等指标。实现步骤经典案例：乳腺癌诊断经典案例：

乳腺癌征诊断网络图模型训练并预测inputlayerhiddenlayerhiddenlayeroutputlayer经典案例：乳腺癌诊断各部分可视化结果视觉识别技术概述

视觉识别是一种利用计算机技术，模拟人类视觉系统对图像或视频中的内容进行理解、分析和识别的过程。使计算机具备类似于人眼和大脑的视觉理解能力，实现对视觉信息的自动化分析。视觉识别的基本流程图像预处理特征提取分类识别调整图像的亮度与对比度去除图像中的噪声与干扰信息图像的尺寸调整、增强图像质量从预处理后的图像中提取能够代表图像特征的信息常用技术：边缘检测、纹理分析、颜色特征提取等深度学习中自动提取特征（如CNN）基于提取的视觉特征，应用机器学习或深度学习模型进行分析实现图像分类、目标检测或具体内容的识别常用模型包括支持向量机(SVM)、卷积神经网络(CNN)、Transformer等图像的表示与识别技术图像的本质：矩阵表示灰度图像：二维矩阵彩色图像：三维张量图像的表示与识别技术识别技术：卷积神经网络（CNN）核心思想：自动提取图像中的局部特征（如边缘、角点、纹理），实现层级化理解图像内容基本结构：卷积层（提取特征）激活层（ReLU非线性处理）池化层（降维保特征）全连接层（输出分类结果）优点：减少人工特征设计具有平移不变性与局部连接特性广泛应用于图像分类、目标检测、人脸识别等任务经典案例：MNIST手写数字识别MNIST数据集简介 MNIST数据集为手写数字图片，类别为0～9共10类；每张图像为28×28像素的灰度图，共784个像素点；其中，训练集共60,000张图像，测试集共10,000张图像。识别流程1数据导入与预处理使用Python中的torchvision.datasets.MNIST自动下载，对图片进行标准化、数据增强并且转换为张量用于训练2神经网络模型构建与训练定义模型结构（输入层、隐藏层、输出层），进行训练（损失函数、优化器）3模型评估与性能分析计算准确率，可视化结果。经典案例：MNIST手写数字识别784(28×28pixels)28pixels28pixelsOutput经典案例：Yale人脸识别Yale数据集简介 Yale数据集为人脸图片，15位受试者，每人11张图像，共165张；每张图像均为100×100像素的灰度图。识别流程1数据导入与预处理2神经网络模型构建与训练3模型评估与性能分析经典案例：Yale人脸识别100pixels100pixels网络图模型定义经典案例：视觉识别应用与发展趋势典型应用场景安防监控与人脸识别医疗影像分析工业自动化检测电子商务图像搜索推荐技术趋势与拓展方向深度学习模型优化（如CNN、Transformer）数据增强与泛化能力提升自然语言处理研究内容人与人之间需要交流。出于人类这种基本需要，每天都有大量的书面文本产生。比如，社交媒体、聊天应用、电子邮件、产品评论、新闻文章、研究论文和书籍中的丰富文本，使计算机能够理解它们以提供帮助或基于人类语言做出决策变得至关重要。自然语言处理是指研究使用自然语言的计算机和人类之间的交互。在实践中，使用自然语言处理技术来处理和分析文本数据是非常常见的，例如我们会经常使用ChatGPT，文心一言等大语言模型帮助我们更方便地完成各项任务。自然语言处理的处理方法（1）规则系统早期的自然语言处理主要依赖于人工制定的规则。例如，通过编写一系列语法规则来解析句子结构，识别主语、谓语、宾语等成分。这些规则通常基于语言学知识，如词性、句法结构等。但这种方法存在明显的局限性，因为自然语言的复杂性和多样性使得很难用有限的规则来覆盖所有情况，且规则之间的冲突也难以解决。自然语言处理的处理方法（2）词袋模型（BagofWords，BOW）将文本表示为词汇的集合，不考虑词序和语法结构，只关注词汇的出现频率。例如，对于句子“我爱自然语言处理”和“自然语言处理很有趣”，它们的词袋表示分别为{我：1，爱：1，自然：1，语言：1，处理：1}和{自然：1，语言：1，处理：1，很：1，有趣：1}。这种方法简单直观，但丢失了词序信息，无法捕捉到词语之间的关系。自然语言处理的处理方法（3）基于传统机器学习的表示方法将词汇映射到低维稠密的向量空间中，使得语义相似的词在向量空间中距离更近。例如，通过训练大规模语料库，可以得到“国王”和“王后”、“男人”和“女人”等词对在向量空间中具有相似的向量差。词嵌入能够捕捉到词与词之间的语义关系，为后续的自然语言处理任务提供了更有效的特征表示。词句在不同的机器学习模型中所对应的向量各不相同，以glove-twitter-25预训练模型为例，该模型是根据推特中的语料训练得到的，包含约119万个单词，词向量的维度为25。自然语言处理的处理方法以下是“国王”和“王后”、“男人”和“女人”在该模型中的具体表示，代码文件保存至7_4_1_Word2Vec.ipynb：自然语言处理的应用自然语言处理的应用除了机器翻译以外，在舆情分析，写作助手等问题上也有应用。在这里我们采用ChnSentiCorp

数据集，对包含酒店，外卖平台，在线商城和新浪微博等网络平台的评论进行正向与负向的分类。该数据集包含共120,000数据。数据为两列，分别是标签和评论：第一列为标签，1表示正面评论，0表示负面评论，第二列则为评论内容。例如：通过使用Pytorch构建LSTM模型，实现文本的情感分类。以下为运行结果：：AIGC的概念AIGC（ArtificialIntelligenceGeneratedContent），人工智能生成内容是指基于生成对抗网络、大型预训练模型等人工智能技术，通过已有数据的学习和识别，结合泛化能力生成多样化数字内容的技术。通俗而言，AIGC是指由人工智能生成的符合用户需求的内容，包括文本、图像、音频和视频等类型。AIGC的技术原理1.AIGC需要强大的算力支持GPU（图形处理单元）：提供强大的并行计算能力。通过成千上万个小处理单元并行工作，大幅提高了计算效率。TPU（张量处理单元）：专门为加速人工智能学习而设计的硬件，能够显著加快计算速度。底层硬件捏个小泥人AIGC的过程好比将一个泥人变成天才的过程：捏泥人→装大脑→喂知识→有产出2.

AIGC依赖强大的数据存力数据存力的需求贯穿模型训练、推理、部署和迭代的全生命周期。AIGC模型（如GPT-4、StableDiffusion）需要PB级（千万亿字节）甚至EB级（百亿亿字节）的原始数据进行预训练。英伟达（NVIDIA）:英伟达是高性能图像处理单元（GPU）的领导者，GPU广泛应用于AI训练和推理任务。全球提供算力资源领先地位企业AMD:AMD提供包括GPU在内的多种处理器，这些处理器用于支持从视频游戏到专业级AI应用的各种计算需求。我国算力资源：华为云、阿里云、腾讯云等，加速自主可控研发。软件架构Transformer架构：是目前文本生成领域的主流架构，GPT、Claude等LLM（大语言模型）都是基于Transformer。GANs（生成对抗网络）：在图像生成、视频生成等领域有广泛应用，能够生成高质量的图像和视频内容。装大脑特点：基于自注意力机制（的序列建模）特点：通过两个神经网络（生成器vs.判别器）对抗训练特点：通过逐步添加噪声破坏数据，再逆向学习去噪过程以生成数据DiffusionModel（扩散模型）：在图像生成、音频生成等领域取得了很好的效果，能够生成高质量、多样化的内容。是指将一个大型、通用的数据集作为知识喂给AI进行初步学习，经过预训练的模型叫作“基础模型”，它对每个领域都有所了解，但是无法成为某个领域的专家。喂知识从数据中学习规律1.预训练AIGC模型训练流程中两个不同阶段：2.SFT（有监督微调）SFT是指在预训练之后，将一个特定任务的数据集喂给AI，进一步训练模型。通过标注数据修正预训练模型的偏差，比如让绘图模型生成特定风格（如二次元、写实风）有产出这部分展示了AI模型的最终产出，能够生成文本、图像，甚至提供智能解决方案，是“学成出师”后的实践应用。学成出师国内外的AIGC主流产品（1）DeepSeek（2）文心一言（3）智谱清言（4）通义千问（5）KimiAI（6）迅飞星火（7）豆包深度求索百度智谱华章阿里巴巴月之暗面科大迅飞字节跳动擅长文学创作、中文理解、多模态内容生成以数学推理与代码能力见长多模态处理能力强，适合图表分析、绘图语音交互能力突出长文本处理和多模态交互能力突出专注长文本（超长文本）深度解析与多轮精准对话移动端适配，主打短视频/社交场景实时