《人工智能通识》课件 模块二 从技术基础到核心技术

模块二

从技术基础到核心技术人工智能技术基础图像识别技术语音识别技术目录Contents010203自然语言处理技术04学习目标理解数据、算法和算力在人工智能中的作用。能够阐述数据采集、清洗、标注等数据处理的基本步骤。能够区分监督学习、无监督学习与强化学习三种机器学习范式的主要特点。掌握图像识别、语音识别和自然语言处理的基本概念、工作过程及典型应用。培养对人工智能技术的自主学习意识。《触碰AI》——视频引用自三星堆博物馆官网人工智能技术基础PART11.数据同学们，请你回想一下，当你是个一岁多的小宝宝的时候，是如何第一次知道什么是“猫”的？问题思考：1.数据无数张猫的图片、听猫的叫声、看猫的视频。这些图片、声音和视频，就是数据。它们是关于“猫”这个事物的原始记录，是构建认知的砖瓦。数据是指通过特定方式记录、能够被计算机识别、存储和处理的信息集合，是驱动算法模型进行学习和决策的基础性资源与知识载体。数据的分类请同学们举例，你认为你生活中有哪些数据？数据的分类固定格式，定义明确课程表、成绩单、Excel表格部分规则、部分杂乱网页HTML代码、快递单、简历、邮件结构化数据无固定格式，杂乱图片、视频非结构化数据半结构化数据数据的处理——数据采集数据采集是指通过系统化方法获取原始数据的过程考试填答题卡、医生给病人看病写病历人工录入使用传感器，把现实世界里的物理信号（温度、声音等）变成电脑能看懂的数字传感器采集获取某商品在各个电商平台的商品价格网络爬虫飞机的黑匣子、监控室的录像带日志采集数据的处理——数据来源数据来源包括传感器数据、用户生成数据、机器生成数据、业务系统数据和公共开放数据数据来源分类产生主体典型案例(话术素材)记忆口诀1.传感器数据物理世界

(通过硬件感知)1.摄像头把“光”翻译成图像

2.温度计把“热”翻译成数字凡是涉及硬件感知环境的，都是传感器数据。2.用户生成数据

用户

(你、我、他)1.显性：发朋友圈、写大众点评、传抖音

2.隐性：点击商品、搜索关键词、页面停留时长凡是人主动产生的内容或行为，都是用户生成数据。3.机器生成数据计算机系统

或软件本身1.电脑风扇狂转时的CPU占用率(如100%)

2.无人驾驶模拟器算出的虚拟碰撞数据没有人参与，是机器内部运行产生的记录。4.业务系统数据组织/机构

(公司、医院、银行)1.银行的转账流水记录

2.医院的电子病历

3.快递公司的包裹流转单它是官方记录的、流程化的业务档案。5.公共开放数据政府/科研机构1.国家统计局的人口出生数据

2.气象局公开的历史降雨量数据关键词是政府/科研和公开免费。数据的处理——数据清洗缺失值异常值重复值噪声需数据格式标准化序列号产品名称评论文本评分(1-5)评论日期存在的问题U_001华为Pura70Ultra手机运行速度非常快，拍照也很清晰52023-10-25U_002联想小新Pro16屏幕显示效果不错，办公很流畅，但是续航好像没有宣传的那么久。NaN2023-10-26U_003小米Buds4Pro(NULL)42023-10-27U_001华为Pura70Ultra手机运行速度非常快，拍照也很清晰52023-10-25U_004华为PURA70ULTRA!!!真的超级好用!!!<br>强烈推荐给大家~~~❤️❤️支持国货！5分27-Oct-2023U_005华为Mate60Pro抢到了很开心，AI助手很实用。1002023-10-28U_006小米14asdfjklaasdfjkl;adf12023-10-2914:30:00缺失值重复值噪声异常值异常值缺失值需数据格式标准化需数据格式标准化序列号产品名称评论文本评分(1-5)评论日期存在的问题U_001华为Pura70Ultra手机运行速度非常快，拍照也很清晰52023-10-25U_002联想小新Pro16屏幕显示效果不错，办公很流畅，但是续航好像没有宣传的那么久。NaN2023-10-26U_003小米Buds4Pro(NULL)42023-10-27U_001华为Pura70Ultra手机运行速度非常快，拍照也很清晰52023-10-25U_004华为PURA70ULTRA!!!真的超级好用!!!<br>强烈推荐给大家~~~❤️❤️支持国货！5分27-Oct-2023U_005华为Mate60Pro抢到了很开心，AI助手很实用。1002023-10-28U_006小米14asdfjklaasdfjkl;adf12023-10-2914:30:00数据的处理——数据清洗缺失值异常值重复值噪声需数据格式标准化数据的处理——数据清洗缺失值异常值重复值噪声需数据格式标准化序列号产品名称评论文本评分(1-5)评论日期U_001华为Pura70Ultra手机运行速度非常快，拍照也很清晰52023-10-25U_002联想小新Pro16屏幕显示效果不错，办公很流畅，但是续航好像没有宣传的那么久。42023-10-26U_003小米Buds4Pro未提供评论42023-10-27U_004华为PURA70ULTRA真的超级好用!强烈推荐给大家，支持国货！527-10-2023U_005华为Mate60Pro抢到了很开心，AI助手很实用。42023-10-28U_006小米14未提供评论12023-10-29数据的处理——数据标注猫数据标注是指为原始数据添加标签、注释或分类信息，使其转化为可供人工智能模型识别和学习的结构化信息。数据的处理——数据增强数据增强是通过对原始数据进行人工或自动变换，以生成多样化新样本的技术，旨在扩充数据集规模，并提升模型泛化能力。数据的处理——数据增强图像数据增强几何变换旋转、翻转、缩放、平移、裁剪、仿射变换、透视变换颜色变换调整亮度、对比度、饱和度、色相，添加高斯噪声模糊处理高斯模糊、运动模糊、均值模糊、中值模糊数据的处理——数据转换数据转换是指将原始数据转换为更适合机器学习模型处理的格式或分布的过程不加工与创造进行加工与创造将采集到的原始数据按照特定格式保存在存储介质中，以便于后续处理与分析数据的处理——数据存储(01)本地存储:将数据保存在本地服务器或存储设备中，具有部署简单、访问延迟低的优势，适用于对数据实时性要求高或受网络条件限制的场景(02)云存储:将数据托管于远程数据中心，具备弹性扩展、高可靠性和便于协作的特点，适合海量数据存储与跨地域访问的应用需求2.算法方法一：一个一个数方法二：一对一对数方法三：分组法，一组5个每一种方法就是一种算法，每一种算法相比较上一种都会带来效率上的提升算法的定义算法是实现感知、认知、决策与生成等智能活动的一套可计算的方法与步骤，其核心功能是指导计算机系统将输入数据转化为可执行的预测或决策模型。机器学习的定义机器学习：数据+答案——>规则（模型）机器学习是指计算机系统通过算法从数据中自动学习规律与模式，并基于学习结果提升系统性能的理论与方法。其核心在于从已有数据中归纳出输入到输出的映射关系，从而构建能够对未知数据做出有效预测和智能决策的数学模型。机器学习的定义1.监督学习猫猫猫猫猫狗狗狗狗狗监督学习是使用带标签的数据进行模型训练。算法的目标是学习输入和输出之间的映射关系。猫狗机器学习的定义2.无监督学习猫狗无监督学习是从无标签的数据中自行发现模式或结构。机器学习的定义3.强化学习强化学习的特点是智能体通过与环境持续交互，根据所获得的奖励或惩罚信号来学习最优策略。深度学习的定义深度学习通过包含多个隐藏层的神经网络架构，自动学习数据的多层次抽象特征表示深度学习的定义深度学习通过包含多个隐藏层的神经网络架构，自动学习数据的多层次抽象特征表示。算力的定义算力是指支撑算法模型训练与推理所需的计算资源的综合能力，其核心衡量维度包括计算精度、吞吐量与能耗效率。算力水平直接决定模型训练的可行性与效率。图像识别技术PART22.2图像识别技术——1.什么是图像识别？图像识别是指通过计算机程序对图像中的目标进行自动识别的人工智能技术。解释：人类的视觉系统是通过关键特征来识别物体的，图像识别技术模拟了这一认知过程。图像识别的定义安防监控医疗影像分析工业自动化质检社交媒体内容管理智慧交通2.2图像识别技术——1.什么是图像识别图像识别的应用场景图像识别的工作过程主要包括图像采集、图像预处理和图像分类3个步骤图像识别的定义2.2图像识别技术——2.图像识别的工作过程图像采集图像预处理2.图像识别的工作过程图像分类图像采集是将视觉信息转换为计算机可识别和处理的数据格式的过程。图像采集的定义光信号数字信号图像采集图像预处理2.图像识别的工作过程图像分类图像预处理是在图像识别前对原始图像进行调整、优化和增强的技术环节，旨在提升后续图像分类的准确性与效率。图像预处理的定义旋转腐蚀仿射变换膨胀缩放均值滤波伽马校正高斯滤波翻转裁剪色彩空间转换图像采集

图像分类图像预处理2.图像识别的工作过程图像分类的过程包括特征提取和模型训练两个阶段。图像分类图像采集

图像分类图像预处理2.图像识别的工作过程图像分类的过程包括特征提取和模型训练两个阶段。图像分类图像文件名提取的关键特征描述(示例)属于“猫”的概率属于“狗”的概率属于“鸟”的概率最高概率最终预测类别img_001.jpg尖耳、竖瞳、胡须、肉垫0.920.070.010.92猫img_002.jpg长喙、羽毛、翅膀、站立树枝0.010.020.970.97鸟img_003.jpg下垂耳、吐舌头、短毛、项圈0.150.820.030.82狗img_004.jpg圆脸、短鼻、全身毛茸茸0.650.300.050.65猫img_005.jpg羽毛、喙、但背景有狗屋0.100.250.650.65鸟img_006.jpg外形像猫但体型极大0.540.450.010.54猫img_007.jpg模糊、光线暗、特征不显著0.400.550.050.55狗2.2图像识别技术——3.图像识别的典型应用：人脸识别数据采集数据预处理特征提取数据库比对测量你的眉毛间距、眼睛轮廓、鼻子高度等特征如果相似度达到99%，即可完成身份识别。太暗了调亮（像素值调整），歪了就扶正、小了就放大（几何变换）语音识别技术PART3语音识别是将人类语言转换为文本或指令的技术2.3语音识别技术——1.什么是语音识别？语音识别的定义一个能够声控的门一个能够声控的金箍棒2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集语音采集是通过录音设备捕捉语音信号，并将其数字化为语音数据的过程语音采集发出声音通过录音设备捕捉声音信号得到波形图波形图实例数字化的过程2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集语音预处理通过噪声消除和高频信息加强等可以提高语音识别的准确性和稳定性语音预处理2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集特征提取的目的是从声音中找出最关键的“身份证”。特征提取第一步：将完整的声音切分成许多小片段第二步：逐一分析每一个小片段，提取出能够代表这段声音本质的特征参数2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集特征处理通过声音序列对齐和归一化处理，方便模型稳定、高效地学习。特征处理2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集请观察这两段频谱图，请问你们觉得这两段音频的相似度高吗？猜一猜2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集核心目的是教会机器听懂人类语言中最基本的发音单元——音素。训练声学模型aoewohao

e音素组合我好饿2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集第一步：海量“喂”数据：多样化的语料库覆盖维度：不同人群：老人、小孩、不同性别。不同地域：南方口音、北方口音。不同状态：感冒鼻塞、急促呼吸、嘶吼欢呼。第二步：寻找“不变”：提取音素的共性特征核心目标：在千万个发音中，定位最基础的单元——音素（如：x-īn）。物理本质：分析频谱中的共振峰形状。逻辑结论：忽略音色与语速的差异，锁定发音的“物理模具”。2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集候选词初始概率（无上下文）

（基于通用语料库）语境1：公司会议

“下午有新的

gongshi

要宣布。”语境2：体育新闻“主队下半场

gongshi

如潮。”公事高

(40%)（工作场景极高频）极高

(95%)低

(5%)释义：公务、工作事务与“公司”、“宣布”、“会议”有极强的共现概率。与体育进攻场景不匹配。公式中

(25%)（科技、教育领域高频）中

(30%)极低

(0.1%)释义：数学或逻辑表达式勉强可通，如“工作公式”，但不如“公事”自然。完全不相关。攻势中低

(15%)（体育、军事领域高频）极低

(1%)极高

(94%)释义：进攻的行动或态势在和平商务语境下概率很低。与“下半场”、“如潮”（体育报道常用语）有极强的关联性。“我们要加强gongshi。”2.3语音识别技术——2.语音识别的工作过程语音预处理特征提取特征处理训练声学模型训练语言模型语音解码和

搜索算法语音采集语音识别的最后一步，通过综合声学模型和语言模型的训练结果作出决策。解码在此之前，声学模型已经计算出当前声音对应各个发音单元的概率，语言模型也给出了词语搭配的概率。解码需要综合声学模型和语言模型，从所有可能的词语组合中，通过搜索算法，快速找出那个声学上最匹配、语言上也最通顺的句子作为语音识别结果。2.3语音识别技术——2.语音识别的工作过程发出声音通过录音设备捕捉声音信号得到波形图第一步：语音采集去除噪声：加强高频信息：第二步：语音预处理2.3语音识别技术——2.语音识别的工作过程去除噪声：加强高频信息：第二步：语音预处理拆分成小片段：第三步：特征提取2.3语音识别技术——2.语音识别的工作过程拆分成小片段：第三步：特征提取第四步：特征处理2.3语音识别技术——2.语音识别的工作过程“我们要加强gongshi。”候选发音概率说明gongshi0.85发音清晰标准，模型高度确信。gongsi0.12“shi”和“si”在某些口音或语速快时容易混淆。gongchi0.03小概率的发音偏差。候选词汇概率说明攻势0.70与“加强”搭配极强（“加强攻势”是固定搭配），语境匹配（可能是比赛、商业竞争等）。工事0.25与“加强”搭配合理（“加强工事”是军事常用语），但使用频率低于“攻势”。公司0.04“加强公司”不太通顺，通常说“加强公司管理/建设”。概率低。公事0.005“加强公事”完全说不通。概率极低。公示0.005“加强公示”也不通顺。概率极低。第五步：声学模型第六步：语言模型2.3语音识别技术——2.语音识别的工作过程“我们要加强gongshi。”路径(发音→词汇)声学模型概率语言学模型概率综合得分是否合理？gongshi

→

攻势0.850.700.595最佳路径gongshi

→

工事0.850.250.2125合理，但分低gongsi

→

公司0.120.040.0048发音和语境都不匹配gongshi

→

公事0.850.0050.00425发音匹配，但语义荒谬gongchi

→(无常见词)0.03~0~0被淘汰第七步：解码自然语言处理技术PART42.4自然语言处理技术——1.什么是自然语言处理？场景：一位老教授对年轻学者说：“你的这篇文章，意思表现得还不够意思，但我明白你的意思。”请问大家这三个意思分别是什么意思？你如果是这个年轻学者会如何回复？情商挑战自然语言处理是指通过计算机程序使机器具备理解并生成自然语言的技术。自然语言处理的定义抱歉，我检测到您的句子中‘意思’一词重复率过高（3次）。根据汉语语法规范，建议您避免词汇重复。请问您是想查询‘意思’的字典定义吗？经分析，该句包含批评与肯定的混合语义。第一处‘意思’指内容主旨，第二处指达到的标准，第三处指创作动机。综合评价：您的论文质量有待提高，但教授认可您的态度。建议：继续修改。听得出来，老教授这是在‘敲打’中带着‘期许’呢。他的意思是：你的文章目前深度还欠火候，没达到发表的高标准，但他看出了你研究的初心和背后的努力。与其说是批评，不如说这是一次充满温情的指点。同学，别灰心，教授其实挺看好你的，快去请教具体的修改意见吧！基于规则的匹配（无脑）统计概率模型（生硬）听懂了且表达极具情商（现代大模型阶段）2.4自然语言处理技术——1.什么是自然语言处理？自然语言理解的主要环节包括分词、语法分析、语义分析、命名实体识别、情感分析、意图识别等自然语言生成的主要环节包括内容规划、文本规划、句子生成、表层实现等。2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料获取语料获取语料就是收集和准备用于让机器“学习”人类语言的素材。本项目深入贯彻乡村振兴战略，通过科技与教育双扶持，实现了资源精准对接，有效弥合了城乡数字鸿沟，构建了长效的校地合作机制数据显示，短期支教对当地学生成绩提升有限，资源投入产出比尚需优化；且项目存在‘形式化’风险，需加强对志愿者专业素养的长期考核与量化管理。关于“乡村振老师走的那天，小明拉着我的衣角问明年还会不会来。那一刻我才明白，虽然我教给他们的知识有限，但我们之间建立的连接，是这个夏天最珍贵的礼物。兴社会实践”的三种语料请大家观看关于“乡村振兴社会实践”的三种语料，思考一下，假设你现在是AI训练师，要开发一个‘大学生社会实践指导机器人，你会选用哪种语料作为你的数据来训练AI呢？为什么？思考一下政府/学校的新闻稿专家/第三方的评估报告当地孩子或志愿者的日记2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料数据清洗分词词性标注去除停用词处理前处理后2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料在图像处理技术中，我们把光信号转化为计算机可以阅读的数字在语音处理技术中，我们把声波转化为计算机可以阅读的数字在自然语言处理中，我们同样需要把文字转化为计算机可以阅读的形式，即把中文分词的字符串转换为数学中的向量表示。特征工程的作用就在于此，而词袋模型和词向量是特征工程常用的模型。2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料课堂活动请思考，你认为房屋的价格和哪些因素有关系？面积地段学区楼层装修朝向房龄小区环境交通门牌号码前任房主职业交易日期窗户数量墙纸颜色2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料课堂活动请思考，你认为房屋的价格和哪些因素有关系？面积地段学区楼层装修朝向房龄小区环境交通门牌号码前任房主职业交易日期窗户数量墙纸颜色强相关弱相关不相关2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料维度/类别机器学习模型深度学习模型主要特点结构相对简单、可解释性强、训练速度快、计算资源要求低。结构复杂、表征能力强、属于“黑盒”、需要大量数据和算力。典型代表K近邻、支持向量机、朴素贝叶斯、决策树等。循环神经网络、长短期记忆网络、Transformer等。适用场景

（核心选择依据）1.语义复杂度：低

（如：简单情感分类、垃圾邮件识别）

2.数据规模：小

（标注数据量有限）1.语义复杂度：高

（如：机器翻译、文本生成、复杂问答）

2.数据规模：大

（拥有海量标注数据）核心选择原则“小任务，小数据”

任务简单、数据不足时的高效、实用之选。“大任务，大数据”

处理复杂语义、追求高性能时的强大工具。类比自行车/轿车

适合短途、常规道路，灵活高效。超级跑车/重型卡车

适合长途、复杂路况，能力强但耗费高。2.4自然语言处理技术——2.自然语言处理的工作过程语料预处理特征工程特征选择模型选择模型训练模型评估获取语料训练集验证集测试集对应角色教科书/平时习题模拟试卷/随堂测验最终高考/结业考试核心功能模型学