人工智能导论（第2版）课件 项目6、7 自然语言处理、智能语音

自然语言处理项目6IntroductiontoNaturalLanguageProcessing人工智能导论CONTENTS01项目概述02思政聚焦0304项目相关知识05项目任务06项目小结与展望思维导图07项目重难点01项目概述自然语言处理（NaturalLanguageProcessing，NLP），指用计算机来处理、理解及运用人类语言（如中文、英文等）的技术，其技术目标就是使机器能够“听懂”人类的语言，并进行翻译，实现人和机器的交流。自然语言处理应用----智能翻译与问答百度翻译、百度搜索与智能客服广泛应用02思维导图项目思维导图03项目重难点自然语言理解的层次与分词、词性标注的基本原理。理解TF-IDF、词向量等文本特征的表示形式。能够独立完成智能文本分析、机器人写诗和自然语言处理人机竞赛任务，理解其在实际场景中的应用。项目重难点项目重点机器人写诗的大模型训练逻辑。理解文本如何在计算机中被转化为可计算的特征表示。将具体的编程技能升华为“人工智能思维”，真正理解技术背后的逻辑而非仅仅调用工具。项目难点04思政聚焦语言是人类沟通的桥梁，计算机也有自己的语言，即数字信息。汉语书面语中词与词之间没有空格分隔，分词成为中文自然语言理解的第一只“拦路虎”，攻克这一难题，靠的不仅是算法，更是中国学者对母语文化的深刻理解与执着坚守。从基于规则到基于统计，再到基于深度学习，自然语言处理经历了三次范式跃迁。如今，以通义千问为代表的国产大语言模型异军突起，标志着中国在自然语言处理领域已从“跟跑”迈向“并跑”乃至“领跑”。同学们在本地部署大语言模型、体验智能文本分析和机器人写诗时，应深刻感受到：核心技术必须掌握在自己手中，语言主权与信息安全关乎国家文化安全。让机器“听懂”中国话：自然语言处理中的文化自信与技术担当05项目相关知识自然语言处理的典型应用a)机器翻译：百度翻译b)信息检索与问答：百度搜索c)智能客服：淘宝小蜜智能文本分析的流程智能文本分析的流程包括：获取原始文本→文本预处理→特征提取→模型训练→输出结果名词解释：数据清洗、TF-IDF、词向量、TextCNN智能文本分析流程图（1）获取原始文本：资料整理、网上下载抓取（2）文本预处理：数据清洗、分句、分词、词性标注（3）特征提取：词袋模型、TF-IDF、词向量（4）模型训练与输出：TextCNN等模型实现文本分类，生成智能文本分析报告文本处理的过程（a）小程序首页（b）输入文本（c）命名实体识别（d）形成文本摘要智能文本分析小程序界面智能文本分析小程序界面数据清洗：删除或更正错误、不完整、格式有误、多余的数据，如中文文本中的数字、英文、标点等非常规字符，可使用正则表达式处理分句：将一段文本分成一个一个的句子，一般按照句末标点符号进行切分，可使用NLTK中的punkt句子分割器实现分词：将每一个句子分割成一个有意义的词汇单元，中文分词一般使用jieba库的cut()精准模式词性标注：给每个词标记上词性，使文本在后续处理中融入更多语言信息文本的预处理词袋模型：不考虑词语原本在句子中的顺序，直接统计每个词语出现的词频。词频-逆文档频率（TF-IDF）是词袋模型的经典方法，用于评估一个词对文本库中某份文件的重要程度。词向量：一种将词语映射为低维连续向量的表示方法，能够捕捉词语之间的语义和语法关系，常见模型包括Word2Vec、GloVe和FastText等。文本的特征提取提取特征向量后，针对不同的应用需求可使用不同的模型：传统机器学习模型包括kNN、SVM、朴素贝叶斯、决策树、k-Means等；深度学习模型包括CNN、RNN、LSTM、Seq2Seq、FastText、TextCNN等。本任务的文本分类采用基于TextCNN的文本分类方法。KNN分类器原理示意图文本分类的模型训练卷积神经网络结构示例深度学习算法深度学习模型的特点优势：在语料充足的情况下准确率高，能够自动学习语言的层次化表示局限性：（1）大规模语料的获取与清洗成本高、耗时（2）模型训练阶段对硬件要求高深度学习模型自然语言理解五层次示意图自然语言理解的层次两种分词结果对比分词：词是汉语中能够独立的最小语言单位。汉语书面语中词与词之间没有空格分隔，正确的分词取决于对文本语义的正确理解，分词是理解语言的第一道工序，也是中文自然语言理解的第一只“拦路虎”。词性标注：为给定句子中的每个词赋予正确的词性标记（如名词、动词、形容词等），是一个经典的序列标注过程，常见方法有基于规则的方法和基于统计的方法（如基于HMM的词性标注）。分词与词性标注Ollama交互界面1.命令行部署：执行ollamarunqwen3:latest一键下载并运行通义千问模型2.图形界面：通过Ollama内置界面下载模型、可视化对话大语言模型的本地部署1.特征工程依赖：不同任务需要单独设计算法与特征；2.上下文理解有限：难以掌握长距离的语言依赖关系；3.缺乏深层次语义理解：难以真正“理解”语言的含义与语境。传统自然语言处理方法的局限1.多任务通用：一个模型即可支持问答、写作、翻译、编程等多种任务，无须为每个任务单独设计算法；2.语义理解能力强：基于大规模语料学习语言规律，通过自注意力机制捕捉词语间的远距离依赖；3.本地可控：通过Ollama等工具部署量化模型，保障数据隐私与安全，支持离线使用。大语言模型的优势1.机器翻译2.智能客服3.信息检索与问答4.情感分析与文本分类5.机器人写诗等创作应用自然语言处理的应用06

项目任务1、任务描述本任务为智能文本分析。输入一段待分析的文本内容，通过文本分句、分词、命名实体识别3个重要步骤，从文本中提取出时间、地点、人物、事件等关键信息，再根据这些关键信息形成反映中心内容的文本摘要，实现对文本的情感分析和分类，最终生成文本分析报告。任务1：智能文本分析2、任务实现2、任务实现2、任务实现1、任务描述本任务为机器人写诗。通过输入诗的标题、类型等，让模型自动生成符合格式要求的诗。写诗前需让模型学习各种类型或主题的诗，获得诗的基本特征和规律。主流诗生成方法采用基于深度学习的方法，LSTM是常用的深度学习方法：获取足够的训练诗数据并规范化后，使用Keras函数库搭建包含输入层、LSTM层、全连接层和输出层的LSTM模型，设置输出维度、激活函数等信息，训练并保存模型，最后调用训练好的模型自动生成五言律诗、五言绝句等格式的诗。任务2：机器人写诗2、任务实现2、任务实现任务3：自然语言处理人机竞赛（文本分类、文本纠错）07项目小结与展望本项目介绍了自然语言处理的定义、发展、两大流程、自然语言理解的层次和大语言模型等相关内容，然后介绍了智能文本分析、机器人写诗和自然语言处理人机竞赛3个自然语言处理任务的具体实施过程。其中，智能文本分析任务的实施过程主要包括提取文本关键信息、形成文本摘要等重要步骤；机器人写诗任务则主要通过输入诗的标题和类型，进行模型训练并自动生成诗。读者可以在学习自然语言处理理论的基础上动手实践，体会自然语言处理的魅力。项目小结人工智能自然语言处理将是信息科学技术中长期发展的一个新的战略制高点，自然语言处理技术会给人们的生活带来便利。与此同时，技术的进步也会给人们的生活带来一些冲击。例如就业方面，机器取代人工会造成一些人失业，但新技术的应用在让一些岗位消失的同时，又创造出大量新的就业机会。展望未来，我们正面临着新的机遇和挑战，应该主动、积极地适应这种变化，而不是消极等待和抱怨。自然语言处理作为一门高度交叉的新兴学科，在科技创新中发挥着越来越重要的作用，其未来发展前景十分广阔。项目展望感谢观看！智能语音项目七IntroductiontoArtificialIntelligence人工智能导论CONTENTS01项目概述02思政聚焦0304项目相关知识05项目任务06项目小结与展望思维导图01项目概述“当我们去餐馆吃饭，一个语音机器人帮助你完成菜单推荐、价格咨询、特色介绍、买单结账等行为。这些需求都可以由机器人理解并形成服务需求发给离你最近的服务人员，从而避免了你不断招手而服务员来回奔跑的过程。此外，你在开车的时候，可以询问“附近的加油站”、“肚子饿了去哪里”；回家的时候对智能音箱说帮你开空调、开窗帘等都是智能语音技术的典型应用。智能语音技术相关产品很早就已经走入了我们生活，如苹果的Siri语音助手、微软的Cortana（微软小娜）个人智能助理、小米的小爱同学智能音箱

、阿里巴巴的天猫精灵智能音箱、百度的小度人工智能助手、高德的小德语音助手等，它们可以解决日常生活中很多的人机交互问题。智能语音技术介绍及应用02思维导图思维导图03思政聚焦智能语音是人工智能落地民生的核心技术，依托语音识别、语音合成与自然语言处理技术，广泛应用于智能终端、政务服务、车载交互等场景，极大简化了人机操作方式，为大众日常生活带来便捷体验。但技术发展的真正价值，不仅在于算法性能的迭代升级，更在于跨越数字鸿沟、关照特殊群体，让科技突破工具属性，传递温暖的人文关怀。当前多数智能语音产品侧重适配年轻用户习惯，忽略了老年群体、视障与听障人士的使用痛点。我国2.6亿老年人、千万级残障群体，常常因触屏操作、标准文字交互陷入数字困境。智能语音技术的人文温度可喜的是优化升级的无障碍语音技术已有诸多落地场景尽显人文温度。AI语音文字互转技术，帮助听障人士实现日常通话、外卖沟通，打破无声交流壁垒；智能视障语音识读系统，可实时播报周边环境、识别物品标识，助力视障人群独立出行、自主学习；声音修复技术能够优化语障人群模糊发音，让长期难以正常发声的人群清晰表达、自信沟通。同时，适配方言、慢速语音的养老语音设备，可为独居老人播报用药提醒、生活资讯，贴心适配老年群体的专属使用需求。智能语音技术的人文温度04项目相关知识智能语音交互智能语音是人工智能技术的重要组成部分，实现了人机语言的通信，其主要技术包括了语音识别（ASR）和语音合成（TTS）。语音识别是让机器能够“听见”周围的声音实现机器感知智能；语音合成则是让机器模仿人类“说出”给定的文字内容。因此，智能语音技术既模拟了人类的耳朵又模拟了人类的嘴巴。语音识别的概述语音识别的目的就是让机器明白你说什么，而语音识别的过程就是机器模拟人类的听觉系统的过程。因此，语音识别技术就是让机器通过识别和理解过程把语音信号转变为文本和指令的技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。RadioRex2052565980初80末语音识别的历史贝尔实验室模拟电子器件RCA实验室统计学的原理数据库语音查询系统、办公语音助手系统和笔记记录听写机隐马尔科夫模型神经网络00云模式语音识别相关技术与面临的挑战相关技术面临挑战上文内容对语音信号的语义产生的影响；发音人的口音、发音的方式与习惯会导致语音特征在参数空间分布的不同；发音人心理和生理变化直接影响了语音信号的变化；环境及各种突发的干扰等因素造成的语音信号失真问题。语音合成的概述语音合成技术是通过机械的、电子的方法来模仿人类的语音的技术。它能将你输入的句子实时转化为标准语音流畅的朗读出来，整个过程如同人类边看文本内容变朗读出来的过程。它主要如何让机器像人一样开口说话，涉及的技术包括声学、语言学、数字信号处理、计算机科学等多个学科技术。起源阶段18-19世纪19301980199020xx今天语音合成的历史电子合成器阶段共振峰合成器阶段单元挑选拼接合成阶段基于机器学习技术合成阶段DNN/CNN/RNN语音合成相关技术与面临的挑战相关技术面临挑战如何处理远场复杂环境的挑战如何让语义理解更智能如何满足在不同场景下人们的个性化需求05

项目任务任务1：语音识别器1、任务描述本任务实践的主要目的是掌握语音识别的过程。首先通过了解认识语音信号，学习如何去可视化不同类别音频信号，并通过不同技术来处理语音信号来制作一个语音识别系统。任务1：语音识别器2、技术分析音频信号结构时域信号与频域信号音频特征提取语音中文字的识别任务1：语音识别器3、任务实现——请大家扫二维码根据步骤测试实现语音识别器体验二维码任务2：语音合成器1、任务描述本任务实践的主要目的是掌握语音合成的过程。首先通过制作一段合成电子音乐了解基于波形拼接的语音合成过程。然后，输入一段文本来展示基于深度学