人工智能探索 课件3.1 自然语言处理技术

3.1自然语言处理技术主讲人：***CONTENTS目录01自然语言处理技术的引入02自然语言处理的概述03自然语言处理的基本任务04自然语言处理的应用场景05搭建自己的自然语言处理系统自然语言处理技术的引入01生活中的NLP：李明的周末故事智能助手主动帮忙在一个普通周末，李明忙着为家里聚会准备美食时，新智能助手主动提醒“你需要准备一份菜谱吗？”精准推荐菜谱李明回应后，智能助手迅速搜索并发送了番茄炒鸡蛋菜谱，还附上烹饪视频和所需食材购物清单。调整推荐偏好李明在厨房忙碌时，助手询问其对菜肴的口味偏好，并迅速调整推荐的菜谱。引发核心问题聚会成功后，李明感慨方便的同时，引发了“人工智能如何理解人类语言”的核心问题。自然语言处理的概述02自然语言的定义与特点01自然语言的定义自然语言是指人类日常交流中使用的语言，是伴随着人类社会发展演变而来的语言，如汉语、英语、西班牙语等。02与计算机语言的对比与计算机语言（如编程语言）不同，自然语言具有丰富的语法、词汇和表达方式，能够传达复杂的思想和情感。03自然语言的特性自然语言是动态和多样的，随着文化和社会的变化而不断演变，人们通过口语和书面形式使用自然语言来沟通、交流信息、表达感受和建立关系。04计算机理解的挑战自然语言是人类特有的思想交流的工具，因此能够让计算机理解自然语言成为人工智能技术的一个大核心问题。自然语言处理（NLP）的概念NLP的定义自然语言处理（NaturalLanguageProcessing，NLP）是利用计算机技术和人工智能技术处理自然语言的一种手段，它是计算机科学、人工智能和语言学的交叉领域。核心目标旨在使计算机能够理解、分析、生成和回应人类语言。与语音识别、机器翻译的关系自然语言处理不仅仅是语音识别或机器翻译，更涵盖了文本的语义分析、情感识别以及信息提取等多个方面。NLP发展历史：20世纪50年代-70年代思想开端1950年，艾伦·麦席森·图灵发表论文《计算机器与智慧》，文中提到的“图灵测试”一般被认为是自然语言处理思想的开端。早期里程碑1954年，乔治敦大学与IBM公司合作研究了一个早期的机器翻译系统，该系统能够将60句俄语翻译成英语，这是NLP领域的重要里程碑。早期探索20世纪60年代和70年代，研究者们开始关注更复杂的语言结构，例如语法和语义分析。NLP发展历史：20世纪80年代-90年代80年代统计学方法20世纪80年代，统计学方法的引入极大推动了NLP的进展。传统的基于规则的方法开始与概率模型结合，代表性进展包括隐马尔可夫模型（HMM）和最大熵模型，它们在语音识别和词性标注等任务中表现优异。90年代新技术应用90年代，随着计算能力的提升和互联网的发展，大数据为NLP研究提供了丰富资源。研究者们开始探索支持向量机（SVM）和神经网络等更复杂的模型和算法，催生了信息检索和文本分类等新的应用领域。NLP发展历史：21世纪初期-2018年2013年词向量模型2013年，Word2Vec模型的提出使计算机能够通过词向量捕捉词语之间的关系，为词嵌入技术的发展奠定了基础，提升了语义分析的准确性。LSTM与CNN模型随后，长短期记忆网络（LSTM）和卷积神经网络（CNN）等模型相继问世，专门针对序列数据和文本分类任务，在机器翻译、文本生成等任务中表现出色。2018年BERT模型2018年，BERT模型的发布标志着自然语言处理进入了一个新的时代。BERT通过双向编码和上下文理解，显著提升了多个NLP任务的性能，推动了智能助手、机器翻译、情感分析等应用的广泛推广。NLP发展历史：2023年至今的大模型时代国际大模型进展2023年至今，OpenAI公司GPT-4的发布显著提升了文本理解与生成能力，并首次支持多模态处理；Meta推出的开源大模型Llama2，推动了大模型技术的普及与创新；GoogleDeepMind于2024年推出的Gemini模型，将多模态处理与强化学习相结合，提升了模型在推理与交互中的表现。国内垂直领域应用国内人工智能大模型也迅猛发展，百度“文心一言”广泛应用于智能助手、内容创作和企业服务；小米“超级小爱同学”提升语音交互能力并与智能家居及移动设备深度融合；华为在智能驾驶领域推出基于大模型的解决方案；字节跳动“豆包”主要应用于内容生成和推荐系统。迈向通用人工智能随着算力与算法的持续优化，人工智能大模型将变得更加智能化和高效化，最终迈向通用人工智能（AGI）的阶段。自然语言处理的基本任务03任务1：分词与词性标注分词的定义与复杂性分词是将连续文本分割成单词或词组的过程。中文的分词相对于英文来说更加复杂，因为汉字之间没有像英文一样明显的单词分隔符，所以需要通过词性标注和语义分析等手段来确定词汇的边界。词性标注的含义词性标注是为每个单词指定其语法角色，如名词、动词、形容词等。这些任务的实现有助于计算机理解文本的基本结构，为后续分析奠定基础。示例展示在句子“我爱自然语言处理”中，分词的结果是“我”“爱”“自然语言处理”，而词性标注可以识别“我”为代词，“爱”为动词，“自然语言处理”为名词。任务2：句法分析（依存与成分分析）依存句法分析依存句法分析关注词与词之间的关系。成分句法分析成分句法分析则关注句子的成分结构。示例说明在句子“狗追猫”中，句法分析可以揭示“狗”是主语，“追”是谓语，“猫”是宾语，从而理解整个句子的意思。任务3：情感分析情感分析的定义情感分析旨在判断文本中的情感倾向，通常分为积极、消极和中性。应用场景通过分析社交媒体上的评论或产品评价，企业能够快速了解客户的满意度和情感趋势。技术方法情感分析使用的技术包括词典方法和机器学习方法，后者通过训练模型识别文本中的情感特征，如情感词、语气和上下文。任务4：命名实体识别（NER）NER的定义命名实体识别（NamedEntityRecognition，NER），又称作“专名识别”，是指识别文本中提到的有特定意义的实体，如人名、地名、组织机构名、时间、地理位置等。示例展示在句子“金正恩和普京会晤”中，NER可以识别出“金正恩”为人名。重要性NER对于信息提取和知识图谱的构建至关重要，这一任务帮助系统从海量文本中提取关键信息，提高信息检索和问答系统的准确性。任务5：机器翻译早期机器翻译早期的机器翻译依赖规则和词典，效果有限。现代机器翻译随着统计方法和深度学习的引入，现代机器翻译系统，如GoogleTranslate，能够根据上下文生成更自然的翻译。神经网络的作用通过使用神经网络，系统不仅能处理简单句子，还能应对复杂句子的结构和含义变化，大大提升了翻译的流畅性和准确性。自然语言处理的应用场景04应用1：智能助手（小艺、小爱同学等）语音与意图识别智能助手（如小艺、小爱同学等）利用自然语言处理技术识别和理解用户的语音指令，执行查询时间、设置闹钟、发送消息、播放音乐等多种任务。意图提取与信息反馈以“明天的天气如何？”为例，智能助手通过自然语言理解模块提取出查询天气的意图，并从网络获取最新的天气信息反馈给用户。应用2：社交媒体分析01内容分析与口碑监测自然语言处理技术能够分析社交媒体上用户生成的内容，如淘宝上的分析工具能捕捉用户对某款新产品的积极或消极评价，通过情感分析帮助企业实时监测品牌口碑。02话题识别与策略调整社交媒体分析还可以识别热门话题和趋势，如微博热搜，帮助企业把握市场脉搏，及时调整市场策略。应用3：信息检索（以百度为例）查询意图理解搜索引擎（如百度）利用自然语言处理技术理解用户查询的意图，解析用户输入的内容。个性化结果返回结合用户的搜索历史和偏好，百度搜索引擎使用自然语言处理返回个性化的搜索结果，如“猜你想搜”功能，提高检索的准确性和效率，提升信息获取效率。应用4：内容推荐（电商与书籍推荐）习惯分析自然语言处理可以分析用户的阅读习惯和兴趣，如电商平台根据用户的购买记录和浏览习惯进行分析。商品推荐基于分析结果，向用户推荐相关的文章或产品，如电商平台推荐相似或互补的商品，书籍推荐系统推荐相关书籍，提高用户的黏性和转化率。应用5：客户服务（智能客服）01问题解析聊天机器人利用自然语言处理技术解析用户输入的问题，如理解“商品是否包邮？”这样的问题。02自动回复与成本控制通过预设的知识库，聊天机器人自动提供相应的答案，降低企业人力成本，同时提高响应速度，增强客户满意度。搭建自己的自然语言处理系统05任务描述：基于文心一言API的对话系统01任务目标使用百度文心一言API搭建简单对话系统，实现文本输入、响应生成与用户交互。02最终输出可进行简单对话的聊天机器人。任务分析：关键知识点01API调用了解如何调用文心一言的API以获取对话响应。02数据处理处理用户输入并格式化API请求。03系统集成将API响应与用户界面集成，完成对话功能。任务准备：软件与资源软件安装本次实验需要使用到的软件包括Annaconda、Python、PyCharm。信息了解提前了解大模型种类和目前主流的厂商，注册百度AI开放平台账号。资源学习了解产品API调用的原理，尝试学习API文档。任务实施：环境搭建与API申请环境搭建使用Annaconda软件创建新环境“myChat”，选择Python3.8.20版本，安装Flask和requests依赖。任务实施：环境搭建与API申请环境搭建使用Annaconda软件创建新环境“myChat”，选择Python3.8.20版本，安装Flask和requests依赖。任务实施：环境搭建与API申请环境搭建使用Annaconda软件创建新环境“myChat”，选择Python3.8.20版本，安装Flask和requests依赖。任务实施：环境搭建与API申请文心一言API申请在百度AI开放平台注册登录，进入百度智能云控制台，创建应用，获取APIKey和SecretKey。任务实施：环境搭建与API申请文心一言API申请在百度AI开放平台注册登录，进入百度智能云控制台，创建应用，获取APIKey和SecretKey。任务实施：环境搭建与API申请文心一言API申请在百度AI开放平台注册登录，进入百度智能云控制台，创建应用，获取APIKey和SecretKey。任务实施：创建项目使用PyCharm创建项目根据提前设置好的Conda环境，创新新的项目完成代码编写以实现具体功能任务实施：创建项目使用PyCharm创建项目根据提前设置好的Conda环境，创新新的项目完成代码编写以实现具体功能任务实施：功能实现（后端代码）获取访问令牌定义get_access_token()函数，从百度AI中心获取本实验的访问令牌。任务实施：功能实现（后端代码）收发消息模块定义get_baidu_reply()函数，负责向文心一言收发消息。任务实施：功能实现（后端代码）处理前端交互定义/chat路由，处理前端交互，将文心一言的回复以JSON格式返回。任务检测：运行与测试运行项目右击“App.py”文件运行，终端显示运行地址。测试聊天机器人通过浏览器访问“:5000”，输入消息，验证对话功能是否正常。NLP技术的现实意义总结应用场景NLP在生活中的应用包括智能助手、翻译等。核心认知技术改变人机交互，带来便利，呼应开篇李明的故事。文档重点内容回顾