人工智能通识 课件 第五章 自然语言处理与大数据

人工智能通识：新技术与创新实践主编：唐志航，罗雅博自然语言处理基础PART01大语言模型的基本原理PART02目录CONTENTS自然语言处理基础01自然语言处理基础01一、文本处理的基础:让计算机理解人类语言人类语言丰富而复杂,充满了微妙的含义和文化背景。对于我们来说,理解一句话似乎轻而易举,但对计算机而言,这是一项需要多个步骤才能完成的挑战。想象一下,当我们说“今天天气真好,适合去公园散步”这样简单的句子时,计算机需要如何处理才能理解其含义?01自然语言处理基础

1.文本分词:切分语言的基本单元文本分词是自然语言处理的第一步,就像解剖一篇文章需要先将其分解为句子和词语。不同语言的分词方式有很大差异:英语等拉丁语系语言通常以空格为天然分隔符;而汉语、日语等语言则需要更复杂的算法来确定词的边界。如图5-1所示展示了从原始文本到分词结果的过程,可以使用中文句子示例,突出显示不同分词方法的结果差异。以汉语为例,“我爱北京天安门”这句话没有明显的分隔符,计算机需要通过算法将其切分为“我/爱/北京/天安门”。这个过程看似简单,实则暗藏玄机。比如“天安门”一词,可以切分为“天安/门”或者保持“天安门”作为一个整体,取决于上下文含义。优秀的分词系统需要考虑词频统计、上下文信息甚至专业领域知识来实现准确切分。分词技术主要有三类方法:01自然语言处理基础图5-1文本分词示意图01自然语言处理基础基于规则的方法:依靠语言学专家制定的词典和规则进行切分,就像我们使用字典查找单词一样。这种方法对于常见表达很有效,但面对新词和歧义时容易失效。基于统计的方法:通过大量文本学习词语的出现概率和上下文关系,类似于通过大量阅读积累的语感。这种方法能够处理更复杂的情况,但需要大量标注数据。基于深度学习的方法:利用神经网络自动学习语言特征,能够捕捉到更深层次的语义关系,如今已成为主流方法。01自然语言处理基础【实践案例:体验中文分词】让我们通过一个简单的例子来理解分词的重要性:(1)原始文本:“北京大学生活动中心”(2)不同分词结果:•分词结果1:北京大学/生活/动中心•分词结果2:北京/大学生/活动/中心•分词结果3:北京大学生/活动中心你能看出哪种分词结果更合理吗?这个例子说明了分词的挑战性———同一个句子可能有多种理解方式,而正确的分词对后续的语义理解至关重要。01自然语言处理基础(3)动手尝试:请尝试为以下句子进行分词,并思考可能出现的歧义:•“这是一个苹果手机壳”•“他说得确实在理”•“美国会通过这项法案”01自然语言处理基础

2.词向量:为语言赋予数学表达计算机只能处理数字,因此需要将文本转换为数值形式。词向量技术(WordEm-bedding)正是解决这一问题的关键,它将每个词映射到一个多维空间中的点,用数字向量表示词语的含义。早期的方法如“独热编码”(One-HotEncoding)将每个词表示为一个只有一个位置是1,其余都是0的向量,但这种表示法忽略了词与词之间的语义关系。现代词向量技术如Word2Vec、GloVe和BERT则能够捕捉词语之间的语义相似性和关系。通过词向量,“国王”—“男人”—“女人”会接近“王后”的向量,这种奇妙的数学关系展示了计算机对语言语义的一定程度理解。更重要的是,语义相近的词在向量空间中的距离也较近,为后续的文本分析奠定了基础。01自然语言处理基础【实践案例2:理解词向量的神奇】想象我们有以下词语,它们在向量空间中的关系:(1)相似词语聚集:•动物类:猫、狗、鸟(在向量空间中距离较近)•颜色类:红色、蓝色、绿色(在向量空间中距离较近)•情感类:开心、快乐、高兴(在向量空间中距离较近)(2)类比关系:•北京∶中国=东京∶日本•男人∶国王=女人∶王后这种数学关系使得计算机能够理解词语间的复杂关系,为后续的文本处理打下基础01自然语言处理基础

3.情感分析:读懂文字背后的情绪情感分析(SentimentAnalysis)是自然语言处理的重要应用,旨在识别和提取文本中表达的情感态度。从最简单的积极和消极二分类,到细粒度的情感强度识别,再到多种情绪(如喜悦、愤怒、悲伤、恐惧等)的复合分析,情感分析技术正变得越来越精细。情感分析的基本过程通常包括:

•文本预处理:清洗文本中的无关信息(如特殊符号、停用词等),并进行分词和词性标注。

•特征提取:将处理后的文本转换为计算机可处理的特征,如词袋模型、TF-IDF或词向量。

•情感判断:使用机器学习模型对文本情感进行分类或评分。这可以是基于规则的方法(如情感词典),也可以是基于机器学习的方法(如支持向量机、朴素贝叶斯等),现在更多使用深度学习模型(如卷积神经网络、递归神经网络等)。01自然语言处理基础让我们通过一个例子来理解情感分析的工作方式:假设有一条餐厅评论“菜品很美味,但服务态度让人失望”。情感分析系统会识别出“美味”是正面词汇,“失望”是负面词汇,同时考虑连接词“但”表示转折关系,最终可能给出中性或轻微负面的整体情感评价。情感分析在许多领域有广泛应用:企业通过分析社交媒体和评论了解产品口碑;政府机构监测公众对政策的反应;金融机构分析市场情绪预测股价走势;电商平台根据用户评价优化推荐系统。

【实践案例3:餐厅评价情感分析】让我们通过分析餐厅评价来理解情感分析的工作方式:

(1)评价文本:“菜品很美味,但服务态度让人失望,价格还算合理。”01自然语言处理基础(2)分析过程:•分词结果:菜品/很/美味/但/服务/态度/让人/失望/价格/还算/合理•情感词识别:(a)正面词:美味(+2)、合理(+1)(b)负面词:失望(-2)(c)转折词:但(表示前后语义对比)(3)综合判断:整体情感倾向为中性偏负面(4)更多实践例子见表5-1。01自然语言处理基础01自然语言处理基础【实践案例4:社交媒体情感监测】假设我们要分析某品牌手机发布后的网络反响:(1)收集到的微博评论:•评论1:“新手机拍照效果真的很棒,值得入手!•评论2:“价格太贵了,性价比不高,还是算了吧。”•评论3:“外观设计很漂亮,但电池续航一般。”•评论4:“等了好久终于发布了,激动!准备熬夜抢购。”•评论5:“和上一代相比没什么大的改进,有点失望。”(2)情感分析结果统计:•积极情感:40%(评论1、4)•消极情感:40%(评论2、5)•中性情感:20%(评论3)01自然语言处理基础(3)具体分析:•价格敏感:多条评论提到价格问题。•功能关注点:拍照、电池续航、外观设计。•期待vs现实:部分用户期待很高但实际体验有落差。01自然语言处理基础

4.文本分类的广阔应用文本分类是自然语言处理的另一个基础任务,目标是将文本自动归类到预定义的类别中。它的应用极为广泛:

•新闻分类:将新闻文章自动分类到体育、政治、科技、娱乐等不同版块。

•垃圾邮件过滤:识别并过滤掉垃圾邮件,保护用户邮箱。

•客户反馈分类:自动将客户反馈归类为产品质量、服务体验、价格建议等类别,帮助企业快速响应。

•疾病诊断辅助:通过分析病历文本,辅助医生初步判断可能的疾病类型。文本分类的基本流程与情感分析类似,包括文本预处理、特征提取和分类决策。随着深度学习技术的发展,现代文本分类系统已经能够处理长文本、多标签分类和跨语言分类等复杂任务。如图5-2所示直观展示了情感分析的流程和在不同场景的应用,如社交媒体监测、产品评价分析等。01自然语言处理基础图5-2情感分析的流程和不同场景的应用示意图01自然语言处理基础【实践案例5:新闻自动分类】假设我们要为新闻网站开发自动分类系统:输入新闻标题和内容:•新闻1:“央行宣布降准0.5个百分点,释放资金约1万亿元”•新闻2:“科学家发现新型材料,可将太阳能电池效率提升30%”•新闻3:“国足1∶2不敌日本队,世界杯预选赛出线形势严峻”分类结果:•新闻1→财经类(关键词:央行、降准、资金)•新闻2→科技类(关键词:科学家、新型材料、太阳能)•新闻3→体育类(关键词:国足、世界杯、预选赛)01自然语言处理基础【实践案例6:客户服务智能分流】某电商平台的客服系统需要将用户咨询自动分类:(1)用户咨询示例:•咨询1:“我的订单什么时候能到?物流信息显示已发货3天了∶”•咨询2:“这个商品可以退货吗?我不太满意质量∶”•咨询3:“支付时显示失败,但钱已经扣了,怎么办?”•咨询4:“账户被冻结了,提示说是异常登录,如何解冻?”01自然语言处理基础(2)自动分类结果:•咨询1→物流查询类→转接物流客服•咨询2→售后服务类→转接售后客服•咨询3→支付问题类→转接财务客服•咨询4→账户安全类→转接安全客服这种自动分类可以大大提高客服效率,让专业客服处理对应领域的问题。01自然语言处理基础二、自然语言处理的现代挑战与突破自然语言处理面临诸多挑战:语言的模糊性(一词多义现象)、语境依赖(相同词语在不同上下文中含义不同)、文化背景差异等。例如,“苹果”一词可能指水果,也可能指科技公司;“我等不及了”可能表示急不可耐,也可能表示拒绝等待。近年来,深度学习特别是基于注意力机制的模型,在解决这些挑战方面取得了显著进展。以往的模型往往将词语孤立处理,而现代模型能够考虑更广泛的上下文信息,甚至能捕捉到长文档中的远距离依赖关系。01自然语言处理基础注意力机制(AttentionMechanism)允许模型在处理每个词时,关注输入序列中最相关的部分,而不是机械地按顺序处理。这就像人类阅读时会重点关注关键信息一样,大大提高了模型理解复杂语言的能力。基于这一突破,诞生了如BERT、GPT系列等预训练语言模型,它们通过在海量文本上预先学习语言知识,再针对特定任务微调,实现了自然语言处理能力的质的飞跃。这些模型可以同时处理多种NLP任务,如问答系统、机器翻译、文本摘要等,为大语言模型时代铺平了道路。大语言模型的基本原理02大语言模型的基本原理02项目前景一、大语言模型大语言模型(LargeLanguageModels,LLM)是近年来人工智能领域最引人注目的技术突破之一,是AI时代的“思想引擎”。它们通过学习海量文本数据,掌握了人类语言的规律和知识,能够生成连贯、流畅且富有信息量的文本,理解复杂指令,甚至展现出类似推理和创造力的能力。从ChatGPT到Claude,从文心一言到DeepSeek,这些模型正在改变我们与AI交互的方式,开创了“与机器对话”的新时代。02大语言模型的基本原理大语言模型的起源与发展01大语言模型如何工作02大语言模型的核心架构03大语言模型的训练过程0402二、大语言模型的能力与局限

1.大语言模型的惊人能力大语言模型展现出的能力远超预期,包括:语言理解与生成:能够理解复杂指令,生成连贯、流畅且符合上下文的文本,适应各种文体和风格。知识库功能:在训练过程中吸收了大量世界知识,能够回答历史、科学、文化、时事等广泛领域的问题。上下文学习:能够从对话中学习并保持一致性,记住前面提到的信息并在后续回答中参考。逻辑推理:展现出一定的推理能力,能够解决简单的逻辑问题和数学题。创造性写作:能够创作诗歌、故事、剧本等创意内容,甚至模仿特定作家风格。多语言能力:支持多种语言的理解和生成,有些模型甚至能进行跨语言交流。代码理解与生成:掌握多种编程语言,能够理解、解释、生成和调试代码。多模态延伸:通过与其他AI系统结合,如与图像生成模型合作,实现跨多种模态的交互。大语言模型的基本原理02大语言模型的基本原理

2.大语言模型的局限性与挑战尽管能力惊人,大语言模型仍存在明显局限。幻觉问题:模型可能生成看似可信但实际错误的信息,尤其是在处理事实性问题时。这被称为“幻觉(Hallucination)”,是当前大语言模型的主要缺陷之一。