智能建造技术与管理 课件 第6章 语言模型知识增强

智能建造技术与管理6.1语言模型的发展6.语言模型知识增强6.2自然语言处理与语言模型6.3知识库与知识增强6.4大语言模型知识增强工程应用3学习目标：把握相关知识发展脉络，理解从统计NLP到Transformer与LLM的演进，明确各阶段方法的优势与局限。掌握基本的语言表示与推理概念，熟悉分词/子词、词向量与上下文表示；理解注意力机制、提示与链式思维等推理增强思路。理解知识增强方法与架构，掌握RAG、微调/指令调优、工具调用等方法及其适用场景；认识数据层—检索层—模型层—应用层的系统架构。面向工程应用落地，理解知识表示与数据治理概念，能够设计典型工程管理场景的应用方案。6语言模型知识增强6.1语言模型的发展人工智能是什么？倏忽至三日，公端坐旅舍，静以觇之，终日无恙。至夜，阖户挑灯，倚剑危坐。一漏向尽，更无死法，意欲就枕，忽闻窗隙窣窣有声。急视之，一小人荷戈入；及地，则高如人。公捉剑起，急击之，飘忽未中。遂遽小，复寻窗隙，意欲遁去。公疾斫之，应手而倒。烛之，则纸人，已腰断矣。 --《聊斋志异.妖术》6.1语言模型的发展图灵机–判定问题：有没有一种万能的方法（或步骤），可以用来判断某个给定的数学命题（或者数学描述）是真是假1+1是否等于2--很显然这个数学描述是可以判定的1234是否是一个质数–是否可判定？是否所有偶数都可以表示为两个质数之和？是否是可以判定的？6.1语言模型的发展图灵机–组成：一个无限长的纸带，分为小方格，每个方格可以记录一个符号（比如0或1）。一个读/写头，可以读取纸带上的符号，并根据预先定义的规则写入新符号或移动纸带。一个有限状态机，即根据当前的状态和读取的符号决定下一步操作的规则集合。6.1语言模型的发展图灵机–停机算法：假设存在一个停机算法：

算法H能判断任意程序是否会在给定输入下停机。构造一个悖论程序：

使用这个算法H，设想我们构造一个新程序P，这个新程序的逻辑：

如果H判断程序P会停机，那么程序P进入一个无限循环，不会停机。

如果H判断程序P不会停机，那么程序P直接终止。形成悖论：

用H判断P本身是否会停机：

如果H认为P会停机，根据P的定义，它却不会停机。

如果H认为P不会停机，P却会立即停止。6.1语言模型的发展图灵测试：参与者：测试包括三方，评估者（人类）、被测试者（机器或人类），以及可以是人类或机器的另一方（通常是人类）。交互方式：评估者通过文本界面与被测试者进行交互。这样可以避免评估者受对方外表或其他物理特征的影响。交互通常在每个参与者的身份保密的情况下进行。评估过程：评估者通过提问，可以是开放式问题或封闭式问题，反馈被测试者的回答。在测试过程中，评估者的任务是判断哪个是人类，哪个是机器。判断标准：如果评估者无法可靠地区分机器和人类（即机器表现得像人类），则可以认为机器通过了图灵测试，显示其具备人工智能。6.1语言模型的发展1956年达特茅斯会议6.1语言模型的发展1960年代：ELIZA6.1语言模型的发展1970年代：SHRDLU6.1语言模型的发展1980年代：基于统计方法的技术开始发展N-gram隐马尔可夫模型最大熵模型条件随机场……6.1语言模型的发展2013年：Word2Vec6.1语言模型的发展Transformer:

Attention

is

all

you

need6.1语言模型的发展GPT6.1语言模型的发展编码与解码6.1语言模型的发展工程管理应用点思考与探索自动化处理项目相关文档，如合同、招标书和变更通知，提取关键信息和条款；通过自然语言查询，帮助管理人员快速找到所需的文档和信息；在合规性检查方面，语言模型可以分析项目文档，确保所有的建设规范和法规得以遵守，自动识别潜在的不合规内容；自动分析法律文本，为项目团队提供简明扼要的解读和建议；语言模型也有潜力自动分析和审查工程合同，识别风险点和不合规条款。以上应用点有哪些可以落地和扩展？还有哪些应用点可以进行探索？6.2自然语言处理与语言模型BagofWords(BoW):6.2.1自然语言的表示句子1："Iloveswimming"句子2："Ilovereading"句子3："Swimmingisfun"构建词汇表：[I,love,swimming,reading,is,fun]句子1句子2句子3I：1I：1I：0love：1love：1love：0swimming：1swimming：0swimming：1reading：0reading：1reading：0is：0is：0is：1fun：0fun：0fun：1统计词频：形成矩阵：[1,1,1,0,0,0][1,1,0,1,0,0][0,0,1,0,1,1]6.2自然语言处理与语言模型6.2.1自然语言的表示练习：构建BoWWincashnowMeetingscheduleattachedWinamillionnowCongratulationstowinaprizeCashiswaitingforyouProjectdeadlinereminder6.2自然语言处理与语言模型6.2.1自然语言的表示n-gram定义：连续出现的n个项（词/字符）序列应用：文本分类、语言建模、信息检索、拼写纠错说明：n表示项数；gram表示连续元素类型与示例（句子："Ilovenaturallanguageprocessing"）Unigram：单个词Bigram：["Ilove","lovenatural","naturallanguage","languageprocessing"]n-gram优缺点优点：易理解与实现；保留相邻词的部分语义关系缺点：上下文有限、无法处理长距离依赖；n增大导致稀疏性严重6.2自然语言处理与语言模型6.2.1自然语言的表示Word2VecSkip-Gram:根据中心词，预测其上下文的词。CBOW(ContinuousBagofWords):根据上下文的词，预测中心词。类型与示例（句子："Ilovenaturallanguageprocessing"）Unigram：单个词Bigram：["Ilove","lovenatural","naturallanguage","languageprocessing"]Thequickbrownfoxjumpsoverthelazydog

6.2自然语言处理与语言模型6.2.1自然语言的表示Word2Vec使用的是skip-gram或CBOW，GloVe的原理是什么？它关注的是有限数目词汇的共现数据，还是全局共现数据？GloVe的目标函数是什么？GloVe的共现矩阵是如何计算的？GloveELMoBERT6.2自然语言处理与语言模型6.2.2语言模型与知识推理为什么知识推理很重要？支持高级应用：开放领域问答、专业领域问答、个性化推荐、摘要生成、情绪理解、情感推理。实现智能决策：利用已有知识，通过逻辑推导，得出新的、非显式的结论或推断。定义：利用已有的知识和信息，通过逻辑推理、规则应用或其它推理机制，得出新的结论或推断的过程。示例(三段论)：已知事实1：所有的鸟都会飞。已知事实2：麻雀是一种鸟。推导结论：麻雀会飞。这也是人工智能中如何有效表示、管理和利用知识的关键。6.2自然语言处理与语言模型6.2.2语言模型与知识推理符号主义与一阶逻辑核心思想符号模拟智能定义：将人类的思维和知识过程，通过符号（如语言、逻辑表达式）进行编码、表示和操作，从而模拟智能行为。观点：智能行为是基于对符号的形式化操作和逻辑推理。符号主义的知识表示目标：将知识编码成计算机可理解和操作的精确形式。常用方法：逻辑表达式：使用数理逻辑（如一阶逻辑）表达事实和规则。语义网(SemanticNets)：用节点（概念）和边（关系）来表示知识结构。框架(Frames)：用于描述复杂概念的结构化表示方法。6.2自然语言处理与语言模型6.2.2语言模型与知识推理一阶逻辑（First-OrderLogic,FOL）

一种典型的符号主义方法，用于表达和推理关于对象和它们之间关系的知识。在一阶逻辑中，知识由谓词、常量、变量、函数和量词组成，可以用来描述复杂的事实和规则。实例化（Instantiation）：如果知道John是一个人，那么∀x(Human(x)→Mortal(x))可以推导出Human(John)→Mortal(John)。归纳（Generalization）：如果知道Likes(John,Pizza)是真，可能会推断∃y:Likes(John,y)。演绎推理（DeductiveReasoning）：如果我们已知Human(Socrates)为真，而∀x(Human(x)→Mortal(x))也为真，那么我们可以推导出Mortal(Socrates)为真。归结（Resolution）：比如我们知道前提：¬Parent(x,y)∨Ancestor(x,y)以及前提：Parent(John,Mary)，便可以归结出：Ancestor(John,Mary)。6.2自然语言处理与语言模型6.2.2语言模型与知识推理专家系统

6.2自然语言处理与语言模型6.2.2语言模型与知识推理语义网（SemanticNetwork）

6.2自然语言处理与语言模型6.2.2语言模型与知识推理练习节点：节点A表示“动物”。节点B表示“哺乳动物”。节点C表示“鲸鱼”。节点D表示“鱼”。关系描述：B节点“哺乳动物”是A节点“动物”的一种（is-a关系）。C节点“鲸鱼”是B节点“哺乳动物”的一种（is-a关系）。D节点“鱼”是A节点“动物”的一种（is-a关系）。B节点“哺乳动物”具有“呼吸空气”的特征。D节点“鱼”具有“用鳃呼吸”的特征。6.2自然语言处理与语言模型6.2.2语言模型与知识推理资源描述框架(RDF)：语义网的基础构件

6.2自然语言处理与语言模型6.2.2语言模型与知识推理知识图谱

6.2自然语言处理与语言模型6.2.2语言模型与知识推理本体（Ontology）

6.2自然语言处理与语言模型6.2.2语言模型与知识推理“特征”通常指的是可以用来描述、表示或区分不同文本数据的属性或变量。比如在我们前文中的垃圾邮件分类练习中，“Cash”一词出现的频率就可以算一个特征。6.2自然语言处理与语言模型6.2.2语言模型与知识推理Transformer6.2自然语言处理与语言模型6.2.2语言模型与知识推理未来发展与思考潜在方向自监督学习可解释性跨领域推理多模态推理6.2自然语言处理与语言模型6.2.3通用人工智能一种能够理解、学习、适应和运用智能以解决各种复杂任务的人工智能系统。6.2自然语言处理与语言模型6.2.3通用人工智能6.2自然语言处理与语言模型6.2.3通用人工智能6.2自然语言处理与语言模型6.2.3通用人工智能罗德尼·布鲁克斯：基于行为的人工智能(Behavior-BasedAI)在人工智能领域，“涌现”（Emergence）指的是通过简单的个体行为和规则的相互作用而产生出复杂的全局行为或特性。这意味着复杂行为并不是通过单一的控制或计划实现的，而是通过个体之间简单的互动和规则产生的。6.2自然语言处理与语言模型6.2.3通用人工智能请同学们思考基于行为的人工智能的原则，基于包容式体系结构，设计一个工程建设领域的机器人。清晰地描述该机器人的整体结构、功能模块、层次架构，并画出设计图纸或模型。6.2自然语言处理与语言模型6.2.3通用人工智能基于行为的人工智能：难以应对需要长远规划或复杂推理的情况缺乏对复杂环境和信息的深度理解模块协调也是难题6.2自然语言处理与语言模型6.2.3通用人工智能大语言模型（LLM）6.3知识库与知识增强6.3.1专家知识系统的发展MYCIN6.3知识库与知识增强6.3.1专家知识系统的发展Cyc6.3知识库与知识增强6.3.1专家知识系统的发展思考与讨论：第一个问题：现阶段知识图谱的主要应用场景有哪些？第二个问题：知识图谱与大语言模型应该怎样结合？第三个问题：与大语言模型结合后，知识图谱的结构应如何改进？6.3知识库与知识增强6.3.2知识增强的方法6.3知识库与知识增强6.3.2知识增强的方法

核心优势与易用性

灵活性与适应性:实时信息更新能力:大幅降低应用难度(杀手级优势):经济高效:6.3知识库与知识增强6.3.3知识增强系统架构调用外部工具：6.3知识库与知识增强6.3.3知识增强系统架构任务统筹与分解：6.3知识库与知识增强6.3.3知识增强系统架构任务统筹与分解：6.3知识库与知识增强6.3.3知识增强系统架构智能体记忆管理与决策：6.3知识库与知识增强6.3.3知识增强系统架构智能体记忆管理与决策：6.3知识库与知识增强6.3.3知识增强系统架构思考与讨论：每个案例使用的知识增强采用的是什么样的架构，画出其结构图（包含哪些模块）和工作流程图（如何进行知识增强），总结这些架构各有什么优势，能够解决什么样的现实问题智能建造与管理领域有哪些问题适合利用知识增强方法解决？可以如何利用现有的架构，以满足我们的需求？拓展阅读，比如去了解思维提示链（Chain-of-thought）和思维提示树（Tree-of-thought）。本领域的文献更新速度极快，大家在了解了基本知识后要带着自己的判断和选择去阅读文献针对一个你感兴趣的领域内问题，设计一个知识增强模型，并尝试去实现它6.4大语言模型知识增强工程应用6.4.1知识表示6.4大语言模型知识增强工程应用6.4.1知识表示6.4大语言模型知识增强工程应用6.4.1知识表示取前两个主成分还原后的矩阵为6.4大语言模型知识增强工程应用6.4.2工程合同知识增强工程合同审查缺乏信息化、自动化的手段合同管理的方式传统风险管理合同审查需求识别依赖人工专家合同审查是工程合同管理的重要过程。高效、合理的合同审查是降低项目风险，减少机会主义行为的有效手段，研发准确的、自动化的合同审查手段引起了人们的关注。依赖人工专家存在一些无法避免的问题：1）审查方式低效；2）审核过程仓促；3）受人员主观因素影响较大，存在认知偏见。6.4大语言模型知识增强工程应用6.4.2工程合同知识增强“CommencementDate”meansthedateonwhichtheContractorreceivestheNoticetoProceedfromtheProjectCompanyinstructingittocommenceperformanceoftheWorksandconfirmingthatallconditionssetoutinSchedule4(ConditionsPrecedenttoNoticetoProceed)havebeensatisfiedor(ifapplicable)waivedbytheProjectCompany.Schedule1ConditionsPrecedenttoNoticetoProceedItshallbeaconditionprecedenttotheissuanceoftheNoticetoProceedthateachofthefollowinghasoccurred,unlessanysuchconditionprecedentiswaivedinwritingbyProjectCompany(initssolediscretion,providedthatProjectCompanyshallnotbepermittedtowaivetheconditionprecedentinparagraph1.1belowwithouttheContractor’spriorconsent).这是一条合同中关于开工日期（CommencementDate）的解释，这样一段条款是否有风险呢？6.4大语言模型知识增强工程应用6.4.2工程合同知识增强单边决定权：项目公司拥有单方面决定权来放弃附表1中除第1.1条之外