人工智能应用通识教程 课件 知识库-第六次课 AIGC应用与实践

1第二章：AIGC应用与实践2大模型无所不能吗？信息滞后性挑战训练数据存在截止时间，无法实时更新最新资讯与行业动态。回答可靠性存疑生成式AI可能产生“幻觉”，在缺乏事实依据时编造看似合理的答案。行业术语理解不足通用模型对垂直领域的专业黑话、缩写及特定语境的理解往往不够精准。“胡说八道”风险在训练数据不足或提示词模糊时，容易出现逻辑错误或张冠李戴的情况。要解决这些问题，我们需要一个强大的工具——知识库。第1部分：

了解知识库什么是知识库核心定义一个专门存知识、存答案的超级笔记本/电子书，是企业和个人的“数字大脑”。一句话总结知识库=把常见问题和标准答案提前存好，方便以后快速查。存储内容里面提前写好各种问题对应的答案、资料、规则、说明。查询对象不管是人还是AI，遇到问题都可以去里面查。查询结果查完直接给出现成答案或基于答案回复，不用临时想、不用到处找。向量化：将知识转为计算机可计算的数据核心定义：把一个事物的各种特征，用一组数字来表示。通俗举例：书籍特征提取书籍A：科幻、2023、中文、9.0分→[科幻,2023,中文,9.0]书籍B：历史、2020、英文、7.5分→[历史,2020,英文,7.5]一句话总结：给事物贴上一组“数字标签”，让电脑能够理解和比较它们。向量化过程示意类别年份语言评分Vector=[科幻,2023,中文,9.0]向量模型：向量化的工具核心定义：一个“翻译官+匹配大师”工作原理将文字（自然语言）翻译成一串数字（向量），让电脑能看懂“意思”。意思越相似的文本，对应的数字向量越接近，从而实现精准匹配。一句话总结：把文字变成电脑能看懂的“意思数字”，快速找答案。通俗类比：图书馆找书我们可以把向量模型想象成一个“超级图书管理员”。读者提问：你想找一本书，但你只记得大概内容，比如“找一本关于星际旅行的科幻小说”。向量模型理解与转换：这位超级图书管理员能理解你的模糊描述，并将它转换成一个“需求向量”。向量模型匹配：图书管理员快速扫描图书馆里所有书籍的“索书号向量”，找到与你的“需求向量”最匹配的书籍。给出结果：图书管理员将最匹配的书籍递给你。知识库如何存储数据核心机制：存储“原文+向量”配对数据不仅仅是文本，更是结构化的检索单元原文(Human-readable)用户最终看到的自然语言内容，具备完全的可读性与上下文语义。向量(Machine-understandable)将文本转化为多维数字数组，作为机器快速检索和匹配的“数字指纹”。“兼顾人类可读性与机器检索效率，是实现智能问答的基石”存储结构映射表示例原文：什么是卷积神经网络？|向量：[0.12,-0.45,0.89...]原文：什么是transform？|向量：[0.56,0.23,-0.78...]创建知识库简要步骤1.收集资料：整理各类AI算法的资料，如“决策树算法原理”、“神经网络反向传播公式”、“聚类算法应用场景”等。2.切片：将资料拆分成独立知识点，如将“决策树算法原理”拆分为“什么是决策树？”、“信息增益如何计算？”、“决策树如何剪枝？”等。3.向量处理：使用向量模型将每个知识点转换为向量。例如，将“什么是决策树？”转换为向量：[0.1,-0.5,0.8,...]。4.存进系统：将原文和向量一起存入知识库。例如，存储：原文:"什么是决策树？",向量:[0.1,-0.5,0.8,...]。按标题段落切片•智能识别文档标题与段落结构，适合大多数结构化文档。•保留上下文逻辑按问答对切片•专为FAQ设计，自动识别Q&A格式并精准拆分。•提升问答检索准确率自定义切片•精细控制切片大小与重叠度。推荐策略：对于大多数场景，建议直接使用「按标题段落切片」作为默认方案。切片策略如何使用知识库？1.用户提问用户输入自然语言问题：“什么是卷积神经网络”2.问题转向量系统将问题转换为向量：[-0.2,0.5,-0.1,...]3.搜索匹配匹配到知识库向量：[-0.15,0.48,-0.08,...]4.提取答案提取原文答案：“是一种具有局部连接和权值共享特点...”返回结果：将“卷积神经网络（ConvolutionalNeuralNetworks，简称CNN）是一种具有局部连接和权值共享特点的深层前馈神经网络，广泛应用于图像识别、目标检测等计算机视觉任务。”等详细信息返回给用户。知识库在大模型应用中的核心作用解决大模型“知识陈旧”问题知识库可实时接入最新数据，让模型回答保持时效性。保证回答的准确性与专业性知识库提供标准答案，大幅降低模型幻觉和错误率。实现领域定制与垂直化落地接入行业知识库，让通用模型快速变成领域专家。保护数据隐私与安全知识库可部署在本地/私有云，满足合规要求。第2部分：创建与使用云端知识库智谱平台创建知识库1、进入智谱控制台：/console/appcenter_v1/knowledge，并在左侧菜单栏选择“知识库”2、点击右上角“创建知识库”，新建知识库添加知识库名称和描述智谱平台创建知识库3、选择合适的向量化模型，推荐选择Embedding-3-pro模型模型名称类型特点与建议Embedding-3-pro文本模型性能最强，推荐用于文本场景，多语言支持，性价比高。Embedding-3文本模型性能均衡，适合大多数标准文本检索场景。Embedding-2文本模型基础模型，适用于成本敏感、低性能要求的简单场景。Embedding-Multi全模态（不推荐文本）支持图片，免费，但文本能力较弱。智谱平台创建知识库4、完成创建后在导知识导入页面，点击“导入知识”，上传本地文件智谱平台创建知识库5、上传后，点击“下一步”进入知识库配置页面，可点击知识库设置选择切片方案，不设置则保持默认按照标题切片方案配置完成后点击“完成配置”完成知识库的创建智谱平台创建知识库1、环境准备（1）代码中使用知识库需要提供两个关键配置：apiKey、knowledge_ids其中apikey与调用智谱大模型对话的配置相同，knowledge_ids可通过知识库页面中的知识库信息中获取（2）安装依赖：pipinstallzhipuai使用知识库2、将zhipu_knowledge_retrieve.py代码中的knowledge_ids、api_key属性的值替换为你自己配置使用知识库使用知识库2、修改提示词模板中的system提示词模板，添加知识库检索结果使用知识库3、更改llm_c