模型基础部署及项目 2_第1页
模型基础部署及项目 2_第2页
模型基础部署及项目 2_第3页
模型基础部署及项目 2_第4页
模型基础部署及项目 2_第5页
已阅读5页,还剩23页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

校园百事通,智答规章

基于Dify与RAG技术的智能问答系统搭建高职/本科学生人工智能应用实训小明的困惑大一新生小明,想了解:为什么需要“校园百事通”?二(1)奖学金申请条件?(2)宿舍熄灯时间?(3)如何加入社团?(4)请假需要什么材料?(1)官网信息分散,搜索困难(2)《学生手册》上百页,翻阅耗时(3)咨询老师/学长,有时也得不到非常准确答案痛点:梦想:有一个AI助手,7×24小时随时解答校园问题项目描述技术关键词预期效果核心任务利用检索增强生成(RAG)技术+Dify无代码平台,搭建一个智能问答系统学生提问

→AI基于《学生手册》等权威文档

给出准确、可溯源的答案RAG、知识库、向量检索、嵌入模型、Dify项目名称:校园百事通——智答规章1243理解RAG(检索增强生成)的工作原理、优势及数学本质掌握向量数据库的基本概念及主流选型理解知识库分段(Chunking)策略对问答效果的影响了解Dify平台的功能架构学习目标——知识篇5认识嵌入模型(EmbeddingModel)的作用学习目标——能力与素养学习目标(能力目标+素养目标)Dify部署知识库向量应用参数调优测试评估独立完成Dify(Docker一键启动版)的本地部署熟练在Dify中创建和管理知识库,上传PDF文档并处理学会创建对话应用并关联知识库掌握通过调整分段大小、Top-K、重叠长度等参数进行调优具备对AI问答系统进行初步测试和评估的能力感受AI技术在解决实际信息查找问题中的便利性与高效性培养利用AI工具赋能学习和日常生活的意识激发对人工智能技术应用的兴趣和探索精神工作任务单(一览表)任务序号任务名称任务目标任务内容任务序号任务名称任务目标任务内容任务一Dify部署与知识库构建成功部署Dify,将核心校规文档转化为可检索的知识库本地部署Dify(Docker一键启动);上传《学生手册》PDF并处理任务二智能问答应用创建与基础测试创建对话应用,连接知识库,测试问答效果创建“校园百事通”应用;测试3~5个典型问题,记录准确性任务三问答系统调优与拓展通过调整参数优化效果,拓展问答范围调整分段大小等参数;添加更多校园文档;测试5个复杂问题标题:工作任务单知识储备——RAG是什么?(入门)检索:用户提问时,先从外部知识库中查找相关文档片段依赖训练时的“记忆”,可能产生“幻觉”(编造事实)无法获取最新或特定领域的知识传统LLM的问题:RAG的解决思路生成:将检索到的片段+问题一起交给LLM,基于事实生成答案检索增强生成(RAG)——让AI更可信三RAG的工作原理与优势(进阶)010203检索阶段将用户问题和知识库文档都转换为向量(通过嵌入模型)使用向量数据库(如Weaviate)计算相似度,召回Top-K个最相关片段生成阶段将检索到的片段作为“上下文”,与问题一同输入LLM。LLM基于提供的资料生成答案,可标注来源核心优势:请准确性高:减少幻觉,回答基于事实实时更新:只需更新知识库,无需重新训练模型可溯源:可提供答案的原文出处低成本:相比微调大模型,成本极低RAG两大阶段+核心优势1检索失败:问题表述与知识库文档语义不匹配,导致召不回相关片段三大局限2知识冲突:LLM的内部记忆与检索到的文档矛盾,模型可能忽略文档3长链依赖断裂:文档分段切断了跨段落的逻辑关系(如“申请条件”和“补充说明”分在两段)前沿优化方向:HyDE:让LLM先生成一个“假设答案”,再用假设答案去检索Reranking:初检后使用交叉编码器(如bge-reranker)重排序递归检索:对复杂问题进行多跳检索,先找主文档再找细节RAG系统的三大局限与优化方向RAG不是万能的——局限与前沿优化作用:存储文档片段的向量,支持快速相似度检索(近似最近邻ANN算法)主流向量数据库对比:数据库特点适用场景Weaviate开源,支持Graph结构,内置向量索引复杂知识图谱(如校园部门关系)Chroma轻量级,零配置,适合本地部署小规模知识库(<1万文档)Milvus分布式架构,支持百亿级向量小规模知识库(<1万文档)向量数据库——RAG的“索引引擎”向量数据库——RAG的“索引引擎”为什么需要智能问答系统?■作为新生,你想知道“奖学金申请条件”“宿舍违规用电后

果”“请假一周需要哪些材料”……■翻阅200页的《学生手册》?去教务处排队咨询?太慢了!场景引入■构建一个“校园百事通”聊天机器人,7×24小时自动回答校规校纪问题。■RAG(检索增强生成)——先检索知识库,再让AI基于资料回答AI解决方案■使用Dify平台,基于《学生手册》PDF,搭建属于你自己的校园问答系统。本节课任务AI智能问答效果

认识Dify什么是Dify?核心功能访问方式开源LLM应用开发平台,可视化操作,无需编程。功能模块:知识库、应用工作室、模型供应商、提示词编排等。知识库管理(内置RAG引擎)模型调用(对接数百种LLM)提示词编排(可视化设计)应用类型多样(对话、工作流、智能体)官方网站:https://cloud.dify.ai/本地服务:http://IP地址/apps“简单、克制、迭代迅速”——DifyCEO路宇DifyvsLangChain&能做什么维度DifyLangChain技术定位无代码平台(完整方案)开发库(需编程)上手难度低(拖拽配置)高(需Python)RAG集成度内置优化引擎需手动组合组件适用人群非技术人员、快速原型算法工程师、深度定制创业:快速构建MVP,获得投资集成已有业务:通过RESTfulAPI解耦业务与Prompt企业级LLM网关:中心化监管个人探索:实践Prompt工程、Agent技术Dify能做什么:操作系统所需软件macOS10.14+DockerDesktop(分配≥2vCPU+8GB内存)Windows(WSL2)DockerDesktopLinuxDocker19.03++DockerCompose1.28+CPU≥2核RAM≥4GB磁盘空间≥20GB最低系统要求:Dify本地部署前的准备(任务一)任务实施——系统要求与准备前置检查:确保DockerDesktop已安装并运行Dify一Docker文件下载1、访问Dify官方网站https://dify.ai/zh2、单击其中的“Dify社区版”3、跳转到GitHub下载Dify的开源代码压缩包Dify一键部署+访问本地部署Dify:快速启动指南01克隆指定版本源码02进入目录并配置环境03启动所有容器服务04启动所有容器服务gitclone/langgenius/dify.git--branch0.15.3cddify/dockercp.env.example.envdocker-composeup-d•等待2min(状态Started)•访问:localhost/install常见问题:启动失败/端口被占用当提示80/443端口被占用时,请修改配置文件dify/docker/.env中的端口映射。例如将默认的80:80修改为8080:80,保存后重新执行启动命令即可。知识库上传-步骤截图

知识库上传步骤详解提示:若使用官网版请确保上传文件小于15M智能问答应用创建与基础测试步骤:工作室>创建空白应用>聊天助手>模型对话问答1、添加知识库进行问答

大模型问答加入知识库与不加入知识库回答效果有什么区别?2、知识库为什么会影响回答效果?3、加入提示词进行问答

思考提示词起到什么作用?实践及思考4、知识库是如何向量的,大模型是如何召回数据的?实践与交流知识库分段大小(ChunkSize)的初步理解1、调整分段大小(ChunkingSize)参数通常,Dify会提供默认值,可以尝试将其设置为不同的数值,例如200、500、1000(字或字符)。分段大小决定了文档被切割成小块(chunk)的粒度。较小的分段可能更精确地匹配短问题,但可能丢失上下文;较大的分段包含更多上下文,但可能引入噪声。2、调整分段大小后,可通过“精确率-召回率”框架评估效果。3、精确率:AI回答中与知识库匹配的内容占比(越高越好)4、召回率:知识库中相关内容被AI引用的比例(越高越好)。尝试对不同分段后的效果通过大模型进行问答;知识库背后的秘密——文档解析链路网络平台索引方式对比——经济vs高质量对比项经济模式高质量模式检索原理关键词匹配向量语义检索是否需要嵌入模型否是适用场景文档量少(<100页)复杂文档、近义词匹配计算成本零成本消耗GPU/CPU校园规章建议不推荐优先选择为什么“高质量模式”能识别“奖学金”和“资助政策”是相关的?基础测试——向“校园百事通”提问每位同学在实训报告中记录至少3个问题的AI回答及初步评价。

生成一个测试问题(请同学们逐一尝试)奖学金申请的条件是什么?情境一宿舍要求主要有哪些?情境二学生请假需要提交什么材料?情境三违规使用电器会有什么后果?情境四情境五AI场景境AI场景AI场景AI场景五1、AI的回答是否准确(与《学生手册》一致)?2、是否完整(覆盖关键步骤)?3、语言是否流畅自然?问答系统调优——目标与评估为什么要调优?初步测试发现:回答不完整、混入无关信息、近义词匹配差调优目标:提高精确率:回答中与知识库匹配的内容占比提高召回率:知识库中相关内容被引用的比例评估示例:知识库共有10段相关内容AI回答了8段相关+2段无关

精确率=8/10=80%,召回率=8/10=80%四大调优参数速查表设计意图一

核心调优参数一览参数作用校园场景推荐值调优逻辑分段大小(ChunkSize)控制文档切块粒度500~800字符过小丢失上下文;过大混入噪声Top-K检索最相关的K个片段3~5K太小召回低;K太大精确低重叠长度(Overlap)相邻分段共享字符,防止断裂100~200字符长文档需要较大重叠元数据过滤用标签限定检索范围按类别标记(如“奖学金”)提高检索效率,避免跨类干扰课堂活动:分组讨论——如果学生问“宿舍违规用电后果”,哪个参数影响最大?动手实践

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论