大模型技术与应用课件 第4章 基于FastGPT平台的知识库微信机器人

第4章

基于FastGPT平台的知识库微信机器人CONTENTS目录01

概述02

设计方案03

模型详解04

详细步骤05

常见问题及解决方案06

小结01概述背景介绍

微信知识库机器人的定义微信知识库机器人是在微信平台运行，通过聊天界面为用户提供知识信息服务，能回答问题、提供帮助建议的机器人。

发展背景：技术进步驱动人工智能与自然语言处理技术的进步，使机器人能更准确理解和回答问题，为微信知识库机器人发展奠定技术基础。

发展背景：需求增长推动智能客服和智能助手需求增加，互联网时代用户习惯在线获取信息服务，机器人成为满足需求的高效方式。

微信平台的市场基础微信作为中国最大社交平台之一，拥有庞大用户群体，其开放性和丰富功能为机器人开发提供广阔市场和有力支持。开发意义

对用户：高效便捷获取信息用户通过微信直接与机器人交互，无需下载额外应用或浏览网页，节省时间和精力，便捷获取所需知识信息。

对用户：提升体验满足需求机器人全天候服务，不受时间地点限制，满足用户随时随地获取信息需求，还能提供定制化服务，提高用户满意度。

对企业和组织：提升运营效率自动化回答常见问题、处理简单任务，释放人力资源，让人员集中精力处理更复杂重要工作，提升竞争力和服务水平。目标与部署简介

案例目标利用FastGPT平台的大模型调用能力，创建能理解并回答用户问题的微信机器人，通过微信平台提供知识查询服务。

技术选型与功能规划技术上采用FastGPT作为后端知识库和语言处理引擎，结合其他框架接入微信；功能包括用户交互、知识检索和答案生成。

开发与部署维护流程开发流程以FastGPT为核心完成机器人开发；部署与维护阶段将应用部署到微信平台，监控运行状态，定期更新知识库和优化性能。02设计方案方案一：Ollama+FastGPT+通义千问01Ollama模块：大模型部署引擎Ollama是跨平台AI框架，支持Linux、macOS、Windows系统快速部署大语言模型，为知识库系统提供底层模型运行支持。02FastGPT模块：知识库构建核心基于Ollama调用大语言模型，实现知识库的高效构建与训练，提供准确的信息查询服务能力。03通义千问模块：微信对接与交互实现将知识库系统与微信平台对接，用户通过微信聊天界面即可查询知识；采用qwen3-vl:4b语言模型和nomic-embedtext向量模型，支持视觉理解与语义检索。方案二：FastGPT+在线模型+通义千问

01FastGPT模块：在线模型调用中枢利用FastGPT框架调用在线大语言模型，实现知识库的快速开发、训练与推理，具备强大的语言理解和生成能力。

02在线模型：动态优化与扩展支持作为FastGPT基础，支持模型动态更新与优化，具备灵活性和可扩展性，可随时适配用户需求与环境变化。

03通义千问模块：微信服务集成同方案一，负责将FastGPT构建的知识库系统接入微信平台，实现用户与机器人的便捷交互，提供智能信息服务。03模型详解qwen3-vl:4b

发布背景与模型类型qwen3-vl-4b是阿里通义于2025年10月15日发布的开源模型，属于密集型视觉理解模型。

高效运行与功能继承通过优化显存占用实现高效运行，完整继承Qwen3-vl全系列功能，每个参数规模均提供Instruct与Thinking两个版本以适应不同应用场景。

部署领域与特点聚焦端侧部署领域，在保持高效视觉理解能力的同时平衡运行效率与成本控制，可适配集成AI视觉功能的各类智能终端设备。nomic-embed-text模型特点与性能表现是第一个开源、开放数据、开放训练代码的文本嵌入模型，上下文长度8192，在短文本任务中表现优异，长文本任务胜过OpenAIAda-002和text-embedding-3-small。许可证与应用服务采用Apache-2许可证发布模型权重和训练代码，通过NomicAtlasEmbeddingAPI用于生产工作负载，NomicAtlasEnterprise提供安全合规的企业级服务。训练方法与项目运行原理训练采用多阶段对比学习方法，包括自监督预训练、对比无监督训练和对比微调。在本项目中用于文本嵌入、语义搜索、支持检索增强生成（RAG）等，通过将文本转化为向量表示提升机器人理解和回答能力。OneAPI在线模型

OneAPI的作用与支持范围OneAPI是跨平台API，为高性能计算提供统一编程接口，支持C++、Python、MATLAB等多种编程语言和工具，可加速科学计算、数据分析、机器学习和人工智能等领域。

大模型代理的功能大模型代理是处理大规模模型训练和推理任务的特殊代理，能有效管理和调度计算资源，优化内存使用和计算性能，加速模型训练和推理过程。

大模型代理实现原理包括数据切分和分发、任务调度和资源管理、通信优化、内存优化、可扩展性等方面，综合优化分布式计算资源管理和调度以提高效率。04详细步骤Ollama+FastGPT+通义千问方案实施步骤（一）Ollama下载与安装进入Ollama官网，根据自身计算机系统（如Windows）下载对应版本的Ollama，安装完成后进入Windows命令窗口运行ollama命令验证安装成功。qwen3-vl:4b模型获取与运行在Ollama官网Models页面搜索qwen3-vl模型，设置参数为4b，复制运行代码，在命令行窗口运行该代码，自动下载并运行模型。nomic-embed-text模型获取与运行在Ollama官网Models页面搜索nomic-embed-text模型，复制运行代码，在命令行窗口运行该代码，完成模型的拉取。Ollama+FastGPT+通义千问方案实施步骤（二）

FastGPT目录创建与文件准备在系统中新建fastgpt目录，下载docker-compose.yml和config.json两个文件到该目录中。

config.json文件配置修改打开config.json文件，在llmModels属性内添加gemma:2b模型配置代码，在vectorModels属性内添加nomic-embed-text模型配置代码。

FastGPT容器启动与访问进入fastgpt目录的命令行窗口，执行docker-composeup-d命令（Windows系统需先打开DockerDesktop）启动容器，随后打开浏览器访问localhost:3001进入本地OneAPI首页。Ollama+FastGPT+通义千问方案实施步骤（三）FastGPT知识库创建与数据处理访问localhost:3000登录FastGPT（默认账号密码root1234），新建知识库，选择gemma作为文本处理模型、nomic作为索引模型，导入文本数据集并上传准备好的文本，数据处理阶段选择直接分段，等待索引完成。通义千问依赖安装与配置创建知识库应用，新建Qwen文件夹，下载通义千问案例到本地，进入Qwen目录命令行窗口使用pipinstall-rrequirements.txt命令安装依赖，复制config-template.json文件并重命名为config.json，修改config.json文件添加api_base和API密钥，将model改为gemma:2b。机器人运行与测试保存config.json文件，运行app.py文件，扫码登录机器人账号，在应用中关联知识库，询问微信机器人知识库内容进行测试。05常见问题及解决方案API报错与模型功能问题API报错页面可正常回复页面采用stream=true模式，API需同步设置stream=true测试。部分模型接口非stream模式，兼容性较差。其他模型无法进行问题分类/内容提取若日志提示JSONinvalid、notsupporttool等信息，说明模型不支持工具或函数调用，需设置toolChoice=false和functionCall=false，默认使用提示词模式；若配置正常无错误日志，可能提示词不适合，可修改customCQPrompt自定义提示词。页面崩溃与响应速度问题

页面崩溃的解决方法关闭翻译；检查配置文件是否正常加载，95%情况是配置文件错误，可按F12打开控制台查看空指针情况；检查API不兼容问题。开启内容补全后响应速度变慢的原因问题补全需经过一轮AI生成；会进行3-5轮查询，若数据库性能不足，影响明显。模型响应为空与知识库索引问题

模型响应为空（core.chat.ChatAPIiserrororundefined）检查key问题；国内模型可能命中风控；查看模型请求日志，检查出入参数是否异常。

知识库索引没有进度/索引很慢可对话但索引无进度：未配置向量模型（vectorModels）；不能对话也不能索引：API调用失败，可能未连上OneAPI或OpenAI；有进度但很慢：apikey不行，如OpenAI免费号一天上限200次。其他常见问题单击此处添加正文

Connectionerror网络异常，国内服务器无法请求OpenAI，检查与AI模型连接；FastGPT请求不到OneAPI（未在同一网络）。vectorModels修改不生效启动容器确保模型配置加载（日志或新建知识库时可见新模型）；刷新浏览器；已创建的知识库需删除重建，向量模型创建时绑定，不动态更新。提示insufficient_user_quotauserquotaisnotenoughOneAPI账号余额不足，默认root用户只有200美元，可手动修改。渠道找不到FastGPT模型配置文件中的model必须与OneAPI渠道中的模型对应。检查OneAPI是否配置该模型渠道及是否启用；是否部分模型未修改导致OneAPI未配置；是否使用旧向量模型创建知识库后更新了向量模型，需删除重建。06小结项目价值与技术认知人工智能技术直观化认知通过基于FastGPT平台的知识库微信机器人案例实践，用户可直观认识大模型在文本生成、语义理解等