人工基础导论 8

第12章智能体综合应用以Coze为例：从对话机器人到小说转视频助手目录01智能体与Coze平台02项目一：AI对话机器人03项目二：智能小助手04项目三：小说转视频助手05思考与练习PART01智能体与Coze平台什么是智能体（Agent）从"能说"到"能做"想象一下，你的老板让你做一个PPT，你需要查资料、逐字逐句地写和修改。而有了智能体，你就是老板的角色，只需要告诉智能体："根据这个议题，写一篇稿子，做一个PPT"，它会自己拆解任务，先去搜索资料、提取关键信息、设计图表、排版PPT，最后把完整成果交给你。智能体的定义智能体是基于大语言模型构建的自主智能系统，通过感知层、决策层和行动层的三层架构实现从自然语言理解到任务闭环的完整能力。它不是靠死记硬背，而是会理解目标、自主规划步骤、调用各种工具，并在过程中不断调整。三层架构感知层：理解自然语言和上下文，进行记忆与分析决策层：基于大模型进行推理行动层：负责API调用，将AI能力接入业务流（如发邮件、生成报表）扣子（Coze）——智能体工厂低代码可视化开发平台扣子相当于一个"智能体工厂"。你可以通过扣子创建一个"专业人才团队"，从而更高质量地完成任务。以低代码可视化方式降低构建门槛，通过内置插件体系、技能组件和知识库管理，支持开发者快速集成多源工具和数据。部署渠道微信公众号、飞书、企业微信等多渠道无缝部署海外版：GPT-4o、GPT-4Turbo、Gemini等国内版：豆包、Kimi、百川、通义千问、GLM-4等核心优势将AI应用上线周期从数周压缩至数小时，同时提供企业级权限管理和私有化部署能力。提示词工程什么是提示词？提示词是向大模型发出的指令，用于指定具体任务。例如"请描述这张图片中的场景"。在需求复杂时，仅靠简单描述往往难以取得良好效果。优质提示词的结构要素角色设定：赋予AI一个具体的身份和能力角色技能：明确AI需要具备的能力任务背景与目标：描述任务的上下文和期望结果完成判定条件：定义什么算"做完了"任务限制条件：设定边界和约束输出格式：规定回复的结构输出长度：控制回复的篇幅复杂场景有效的提示词往往篇幅较长、结构复杂，要求大模型具备更强的适应与灵活应变能力。PART02项目一：AI对话机器人12.1旅行翻译智能体创建一个旅行翻译智能体我们来创建一个旅行翻译智能体。在"人设与回复逻辑"中，要求智能体是一位有趣且经验丰富、掌握多国语言的驴友。四大技能技能1：将汉语翻译成英语（优先使用旅行常用语、日常口语）技能2：将英语翻译成汉语（贴合口语习惯，避免直译生硬）技能3：识别图片中的英语并翻译成汉语技能4：告知用户相关场景下的风俗习惯和注意事项可调配置人设与回复逻辑可以按照你的想法进行修改，也可以选择不同的大语言模型和添加相关旅行搜索的插件。提示词示例——旅行翻译智能体人设与回复逻辑#角色你是一位走遍全球50+国家、经验老道又风趣幽默的资深驴友，一口流利汉语+地道英语，还通晓多个英语国家的风土人情，自带'旅行搭子+专业翻译'双重buff。#技能1：汉语翻译成英语1.游客输入任意汉语内容，自动触发翻译2.准确传达汉语原意，优先使用英语日常口语3.回复格式：汉语原文→英语译文→驴友小提示#技能2：英语翻译成汉语1.精准传达英语原意，贴合口语习惯2.涉及紧急信息、注意事项需重点标注#技能3：图片中的英语翻译成汉语#技能4：当地风俗习惯和注意事项#限制条件1.仅处理翻译和风俗相关需求2.杜绝翻译错误和歧义完整提示词约41行，涵盖角色设定、4项技能、回复格式和限制条件。PART03项目二：智能小助手插件系统——大模型的"万能外脑"什么是插件？插件是大模型的"万能外脑"，能够扩展大模型的能力。大模型不会发邮件、调用地图导航等，但可以通过调用邮件插件和地图插件，使大模型从"提建议者"变成"执行者"。插件与工具的关系一个插件包含若干工具（API），每个工具有特定的功能。例如剪映小助手插件提供了add_audios（批量添加音频）、add_captions（批量添加字幕）等工具。工具的参数输入：0个或多个参数（带*号为必填项）支持类型：String/Integer/Float/Boolean/Array/Object/Enum输出：函数返回值，一个或多个输出项异常处理：超时、重试及异常处理方式工作流节点——10种节点类型（上）工作流是什么？工作流是一系列预设的、自动执行的步骤，每个步骤叫作节点。通过"拖、拉、拽"模块化与可视化的方式，对插件、大语言模型、代码块等功能进行组合，实现复杂、稳定的业务流程编排。（1）大模型节点选择不同版本大模型（豆包、DeepSeek、Kimi），通过输入和提示词对前面节点进行处理。支持单次执行和批处理。（2）工作流节点在当前工作流引用已发布的其他工作流，相当于函数调用。（3）业务逻辑节点代码：支持Javascript和Python，可通过AI自动生成选择器：可视化双分支if判定意图识别：识别用户输入问题的意图，分流到不同分支循环：重复执行任务直到满足条件批处理：批量处理同一类型数据变量聚合：汇总多个分支的输出结果异步任务：处理耗时操作工作流节点——10种节点类型（下）（4）数据库节点对数据库中的数据进行查询、插入、修改、删除等操作。（5）知识库节点当搜索内容是内部的、不在网络公开时使用。如公司知识库，可用于准确且专业的回复。（6）图形处理节点图像生成、抠图、画质提升、画板、提示词优化等。（7）音视频处理节点视频生成、视频抽帧、视频提取音频。（8）组件节点HTTP请求、问答、文本处理、JSON序列化/反序列化。（9）会话节点+（10）消息节点会话管理（创建/修改/删除/查看）和消息管理（插入用户/模型消息），建议交叉插入一问一答构成一轮对话。智能小助手——需求分析与工作流功能规划功能分析：智能小助手是一个博览古今、且准确有深度的智能体。

需求分析：

•普通问题检索：通用大模型（如豆包）

•特定领域：调用知识库（如四大名著原文）

•图像生成：图形生成工具

•整体采用工作流方式搭建

工作流包含8个核心步骤：

①开始→②意图识别→③插件检索

④图像生成→⑤知识库检索→⑥大模型润色

⑦大模型搜索→⑧结束步骤①②：开始节点与意图识别5类意图分支①开始节点：系统预设节点，接收用户问题作为原始输入（必填项input）。

②意图识别：对用户输入问题进行理解，根据不同类型走不同分支：

•古诗词→poem_search插件

•书籍→search_books_online插件

•生成图像→图像生成工具

•知识库→知识库检索+大模型润色

•其他→大模型搜索步骤③：插件配置poem_search插件在插件中搜索"古诗词"，点击"添加"。设置参数：指定输入为开始节点中的input变量。search_books_online插件在插件中搜索"书籍"，添加search_books_online插件。变量设置同样指定输入为开始节点中的input。插件参数设置要点输入参数需与上游节点变量对应可以引用前序节点的输出作为当前节点的输入多个插件可以并行工作在不同分支上步骤④⑤⑥：图像生成、知识库检索与总结④图像生成选择"图像处理"中的"图像生成"节点。⑤知识库检索选择"知识库&数据"中的"知识库检索"，点击"目标知识库"。扣子提供多种方式创建知识库，本文采用"文本格式"上传了红楼梦原文作为私有知识库。⑥知识库检索结果总结通过知识库检索后，用大模型进行润色。设定系统提示词，以知识库为主要来源，不足时用通用大模型搜索并给出提示。提示词——知识库问答助手步骤⑥系统提示词#角色你是一个专业的问答助手。#工作流程##第一步：理解问题-理解用户的问题{{input}}，识别其关键信息##第二步：生成答案-基于检索出来的信息{{output}}，生成准确全面的答案#约束-仅回答与问题相关的内容-以知识库为主要来源-如果知识库信息不足，使用大模型搜索并给出提示：'没有从知识库中检索到有效结果，此答案由通用大模型生成。'使用{{input}}和{{output}}引用前序节点的变量，实现动态内容填充。步骤⑦⑧：大模型搜索与结束节点⑦大模型搜索其他情况（意图识别中的"其他"分支）采用大模型搜索。添加"大模型"节点，在"技能"中添加额外插件增强搜索能力，并设计专业的系统提示词。搜索提示词要点角色：专注于搜索场景的专业大模型技能：多维度全量检索、精准核验筛选、缜密逻辑整合、深度推导限制：不遗漏关键信息、不输出未核验内容、保持中立客观⑧结束节点工作流的结束节点，将所有分支的输出汇集到结束节点，统一输出参数格式。工作流测试与智能体搭建试运行验证测试方法：点击"试运行"，在input中输入问题，观察意图分析是否正确选择了分支。

例如输入"生成一张春天百花争艳的图片"，可以看到经过意图分析选择了"图像生成"分支。

智能体搭建：

•添加创建好的工作流

•设定智能体插件

•设计人设和业务逻辑

•幽默风趣的回复风格提示词——智能小助手人设智能体人设#角色你是一个超厉害的智能问答小助手，知识渊博、幽默。##工作流程###第一步：准确调用插件或工作流检索信息1.当用户询问问题时，首选调用工作流'zhineng_xiaozhushou'检索信息。###第二步：回复输出1.将检索到的信息通过大模型润色后结构化输出2.不能去除检索信息中的链接3.采用幽默风趣的风格，适当加入表情符号##限制1.站在正确的政治立场上2.对色情、暴力、霸凌等话题绝不开口人设提示词定义了智能体的工作流程、回复风格和限制条件。PART04项目三：小说转视频助手12.3需求分析从"小说文字→画面→视频草稿"的自动化我们的大脑非常智能，在看小说文字的时候，脑子里会出现画面。本小节让智能体完成从"小说文字→画面→视频草稿"的自动化流转。适用人群小说创作者短视频内容制作者新媒体运营者核心流程根据一段小说文字，借助剪映小助手制作一个自动解析小说并生成视频的工作流。整个工作流包含32个节点，涵盖文本处理、图像生成、语音合成、视频编辑等环节。步骤(1)(2)：开始节点与输出信息(1)开始节点工作流的起始节点，需要传入string类型的小说文本。这是整个工作流的输入入口。(2)输出信息添加一个输出节点，提示用户"正在生成标题和视频分镜"。这是中间过程的友好提示，让用户了解系统正在工作。步骤(3)：大模型生成标题(3)大模型_标题#角色能够深入理解故事文案的情节、人物、场景，根据故事内容提炼出简洁精准的2字故事主题。##技能###技能1：生成2字主题1.从故事文案中提炼出能够精准概括故事核心的2字主题##限制-只围绕用户提供的故事文案进行主题提炼-只输出一个主题，主题必须为2字-直接输出主题，不要回复其他额外内容从小说文案中提炼2字故事主题，作为后续视频标题。步骤(4)(5)：文本拆分与段落处理(4)文本拆分对输入数据进行分段，方便大模型更好地理解小说内容。每个段落将对应后续的一张场景图片。(5)大模型_段落输入为文本拆分的输出，对文本数据进行处理，删除其中的无效段落（如换行符、仅包含标点符号的内容）。同时修正格式问题（如多余的引号等）。步骤(5)提示词——文本处理大模型_段落#角色你是一个小说推文工作流助手，能够对用户输入的文本数据进行处理，删除其中的无效段落。##技能###技能1：处理文本数据1.接收用户输入的文本数据{{input}}2.识别并删除无效段落（换行符、仅标点的内容）3.将处理后的文本数据返回4.修正格式：如"我……是谁"→我……是谁5.去掉多余符号如引号等清除无效段落和格式问题，为后续场景图片生成提供干净的文本。步骤(6)：大模型生成主角描述角色：小说主角概念艺术家根据输入的小说总文案（段落数组），为小说的主角生成一个基础的人物设定正面全身生图提示词。这个提示词将作为后续场景配图的人物基础。输出要求主角核心外貌特征：性别、年龄、发型/发色、眼型/瞳色、面部特征身材体型与常穿服饰风格核心气质/性格关键词标志性物品或小动作图片风格固定为"国漫/条漫"风格微调仙侠/古风→唯美古风国漫、水墨写意条漫都市/现代→时尚简约条漫、清新治愈国漫科幻/未来→硬朗科技感国漫、赛博朋克条漫悬疑/暗黑→深沉光影国漫、哥特风条漫步骤(8)：大模型生成图片提示词核心风格基础风格为"国漫风格，条漫风格"。根据推断的小说类型自动调整视觉表现，融入水墨元素、鲜明色彩、赛璐璐上色质感等。每个提示词必须包含场景（Scene）、人物（Characters）含外貌表情服饰关键动作（KeyActions）和环境设定（Setting）情绪氛围（Mood）和情感基调（EmotionalTone）构图与取景（镜头角度/景别）光照条件（戏剧性光照/柔和氛围光/体积光等）色调（大地色系/宝石色调/单色调等）叙事连贯性同一角色五官等细节需保持一致，整个序列应感觉像一个完整统一的视觉故事板。步骤(9)~(11)：主角图像生成与抠图(9)图像生成_主角首图输入参数为"大模型_主角描述"的输出"zhujiao_tishici"，生成主角的第一张图片。(10)cutout_主角首图抠人像画选择"抠图"功能，从主角首图中提取主角人像，用于后续视频中的角色展示。(11)输出_2输出中间过程信息，方便调试和跟踪工作流执行状态。步骤(12)~(14)：批处理与图像生成(12)批处理_生成图片和语音输入参数为"大模型_图片提示词"的"storyboard_prompts"，并重命名为"scenes"。批量处理每个段落对应的图片生成和语音合成。(13)图像生成选择"通用-Pro"大模型，输入参数为批处理的输出"desc_prompt"，为每个场景生成对应图片。(14)选择器——容错处理当图像生成器输出的图片为空（empty）时，进入备用分支：先进行提示词优化，再用优化后的提示词重新生成图像。确保每个场景都有图片输出。步骤(15)~(17)：提示词优化与变量聚合(15)提示词优化输入参数为批处理的"desc_prompt"。当原始提示词生成的图片质量不佳或为空时，对提示词进行优化改进。(16)图像生成_1对优化后的提示词进一步生成图像，作为备用图片。(17)变量聚合选择器的另一条分支连接至变量聚合模块，对两个分支（正常生成vs优化后重新生成）的输出进行聚合处理，确保最终只有一个有效图片输出。步骤(18)(19)：语音合成与音频时长(18)speech_synthesis_语音合成其中text为必填项，对应批处理输出的"cap"变量（即每个段落的文本内容）。将文字转换为语音音频。(19)get_audio_duration_获取音频时长输入数据为语音合成的输出"link"变量（音频文件链接）。获取每段音频的时长，用于后续视频时间轴的计算。为什么需要音频时长？每张场景图片的显示时长需要与对应语音的时长匹配，这样观众在观看视频时，图片和语音才能同步。步骤(20)：代码整合数据整合批处理输出的所有数据image_list：场景图片列表link_list：音频链接列表duration_list：音频时长列表storyboard_prompts：故事板提示词大模型_标题的输出：视频标题cutout_主角首图抠人像画的输出：主角人像数据输出变量ret代码将上述数据整合为结构化输出，包含audioData、imageData、roleImgData、kcAudioData、bgAudioData、text_captions、text_timelines、title_list、title_timelines等字段，供后续剪映工具节点使用。步骤(21)~(23)：创建草稿与添加素材(21)create_draft_创建草稿调用剪映小助手的创建草稿功能，获取draft_id。这是后续所有视频编辑操作的基础。(22)add_audios_批量添加音频输入：代码整合数据的"audioData"+创建草稿的"draft_id"。将所有语音文件批量添加到视频草稿中。(23)add_images_添加场景图输入：创建草稿的"draft_id"+代码整合数据的"imageData"。将所有场景图片添加到视频时间轴。步骤(24)~(26)：添加主角、音效与背景音乐(24)add_images_主角首图输入：创建草稿的"draft_id"+代码整合数据的"roleImgData"。将主角人像图片添加到视频开头。(25)add_audios_开场音效输入：代码整合数据的"kcAudioData"+创建草稿的"draft_id"。添加开场音效增强视频氛围。(26)add_audios_背景音乐输入：代码整合数据的"bgAudioData"+创建草稿的"draft_id"。添加背景音乐提升视频观感。步骤(27)：代码——关键帧数据关键帧动画代码importjsonasyncdefmain(args:Args)->Output:params=args.paramssegment_ids=params['segment_ids']times=params['duration_list']seg=params['segment_infos']keyframes=[]foridx,seg_idinenumerate(segment_ids):ifidx==0:continue#跳过第一张audio_duration=int(float(times[idx]))cycle_idx=idx-1ifcycle_idx%2==0:#偶数：1.0→1.5start_scale,end_scale=1.0,1.5else:#奇数：1.5→1.0start_scale,end_scale=1.5,1.0keyframes.append({"offset":0,"property":"UNIFORM_SCALE","segment_id":seg_id,"value":start_scale})keyframes.append({"offset":audio_duration,"property":"UNIFORM_SCALE","segment_id":seg_id,"value":end_scale})return{"keyFrames