医疗-疾控-生成式智慧驾驶舱建设方案0414

生成式智慧驾驶舱一、概述生成式智慧驾驶舱基于先进的认知大模型、语音听写、语音合成、虚拟形象合成等人工智能技术，为用户提供与驾驶舱自由互动的全新体验。平台不仅支持数据和知识的自由问答和智能分析，还能理解专业术语、进行互联网查询，并提供多模态交互体验，极大地丰富了在传染病监测预警场景下的应用。驾驶舱可通过提供SAAS服务，支持私有化部署和SDK集成等多种部署方式，可以根据具体需求和发展战略，选择最合适的服务模式。无论是需要全面托管的云服务，还是希望在本地部署以保持数据完全控制的私有化解决方案，驾驶舱都能提供相应的支持。二、功能架构生成式智慧驾驶舱作为一款先进的AI产品，其技术架构遵循了行业标准的多层架构设计，以确保系统的高可用性、可扩展性和安全性。同时生成式智慧驾驶舱提供了一个直观、响应式的界面，支持多种浏览器和设备，确保用户可以从任何地点、任何设备访问应用。以及支持虚拟人交互，提供沉浸式的用户体验。为了满足全球用户的需求，驾驶舱平台提供了多语言界面，方便不同语言背景的用户使用。生成式智慧驾驶舱平台产品架构如下：三、建设内容场景应用1.1应用驾驶舱页面大屏产品，依托于智能交互平台底座能力，为业务大屏赋予了生动的虚拟形象和直观的语音控制功能。在突发公共卫生事件监测预警场景中，页面大屏能提供包括指令交互、知识库查询等在内的全方位服务。用户只需简单地发出语音指令，即可轻松实现操作，享受一种无需接触、自然流畅的交互体验。这种设计可以极大地提升指挥者的掌控感，使人机互动更加便捷、高效。功能介绍：1.1.1智能演示虚拟数字人助手通过集成形象面板、语音转写面板、用户问题面板和答案面板，构建了一个直观且高度互动的用户体验界面，它不仅为用户交互增添了趣味性，而且极大地提升了用户与大屏互动的便捷性和直观性。语音转写面板作为系统的关键组成部分，负责实时将用户的语音输入精确转换为文本，为后续的语义解析和指令执行提供了基础。用户问题面板则清晰地展示了用户的询问，确保了交互的透明度和可追踪性。答案面板则提供了虚拟数字人助手经过智能处理后的回答，不仅以文本形式在大屏上呈现，还通过语音合成技术实现了语音播报，使用户能够以多种方式接收信息。为了实现与业务大屏的无缝集成，虚拟数字人助手允许用户根据具体需求配置形象和面板的位置、样式等，使用户能够进行个性化设置和优化，从而使得虚拟数字人助手能够更好地适应各种场景和用户偏好。这些特性共同确保了虚拟数字人助手在提供高效、专业服务的同时，也能保持高度的灵活性和可定制性。1.1.2语控大屏语控大屏是生成式智慧驾驶舱的一项重要功能，用户仅需发出简单的语音指令，便可轻松操控系统界面，无需再依赖传统的鼠标点击或键盘输入。语音控制技术的引入，不仅极大地提升了操作的便捷性，也为用户带来了更加流畅和自然的交互体验。在实际应用中，语控大屏能够迅速响应用户的语音命令，激活大屏自动操作，可以下达页面跳转、地图下钻、打开信号卡片、返回首页等操作指令。语音控制的交互方式大大降低了用户的操作难度，尤其适合在无法直接接触设备的情况下使用。语控大屏的设计充分考虑了用户的实际需求和使用习惯，旨在提供一个无缝且直观的操作体验。用户无需学习复杂的操作流程，只需像日常对话一样发出指令，系统便能智能识别并执行相应操作。1.1.3语音播报语音播报为用户提供了一种全新的交互体验。智能快答、大模型问答等产生的答案都可以通过语音播报的方式播放出来，极大地提升了信息传递的效率和用户的便捷性。在实际应用中，语音播报功能可以作为工作人员的辅助工具，根据语音指令，大屏可以自动进行语音讲解，支持关于当下疫情现状的播报与问答，针对症候群/传染病的病例和预警信号的分布及趋势分析，减轻工作负担，实现数字化操作，使场景更智能。这种智能化的语音播报服务不仅提高了信息传递的效果，还为用户提供了更加个性化和沉浸式的体验。1.1.4知识文档问答智慧驾驶舱的知识库问答功能融合了丰富的常见问题解答知识文档，支持对大屏相关指标的统计问题进行智能作答，针对总体运行、重点监测的病例和信号等数据，可以以指标卡、表格、统计图等展现形式进行回复。在展示数据的同时，大模型会对数据做总结性的趋势分析，给用户提供对数据的洞察和见解。平台提供多种格式的知识文档上传，上传到平台的知识文档平台会自动对文档做切片分割，用户也可以自己整理文档并根据标识符切割文档切片。完成文档切片后，用户就可以对绑定了该知识的大屏应用做知识问答。用户提问后，平台会检索知识文档，找到相关的文档切片，打包处理后，交给认知大模型来完成对知识问题的回答。当用户想一边回答问题，一边展示知识相关的视频或图片时，只需将素材上传到平台，并在相应的切片处绑定音视频资源，即可实现边答边看的交互效果。当用户在探索的过程中提出疑问，产品将立即启动智能检索机制，对知识库进行高效查询。系统通过精确匹配问题关键词与知识库中的信息，能够迅速锁定并提供最为贴切的答案。不仅显著缩短了用户等待答案的时间，而且大幅度提升了所提供信息的准确度和相关性。1.1.5大模型问答大模型问答功能依托于认知大模型的强大处理与分析能力，旨在为用户提供深度的问题解答服务。大模型问答功能特别适合处理那些复杂的技术问题或个性化的用户需求，能够有效地填补传统数据库在知识覆盖范围上的不足。当用户提出的问题超出了知识库的现有知识体系时，大模型问答功能便会启动其高效的知识检索和分析机制。它不仅能够基于大模型通识知识库，汲取其中的专业信息，还能够结合本地知识库中的具体数据，进行深入的分析与综合。通过这样的过程，大模型问答能够理解并把握问题的实质，进而提供详尽、准确的解释和建议。更为关键的是，大模型问答功能在处理特殊问题时，能够确保用户获得满意的答案。这得益于其深度学习和自然语言处理技术的应用，使其具备了高度的语义理解和推理能力。无论是面对技术性极强的难题，还是面对个性化程度高的用户需求，大模型问答都能够灵活应对，确保每一个问题都能得到专业而精准的解答。1.1.6智能打断智能打断功能赋予智慧驾驶舱以类似于人类的应变能力，使其能够在展示或解说过程中，敏感地捕捉并响应观众的即时反馈或提问。用户在聆听讲解时若需深入了解某个特定主题，或是对所接收信息存疑，无需等待讲解结束，仅需通过语音命令进行打断，系统便能迅速作出反应，中断当前解说流程，即刻针对用户的疑问或需求提供详细解答。智能打断机制的运用，极大地丰富了用户体验，打破了传统语控大屏场景中信息的单向流动模式，实现了真正意义上的双向交流。它不仅使内容传递更为高效精准，还让整个交互过程变得更加生动和个性化，从而显著提升了信息传递的针对性及其在实际应用场景中的效果。1.2数据问答虚拟人问答功能专门设计来提供高效、准确的信息响应。通过构建问答数据库，能够覆盖广泛的常见问题，确保用户咨询得到及时且专业的答复。利用先进的语音识别技术来捕捉用户的询问，并借助语义理解能力，确保即使在复杂的语言环境中也能准确把握用户的意图。此外，通过虚拟人形象播报问答内容，为用户提供了一种直观的信息获取方式。虚拟人形象的播报不仅使得信息传递更加生动，也增强了用户的互动体验，使得问答服务更加人性化和易于接受。功能介绍：1.2.1知识库问答用户可以在平台上自由配置传染病监测预警的业务指标数据，包括指标的定义和计算口径，配置完成后，用户可以对绑定了该指标的大屏应用提问关于指标术语的相关问题，平台会快速检索到相关指标，并让认知大模型完成对术语问题的准确回答。知识库问答能力的主要功能特点有：(1)指标数据快速问答大模型内置常用指标计算逻辑：如同环比、极值、均值、中位值、排序、占比等，简化指标计算过程，即问即答。(2)自适应图表实时输出根据结果数据形态自适应选择图表类型，实时输出图表。语音切换不同统计维度，秒级输出结果。(3)语音指令调度支持常用语音指令对页面执行下钻、详情、返回、切换等调度操作。(4)知识问答能力支持对组织文化、发展历程、领导关怀、产品介绍等专业知识自学习，实现智能问答。支持QA对的固定内容问答。(5)大模型生成定制欢迎词根据参观嘉宾或展示内容配置欢迎语、暖场语，支持固定脚本播报。(6)虚拟人自由走动虚拟人可根据讲解背景，在屏内进行自适应的走动。支持多屏联动，虚拟人跨屏走动。1.2.2大模型问答认知大模型，是以中文为核心的新一代认知智能大模型。当用户不熟悉具体数据，问的问题比较含糊时，驾驶舱也会根据应用绑定的数据，给出最合适的数据内容，帮助用户获得想要的结果。当大模型无法用数据和知识回答用户问题，会交给大模型聊天兜底，做到有问必答。大模型能够在与人自然的对话互动的过程中，具有以下多种能力：（1）内容回复能力：可以进行多风格多任务长文本回复，例如邮件、文案、公文、作文、对话等；（2）语言理解能力：可以进行多层次跨语种语言理解，实现语法检查、要素抽取、语篇归整、文本摘要、情感分析、多语言翻译等；（3）知识问答能力：可以回答各种各样的问题，包括生活知识、工作技能、医学知识等；（4）推理能力：拥有基于思维链的推理能力，能够进行科学推理、常识推理等；（5）对多元能力实现融合统一，对真实场景下的需求，具备提出问题、规划问题、解决问题的闭环能力，可以持续从海量数据和大规模知识中不断学习进化，这些能力使得大模型能够在多个行业和领域发挥越来越重要的作用。1.2.3智能打断虚拟人智能交互具备智能打断功能，允许在当前交互过程中，通过用户的特定指令或行为来优先处理新的请求。在多任务或高并发的交互环境中，智能打断功能确保了虚拟人能够灵活响应用户的紧急需求或新的问题，从而提供更加及时和个性化的服务。智能打断功能的设计考虑了用户在实际使用场景中可能需要即时介入的情况，例如在信息查询、客户服务中，用户可能在对话过程中突然想起新的疑问或需要立即解决的事项。智能打断允许用户通过简单的语音指令或其他预设的交互方式，来打断虚拟人当前的操作流程，转而处理新的请求。在实际应用中，智能打断功能使得能够在保持对话连贯性的同时，快速适应用户需求的变化，确保了交互的流畅性和有效性。智能打断功能进一步增强了虚拟人在多样化服务场景中的实用性和可靠性。1.3虚拟主播视频合成虚拟人视频合成允许用户将静态图片或动态视频作为背景，并在这些背景上叠加虚拟人形象进行内容播报。虚拟人视频合成通过结合图像处理和视频合成技术，为用户提供了一种创新的内容制作解决方案。用户可以通过选择一张静态图片或一段视频作为背景，然后让虚拟人在这个背景前进行播报，使得信息展示更加生动有趣。虚拟人视频合成功能支持用户对虚拟人的位置、播报内容、以及发音人的特征（包括音色、音量和语速）进行个性化设置。这种高度的可定制性为用户提供了更大的灵活性，使得视频内容能够更好地符合用户的个性化需求和特定场景的应用。在新闻播报场景中，虚拟人可以作为新闻主播，提供24小时不间断的新闻播报服务。它们能够根据实时新闻内容自动生成播报视频，提高新闻制作的效率和覆盖率。在企业宣传方面，虚拟人可以制作宣传视频，介绍公司文化、产品和服务，以新颖的方式吸引观众注意力，提升品牌形象和市场影响力。而在传染病监测的场景下，虚拟人可作为权威信息发言人，自动生成并发布疫情通报视频。它们能够实时解析最新疫情数据（如病例数、风险区域），合成多语言播报内容，确保信息传递的准确性和时效性，同时支持24小时滚动播报，缓解政府人力压力。通过这些应用场景，虚拟人视频合成功能不仅提升了信息传递的效果，还能够为用户提供更加个性化和沉浸式的体验。随着技术的不断发展，虚拟人视频合成功能有望在未来的多媒体内容制作中发挥更加重要的作用，为用户提供更加丰富多彩的服务。平台管理2.1智能交互管理系统智能交互管理系统是智能交互平台的核心，它以机器人为主体，整合了多项技能和功能，以提供全面的交互服务。用户可以使用文本或语音对驾驶舱的大屏应用提问，平台分析出结果后，会根据问题的不同，给出文本或数据图表。同时虚拟形象会像真人一样将分析结果朗读，自然而融入。整个问答过程，包含了文本、语音、视频等多种信息流交互模态，使得交互过程更加直观和生动。机器人通过智能交互管理系统添加常见知识库的能力，能够快速响应用户的常见问题。此外，系统调用语义匹配管理系统的能力，使得机器人能够理解和执行基于语义的控制命令，进一步增强了交互的自然性和便捷性。此外，机器人还可以被赋予大模型通用问答或大模型私域问答技能，这些技能使得机器人在处理用户问题时能够提供更加拟人化、精准的回答，使得机器人满足真实场景下的需求，对医学、疾控、日常等各领域知识进行广泛、深度的剖析。2.1.1机器人管理一个机器人相当于懂某类业务的机器人，能代替人工客服服务。机器人管理功能主要应用于不同人机交互场景的组合管理，包含了机器人创建、机器人知识配置、编辑和删除等功能。该模块可以根据现场的业务数据进行机器人创建，在机器人配置中进行知识配置，从而让机器人具备不同场景下的对话能力。2.1.1.1创建机器人创建机器人使用户能够根据自己的特定需求定制和创建个性化的机器人。以下是该模块的详细功能介绍：基本信息输入用户可以通过输入机器人的名称、上传机器人图片以及选择机器人类型等信息来定义机器人的基本属性。机器人类型选择支持用户根据机器人的实际用途选择合适的类型，例如问答机器人、语控机器人等，以满足不同的应用场景和用户需求。选择不同类型的机器人将决定其主要功能和交互方式，确保机器人能够提供最符合用户期望的服务。语控机器人：支持自定义问答过程中的话术，包括自定义退出话术、欢迎时应答话术、退出时应答话术、对话面板欢迎语话术、无答案默认话术，便于业务根据实际需求实时更新优化；支持为机器人自定义添加推荐命令，便于引导用户快速理解机器人的知识领域，提升语控交互体验。问答机器人：支持自定义问答过程中的话术，包括问答欢迎语、无答案默认话术，便于业务根据实际需求实时更新优化；支持为机器人自定义添加推荐问题，便于引导用户快速理解机器人的知识领域，提升问答交互体验。虚拟形象配置用户可以为机器人配置虚拟形象，这对于虚拟人交互场景至关重要，能够实现更加直观和自然的“面对面”交流体验。虚拟形象的配置需要与虚拟形象管理系统相结合，以确保形象的一致性和交互的流畅性，增强用户与机器人之间的互动效果。创建机器人模块的设计目标是提供一个灵活、易用的定制平台，使用户能够根据自己的业务需求和创意，快速创建出功能丰富、外观吸引人的机器人。通过这一模块，虚拟数字人助手能够更好地适应多样化的应用场景，提供高效、个性化的交互体验。2.1.1.2配置机器人2.1.1.2.1智能命令智能命令模块允许用户为机器人赋予特定的语控命令，以实现对大屏操作的语音控制。以下是智能命令模块的功能介绍：语控命令模板系统预置了多个大屏类通用命令模板，这些模板覆盖了常见的操作，如打开菜单、点击按钮等模拟鼠标键盘的动作。用户可以通过配置相关关键词，快速实现简单命令的实时上线，这显著降低了用户在语义技能配置上的技术门槛。复杂命令开发对于更复杂的大屏语控命令，需要业务大屏厂商配合开发特定的函数。通过系统提供的自定义命令可视化配置工具，用户可以将命令和特定函数快速关联，从而实现对大屏的精确控制。Chrome插件支持用户可以通过安装生成式驾驶舱谷歌Chrome插件，实现开箱即用的语控功能，便于业务的快速集成与拓展。智能命令模块的设计目标是提供一个高效、灵活的命令配置平台，使用户能够根据自己的业务需求，轻松地为机器人配置和管理语控命令。2.1.1.2.2智能问答智能问答模块为机器人提供了多样化的问答能力，包括知识库问答、大模型通识问答和大模型私域问答。以下是智能问答模块的功能介绍：知识库问答该模块允许用户从预设的知识库中选择特定目录进行知识绑定。用户可以针对特定场景或业务需求，选择相应的知识库目录，使得机器人能够提供准确的答案和信息。大模型通识问答利用先进的大语言模型，该模块能够处理广泛的通用问题，提供深入且准确的回答。它适用于处理各种开放性问题，能够结合大量数据和知识，为用户提供全面的信息。大模型私域问答在“文档管理”模块中，用户可以创建和管理一个专门的文档库，用于存储和管理私域问答中的本地知识库。该模块支持用户上传和管理私域数据，使得机器人能够访问和回答特定于企业或组织内部的问题。智能问答模块的设计目标是提供一个全面、灵活且高效的问答系统，使得机器人能够根据用户的具体需求提供定制化的答案。通过整合不同类型的问答能力，智能问答模块确保了机器人在各种交互场景中的专业性和实用性，为用户提供了丰富、便捷的服务体验。2.1.2.2.3热词管理热词管理模块是虚拟人问答中用于提升语音识别对特定词汇识别准确性的功能。该模块提供了一系列功能，以支持用户根据个性化需求上传和管理热词列表。以下是热词管理模块的功能介绍：热词上传模块为用户提供了一个便捷的上传入口，允许用户上传自定义的热词列表，以提升对专有词汇的识别准确率。这些热词可能包括人名、地名、产品名、公司名或特定领域的专业术语，它们在标准语音识别中可能难以被准确识别。灵活性和便捷性该模块的设计注重灵活性和便捷性，用户可以轻松地更新热词列表，以适应不断变化的业务需求和语言使用情况。热词的上传过程简单直观，无需复杂的技术知识，使得非技术用户也能轻松操作。热词管理模块的建设目标是提供一个用户友好的界面，使用户能够根据自己的需求快速定制和优化语音识别的功能。通过这一模块，能够更好地适应多样化的应用场景，提供高效、准确的语音识别服务。2.1.1.3机器人列表机器人列表模块用于管理和维护机器人的功能。该模块提供了一个集中的平台，使管理员能够有效地执行查询、编辑和删除等操作。以下是机器人列表模块的详细介绍：机器人查询模块提供高级查询功能，允许管理员通过机器人名称进行快速检索。支持模糊查询。机器人删除管理员可以通过该模块删除不再需要的机器人账户。删除操作会彻底移除机器人的所有信息和内容，确保不再占用系统资源，同时保持机器人列表的整洁。机器人管理机器人列表模块不仅支持查询和删除，还允许管理员进行其他管理操作，如编辑机器人的配置、更新权限设置或分配不同的服务角色。机器人列表模块的设计目标是提供一个全面、高效的管理工具，使管理员能够轻松地管理和维护机器人。2.2语义匹配管理系统语义匹配管理系统是智能交互平台中的一个关键组成部分，它专门负责处理和解析语义命令，以便机器人可以理解和执行用户的指令。首先，利用预训练的语义相似度模型（SimBERTv2）对意图进行向量化处理，这一步骤将意图转化为高维空间中的向量表示，以便更精确地捕捉和存储意图的语义信息。这些向量化的意图随后被存储在一个专门的向量数据库中，以便快速检索和比对。当用户发起输入时，我们同样使用Embedding技术将用户的输入转换为向量形式，并在向量数据库中进行高效检索。一旦检索到与用户输入向量高度一致的意图向量，我们便可以确认用户的输入已经成功匹配到了相应的意图。确认匹配后，系统将进入下一阶段，即实体提取和执行器执行。实体提取过程将从用户输入中识别出关键信息，而执行器则根据已识别的意图和实体信息执行相应的操作或服务。这整个过程的设计旨在提高系统的响应速度和准确性，确保用户能够获得满足其需求的精准服务。在实际应用中，语义匹配管理系统可以与智能交互管理系统紧密结合，为机器人提供强大的语义理解能力，使其能够更准确地执行基于语义的控制命令。这种整合不仅提升了用户体验，也为机器人在各种场景下的应用提供了更多可能性。2.3虚拟形象管理系统虚拟形象管理系统是智能交互平台中的关键组成部分，它专门负责创建和管理虚拟形象，以支持多种交互场景。随着数字化和智能化的快速发展，虚拟形象在大屏语控、问答交互和视频生产等场景中的应用日益增多，成为提升用户体验和品牌互动的重要工具。虚拟形象管理系统提供了一系列功能，包括大屏语控场景、问答交互场景、背景素材管理以及形象管理等。用户可以通过系统提供的可视化配置工具，自定义虚拟形象的面板样式，以及发音人的选择，实现个性化定制。在实际应用中，虚拟形象管理系统可以与智能交互管理系统紧密结合，使得机器人在执行任务时更加直观和生动。这种整合不仅提升了用户体验，也为机器人在各种场景下的应用提供了更多可能性，如语控大屏、虚拟人问答等。2.3.1场景管理2.3.1.1大屏语控场景大屏语控场景模块是为用户提供了一个定制虚拟助手交互样式的模块。大屏语控场景模块的设计目标是提供一个高度可定制的交互环境，使用户能够根据项目的需求和偏好，轻松地调整和优化大屏幕上的虚拟助手的视觉展示效果，能够更好地适应各种业务场景，如企业展厅、客户服务中心、疾病监控驾驶舱等，从而提供高效、直观且用户友好的交互体验。2.3.1.1.1配置语控场景配置语控场景模块为用户提供了一套直观的工具，用于创建和管理大屏中助手的样式。以下是该模块的详细介绍：基础设置用户可以为场景定义一个独特的名称，以便在多个场景中进行区分和管理。从预设的虚拟形象库中选择合适的形象或上传自定义形象，以个性化语控交互体验。上传实际大屏背景图片，确保虚拟形象和面板与大屏的视觉风格一致。输入场景描述，为项目团队提供额外的上下文信息。样式配置对命令面板、欢迎面板、问答面板和转写面板进行细节样式配置，包括颜色、字体、边距等，以符合设计需求。实时预览配置效果，确保样式设置满足预期的视觉效果。命令面板：自定义已命中的命令的文本样式，包括文本框高度、字体大小、行高、对齐方式、字体颜色和加粗。调整文本框的边距，优化面板布局。欢迎面板：自定义欢迎语和推荐命令的文本样式，包括文本框高度、字体大小、行高、对齐方式、字体颜色和加粗。调整文本框的边距，优化面板布局。问答面板：自定义用户问和机器人答的文本样式，包括文本框高度、字体大小、行高、对齐方式、字体颜色和加粗。设置问答内容的显示方式和边距。转写面板：定义转写面板的大小，选择颜色或图片填充。自定义转写文本的字体大小、行高和对齐方式。虚拟形象面板：调整面板大小、边框样式和圆角效果，选择颜色或图片填充。顶部状态栏：启用或禁用状态栏，并自定义头像、昵称和文本样式。收音图：启用收音图，并上传静止和动态图片，定义图片大小和边距。音色设置：选择不同的发音人，每个发音人都有独特的声音特点。调整音量大小和语速，以适应不同的听觉环境和用户偏好。调整语调，为语音输出赋予不同的情感色彩。配置语控场景模块的设计目标是提供一个高度可定制的界面，使用户能够精确地控制语控场景的每个视觉和听觉元素，从而创造出符合特定场景需求的交互体验。通过这一模块，语控大屏能够更好地适应各种业务场景，提供高效、直观且用户友好的交互体验。2.3.1.1.2语控场景列表语控场景列表提供用户能够有效地维护和组织他们的语控场景。以下是该模块的主要功能介绍：编辑功能用户可以轻松访问并修改已经保存的场景，包括场景的基本信息、样式设置、面板配置和音色设置等。编辑功能使得用户能够根据最新的需求或反馈，对场景进行更新和优化，确保场景始终保持最新状态。复制功能用户可以选择一个已有的场景并复制，创建一个全新的场景副本。复制的场景作为一个独立的新场景出现在场景列表中，用户可以在此基础上进行进一步的编辑和定制，而不影响原始场景。预览功能提供了一个直观的预览界面，展示语控场景在大屏上的完整效果。用户可以根据预览效果对场景进行视觉和功能上的调整，以确保最终的展示效果符合预期。删除功能用户可以通过删除功能移除不再需要的场景，保持场景列表的整洁和有序。删除操作确保用户只保留最相关和最常用的场景，简化了场景管理过程。语控场景列表使用户能够高效地进行场景的创建、修改、复制、预览和删除。通过这一模块，虚拟人问答产品能够更好地适应各种业务场景，提供灵活、个性化的语控交互体验。2.3.1.2问答交互场景问答交互场景是专门设计用于虚拟人交互界面样式定制的功能模块。它提供了一个直观且易于操作的可视化配置界面，使用户能够根据自己的项目风格和用户体验需求，对交互界面进行个性化设置。问答交互场景的功能旨在提供一个高度可定制的交互体验，使用户能够根据自己的需求和偏好，轻松创建和优化交互界面。通过这些功能，虚拟数字人助手问答产品能够更好地适应各种业务场景，提供高效、直观且用户友好的交互体验。2.3.1.2.1配置问答场景基础设置提供填写问答交互场景基本信息的功能，包括场景名称、终端分辨率、背景图片、Logo、欢迎语图片和场景描述等基础信息的配置。用户可以通过右侧配置上传相关图片后，在左侧实时预览调整后的样式。此外，用户还可以在左侧预览区域中拖拽虚拟形象的位置或者缩放虚拟形象大小，以达到更好的视觉效果。静默样式配置此部分用于配置静默状态（虚拟形象未被唤醒）时的展示样式，包括静默视频、唤醒提示词面板两部分。在配置的过程中，用户可实时预览配置效果，更好地理解和掌握细节样式的配置功能和效果。静默视频：支持用户手动生成静默视频，并进行预览。系统将基于大屏背景、Logo和虚拟形象的排版布局，自动生成一段虚拟形象静默状态的视频。唤醒提示词面板：支持用户自定义唤醒提示词的显示内容。在虚拟形象静默状态下，唤醒提示词将以文字的形式展示在大屏上，用来引导用户使用正确的唤醒词进行语音控制。支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义唤醒词面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义唤醒词面板的大小。用户可通过调色板选取唤醒词面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充唤醒词面板，图片仅支持.png/.jpg两种格式。支持用户自定义唤醒词面板里的文本样式。具体包括：文字大小、字体颜色、行高、对齐方式。用户可以自定义唤醒词文本框的内部边距值。通过调整边距，可以使唤醒词的文字区域显示在面板中合适的位置，提升整体美观度。问答面板配置此部分用于配置用户与机器人问答交互时显示的面板样式，包括用户问和机器人答两部分。用户问：支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义用户问面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义用户问面板的大小。用户可通过调色板选取用户问面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充用户问面板，图片仅支持.png/.jpg两种格式。用户可以自定义预览的文案内容，以实时查看预览效果；用户可以自定义用户问的文本样式。具体包括：字体大小、字体颜色、行高、加粗、对齐方式；用户可以自定义用户问文本框的内部边距值。通过调整边距，可以使用户问的文字区域显示在面板中合适的位置，提升整体美观度。机器人答：支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义机器人答面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义机器人答面板的大小。用户可通过调色板选取机器人答面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充机器人答面板，图片仅支持.png/.jpg两种格式。用户可以自定义预览的文案内容，以实时查看预览效果；用户可以自定义机器人答的文本样式。具体包括：文字大小、字体颜色、行高、加粗、对齐方式；用户可以自定义用户问文本框的内部边距值。通过调整边距，可以使机器人答的文字区域显示在面板中合适的位置，提升整体美观度。AI生成水印（AI生成水印面板的显示依赖于大模型相关配置）支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义AI生成水印面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义AI生成水印面板的大小。用户可通过调色板选取面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充转写面板，图片仅支持.png/.jpg两种格式。用户可以自定义水印中的文案内容，以实时查看预览效果；用户可以自定义水印的文本样式。具体包括：文字大小、颜色、行高、加粗、对齐方式；用户可以自定义水印文字到水印面板的内部边距。通过调整边距值，可以使水印文字显示在面板中合适的高度，提升整体美观度。转写面板配置实时转写面板用于展示用户的语音转写文字内容。它通过将用户的语音输入实时转换成文字形式，使用户能够轻松阅读和理解转写的内容。实时转写面板配置主要包括实时语音转写面板样式及位置、收音图样式及位置、实时转写文字样式相关配置。实时语音转写面板：支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义实时语音转写面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义实时语音转写面板的大小。用户可通过调色板选取转写面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充转写面板，图片仅支持.png/.jpg两种格式。收音图：支持配置收音图是否启用；启用情况下，支持用户上传收音图：收音图需要上传静止图和动态图两种状态的图片。静止图用于表示收音状态下，未识别到声音的图片。动态图用于表示收音状态下，识别到音波起伏的图片。系统会根据收音的状态自动切换显示收音图片。用户可从本地计算机中选择图片进行上传，图片仅支持.png格式。启用情况下，支持用户支持通过输入像素值的方式定义收音图的大小。启用情况下，支持用户配置收音图与实时转写文字之间的位置关系。用户可以自定义收音图显示在转写面板的顶部还是底部。通过调整边距值，可以使收音图显示在面板中合适的高度，提升整体美观度。转写文字：用户可以自定义预览的文案内容，以实时查看预览效果；用户可以自定义转写文字的文本样式。具体包括：文字大小、行高、加粗、对齐方式；用户可以自定义转写中、转写完成状态的字体颜色；用户可以自定义转写文字的外部边距。通过调整边距值，可以使转写文字显示在面板中合适的高度，提升整体美观度。多媒体面板支持配置多媒体面板是否启用；用户可灵活定义图片、视频类型的多媒体面板布局，可选择固定展示在机器人答面板中或者以独立面板单独存在。固定布局模式：用户可定义多媒体面板高度占据机器人答面板高度的最小比例；支持用户配置机器人面板中，多媒体与机器人答文字之间的位置关系。用户可以自定义多媒体在机器人答面板的内部边距。通过调整边距值，可以使多媒体显示在面板中合适的高度，提升整体美观度。独立面板模式：支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义多媒体面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义多媒体面板的大小。用户可通过调色板选取面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充转写面板，图片仅支持.png/.jpg两种格式。用户可以自定义多媒体在多媒体面板的内部边距。通过调整边距值，可以使多媒体显示在面板中合适的高度，提升整体美观度。三方面板支持配置三方面板是否启用；用户可灵活定义三方面板布局，可选择固定展示在机器人答面板中或者以独立面板单独存在；固定布局模式：固定布局下，用户可定义三方页面高度占据机器人答面板高度的最小比例；支持用户配置机器人面板中，三方页面与机器人答文字之间的位置关系。用户可以自定义三方页面在机器人答面板的内部边距。通过调整边距值，可以使多媒体显示在面板中合适的高度，提升整体美观度。独立面板模式：支持通过输入坐标轴或直接在画布上拖拽两种方式灵活定义三方面板的位置。支持通过输入像素值或直接在画布上拖拽两种方式灵活定义三方面板的大小。用户可通过调色板选取面板的填充背景色，也可以通过调整RGB值来自定义颜色。允许用户为面板添加圆角效果，支持设置圆角的半径大小。允许用户调整面板边框线度和边框颜色。用户可通过自行上传图片来填充转写面板，图片仅支持.png/.jpg两种格式。用户可以自定义三方页面在三方面板的内部边距。通过调整边距值，可以使三方页面显示在面板中合适的高度，提升整体美观度。音色设置提供丰富的音色配置选项，包括发音人选择、音量调节、语速控制和语调设置等。这些功能可根据具体的场景需求，定制出最适合的语音交互体验。试听文本：用户可以通过自定义试听文本来测试音色声音，以获得最佳的音色效果。发音人选择：支持用户选择不同的发音人（发音人的选择需要选购多个发音人）。每个发音人都具有独特的声音特点，可以满足不同用户的需求。音量：用户可以根据需要调整音量大小。语速：用户可以根据需要调整语速，从慢到快自由选择。语调：用户可以通过调整语音输出的音调高低来改变语音的情感色彩和表达方式。通过增加或降低音调，用户可以为语音赋予不同的情绪和语气，使其更加生动有趣。2.3.1.2.2问答场景列表问答场景列表模块是用于管理和维护问答交互场景的关键功能。使用户能够创建、编辑、复制、预览和删除问答场景，确保每个场景都能满足特定的交互需求。以下是该模块的详细介绍：允许用户对已保存的场景进行修改，包括更新场景信息和样式配置，确保场景始终保持最新状态。用户可以选择特定场景并复制，创建一个全新的场景副本，以便进行进一步的编辑和定制。提供场景的整体效果预览，用户可以根据预览结果进行调整和优化，以确保场景的展示效果符合预期。问答场景列表模块的设计目标是提供一个直观、易用的场景管理界面，使用户能够高效地管理问答交互场景。2.3.2素材管理2.3.2.1背景素材背景素材模块为用户提供了一个全面的背景管理解决方案，以支持虚拟形象视频合成和虚拟人智能问答中的视觉效果需求。以下是背景素材模块的功能介绍：上传背景模块支持用户上传图片或视频格式的背景素材，以适应不同的视觉展示需求。用户可以为上传的背景素材添加基本信息，包括背景名称和描述，以便于管理和识别。支持上传不同比例的背景素材，确保背景与虚拟形象的显示比例协调一致。系统会自动对上传的背景进行规范性校验，确保素材的质量和兼容性。背景素材管理提供一个背景列表界面，支持自动识别上传背景的格式、大小和分辨率，方便用户进行管理和选择。允许用户对已上传的背景信息进行编辑，包括更新背景上传、名称和描述等信息。支持用户对背景进行删除操作，包括单个背景删除和批量选中后删除，以维护背景库的整洁。已上传的背景支持在线预览功能，用户可以实时查看背景效果，确保素材符合预期。提供背景查询功能，用户可以根据背景名称、比例等字段进行模糊查询，快速定位所需背景。背景素材模块的设计目标是提供一个直观、易用的背景素材管理工具，使用户能够轻松地创建、管理和应用多样化的背景素材。通过这一模块，虚拟形象视频合成和虚拟人智能问答的视觉效果将更加丰富和专业，满足不同业务场景的需求。2.3.3形象管理内置10种以上虚拟人形象和音色库，用户可以根据自己的偏好和场景需求进行个性化组合和选择。这种灵活性确保了能够无缝适应各种环境，为用户提供定制化的交互体验，无论是在商务汇报、营销宣传还是经营分析等场景，都能发挥出色的表现。虚拟人技术主要功能参数如下：(1)支持提供标准API接口或SDK，以接入第三方应用系统；(2)支持以语音对话的形式，为用户提供服务；(3)交互打断：支持全双工交互方式，支持交互过程中随时打断，终止当前对话进入下一轮交互；(4)调整语速：支持对虚拟人说话语速进行调节；(5)切换分辨率：支持对虚拟人视频进行分辨率切换，应支持1080P、720P、480P；(6)切换帧率：支持对虚拟人视频进行帧率设置；(7)切换流格式：虚拟人视频流支持H264、FLV格式切换，以满足客户端对不同视频流的格式要求；(8)横竖屏：支持竖屏、横屏展示，虚拟人形象大小、背景尺寸根据横竖屏进行适应，满足在不同终端屏幕尺寸下的显示效果；(9)字幕显示：数字人播报的同时，支持设置字幕显示；(10)语义提取正确率和召回率F-1值平均≥80%。2.3.3.1卡通形象卡通形象管理模块为用户提供了一套工具，以便灵活定义和定制虚拟形象的状态样式，满足不同场景下的视觉和交互需求。以下是卡通形象管理模块的功能介绍：创建2D卡通形象用户可以为2D卡通形象定义一个独特的名称和头像，这些标识信息有助于在后续的操作和管理中进行快速识别和区分。支持用户根据虚拟形象的不同交互状态（如默认、说话、聆听、再见等）上传相应的动态图像。这些图像应为png或webp格式，以确保在不同状态下的流畅显示和视觉一致性。需要注意的是，上传的动态图像必须是已经设计和制作完成的，卡通形象管理模块不提供形象设计和制作的功能。2D卡通形象列表系统提供一个清晰的列表视图，展示所有已创建的2D卡通形象，包括形象名称、创建时间和形象缩略图等关键信息。列表支持对卡通形象进行编辑，允许用户更新形象的名称、头像和动态图像，以适应新的场景或品牌要求。支持对卡通形象进行预览，用户可以在线查看形象的动态效果，确保其符合预期的视觉效果。支持对卡通形象进行删除操作，允许用户移除不再需要的形象，保持形象库的整洁和有序。卡通形象管理模块的设计目标是提供一个直观、易用的形象定制平台，使用户能够轻松地创建和管理多样化的虚拟形象。通过这一模块，虚拟助手的形象能够更加生动和个性化，从而提升用户的交互体验和品牌形象的一致性。2.3.4视频生产2.3.4.1视频制作视频制作提供一站式视频内容生产功能，通过可视化、简单化的操作，生产多种多样的虚拟形象视频，如天气预报、宣传视频等，满足多种场景的业务应用。视频制作提供以下功能：视频配置，视频配置支持以下功能：合成视频格式支持.MP4；合成视频分辨率支持4K/1080P/720P/480P；视频比例支持16:9/4:3/9:16/3:4/2:3；支持选择虚拟形象；支持更换背景。内容编辑，内容编辑支持以下功能：支持一键导入文本，导入文本格式支持.txt；支持更换虚拟形象和背景图片/视频；支持动作编排，在指定文字内容处自定义插入系统内置虚拟人动作（20个字内不允许重复插入），当虚拟人合成视频播放到该段文字时虚拟人即可根据配置内容做出指定动作；支持视频制作内容实时预览功能。2.3.4.2视频管理视频管理提供针对虚拟形象视频的统一查询和统一管理功能，自动归集汇总视频制作中已经编辑完成的视频，按照视频合成的不同状态列表展示，根据不同的业务场景，可进行在线播放、下载到本地、重新制作等操作。视频管理提供以下功能：视频播放，可播放已经合成成功的视频；视频下载，可将已经合成成功的视频下载到本地保存；视频重新制作，可将视频进行重新制作后重新合成；视频合成取消，可将排队中的视频取消视频合成；视频重新合成，可将已经取消合成的视频重新进行合成；视频删除。支持单个视频删除和批量选中后删除。视频查询，查询项包括视频名称、制作时间、合成状态、文本信息，支持左右模糊查询。2.4大模型应用服务智能交互平台提供通识问答、私域问答等产品特性，支持用户对接不同型态大模型以满足不同业务需求。系统依赖大模型开放服务，实现大模型问答交付服务，确保智能交互平台能够提供专业且高效的服务体验。2.5数据源管理系统2.5.1数据源驾驶舱的底层数据来源支持链接多种类型数据库，数据库类型支持MySQL、GAUSS、SQLServer、POSTGRESQL、DORIS、STARROCKS、oracle、apachkylin等、csv数据文件上传、支持接口数据源，提供详细的连接参数配置和连接测试，确保了数据的准确接入和高效处理。同时针对上传后的数据支持添加字段描述，提高大模型对于数据的理解能力。2.5.2指标管理①名词定义数据指标（Dataindicator），也称为度量或关键性能指标，用来衡量特定业务表现的数值，帮助组织了解他们在实现目标和战略上的进展。数据指标可以涵盖各种不同的领域，包括但不限于销售、市场营销、人力资源、运营、财务等。例如，销售部门可能会关注“销售额”、“新客户数量”等指标。原子指标：即最小粒度的数据指标，构建一些简单的不需要涉及指标之间的计算。例如“销售额数值”、“新客户数量”。也是组成复合指标的最小颗粒度。系统默认数据源充分的条件下不需要配置则支持原子指标查询其同比与环比。复合指标：构建一些较为复杂的数据指标需要涉及原子指标间的计算，例如“销售额”，通过“销售单价”*“销售数量”计算得出。数据明细：用于查询数据源中的某个数据明细，例如上传的数据csv文件中的某一单元格的数据值，无聚合方式数据维度：在数据分析中，业务需要在得到特定条件或分类下的数据指标数值，某个特定条件和分类就是单个的数据维度，例如，如果我们有一个销售额的数据指标，而维度则是对这些指标进行分类或分组的方式，如按地理位置、时间、产品类型等进行分类。那么“各项维度下的数据指标值”可能就包括按地区划分的销售额、按季度划分的销售额、按产品类型划分的销售额等。②指标构建支持多层次、多维度的指标体系构建。设置相应的数据指标描述，可增强大模型对数据指标的理解能力，从而更加精准的深度分析数据；设置数据指标的数据格式和计算方式，帮助平台准确快速的计算处理数据并呈现。设置数据维度得到各分类和分组下的数据指标值，帮助更深入地理解和分析数据，发现潜在的趋势和模式。设置数据筛选条件，可过滤无用的数据源，增加数据的可靠性和数据分析的真实性。设置时间维度：年、季度、月、日等，平台将按照选择的时间颗粒度对数据进行统计与分析。③指标分类采用指标域分类管理数据，将数据按照业务规则和标准通过指标域名称进行分类、整理，支持按照指数据检索。2.5.3知识库支持多种文档格式的上传：doc、pdf、txt，并以文件夹形式进行分类管理，系统支持默认规则的文档切片，用户可自行调整，并绑定图片或者视频，以增强驾驶舱在知识库模块对企业专有名词、规则、文化等知识的展示与讲解，使得企业内部的知识资源可以得到有效整合和充分利用，实现知识的快速检索和智能推荐，提升知识共享和应用的效率。AI服务3.1语音类3.1.1语音听写语音听写（iFlyAutoTransform，IAT）技术是将语音中包含的文字信息“提取”出来，把语音转换成对应的文字信息，让机器能够“听懂”人类的语言，相当于给机器安装上“耳朵”，使其具备“能听”的功能。该系统拥有领先的语音听写技术，核心技术达到国际领先水平，语音听写准确率已经超过98%，在业界遥遥领先。语音听写主要面向朗读风格的语音转文字，适用于人机会话的场景。语音听写私有云服务部署在企业局域网内，用户语音及业务数据保存在内网，有效的保证了客户机密信息，具有高安全性。语音听写技术主要功能特点有：(1)支持多种语种和方言语音听写技术对于日常使用的常用对话有着很高的识别准确率，包含短信类、生活、交通、娱乐、科技、数字数值、名人、互联网热词、新闻等领域。语音听写技术支持中文和英文两个语种的识别，同时还支持中文中夹带英文单词、简单的英文语句，基本可以达到中国人日常生活的要求。语音听写技术也支持中文多种方言的识别，其中包括广东话、东北话、四川话、河南话、山东、贵州、天津、河北、闽南等24种方言。注：支持23种方言和1种民族语言，方言包含有四川话、河南话、武汉话、广东话、甘肃话、客家话、河北话、合肥话、闽南话、南京话、台湾话、云南话、东北话、陕西话、太原话、天津话、皖北话、贵州话、宁夏话、长沙话、南昌话、山东话、上海话，民族语言包含有彝族。咨询可视项目情况进行列举。(2)支持多种音频编解码格式目前语音听写支持pcm、wav、speex、speex-wb、opus等音频编解码算法。(3)语音预处理语音听写技术支持对输入的音频流进行前后端点检测，可以在会话启动时动态设置前后端点超时时间，也可以关闭端点检测功能以达到长音频语音听写。在实际应用中，背景噪声对于语音识别应用是一个现实的挑战，即便说话人处于安静的办公室环境，在人机交互过程中也难以避免会有一定的噪声。语音听写技术具备高效的噪音消除能力，以适应用户在千差万别的环境中应用的要求。(4)文本后处理语音听写技术支持对识别结果语句智能预测其对话语境，提供智能断句和标点符号的预测，同时也支持数字规整和替换列表能力。(5)中间结果实时语音听写支持中间识别结果返回的功能。中间结果，即识别过程中产生的过渡结果，这个结果可能会根据后面音频的上下文分析发生修正。开启中间结果功能可以大大减少识别结果返回的时间间隔，提高识别过程中的视觉流畅度，并达到动态修正的功能体验。非实时语音听写和英文实时语音听写暂不支持此功能。(6)角色分离角色分离可以根据输入的音频中不同角色将识别结果标记分类，目前仅非实时语音听写支持角色分离，且仅支持2人角色分离。3.1.2语音合成语音合成，英文全称TextToSpeech，简称TTS。主要解决的问题是如何将文字信息转化为可听的声音信息，涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，可以“让机器像人一样开口说话”。该系统采用最先进的中文文本、韵律分析算法和最大语料库的合成方法，合成语音已经接近真人的自然效果。语音合成引擎在完成文本到语音数据的转化过程中可以简单分解为两个步骤的处理。文本先经过前端的语法分析，通过精心制作的词典和规则的处理，得到格式规范，携带语法层次的信息，传送到后端。后端在前端分析的结果基础上，经过韵律方面的分析处理，得到语音的时长、音高等韵律信息，再根据这些信息在音库中挑选最合适的语音单元，语音单元再经过调整和拼接，就能得到最终的语音数据。在整个转化处理的过程中牵涉到大量的中英文语法和韵律知识的运用，以及语法和语义分析的算法，最佳路径搜索，单元挑选和调整的算法，语音数据编码方面的知识。语音合成私有云服务部署在企业局域网内，用户语音及业务数据保存在内网，有效的保证了客户机密信息，具有高安全性。语音合成技术主要功能特点有：(1)支持多类型发音人发音人涵盖男女播音员标准发音、童声发音、机器发音、动漫人物发音、中老年发音、明星发音等。(2)支持多语种支持中文、美式英语、法语、俄语、西班牙语、印地语、日语、韩语、泰语、德语、意语、葡语等语种。注：支持35个语种，包含有英语、日语、韩语、俄语、德语、法语、阿拉伯语、保加利亚语、波斯语、波兰语、巴西葡萄牙语、菲律宾语、荷兰语、豪萨语、捷克语、罗马尼亚语、孟加拉语、马来语、葡萄牙语、瑞典语、斯瓦希里语、意大利语、土耳其语、泰米尔语、泰语、乌克兰语、乌尔都语、乌兹别克语、维吾尔语、西班牙语、希腊语、印地语、藏语。咨询可视项目情况进行列举。(3)支持多种方言支持广东话、上海话、东北话、河南话、湖南话、陕西话等方言。注：支持13个地区方言发音，包含有东北、成都、合肥、河南、湖南、广东、内蒙古、山东、上海、陕西、台湾、武汉、香港。咨询可视项目情况进行列举。(4)音频调参支持语速、音量、音调等多种合成参数调节。(5)文本控制标记可以通过文本控制标记对文本中特定字段标记特定的发音选项，以达到用户自行控制合成效果。目前该功能不支持维语、藏语、蒙语和小语种的文本标记。3.2NLP类3.2.1语义理解语义理解引擎的处理主要依赖于规则匹配，即基于业务专家建立的高精度规则，本质上进行的是规则的匹配。语义解析在某一垂直应用领域，通过限定应用的范围，为机器补充相应的背景知识，可