星火驾驶舱技术方案

公司内部A讯飞星火生成式智慧驾驶舱技术方案2024年5月目录TOC\o"1-3"\h\u188631.产品简介 4192901.1.产品介绍 4140521.2.产品架构 4164691.3.关键技术 599301.4.部署方式 14302702.产品特点 1576362.1.智能分析 15189282.2.术语理解 16284082.3.知识问答 1635772.4.多模态交互 16102652.5.自由问答 16204813.主要功能 1788053.1.大屏应用 1715533.1.1.应用管理 17243033.1.2.场景设计 18192993.2.数据管理 18227343.2.1.数据源 18205823.2.2.指标管理 183933.2.3.知识库 19153.3.集成 204133.3.1.接口管理 20114573.3.2.意图管理 20261983.3.3.SDK 22269523.3.4.浏览器插件 23285024.成功案例 2458084.1.北京能源集团有限责任公司经管驾驶舱 243874.2.浙江省政协展厅升级 25138454.3.古井贡酒数字人品牌营销 26128494.4.永达传媒营销标准化 27178104.5.华夏广电导游一体机 28135055.技术支持 29271245.1.部署要求 2915455.1.1.硬件和软件环境要求 29294225.1.2.外部依赖服务 30195285.1.3.安全性和合规性要求 31301575.1.4.网络和基础设施要求 31223885.1.5.部署工具和自动化 31233055.1.6.数据迁移和备份 31197395.2.实施路径 32238455.2.1.需求调研 3292685.2.2.系统构建 32111915.2.3.部署上线 32308625.2.4.测试验收 33152525.3.售后支持 33150545.3.1.培训和支持 33218735.3.2.后续支持和升级 33105026.产品Q&A 33

产品简介产品介绍定位：星火生成式智慧驾驶舱是一款专为企业打造的大屏智能化升级工具。基于先进的讯飞星火大模型构建，通过数据管理、指标管理、知识管理、集成管理、大屏应用管理等核心功能，为企业用户提供了与驾驶舱自由互动的全新体验。场景：星火生成式智慧驾驶舱主要面向经营大屏和展厅大屏2大应用场景。在经营大屏场景下，平台可实现通过自然语言进行指标问答和数据分析，并通过自适应可视化实现自动出图。通过建立知识库，实现文档问答，还能理解专业术语、进行互联网查询，并提供多模态交互体验，极大的提升了数据分析效率和交互体验。在展厅大屏场景下，平台支持虚拟人大屏内容自动讲解、大屏语音调度以及自由问答等操作，打造展厅大屏交互新模式，提升交互体验。价值：助力企业提高数据获取和分析效率、降低数据分析应用开发成本、提升大屏交互体验。产品架构星火生成式智慧驾驶舱作为一款先进的大屏智能化升级产品，其技术架构遵循了行业标准的多层架构设计，以确保系统的高可用性、可扩展性和安全性。同时星火生成式智慧驾驶舱提供了一个直观、响应式的界面，支持多种浏览器和设备，确保用户可以从任何地点、任何设备访问应用。结合虚拟人交互，提供全新的用户交互体验。为了满足全球用户的需求，驾驶舱平台提供了多语言界面，方便不同语言背景的用户使用。生成式智慧驾驶舱平台产品架构如下：图SEQ图\*ARABIC1星火生成式智慧驾驶舱产品架构关键技术讯飞星火通用大模型讯飞星火大模型为智慧驾驶舱注入了先进的多领域处理能力，它不仅在文本生成、语言理解和多模态数据处理方面有着卓越的表现，还在逻辑推理、用户问题匹配、Function-Call和上下文推理等多个维度上展现出了非凡的性能。在逻辑推理方面，星火大模型运用常识推理、科学推理和时空推理等方法，能够深入分析并准确推理出复杂情境中的逻辑关系。这种能力让模型在教育、市场策略制定和舆情分析等关键领域大放异彩，为用户在面对错综复杂的问题时提供明晰而有效的解决策略。在本平台中，星火大模型还能迅速地基于现有的指标体系，精确地理解和定位用户提出的问题，实现对问题要素的精准捕捉，从而进行高效的数据分析和处理。借助星火Function-Call能力，模型可以根据用户的具体需求，灵活调用相应的算法或处理流程，例如进行数据分析和统计计算，为用户提供定制化的服务和技术支持。同时上下文推理能力进一步强化了模型的问题解决实力，让模型在理解问题的本质的同时，也能考虑到问题所处的具体环境和背景，从而提供更为全面和深刻的洞见和答案。技术能力：序号能力项核心技术能力1性能首响应≤500ms（从请求送给认知大模型推理服务到认知大模型推理服务输出第一个字的时间间隔），10路并发下，平均吞吐率不少于25tokens/s，2平均吐字率：25tokens/s（认知大模型在单位时间内输出的tokens数量）3支持简单查询1-2秒，复杂查询3-5秒;4稳定性系统可用性≥99.9%5集成方式支持WebAPI、SDK的方式接入大模型6国产化能稳定运行在安装有国产化CPU、加速卡和操作系统的服务器上；大模型推理服务支持多种国产化芯片，如华为昇腾等7数据处理支持数据预处理，如数据清洗;8插件工具支持选配多种模型参数，可应用在不同场景中，9大模型插件/工具包含:智能文档问答内容运营工具和纠错等;10文档问答文档问答支持多种文档格式导入，例如pdf(包含图片)、doc、txt和md等格式;11文档切分规则支持自定义规则;12支持文档问答溯源等功能;13支持多种回答模式，同时可自定义回复模版;14模型训练支持低代码可视化工具进行模型训练，支持多种模型训练方案，如LoRa、SFT和预训练等;15训练平台支持算力管理、数据管理、数据标注、数据处理、模型仓库、模型测试及评分和模型部署等;16模型训练支持断点续训和版本管理等功能;实时语音转写生成式智慧驾驶舱平台配备了高效的实时语音转写功能，通过WebSocket协议与强大的语言转写核心引擎建立稳定的长连接。这一创新设计使得连续的音频流能够被实时捕捉并精准转换为文字流，为用户提供即时、准确的文字记录。引擎内部采用了深度学习、自然语言处理和大数据处理等尖端技术，确保了语音识别的高精准度。深度神经网络系统在此过程中发挥着关键作用，它能够有效地从语音信号中提取信息并将其转换为文本格式，而自然语言处理技术则进一步提升了识别的效率和准确性，所有这些都无需依赖于特定的语法结构。该引擎还支持个性化词表的定制，以满足特定行业或用户的特殊需求，从而进一步提升识别的精准度。同时，动态修正功能的加入，为转写文本的准确性提供了额外保障，确保用户获得的文本记录既准确又可靠。这些功能的结合，使得生成式智慧驾驶舱在实时语音转写方面表现出色，为用户提供了一种高效、智能的沟通和记录解决方案。技术能力：序号能力项核心技术能力1实时语音转写支持5小时内的连续语音流的实时识别。2支持中文、英文、中英文混合识别，支持方言识别，方言数量不低于6个。3支持降噪算法，可有效进行音频前端降噪，有效提升识别精度。4支持中英文混合识别，即中文普通话中夹杂英语单词或句子。5音频格式需要支持主流的音频格式，如mp3、wav、m4a、pcm等。6集成接口支持Windows、Linux、Android、i0s等主流平台集成，支持C/C++、Java、C、Python等主流开发语音集成，便于应用开发集成。7支持角色分离功能，可通过配置设定角色的数量，也可以不指定进行盲分。8返回结果支持时间戳，即结果中的文本时间点，精确到毫秒，便于业务开发进行时间进度定位。9提供词、句的置信度得分，便于业务判断识别的准确度。10支持标点预测功能，即识别的结果文本中的相关语句和段落已经具备了标点符号。11支持数字规整，即遇到时间、日期等识别内容可自动转化为标准的数字书写形式，例如十二点三十分转写为12:30。12支持效果优化能力，主要为通过热词的形式即时解决特定的专业术语识别不准确问题并支持相应语料的模型训练，来进一步提升识别率。13在安静环境下，中文标准普通话的综合识别率大于95%，并提供第三方检测机构证明材料。14系统服务能够适配稳定运行在安装有国产化CPU的服务器上;15.系统服务能够适配稳定运行在安装有国产化操作系统的服务器上。虚拟人技术生成式智慧驾驶舱采用先进的虚拟人技术，打造了一种模拟真人的交互模式，极大地提升了实时汇报和沟通的自然性和亲和力。这种交互方式不仅让用户感受到更加贴近人类伙伴的沟通体验，还增强了信息传递的直观性和易理解性。虚拟人技术的制作流程涵盖了人物设计、模型构建、动画制作和皮肤渲染等关键步骤，融合了人工智能（AI）、自然语言处理（NLP）、机器学习以及计算机视觉等多项前沿技术，共同营造出一种流畅而自然的交互体验。为了满足不同行业和领域的多样化需求，智慧驾驶舱精心内置了丰富的虚拟人形象和音色库，用户可以根据自己的偏好和场景需求进行个性化组合和选择。这种灵活性确保了智慧驾驶舱能够无缝适应各种环境，为用户提供定制化的交互体验，无论是在商务汇报、营销宣传还是经营分析等场景，都能发挥出色的表现。技术能力：序号能力项核心技术能力1语音识别标点智能预测：支持对识别结果语句智能预测其对话语境，提供智能断句和标点符号的预测。2智能端点检测：支持对说话过程中进行前端点检测，即智能检测说话过程中的有效语音的开始位置；支持对说话过程中进行尾端点检测，即智能检测说话是否结束3智能数字规整：支持将识别结果的数字如日期、分数、小数等，智能的转换为易于理解的数字格式，使展现形式更符合人的习惯4智能文本顺滑：支持将识别结果中无意义的停顿词、语气词、重复词等进行智能过滤，使识别结果更易用阅读和理解5动态结果修正：支持字词级识别结果实时返回，并根据上下文语境,对历史返回结果进行动态修正。6音频编码：支持pcm、wav、speex、opus等多种音频编码格式7音频采样率：支持8k及16k的音频，采样精度为16bit8通用场景语音识别率≥95%（可提供省级或以上第三方检验检测机构出具的测检验报告扫描件）9语音合成多语种语音合成:合成声音应音质清晰、音色饱满、合成声音自然流畅，支持中英文混合语音合成。后期如有需要，支持拓展方言，包括：台湾普通话、东北话、四川话、广东话、湖南话、河南话、山东话、湖北话等语音合成10多字符集输入：合成文本支持输入GB2312、GBK、Big5、Unicode和UTF-8等多种字符集11多数据格式输出：支持输出线性wav，pcm等格式的语音数据12简单文本标记：支持对文本添加标注，设置朗读方式，让用户自行设置如何合成，自行控制合成效果13中文语音合成的读音和文本对比正确率≥98.3%（可提供省级或以上第三方检验检测机构出具的检验报告扫描件）14网络正常环境下，输入文本后合成音频平均成功率≥99.8%（可提供省级或以上第三方检验检测机构出具的检验报告扫描件）15语音合成自然度MOS得分≥4.5（可提供省级或以上第三方检验检测机构出具的检验报告扫描件）16虚拟人智能交互虚拟人交互系统应支持提供标准API接口或SDK，以接入第三方应用系统17虚拟人交互系统应支持以语音对话的形式，为用户提供服务18交互打断：系统应支持全双工交互方式，支持交互过程中随时打断，终止当前对话进入下一轮交互19更换背景：虚拟人应支持更换视频流的背景。（可自行准备演示环境，并提供演示）20更换Logo：背景图支持更换logo，可自定义上传logo图片，实时进行更换21调整语速：支持对虚拟人说话语速进行调节22切换分辨率：支持对虚拟人视频进行分辨率切换，应支持1080P、720P、480P。（可自行准备演示环境，并提供演示）23切换帧率：支持对虚拟人视频进行帧率设置。（可自行准备演示环境，并提供演示）24切换流格式：虚拟人视频流应支持H264、FLV格式切换，以满足客户端对不同视频流的格式要求。（可自行准备演示环境，并提供演示）25横竖屏：支持竖屏、横屏展示，虚拟人形象大小、背景尺寸根据横竖屏进行自适应，满足在不同终端屏幕尺寸下的显示效果26字幕显示：数字人播报的同时，支持设置字幕显示27语义提取正确率和召回率F-1值平均≥80%（可提供省级或以上第三方检验检测机构出具的检验报告扫描件）28数字人交互管理后台可提供数字人交互管理后台，并提供可视化操作界面，对数字人交互系统进行统一的后台管理。29数据统计：应支持统计累计交互次数、当前并发路数、累计客户/租户数量。应支持已图标形式对于交互次数、并发容量进行显示，且支持按照时间维度进行统计。30客户/租户管理：支持针对客户/租户进行统一管理，支持对可用数字人形象、授权时间、并发路数进行配置。31数字人资产管理：应支持对数字人声音和形象进行统一后台管理，以列表形式展示。32操作日志：应提供操作日志，并对操作的IP地质、操作动作、操作人、操作时间进行统一记录。33系统管理：应支持对系统用户和权限进行管理。34数字人形象与声音定制提供3D数字人形象定制服务，服务内容包括原画设计、3D建模、骨骼绑定等35提供数字人声音定制服务，采集真人说话声音后，经机器学习、训练，在语音合成系统中复刻对应声音意图匹配技术为了确保用户输入能够精确对应到相应的意图，系统采取了精准的意图识别和匹配策略。首先，利用预训练的语义相似度模型（SimBERTv2）对意图进行向量化处理，这一步骤将意图转化为高维空间中的向量表示，以便更精确地捕捉和存储意图的语义信息。这些向量化的意图随后被存储在一个专门的向量数据库中，以便快速检索和比对。当用户发起输入时，我们同样使用Embedding技术将用户的输入转换为向量形式，并在向量数据库中进行高效检索。一旦检索到与用户输入向量高度一致的意图向量，我们便可以确认用户的输入已经成功匹配到了相应的意图。确认匹配后，系统将进入下一阶段，即实体提取和执行器执行。实体提取过程将从用户输入中识别出关键信息，而执行器则根据已识别的意图和实体信息执行相应的操作或服务。这整个过程的设计旨在提高系统的响应速度和准确性，确保用户能够获得满足其需求的精准服务。技术能力：序号模块能力项核心技术能力1语音平台基础服务语音平台部署语音引擎基础部署平台，支撑语音引擎的运行2接入服务平台对外提供标准的SDK,面向Android、iPhone以及Web客户端提供便捷的控件层接口，支持Andoid/IOS/H5等渠道的接入，实现语音平台语音能力的开放共享，SDK风格支持C++和JAVA；3鉴权服务平台具备对外部应用能力接入的授权控制功能；4负载服务能力组件支持负载均衡的部署方式；5路由服务支持外部应用调用的路由服务；6应用管理满足不同应用场景的管理需求，应提供系统截图证明；7语音指令识别用户发出语音命令，语音命令通过麦克风输入，经过智能语音识别控制系统中语音识别、语义理解等核心引擎处理，语音命令转换为文字指令，再通过接口协议的对接，传输到业务系统8设备及设施联动控制如果用户的指令意图是要执行某个设备或产品的一段动作，系统就会将指令意图通过协议转换为设备或产品能识别的命令行，再将命令行传达到设备或产品的控制系统，执行相应的动作。9语义理解引擎核心能力具备知识编译及语义解析能力，支持将知识库的数据资源编译成语义资源，能够根据语义资源将文本解析成固定格式的json；10并发能力提供语义理解并发能力；11分词支持实现长、短句的分词能力；12词义归一相同词义的短词规整、合并；13指代消解上下文指代词的歧义14上下文理解在交互过程中自动缓存、匹配上下文信息、历史数据等，提供多轮人机交互记忆机制；15提槽抽取配合知识库，实现对话意图的关键词槽抽取、如地址、时间、关键动作；16拒识功能支持对相关业务以外的话题拒识功能；17敏感词过滤支持敏感词过滤功能；18多轮对话支持复杂任务的多轮对话以及多轮纠错19全双工用户可在任意时间打断对话并发出需求，引擎可以对非相关交互进行拒识20兜底业务通过知识图谱、生成式问答等引擎处理，可以做到有问必答，无应答率大大下降。21语义开发平台场景管理为满足不同场景的应用落地，语义开发平台支持按场景进行语义技能、问答库的配置，实时构建语义理解模型。22技能管理不同的业务功能对应不同的语义技能，支持语义技能的新增、删除、编辑、查询及批量处理。23意图管理支持意图的新增、删除、编辑、查询及批量处理，支持用户不同意图表达方式的语料编写，具备智能贴弧、句式模糊等功能，快速完成语义开发。24实体管理支持实体的新增、删除、编辑、查询及及批量处理，支持实体词条的批量导入及同义拓展，并具备实体模糊功能。25问答库支持一问一答、一问多答、多问一答、多问多答的问答库建立方式，支持问题的模糊匹配26效果优化提供可视化页面展示日常使用中无法理解的用户说法，支持将无法理解的用户说法维护已创建的语义意图中，使不能理解的用户说法及时优化。知识库技术平台提供多种格式的知识文档上传，上传到平台的知识文档平台会自动对文档做切片分割，用户也可以自己整理文档并根据标识符切割文档切片。完成文档切片后，用户就可以对绑定了该知识的大屏应用做知识问答。用户提问后，平台会检索知识文档，找到相关的文档切片，打包处理后，交流星火大模型来完成对知识问题的回答。序号能力项核心技术能力1知识库支持文档智能切分，根据不同类型文件，设置不同切分规则2支持高精度高维度（2560维）Embedding模型，Embedding基于大模型训练3检索模式支持向量检索、全文检索多种模式4检索的文本可以通过阈值设置取精度更高的分片，不同场景可以设置不同阈值（例如宽松、严格）5用户问题可进行自动改写泛化6支持图文OCR&文档版面分析7支持分片上下文追加，使得提供给大模型的文本语义更连贯8文档问答支持多种文档格式导入，例如pdf（包含图片）、doc、txt和md等格式；文档切分规则支持自定义规则；支持多种回答模式，同时可自定义回复模版；支持文档问答溯源等功能部署方式智慧驾驶舱支持SaaS公有云服务、私有化部署、混合云部署等多种部署方式，客户可以根据自身需求选择最合适的部署模式。SaaS公有云服务图SEQ图\*ARABIC2公有云部署模式驾驶舱平台私有化图SEQ图\*ARABIC3私有化部署模式混合云模式图SEQ图\*ARABIC4混合云部署模式产品特点智能分析依托星火认知大模型强大的语义理解和数据分析能力，平台打造了智能数据分析功能。用户只需自然语言提问，平台可以将问题转化为精准的SQL语句，进而查询到数据。对查询到的数据，平台可以自适应提供最佳图表展示，包括柱状图、饼图、条形图、表格等，不同图表可按需自由切换。在展示数据的同时，星火大模型会对数据做总结性的分析，给用户提供对数据的洞察和见解。术语理解用户可以在平台上自由配置企业经营管理指标数据，包括指标的定义和计算口径，配置完成后，就可以对绑定了该指标的大屏应用提问关于指标术语的相关问题，平台会快速检索到相关指标，并让星火大模型完成对术语问题的准确回答。知识问答平台提供pdf、doc、txt、md多种格式的知识文档上传，平台会自动对文档做切片分割，用户也可以自己整理文档并根据标识符切割文档切片。完成文档切片后，用户可以对绑定了该知识的大屏应用做知识问答。用户提问后，平台会检索知识文档，找到相关的文档切片，打包处理后，交给星火大模型来完成对知识问题的回答。当用户想一边回答问题，一边展示相关的视频或图片时，只需将素材上传到平台，并在相应的切片处绑定图片和视频资源，即可实现边答边看的交互效果。多模态交互用户可以使用文本或语音对驾驶舱的大屏应用提问，平台分析出结果后，会根据不同的结果给出文本或数据图表。同时虚拟人会将分析结果进行播报。整个问答过程，包含了文本、语音、视频推流等多种信息流交互模态。自由问答驾驶舱可作为星火大模型的客户端进行自由问答。当用户不熟悉数据内容、含糊提问时，驾驶舱也会根据应用绑定的数据，给出最合适的数据内容，帮助用户获得想要的结果。当大模型无法用已有数据和知识回答用户问题，会交给大模型进行兜底，做到有问必答。主要功能大屏应用应用：为了完成某种特定任务而设计的构驾驶舱应用，包括场景设计与应用配置。场景：生成式智慧驾驶舱应用的场景，例如营销、文旅、政务等，一个应用下面支持设计多个场景。大屏：生成式智慧驾驶舱的产品展现形态。素材库：集中存储和管理生成式智慧驾驶舱展示背景创作素材的地方。应用管理灵活可定制化的应用开发用户通过产品页面操作快速创建应用，填写应用名称、应用描述、角色扮演、情景提示来设定应用中驾驶舱的应用背景、虚拟人扮演的角色以及交互情景，以区分和适配不同的业务需求和使用场景。独立便捷的应用配置创建场景页面：根据业务需求创建1个或多个场景页面，并填写场景名称与场景描述以区分和识别一个应用下的多个场景。配置基本信息：填写应用名称、应用描述以区分和识别应用；填写虚拟人角色扮演、情景提示以虚拟人角色以及交互情景；绑定外部能力赋能应用，实现更多场景功能。绑定应用数据：绑定指标域和知识库以保证应用使用特定数据源，确保应用之间的数据隔离，为确保特定应用使用特定数据源并保证不同应用间的数据隔离，绑定指标域和知识库（指标域与知识库见下文，写好后下划线链接到对应目录）来与应用进行关联，确保应用只能访问到预先定义和授权的数据。增强数据安全性，防止未经授权的数据访问，同时提高数据的准确性和一致性，平台能够更好地跟踪各个应用的数据使用情况，对数据流进行有效监控，以支持数据驱动的决策和优化。简单高效的应用管理系统提供了一套完整的大屏应用生命周期管理工具供用户使用，包括预览、发布、复制和删除来支持应用的快速迭代和灵活部署。场景设计可视化的场景设计支持用户根据具体的业务场景设计驾驶舱页面，支持用户对页面布局、颜色方案、交互逻辑等进行细致的调整，以实现最佳的用户体验和视觉效果。通过链接外部大屏或者系统模板或者用户自定义图片，个性化设计驾驶舱背景。通过拖拽式的页面设计器，添加可视化组件，如虚拟人、文字总结、图表、字幕、高亮区域等。设置组件位置、大小、层级、透明度，灵活多样。精细化的虚拟人交互支持用户对虚拟人物的外貌、声音、动作等进行个性化设置，使得虚拟人物更加生动、真实。实现更加自然的人机对话和交互，另外还支持定制化虚拟人。统一的综合素材管理支持图片文件的上传、素材分类、预览、搜索和重用机制，实现素材的集中管理，简化素材的更新和维护工作。数据管理数据源驾驶舱的底层数据来源，支持链接多种类型数据库（数据库类型支持MySQL、GAUSS、SQLServer、POSTGRESQL、DORIS、STARROCKS等）、csv数据文件上传、支持接口数据源，提供了详细的连接参数配置和连接测试，确保了数据的准确接入和高效处理。同时针对上传后的数据支持添加字段描述，提高大模型对于数据的理解能力。指标管理指标分类采用“指标域”分类管理指标数据，“指标域”是一类指标的集合，可将指标按照应用场景进行分类。目前系统支持3类指标类型：原子指标：即最小粒度的数据指标，构建一些简单的不需要涉及指标之间的计算。例如“销售额数值”、“新客户数量”。也是组成复合指标的最小颗粒度。系统默认数据源充分的条件下不需要配置则支持原子指标查询其同比与环比。复合指标：构建一些较为复杂的数据指标需要涉及原子指标间的计算，例如“销售额”，通过“销售单价”*“销售数量”计算得出。明细指标：用于查询数据源中的某个数据明细，例如上传的数据csv文件中的某一单元格的数据值，无聚合方式指标构建支持多层次、多维度的指标体系构建。设置相应的数据指标描述，可增强大模型对数据指标的理解能力，从而更加精准的深度分析数据；设置数据指标的数据格式和计算方式，帮助平台准确快速的计算处理数据并呈现。数据维度：在数据分析中，业务需要在得到特定条件或分类下的数据指标数值，某个特定条件和分类就是单个的数据维度。设置数据维度得到各分类和分组下的数据指标值，帮助更深入地理解和分析数据，发现潜在的趋势和模式。设置数据筛选条件，可过滤无用的数据源，增加数据的可靠性和数据分析的真实性。设置时间维度：年、季度、月、日等，平台将按照选择的时间颗粒度对数据进行统计与分析。知识库支持多种文档格式的上传：doc、pdf、txt，并以文件夹形式进行分类管理，系统支持默认规则的文档切片，用户可自行调整，并绑定图片或者视频，以增强驾驶舱在知识库模块对企业专有名词、规则、文化等知识的展示与讲解，使得企业内部的知识资源可以得到有效整合和充分利用，实现知识的快速检索和智能推荐，提升知识共享和应用的效率。集成接口管理接口管理功能允许用户将外部接口与星火生成式智慧驾驶舱连接，实现数据和服务的无缝对接。用户需要提供接口的相关信息，包括接口名称、路径、服务地址、请求头部和请求参数等，以确保系统能够正确地与接口进行通信。接口创建用户可以通过单击【新建接口】按钮来创建新的接口。在创建过程中，用户需要填写接口的基础配置信息，包括接口名称、接口路径、服务地址等。此外，用户还需要定义请求头部和请求参数，以确保接口的正确调用。接口测试为了验证接口的功能和稳定性，用户可以通过【测试接口】功能对接口进行测试。这有助于在正式使用前确保接口的可靠性。接口删除用户可以通过单击【删除】按钮来删除不再需要的接口。这有助于维护接口列表的清晰性和减少潜在的安全风险。接口环境变量管理接口环境变量管理功能允许用户为接口设置环境变量，这些变量可以在接口调用时使用。用户可以通过【新建环境变量】按钮来添加新的环境变量，或通过【编辑】和【移除】按钮来管理现有的环境变量。意图管理意图管理功能是星火生成式智慧驾驶舱的核心组成部分，是驾驶舱能够理解和响应用户的意图的关键。用户可以通过配置应用意图和系统意图，以及创建和管理应用实体和执行器，来实现对用户输入的智能解析和响应。什么是意图意图识别（IntentRecognition）是自然语言处理（NLP）中的一个重要任务，它旨在确定用户输入的语句中所表达的意图或目的。简单来说，意图识别就是对用户的话语进行语义理解，以便更好地回答用户的问题或提供相关的服务。下面是一个简单的例子来说明意图识别的概念：用户输入："我想订一张从北京到上海的机票。意图识别：预订机票。在这个例子中，通过将用户输入的语句分类到“预订机票”这个意图类别中，系统可以理解用户的意图并为其提供相关的服务。星火生成式驾驶舱平台提供意图加执行器管理模块管理用户重要意图，帮助系统更好地理解用户的需求和意图，从而为用户提供更加智能和高效的服务。平台意图相关的术语意图：用户的意图或目的，如切换场景实体：您可以从对话中提取的数据点或值（并且可以放入类别/类型中），如具体场景值话术：最终用户与系统交互时提供的输入执行器：响应对应意图的程序意图是用户想要执行的操作，实体是平台想要从用户的话语中提取的关键字。执行器是命中意图后系统采取的动作。应用意图是指用户在特定应用中定义的意图。用户可以通过创建应用意图来识别用户的特定需求，并根据这些需求执行相应的操作。系统意图是指在星火生成式智慧驾驶舱中预定义的意图。用户可以通过选择和配置系统意图来扩展驾驶舱的功能。通过默认系统意图可执行的操作切换大屏：切换到应用内其他大屏模拟点击：语音控制模拟点击原有大屏模块，完成数据原有数据下钻分析高亮：用户可通过设置高亮意图和位置实现查询原有大屏数据时相关区域高亮展示调用API：允许设置、配置和执行API调用和功能执行代码：允许您设置和编写自定义Javascript函数和命令指令：返回，确认，返回首页SDK星火生成式智慧驾驶舱交互JSSDK（以下简称“星火SDK”）是一款为智慧驾驶舱交互体验量身定制的软件开发工具包。自2024年3月29日推出v1.0.0版本以来，该SDK凭借其基于vue3架构的设计，确保了与现代前端开发框架的兼容性，同时在主流浏览器如Chrome78+上提供了稳定的运行环境。星火SDK旨在优化智慧驾驶舱产品的交互流程，通过高效集成预配置的组件，为用户提供了一系列直观、便捷的交互功能。这些功能不仅提高了用户体验的质量，也增强了数据处理和信息展示的效率。功能特点虚拟数字人与多媒体交互：星火SDK集成了虚拟数字人技术，实现了语音合成与字幕展示的同步进行，为用户提供了一种新颖的交互方式。多模式输入：支持文字与语音两种输入方式，使得用户可以根据自己的偏好和场景需求，灵活地与系统进行沟通。数据互动与可视化：通过大数据分析技术，星火SDK能够对数据进行深入的问答和直观的可视化展示，帮助用户更好地理解和利用数据。知识库互动：结合知识库，SDK提供了问答功能，并通过视频和图片等多媒体形式增强信息的传递和理解。自由问答系统：用户可以与星火SDK进行自然语言的自由问答，系统能够智能地理解并回应用户的需求。交互记录管理：星火SDK能够记录用户与系统的交互历史，便于用户回顾和追踪操作过程。技术规格与兼容性星火SDK遵循现代Web开发的技术标准，基于vue3架构构建，确保了其在主流浏览器上的优秀表现和良好的兼容性。该SDK对Chrome78+版本的浏览器提供了优化支持，为用户提供了流畅的开发和使用体验。集成与使用指南星火SDK的集成流程简洁明了，开发者可以通过简单的步骤将SDK融入现有的项目中。通过引入核心模块sparkdash.core.esm.js，即可实现websocket的建立和消息的双向通信。在Vue.js3框架下，通过引入sparkdash.runtime.vue.esm.js，开发者可以轻松地集成丰富的交互组件，实现高效的输入输出交互。安全性与隐私保护星火SDK高度重视用户数据的安全性和隐私保护。采用严格的签名计算和认证机制，确保了接口调用的安全性。通过服务端生成并下发token，SDK在每次请求中验证身份，保障了数据传输的安全性和用户信息的保密性。浏览器插件插件概述浏览器插件是为了进一步增强星火生成式智慧驾驶舱产品的易用性和可访问性而设计的配套工具。用户安装此插件后，无需打开驾驶舱平台的网站，便能在浏览器环境中直接使用驾驶舱的核心交互功能。这包括但不限于虚拟人展示、超拟人合成朗读、语音交互问答、数据可视化与总结、知识库问答以及多媒体内容展示、历史聊天记录查看等。此插件的引入显著提升了用户体验，尤其是在内网环境下，用户可以无需担心浏览器同源策略的限制，实现驾驶舱功能的原生集成和语音调度模拟点击。兼容性星火生成式驾驶舱浏览器插件支持Chrome78+版本的浏览器，确保了在主流的浏览器环境下都能提供稳定和流畅的使用体验。功能特点星火生成式驾驶舱浏览器插件提供了一系列丰富的功能，包括：虚拟人展示：通过插件，用户可以在浏览器中直接与虚拟数字人进行互动，享受逼真的交互体验。超拟人合成朗读：插件支持将文本信息转化为自然流畅的语音朗读，提升信息获取的便捷性。语音交互问答：用户可以直接通过语音与驾驶舱平台进行交流，实现快速的信息查询和任务执行。数据可视化与总结：插件能够将复杂的数据信息以直观的图表形式展现，帮助用户更好地理解和分析数据。知识库问答及多媒体展示：集成知识库，提供问答功能，并支持图片和视频等多媒体内容的展示。历史聊天记录查看：用户可以回顾与驾驶舱的交互历史，便于追踪和复盘之前的会话内容。安装和配置用户可以通过以下步骤轻松获取和安装星火生成式驾驶舱浏览器插件：在星火生成式驾驶舱平台下载插件安装包。在Chrome浏览器中进入管理扩展程序的界面，打开开发者模式。选择“已解压的扩展程序”，并加载星火SDK的安装包，完成插件的安装。另外，用户也可以直接访问Chrome的扩展程序商店，搜索星火生成式驾驶舱插件，进行下载和安装。安装完成后，用户需要使用星火生成式驾驶舱账号进行登录，并选择相应的应用以开启驾驶舱功能。随后，驾驶舱的组件将在浏览器页面上展示，用户即可开始进行交互操作。未来发展随着技术的不断进步和用户需求的发展，星火生成式驾驶舱浏览器插件将持续进行功能升级和优化。未来的发展方向包括但不限于：中端用户屏幕使用方式：提供更加直观的对话面板，优化文字交流的体验。功能扩展：根据用户反馈和市场趋势，不断增加新的功能模块，以满足用户的多样化需求。性能优化：持续改进插件的性能，确保在各种网络环境下都能提供稳定流畅的使用体验。用户体验提升：通过用户研究和反馈收集，不断优化插件的交互设计，使其更加人性化和易用。成功案例北京能源集团有限责任公司经管驾驶舱客户需求领导随机提问需要即时回答：针对重点问题，决策者会进行追问，汇报人没有提前准备时被问到详细数据时汇报人答不上来，给不了数据，被问责。领导决策问题时需丰富准确数据支撑：经营会上针对某个事项大家集思广益，产生了新的想法和方案后，想要论证却发现缺少数据支撑，只能准备好数据二次再议；数据准备好了但是已经过去一周，领导关注度减弱、重心偏移，导致决策搁置。数据开发周期长：领导关注的重点指标和数据，需专业人员进行开发，开发周期长，领导难以及时拿到所需数据应用成效提升会议效率80%提升领导决策效率60%浙江省政协展厅升级客户需求采用统一定制形象，IP新升级：根据不同来访人员要求，定制不同的专属虚拟人形象，提升科技感，解决人员不合适的问题。展厅大屏多样化灵活掌控：对已有大屏审美疲劳，需对大屏进行升级，用插件式工具和较低的成本让老屏幕焕发新生机，提升交互体验多模态互动全面升级：打造新的互动模式，通过与虚拟人进行问答式交互，解决讲解资源不足，讲解水平参差不齐等问题应用成效7大场景互动200+直接问答7xN动态问答古井贡酒数字人品牌营销客户需求在新时代背景下，数字化转型已成为白酒企业发展的必然趋势，白酒营销也必须紧跟时代步伐，推陈出新，助力白酒销售。数字化转型助力白酒行业发展：通过大数据、云计算、人工智能等技术手段，白酒企业可以实现对消费者行为的精准分析，获知消费者的消费偏好。线上线下融合打造全渠道营销体系，提升品牌传播力度：在新零售的大潮下，积极拓展线上市场，通过线上营销互动，宣传企业形象，传播品牌故事，提升品牌美誉度。绿色环保理念引领白酒行业新风尚：绿色环保已经成为白酒行业的一大发展趋势，白酒营销也积极拥抱绿色环保理念，减少塑料和纸张的使用，降低对环境的影响，实现可持续发展。应用成效古井酒瓶包装印刷的二维码综合扫码率达到56%品牌故事播放率达到51%，播放时长均值2分钟（总长4分钟）地域特色行酒令、酒桌小故事活动参与率达到68%。永达传媒营销标准化客户需求提升销售讲解水平：在客户获取与沟通环节，销售人员在讲解时销售话术不统一、可能存在内容遗漏、存在风险内容等问题；在与客户交流过程中，需要捕获客户真实需求；在面对客户提问时，需要实现秒级输出。提升媒体展示效果：销售人员在与客户展示资源时，通过产品手册或案例图片等传统方式，效果不够直观，无法有效吸引客户，客户体验和营销效果不佳。提升销控数据及时率：销控状态线下管理、手工更新，销售团队获取信息不及时，影响合同签订效率。应用成效以平板为载体的数字员工，实现销售业务的标准化、统一化、智能化根据客户画像，提供个性化服务，高效管理客户关系产出客户需求和市场趋势，优化销售决策及产品定位华夏广电导游一体机客户需求2023年上半年，国内旅游总人次达到了23.84亿，同期相比增加了9.29亿，同比增长率为63.9%，面对后疫情时代的文旅消费井喷式增长，华夏广电对交互产品有更高的要求，需要深度文化体验、塑造品牌形象、满足多样化需求。应用成效星火生成式驾驶舱，自然语言全域知识交互透明显示屏，展示方式更通透技术支持部署要求私有化部署星火生成式智慧驾驶舱需要考虑硬件资源、软件环境以及外部依赖服务。以下是平台的详细部署要求，旨在帮助用户顺利部署和运行整个系统。硬件和软件环境要求后端服务：建议配置为CPU4核、内存16G、硬盘500G，用于部署驾驶舱后台管理服务和数据分析服务。至少需要1台服务器以单实例部署，推荐2台服务器以高可用性部署。前端页面：建议配置为CPU4核、内存8G、硬盘200G，用于部署驾驶舱的前端页面。至少需要1台服务器。反向代理服务器Nginx：建议配置为CPU4核、内存8G、硬盘200G，用于处理前端页面的请求。至少需要1台服务器。数据库和存储服务：建议配置为CPU16核、内存32G、硬盘500G，用于部署MySQL、Redis、Elasticsearch和MinIO等服务。数据库服务推荐一主一从配置以确保数据安全和高可用性。Docker和AI模型服务：建议配置为CPU32核、内存64G、硬盘500G、显卡T4单卡，用于提供意图匹配等功能。显卡非必选，但可以显著提高处理效率。服务部署清单见下表。序号服务名称推荐配置最低配置备注操作系统1驾驶舱后台管理服务

驾驶舱数据分析服务

反向代理服务器Nginx

前端页面CPU：4核

内存：16G

硬盘：500GCPU：4核

内存：8G

硬盘：200G用于部署驾驶舱前后端服务、nginx等服务，后端服务集群部署Centos7+(推荐)/Ubuntu-22.04+/麒麟v102驾驶舱后台管理服务

驾驶舱数据分析服务CPU：4核

内存：16G

硬盘：500G/驾驶舱后端服务集群部署Centos7+(推荐)/Ubuntu-22.04+/麒麟v103MySQLRedis

Elasticsearch

MinIOCPU：16核

内存：32G

硬盘：500GCPU：16核

内存：32G

硬盘：200G数据库、文件存储、文本检索、分部署缓存等服务部署Centos7+(推荐)/Ubuntu-22.04+/麒麟v104Docker

语义匹配模型

向量数据库CPU：32核

内存：64G

硬盘：500G

显卡：T4单卡CPU：16核

内存：32G

硬盘：200G提供意图匹配等功能；显卡非必选，可提高意图识别效率。Ubuntu-22.04+(推荐)/麒麟v10备注：部署过程中需要连接到公网以下载必要的资源，或者提供内网镜像源地址。外部依赖服务讯飞星火大模型服务：提供逻辑推理和交互功能，是系统的核心组件。可以私有化部署，且为必选服务。讯飞星火文档问答服务：提供知识问答功能，可私有化部署，为可选服务。讯飞虚拟人服务：提供虚拟人形象和语音合成功能，可私有化部署，为可选服务。讯飞实时语音听写服务：将语音转换为文字输入，可私有化部署，为可选服务。讯飞实时语音合成服务：在没有虚拟人的情况下提供语音播报功能，可私有化部署，为可选服务。讯飞AIUI服务：支持硬件配套的语音转写功能，可私有化部署，为可选服务。安全性和合规性要求在实施星火生成式智慧驾驶舱平台时，安全性和合规性是至关重要的考虑因素。我们的安全策略包括接口签名算法鉴权访问，确保所有接口调用都经过严格的身份验证。此外，我们承诺数据不出库，保障用户数据的隐私和安全。对于大模型服务，我们支持私有化部署，进一步增强数据安全性。网络和基础设施要求为了确保星火生成式智慧驾驶舱平台的性能和稳定性，我们建议部署在具备50M以上专线的网络环境中，这将有效保障虚拟数字人的流畅推流。至于基础设施，我们提供灵活的选择，支持云服务和物理服务器部署，用户可以根据自身需求和资源情况选择最合适的部署方式。部署工具和自动化我们提供全面的自动化脚本，包括服务部署自动化脚本和数据库初始化自动脚本，以简化部署流程并减少人为错误。此外，所有日志均留存在磁盘中，便于进行系统监控和问题排查。我们还将介绍如何设置和使用监控工具来跟踪系统性能和健康状况，确保系统的稳定运行。数据迁移和备份数据是企业宝贵的资产，因此我们提供定期数据库备份策略，确保数据的安全性和可恢复性。我们建议用户根据数据的重要性和变更频率，制定合适的备份计划