新质融媒公共服务平台之数字人内容生成平台项目建设需求说明

1求说明本项目致力于建设数字化节目生产全流程平台，集成数字人核心算法、内容管理及定制系统开发，实现真人与数字人形象规模化复制、智能内容生成和高效发布。平台通过融合深度学习、计算机视觉和自然语言处理技术等核心算法技术，能够实现形象克隆、声音克隆及音频驱动等定制服务，构建高保真"数字主播库",支持多场景应用适配与集成，并升级直播设备，满足数字人直播等应用场景，实现节目生产全流程智能化。采用弹性混合架构，云端部署核心算法实现动态扩展，本地化部署保障数据安全。平台强化多语言及方言定制能力，满足国际化传播需求，助力构建“AI驱动内容生产”体系，推动降本增效、内容多元化和全媒体融合传播，为智慧广电转型提供支撑。(一)基本内容1数字人核心算法软件1套2数字人视频渲染软件1套3智能剪辑创作渲染软件1套4数字人内容生成平台数字人主控管理中台1套5数字人形象克隆1套61套71套8数字人一键合成1套9渲染输出1套21套多语种/方言口音TTS播报1套直播数字人推流直播对接开发1套数字人内容生成平台定制化开发内容生成模块指定接口对接、定制化开发1套2套1套直播数字人模型定制化训练与私有化部署20个数字人专属云与数字人训练生成算法及视频渲染配套专属云服务3年数字人直播设备数字人直播配套专属编码器1套数字人直播配套专属切换器1套要求提供包含数字人训练生成算法和搭载该算法及文字生成视频的整体软1.1.3数字人形象支持无场景限制开模，包含人物运动及静态；1.1.4数字人训练数量无限制；1.2满足数字人生成在算法架构上的核心技术要求1.2.1支持端到端多模态融合架构，需集成NeRF渲染及轻量化TTS语音驱31.2.2支持动态量化压缩：基于TensorRT-LLM进行FP16/INT8混合精度量1.2.3支持自适应负载均衡：支持CPU/GPU资源动态分配，单节点可满足承载1080p/30fps的实时渲染；1.3满足数字人生成的超高拟真度与稳定性1.3.1支持高保真神经辐射场(NeRF)+4D动态捕捉数据库，微表情精度要1.3.2支持毛孔级细节渲染，实现人物还原度>99%;1.3.3支持光流引导的LSTM运动平滑算法，实现面部关键点抖动率要求≤1.3.4支持集成Wav2Lip++与音素级唇形映射的唇形同步优化技术，唇形同步误差要求<5ms;1.3.5支持实时光追(RTXDI)+环境光遮蔽(SSAO)动态补偿，实现不同光照条件下肤色与材质的一致性要求>99%。1.3.7支持Vulkan多线程管线和H.265硬编码；1.3.8要求视频渲染合成实时率：1080p高清视频推理速度≥1:1,4K视频推理速度≥1:3;1.3.9支持1080p/30fps实时渲染，实时并发渲染任务≥3路。(三)数字人内容生成平台要求提供一套数字人内容生成平台，平台核心功能模块需一次性私有化授权部署或第三方API接入开发，并确保数字人生成视频核心业务流程稳定运行。1.主控管理中台1.1支持核心产品能力全链路对接：确保数字人形象克隆、AI声音克隆、AI智能对口型、数字人一键合成、多语种/方言口音TTS播报、渲染输出、直播数字人推流直播等核心模块能力与系统平台无缝对接，实现从素材输入到视频生成的全流程闭环。4记(如待处理、处理中、已完成、异常)。1.3权限管理中枢：提供素材库双向同步接口及视频成果一键回传指标，提供错误日志关联分析，确保业务中断恢复时间≤10分钟。2.1.1支持对不限数量的真人1:1复刻(绿幕/实景),需多维度还原指定真人数字人，生成的数字人覆盖场景包含但不限2.1.3支持人物站姿、坐姿、走动，脸部不低于30度的转动及手部动作。2.2支持形象克隆输入数据为单人物口播的MP4格式视频文件；2.3提供不少于50个无版权/肖像权争议的数字人模特(涵盖不同年龄段/要求音色相似度≥90%;53.1.2声音连贯性与自然性：合成语音流畅无卡顿，过渡自然，无显著机器合成感或不连贯的语句；3.2支持至少两档长短音频样本的声音克隆方案。3.2.1提供≤60秒短音频样本可完成声音克隆；3.2.2提供≥5分钟长音频样本完成克隆，并实现音色的情感迁移和跨语种3.3支持声音克隆输入数据为无环境噪音、回声，单人录制的MP3格式音3.4支持API方式提供声音克隆服务；3.5提供不少于1000人次的声音音色克隆服务，声音资产归建设方所有。4.AI智能对口型4.1支持多格式音频文件，包括支持上传MP3、M4A、WAV等主流音频格式文件(含XX方言及外语),兼容数字人形象克隆模块输出的预训练模型数据规范，确保音画输入源统一化处理。4.2支持克隆形象精准驱动：通过标准化数据管道实时联动数字人形象克隆模块，调用预训练的形象模型生成口型同步视频，实现音频流对克隆人物形象的毫秒级驱动响应。4.3支持基于音素-视觉映射的实时渲染引擎，将音频流输入与克隆形象的面部拓扑结构动态绑定，确保唇形、下颌运动与音频波形严格匹配，口型同步误差要求≤0.1秒。4.4支持自适应形象参数调整，根据数字人形象克隆模块输出的面部特征参数(如嘴部开合比例、牙齿可见度),自动优化唇形轨迹预测算法，消除不同形象建模导致的音画偏移问题。5.数字人一键合成5.1支持融合数字人形象克隆模块、AI声音克隆模块、AI智能对口型模块及多语种/方言口音TTS播报模块的核心能力，确保各模块技术能力无缝衔接，为数字人视频合成提供全链路技术支撑。65.2支持通过数字人形象选择、声音选择、语言选择(含多语种及XX语在内的方言)、口播文案输入、标题字幕输入等多维度选项配置，满足基础数字人视频制作需求。5.3支持通过上述合成流程，实现AI声音克隆、AI配音、AI智能对口型三大核心数字人视频合成功能，一键触发数字人播报视频生成流程，无需多步骤手动操作，确保视频生成高效便捷。6.数字人渲染提供匹配数字人视频渲染软件与数字人内容生成平台及数字人核心算法软件兼容，确保渲染输出的视频符合数字人形象还原度、唇形同步等核心技术指标要求，并实现多路并发渲染任务功能：6.1支持4K视频渲染：按单条3分钟/单台训练服务器计，4K视频的渲染效率≥6条/小时。6.2支持1080P视频渲染：按单条3分钟/单台训练服务器计，1080P视频的渲染效率≥20条/小时。6.3支持渲染软件需具备同时处理多路渲染任务的能力，保障多任务并行时的稳定性与效率。7.数字人后台运营管理7.1支持内容管理功能，包括对数字人形象库、音色库、视频素材、成品视频等数字资产的上传、分类、存储、检索、编辑及删除操作，实现资产全生命周期管理，且支持批量处理。7.2支持视频分发管理功能，包括将数字人生成视频向电视台、新媒体平台等多渠道分发，可配置分发参数、监控分发进度及状态(如成功、失败、待审核),并提供分发记录查询功能。7.3支持账号与权限管理功能，包括支持账号创建、注销、信息修改等全生命周期管理；支持系统级、部门级(≥20个)、个人级的多级权限设置，实现资产及内容的权限隔离与分级管控。7.4支持通过福云平台统一认证授权登陆数字人平台，实现用户体系与权限7映射打通。7.5支持数据分析与统计功能，包括对数字人训练数量、视频生成量、声音克隆等数据进行统计分析，生成可视化报表(如柱状图、折线图),并支持数据导出。7.6支持系统监控与更新管理功能，实时监控平台运行状态(如服务器负载、任务进度、模块异常),支持对数字人模型、算法版本、功能模块的更新推送与进度监控，异常时实现预警并记录。7.7提供基于B/S架构浏览器的视频创作工具，允许用户无论在何地都能通过网络访问并使用专业的视频编辑功能，包括但不限于视频剪辑、实时预览、多轨编辑、音频编辑、色彩校正、转场、特效、滤镜、贴纸及字幕添加功能，同时支持云协作和项目管理，以满足创作者在不同地点共同创作和编辑视频内容的需7.7.1产品适配性要求：云剪辑创作工具支持用户账号系统接入，可实现账号统一登陆；云剪辑创作工具支持媒资系统接入，可实现在工具中调用媒资系统素材进行上轨时间线编辑；云剪辑创作工具可支持内容发布系统接入，可实现生成的视频成片一键发布到指定系统中；服务端视频合成渲染可支持ARM64架构CPU及国产操作系统；支持提供接口相关源代码用于二次开发7.7.2产品功能要求：7.7.2.1支持多轨道时间线编辑，且支持多个时间线序列嵌套组合编辑，每个序列支持以独立的时间线进行编辑；支持智能识别人脸自动马赛克效果；7.7.2.2支持本地素材和云端素材混合在时间线轨道上实时编辑，本地素材无需上传完成即可编辑，可通过URL网络地址直接访问编辑无需预转码进行帧精确定位；7.7.2.3支持视频涂鸦标记，可在监视器上用涂鸦的方式进行各种形状线条进行标记，标记后的信息可进行视频生成；支持智能校色，可实现一键智能对视频曝光、鲜明度、高光、阴影、对比度、亮度、黑点、饱和度、自然饱和度、色温、8色调、锐度、清晰度、噪点去除、暗角14项参数进行自动检测处理，并支持手动调节参数及人像模式(效果不能出现肤色异常、过曝过暗)7.7.2.4支持GPU硬件解码，可实现本地4K(H264/H265)视频实时剪辑；支持Web端实时处理视频人像背景分割智能替换背景、实时处理音频变声实现男声、女声、卡通、怪兽效果，无需预转码处理；7.7.2.5支持PPT转视频引擎技术，可实现自动解析PPT图元、文字信息进行二次修改，生成视频；可支持ARM架构CPU及自主可控操作系统；7.7.2.6支持字幕特效渲染引擎技术，可实现字幕逐字动画、富文本、局部花字效果设置生成视频；支持从右到左(如阿拉伯文)排版渲染，也支持从左到右与从右到左文字混合排版渲染；可实现单个emoji表情文字和组合emoji表情文字混合排版渲染，其中组合emoji表情文字会作为整体渲染呈现(非拆分单个单行呈现),其逐字动画效果也以组合形式协同运行。7.7.2.7支持视频编辑功能，基础功能包含：视频尺寸设定：支持4K级别制作，可自定义分辨率、码率、画幅、帧率多段混合编辑：不限素材数量，可随意导入视频、照片进行编辑制作；编辑无预处理：任意视频画幅分辨率，无需预处理，直接进入视频编辑；效果实时预览：添加滤镜主题等各种特效，均无需等待，直接预览效果动画贴纸：包含静图、复杂运动，有声贴纸等多种贴纸效果；多次添加贴纸：可以在视频制作中，任意添加多个贴纸；基础转场：实现片段间过渡，转场默认为1秒，可以缩短，缩短后转场动画会变快，基础转场共有12种，分别是：淡入淡出、翻转、层叠、伸展进入、卷页、镜头眩光、星形、闪黑、闪白、右推拉、上推拉、斜推；特效转场：独有的绚丽转场效果，电影级别效果，数十种转场可选；视频裁剪：对某一段视频的长度进行裁剪(精确到帧);素材删除：可以删除多段制作中的某一个视频或图片；视频图片添加：在多段制作中，插入一个新的视频或图片；素材排序：调整多段制作中的视频/图片的顺序；图片时长设定：设定图片展现的时长，时长不限；视频&图片旋转：可以旋转视频、图片的方向；9视频分割：可以将视频切割成多个片段(精确到帧);图片运动：可以设定图片的运动效果(开始结束画面);设定输出的尺寸：可以设定需要输出的分辨率和码率(最高支持4K);设定视频水印：可以添加一个水印贴纸(后台生成)作为视频水印，水印可生成视频：最终打包生成视频，生成MP4或MOV等视频格式。独立音量调节：视频原声、音乐、配音、等各在创作工具中使用，助力打造精彩视频；PC客户端特效工的可视化编辑能力，支持多图层合成、关键帧动画、表达式、≥15种轨道叠加方式，且实时渲染、效果所见即所得(自主知识产权不基于三方软件及插件),100个字幕、100个转场类型特效素材。7.7.2.10支持提供特效素材创作管理平台，用于PC端视频创作工具统一存储、管理、审核和上传各类视频特效素材，如滤镜、特效、贴纸、字幕、转场、视频模板等各类型特效素材。平台可根据不同类型的特效素材进行自定义二级、三级分类设置，用于创作工具统一展示。创作工具可支持多终端视频编辑创作能力扩展延伸，从而支撑本项目未来建设升级规划。要求包含以下内容：7.7.3.1移动端创作工具可继承使用PC端特效工具制作的各类特效素材，如字幕、转场、特效等；移动端创作工具支持和Web端创作工具云端互联互通，工程草稿可通过时间线故事板方式打开，且特效、字幕、转场等效果一致，移动端创作工具支持鸿蒙Next操作系统，支持视频智能畸变矫正、四向梯形矫正、水平矫正效果处理；7.7.3.2PC客户端创作工具可继承使用PC端特效工具制作的各类特效素材，如字幕、转场、特效等；PC端创作工具支持和Web端创作工具云端互联互通，工程草稿可通过时间线故事板方式打开，且特效、字幕、转场等效果一致，PC端创作工具支持Windows、macOS、Ubuntu操作系统，支持视频智能多摄拼接、柔光镜效果处理。8.多语种/方言口音TTS播报8.1支持上传任意人物声音音频，通过生成与音频中人物声音高度还原的多语种/中文方言口音音色模拟语音合成TTS播报功能，语音的音质、语气、语调与原声音高度匹配。8.2提供包含中文在内的多语种语音合成TTS模型服务，其中中文需支持台湾口音训练，且整体语种数量要求≥20种，满足不同语言场景下的播报需求。8.3支持对生成的TTS语音进行声音设置，包括语速设置(提供至少3档不同倍速调节，如0.5倍速、1.0倍速、1.5倍速等)和音量大小设置(支持0-100%区间的精准调节),提升语音播报的灵活性。8.4支持API方式提供接入多语种/方言口音TTS播报服务。8.5生成的TTS语音需具备自然流畅性，无明显机器合成感，语句过渡平滑；试听不同设置(如语种、语速、音量)下的效果，便于及时调整优化。9.1支持根据所提供的真人音/视频采集素材，训练直播数字人模型，并由9.2支持标准协议推流，直播推流时延要求≤3s;9.5支持创建管理直播方案，并绑定已配置互动话术功能；9.6支持智能生成直播脚本功能，包括但不限于通过手动录入商品信息生成、9.7支持直播智能互动话术回复功能，即根据直播场景下不同类型指令配置发全新AI能力，以及实现建设方指定的第三方1.1支持定制AI智能文案模块功能，通过API方式接入建设方指定第三方或本地部署的语言大模型，实现已输入口播稿、主持串词、新闻通稿等文本的持的多样化改写，包括同义词替换(自动替换近义