2024虚拟人的多场景应用实践

虚拟人的多场景应用实践2024一一AI助手国内首个月活破亿的手机语音助手国内首个月活破亿的手机语音助手2.5亿覆盖设备数

20亿亿月活跃用户数月均交互次数亿月活跃用户数OPPO、OnePlus、Realme智能手机和IoT设备的内置AI助手包含语音、建议、指令、识屏和扫一扫5大能力模块“机智”、“有趣”、“温暖”多设备、跨平台、多场景不断成长中的小布不断成长中的小布首次发布

跨界合作

更名小布助手

月活破亿 营销/媒介创

安全性/可靠性/隐私性 多模态交互

3周年IP升级2018.12 2020.05 2020.12 2021.02 2021.06 2021.09 2021.12二虚拟数字人二虚拟数字人线上用户需求分析线上用户需求分析高级需求情感诉求进阶需求智能、懂我基础需求方便、高效、解放双手高级高级需求情感诉求进阶需求智能、懂我基础需求方便、高效、解放双手朋友形象拟人化，声音、动作、表情丰富自然朋友对话交流直击用户内心，满足情感需求助手单指令执行APP二级指令复杂任务助手结合对情景智能和用户理解主动建议工具查天气，系统设置，播音乐等工具更多提高操作效率的功能基础虚拟助手行业趋势虚拟助手行业趋势智能交互技术发展多模态交互知识图谱知识图谱以语音形式与用户交互释放双手，一语即达通过VUI给予用户反馈多模态驱动语音识别语音合成知识图谱以虚拟人形态与用户交互释放双手，一语即达动作等给予用户反馈自然语言理解知识图谱以文本形式与用户交互依赖用户双手输入文本自然语言理解知识图谱以文本形式与用户交互依赖用户双手输入文本以文本展示给予用户反馈文字交互触屏自然语言理解知识图谱以触屏方式与用户交互依赖用户手部接触通过GUI给予用户反馈虚拟数字人虚拟数字人虚拟非物理世界

设备：显示屏（2D/XR），全息投影场景：虚拟助手，虚拟主播，数字员工建模：数字建模驱动：动捕驱动，AI

数字

人外观/行为/智能

形象：卡通-写实-超写实行为：动作、表情、声音等智能：能感知，可交互11三11三小布虚拟人首个基于虚拟人多模态交互的手机智能助手两套技术方案真人驱动 算法驱动设备捕捉 AI捕

形象设计

真人数据采集动作捕捉参数录音采集

3D建模驱动渲染

驱动参数训练驱动参数预测

语音合成变声器

虚拟人影像虚拟人主体制作主体制作形象设计 3D建模 关键点绑定渲染引擎真人驱动渲染引擎真人驱动惯性动捕动捕软件光学动捕惯性动捕动捕软件光学动捕算法驱动算法驱动文本特征

动作预测模型

动作系数WordEmbedding语音合成WordEmbedding语音合成渲染引擎话术文本

音频波形

音频特征

元辅音识别模型

元/辅音

Blendshape 虚拟人驱动语音唤醒知识图谱自然语言生成语音唤醒知识图谱自然语言生成人声检测语音识别语义理解对话平台技能平台声音播报语音合成虚拟人SDK虚拟人交互服务3D渲染引擎唇形生成表情生成动作生成对话式虚拟人架构四四未来可期两种产品形态两种产品形态代表我服务我数字备份社交游戏虚拟会议代表我服务我

电商主播品牌代言虚拟助手虚拟偶像三大发展趋势三大发展趋势高智能用高精度的语音识别、声纹识别、情绪识别、对话理解、知识图谱等技术赋予虚拟人更强的智能感知力用高表现的语音合成、计算机图形学、唇形生成、动作生成、表情生成等技术赋予虚拟人更好的情感表达力

高保真4D高精度扫描&超写实3D建模，塑造高仿真虚拟人外形高精度动捕&深度学习，生成流畅、自然的人物动作4D高精度扫描&丰富面部数据学习，还原多情感生动表情

低成本素材标准化+