腾讯AI驱动下音视频场景创新

AI驱动下⾳视频场景创新崔⽴鹏⼁

腾讯云⾳视频产品总监⽬录PART

1

AI+⾳频实时互动PART

2

AI+视频实时互动PART

3

AI+智能媒资新能⼒AI⾳频实时互动AI语⾳助⼿、实时多语种翻译，重构⼈机与⼈际互动新体验01腾讯云城市峰会·无锡峰会新兴媒体闭门专场GUI->

LUI语⾳交互以其与⼈类⾃然沟通⽅式的⾼度⼀致性，提供了⼀种更为直观和低能耗的交互体验，⽽打字⽂本交互的使⽤门槛更⾼低延迟、⾼智能GPT-4o

是第⼀个实现端到端

voice-in,

voice-out

的⼤模型，低延迟、真实情感表达、很强的语义理解能⼒重新发明电话围绕实时对话构建的产品受到投资⼈青睐，利⽤AI定制特定类型的实时对话，更⾼效地提供上下⽂和价值Voice

Agent：下⼀代实时对话的新⽅向Voice

Agent

可能是今年最值得关注的⼀个⽅向，是下⼀代⼈机交互界⾯，多模态改变交互腾讯云城市峰会·无锡峰会新兴媒体闭门专场AI实时对话赋能千⾏百业的创新实践0102030405060708⼤模型/搜索：实时AI对话已经成为标配AI+游戏：AI陪玩、AI

NPC、AI队友AI+泛娱乐：AI陪伴、语聊房助⼿AI+健康：问诊助⼿、⼼理健康咨询AI+教育：实时字幕、在线课堂助⼿AI+客服：智能客服、智能外呼AI+IoT：可穿戴设备、AI玩具AI+⼯作：招聘、实时翻译腾讯云城市峰会·无锡峰会新兴媒体闭门专场红框内客户⾃定义腾讯侧：客户端和服务端的⼀体化集成⽅案，提供智能打断、降噪能⼒。客户侧：⾃定义⼤模型和TTS，接⼊到腾讯AI服务，保持业务灵活性。实现超低延迟的AI对话⾳视频端到端延迟低于300ms，AI对话延迟低于1000ms。精准的ASR识别⽀持多种语⾔，包括英语、西班⽛语、⽇语、韩语、中⽂以及23种⽅⾔和130种国际语⾔。⾼兼容性⽀持多个平台，兼容超过20,000种设备模型。第三⽅LLM和TTS⽆缝集成配置LLM和TTS服务的账户凭证，⽆缝集成到服务后台。功能特点AI实时对话⽅案使⽤Tencent

RTC，结合第三⽅的⼤模型和TTS等，可以轻松创建⼀个媲美GPT-4o所演⽰的AI实时交互体验，应⽤到业务场景内。腾讯云城市峰会·无锡峰会新兴媒体闭门专场对多模态的⽀持：当⼤模型有了“眼睛”具有跨⽂本、⾳频和视频进⾏实时推理的能⼒，可实现更⾃然的⼈机交互AI可以进⾏流畅的实时视频通话，⼈可以实时打断AI通过⼿机的摄像头与⼈互动，可通过视频流理解对话当前的环境（包括⼈物状态/背景环境）场景很丰富，现在需要探索多模态能⼒对于AI解题、绘画设计、⾳乐学习等需要视觉和听觉才能进⾏反馈指导的科⽬，⾮常关键腾讯云城市峰会·无锡峰会

新兴媒体闭门专场AI线上实时翻译：有⽂字到⽂字、语⾳到⽂字、语⾳到语⾳三种模式AI

驱动的实时翻译字幕AI

实时语⾳翻译多语⾔在线聊天⽂字→⽂字语⾳→⽂字语⾳→语⾳腾讯云城市峰会·无锡峰会

新兴媒体闭门专场AI线下实时翻译：⼤型跨国峰会、随⾝翻译、AI同声传译等场景语⾳→⽂字语⾳→⽂字语⾳→语⾳随⾝翻译字幕AI

同声传译⼤型跨国峰会腾讯云城市峰会·无锡峰会

新兴媒体闭门专场AI实时翻译解决⽅案：沉浸式的翻译体验，端到端语⾳体验佳端到端语⾳体验佳沉浸式翻译体验超低延迟与全球覆盖AI降噪抓取精准⼈声⽀持多语种识别情感化TTS助⼒同声传译AI+视频实时互动打造沉浸式、游戏化的社交增长引擎02腾讯云城市峰会·无锡峰会

新兴媒体闭门专场互动游戏+特效礼物将主播的实时⾯部与肢体动作转化为游戏控制器，主播做动作的过程本⾝就极具节⽬效果，容易产⽣病毒式传播的直播⽚段AI+美颜+⼩游戏：利⽤⾯部表情或⼿势结合直播⼩游戏玩法典型玩法游戏玩法例如，⽤户/主播通过⿐⼦进⾏切⽔果，结合头部移动控制⽅向，实现沉浸式互动玩法腾讯云城市峰会·无锡峰会

新兴媒体闭门专场特效能⼒升级：256+⼈脸点位识别，底层能⼒对齐抖⾳、tiktok粒⼦特效贴纸2D贴纸3D贴纸⼿势触发贴纸表情触发贴纸⾯部动作触发贴纸背景分割贴纸头发分割贴纸3D

头套

⾯部识别触发

⼿势识别+粒⼦特效腾讯云城市峰会·无锡峰会新兴媒体闭门专场beforeafterafterbeforeAI驱动体验升级：腾讯美颜特效SDK赋能互动游戏腾讯美颜特效SDK通过强化AI能⼒，优化了⼈体点位识别的精准度，⽀持识别300个以上的全⾝点位，以及42个⾝体⾻骼关键点复杂运动场景下也能够稳定、精准地识别出关键点位，确保美颜、美型、贴纸的贴合度更⾼，动作跟随更稳定⾃然。腾讯云城市峰会·无锡峰会新兴媒体闭门专场扫码体验新版Demo国内海外AI+智能媒资新能⼒为每⼀秒内容赋能，让创意⽣产更⾼效03腾讯云城市峰会·无锡峰会新兴媒体闭门专场最专业的媒体智能处理平台智能字幕智能弹幕游戏打点隐私保护智能拆条智能封⾯智能擦除横屏转竖屏精彩剪辑语⾳识别语⾳翻译⽂字识别物体识别⾼光时刻精彩瞬间智能摘要分段腾讯云城市峰会·无锡峰会新兴媒体闭门专场⽆需代码开发，控制台配置好语种模板和编排，基于⽂件上传触发，⾃动⽣成视频字幕⽂件⾃动⽣成字幕⽂件⾃动插⼊字幕轨道画⾯压制画⾯提取可⾃动⽣成字幕并插⼊字幕轨道，可防⽌字幕视频分开存储导致字幕⽂件丢失，⽤户可按需开启基于⾃动⽣成的字幕⽂件，可⾃动转码压制到视频画⾯，样式、字体、字号、字体颜⾊、背景⾊均可⾃定义压制基于视频画⾯原有字幕⾃动提取并⽣成字幕⽂件，⾼清重制进⾏⽼⽚保护智能字幕-点播场景腾讯云城市峰会·无锡峰会新兴媒体闭门专场智能擦除静态擦除⾃动识别位置；定制识别⽬标；多种檫除效果动态擦除⾃动⽬标跟踪；⾃动动态擦除腾讯云