腾讯音视频领域下AIGC的应用与创新探索

⾳视频领域下AIGC的应⽤与创新探索演讲⼈⼁

喜马拉雅AI产品专家-张慧敏⽬录PART

1

⾳视频创作的挑战PART

2

喜马拉雅研发的⾳频⼤模型PART

3

喜马拉雅AIGC的应⽤成果⾳视频创作的挑战01腾讯云城市峰会·无锡峰会新兴媒体闭门专场⽂本内容上下⽂理解拆场景⾓⾊设计⾓⾊台本找剧组主播演绎（演员+配导）传统有声内容制作流程画本（编剧+导演）主播理解⾓⾊对戏主配⾓⾊声⾳演绎旁⽩⾓⾊声⾳演员环境⾳效⽣成审⾳修⾳⾳频对轨剪辑⽂摘输出标题输出封⾯输出封装上架推⽂视频⽂稿改写制作场景视频素材制作⼈物视频素材视频⽂稿配⾳视频剪辑后期制作发布制作（后期）营销（宣发）新兴媒体闭门专场腾讯云城市峰会·无锡峰会有声内容⾳频⾏业两⼤核⼼痛点成本⾼门槛⾼12道⼯序/12周/50万元成本新兴媒体闭门专场腾讯云城市峰会·无锡峰会有声⽤户的旅程图喜马拉雅研发的⾳频⼤模型02腾讯云城市峰会·无锡峰会新兴媒体闭门专场长篇章强演绎语⾳⼤模型⾳频/⽂本指令⾳频指令⽂本指令⽂本内容⾳频内容⾳乐内容⾳频情感、副语⾔理解⾳频情感

⾳频副语⾔⾳频/⽂本内容⾃然语⾔控制语⾳⽣成⼤模型遵循指令：⾳频或⽂本指令理解⾳频或⽂本内容、情感⽣成富有情

感的⾳频0或1

⽂本内容学习⽅法：海量数据预训练、下游任务对齐⾳频/⽂本内容⽂本内容⾳频内容⾳乐内容腾讯云城市峰会·无锡峰会新兴媒体闭门专场双引擎驱动，构建AI⾳频全流程产线语⾳⼤模型技术引擎⼯业化⽣产管线引擎技术破局实现声⾳克隆（10秒⽣成商⽤声线）、剧本⽣成（4000亿参数⼤模型）、情感合成（56种复合情绪表达）等智能化创作构建全⾃动产线（24⼩时完成有声书制作）、动态算⼒调度（A800+4090混合部署）、质量控制系统（多维度⾃动审核）腾讯云城市峰会·无锡峰会新兴媒体闭门专场情感轮精细化控制56种复合情感新兴媒体闭门专场腾讯云城市峰会·无锡峰会智能化⽣产管线—

演进历程喜马拉雅AIGC的应⽤成果03腾讯云城市峰会·无锡峰会新兴媒体闭门专场⾳频创作AI

agent成果AIGC播客韵律停顿⾃然，⾃发式⼝语化表达特⾊演绎⽅⾔⾳⾊郭德纲相声Aduiodubbing有声⼩说极致情感表现哭出来、笑出来、骂出来“爱因斯坦给我讲失眠的问题”腾讯云城市峰会·无锡峰会新兴媒体闭门专场⾳频创作AI

agent扩展⾳频艺术的时间边界通过AIGC，完美还原已逝的单⽥芳先⽣的声⾳，制作的单⽼专辑数量在喜马拉雅上线100多张，总播放量超过1亿。其中，有15张专辑播放量破百万，例如，《民国四⼤家族》播放量近730万，《⼗⼆⾦钱镖》播放量近700万，《卧虎藏龙全集》播放量超390万。单⽥芳先⽣⼉⼦单瑞林评价：“听到AIGC声⾳，⼼魂间猛然⼀阵，仿佛⽗亲⼜回到这个世界！”单⽼拟声词表现

单⽼中英混合腾讯云城市峰会·无锡峰会新兴媒体闭门专场AIGC⼴告业务联合“AI李⽩”吟诗“AI李⽩”⼴告词腾讯云城市峰会·无锡峰会新兴媒体闭门专场【⾳剪AI创作⼯具2.0】随时随地开⼯的“

数字制⽚场”腾讯云城市峰会·无锡峰会新兴媒体闭门专场《温柔的背叛》累计播放：4000w

+创作模式：AIGC

独⽴创作《妻⼦的秘密》累计播放：5000w

+创作模式：AIGC

独⽴创作《混在洪武当咸鱼》累计播放：1400w

+

创作模式：AIGC

+

真⼈《⼀⼈⼀剑，我镇守孤城70

年》累计播放：1400w

+

创作模式：AIGC

+

真⼈《⽆敌风⽔师》累计播放：2000w

+创作模式：AIGC

独⽴创作《教⽗三部