2025QECon全球软件质量效能大会：全链路直播质量保障：从端到端稳定性到基于AI的音视频保障

QECon2025全球软件质量&效能大会

·深圳站2025

GLOBAL

SOFTWARE

QUALITY&EFFICIENCY

CONFERENOE

SHENZHENZHAN全链路直播质量保障：从端到端稳定性到基于Al的音视频保障王豪杰|哔哩哔哩流媒体质量部资深测试开发工程师戴杰超|哔哩哔哩直播质量部资深测试开发工程师QECon全球软件质量&效能大会01

直播背景介绍02

全景图03全链路稳定性保障音视频质量保障目录CONTENTSPART01直播背景介绍全球软件质量&效能大会888QE

行业背景：直播行业的演变01

02

爆发期(2020至今)疫情加速线上化，如腾讯会议直播。日活超1亿。AI

虚拟主播渗透率超15%,如B站虚拟主播。月活超500万。直播技术不断创新，如5G

直

播技术应用。画质提升4倍。4G

普及催生移动直播，如抖音移动直播。日活超5000万。短视频平台入局，如快手短视频直播。日活超工亿。直播技术不断优化，如虎牙直播技术升级。画质提升2倍。秀场直播兴起，如9158秀场直播。月活超百万。游戏直播发展，如斗鱼游戏直播。月活超500万。推流技术突破，RTMP

协议广泛应用探索期(2010-2015)

成长期(2016-2019)1.弹幕功能让观众实时反馈，主播即时回应，增强参与感2.用户间讨论形成社区，扩大影响力3.直播间直接下单，简化购物流程1.原生内容，主播真实形象吸引观众，

建立信任2.秒级延时，用户与主播零距离沟通1.娱乐场景，游戏，聊天室，娱乐等直

播场景2.电商场景，电商直播满足购物需求，

直接直播间内下单3.教育场景，教育直播突破时空限制，

推动教育公平QE

行业背景：直播业务特点强互动性真实与实时多场景渗透全球软件质量&效能大会PART02全景图888QE

全景图-直播全场景流程图cdn节点

rtc媒

体

服

务采集和调度分

布

式

源

站

回源

CDN转

码

集

群边

缘

计

算dlayur

接口插放地址拉流拉

流

模

块拉流播

放

器拉流

观

看

客

户

端开播接口推流地址直播推流直播推流麦克风音频其他窗口音频系统音频背景音乐摄像头视频窗口视频视频流界面元素开

播

客

户

端开播网关直播业务服务流状态机直播流媒体服务中

心

机

房音频采集处理(美声、降噪等)视频采集处理(美颜、贴纸等)边

缘

节

点互

动

音

视

频

长

链广

播

长

链

消息发送策略服务推流地址看播网关播放地址连麦网关边缘调度用户鉴权推流鉴权三方推流推

流

和

渲

染

引

擎互动音视频长链消

息

广

播

服

务广

播

长

试弹

幕

服

务QE

全景图-稳定性隐患链路复杂1.从开播到用户观看，整个链路

较长，且依赖关系复杂2.链路较多，有http,grpc

接口

为主的控制链路，websocket的广播通知链路，还有srt/http-hls等音视频传输链路3.数据来源多，存在多种向平台推流的情况用户高敏感1.直播数据实时传输，开播到观看中间任一点问题都可能造成用户卡顿，黑屏，花屏等问题2.音视频功能对性能损耗会更高，

若不控制会导致用户体验受损用户感官指标用户感官指标分钟卡顿率

首帧耗时播放失败率画质主观体验音质主观体验画质性能

网络QE

全景图-测试能力图谱端到端自动化检测能力音画同步检测端到端延时检测端首帧耗时检测流媒体检测能力智能调度巡检FFmpeg

黑屏、黑帧检测绿屏、花屏AI检测故障注入能力trace

采集混沌工程自动化演练流媒体测试平台能力推流场景模拟上行异常流构造画质主观评测画质客观评分能力PSNRVMAFSSIMVQA音质客观评分能力NISQA客户端质量服务端质量底层能力集共建直播流媒体专项质量保证故障演练服务强弱依赖演练

基础组件依赖演练IDC服务故障演练

边缘计算故障演练应用相辅相成

反馈断网演炼跨机房调用治理机房断网演练巡检下行拉流巡检内容检测直播业务端到端质量保证直播流媒体

测试能力建设采样率信噪比帧率编解码码率分辨率指导补充延迟乱序丢包阻塞内存耗电CPUGPU码率频率颜色空间全球软件质量&效能大会PART

03全链路稳定性保障888观看直播频繁出现卡顿，缓冲pk结束因为服务端网

络波动导致主播状态异常，无法再次pk更新版本后出现开播发热，卡顿机房网络波动、异常

推流、网络攻击导致收到异常流稳定性建设接口依赖故障演练异常推流构造机房网络演练状态机故障演练端性能自动化测试持续性&稳定性拉流数据性能异常QE

直播特性-链路复杂典型问题

特性汇总建设方向全链路稳定性保障--故障演练http

stream报错databusmysql超时redismemcachegrpchttp依赖治理降级策略兜底sop客户端

服务端cpumemnetdiskQE容

器不足QE

全链路稳定性保障--故障演练接口管理

场景依赖管理获取房间基本信息(pO)单接口依赖管理场景录入

依赖预期

故障演练

改进实施视频云服务-状态机强依赖改造状态机主要记录直播系统中直播流的各类基础属性数据和直播间到流的映射关系数据，是整个直播体系能够实现运行起来的基础数据依赖。简单概括：一个直播流在哪里生产以及流的状态详情。PU

开播

Redis缓存Redis存储

Redis

存储

Redis

缓存关播

鉴权中间件自身双向数据同步—故障演练效果：强依赖链路的最小化双读双写的可用性在最极端情况下，仍保障重点房间可播放QE

全链路稳定性保障-视频云稳定性不稳定性来源：实时性高单一存储不稳定Taishan/taishan.api.TaishanProxybatch_getTaishan/talshan.apl.TalshanProxy/batch_getvideo.live-core.stram-corevideoJivo-cora.stram-room直播业务入口视频云服务底层双读双写改造videolive-core.stream-core双读双写故障演练gRPCServervideo.live_core.stream_room.v1.StreamRoomServer/BatchGetStreamDataByRoomlddatabus(global生产和消

费)消费服务video.live-core.Stream-corevideo.live-core.stream-core流状态服务gRPC

Servervideo.live_core.stream_core.v1.streamCoreServer/GetStreamAVCovers上游强依赖改造APIRBw云立方机房APIF&M)

嘉定机房上游写应用源站

CDNIDCPU故障类型二-网络类故障上行推流端口异常上行推流网络丢包、延迟、乱序、包损坏等转推网络异常回源端口异常回源网络丢包、延迟、乱序、包损坏等向中心上报接口网络异常开播回调鉴权网络异常中心查询接口网络异常playurl视频云/业务服务演练成果边缘故障及时感知和slo告警故障节点自动下线端到端功能流程中，业务遇到故障节点，能及时切换边缘计算故障演练视频云边缘计算：数量：500多个上行边缘源站、2000多个下行边缘CDN分布：部署在多个城市和地区的机房属性：设备和网络种类繁多，受到各种外部环境的影响，日常存在不稳定性故障类型一-设备类故障

CPU

使用率异常内存使用率异常磁盘空间不足容器内进程关闭带宽异常sysload(负载高的场景)QE

全链路稳定性保障测试-视频云稳定性1:1复刻线上异常历史case保障公司自研媒体服务迭代class

FLVTagVideoBody:codecid:intavcpackettype:intctsoffset:intpayload:bytes典型问题机房网络波动、异常推流、

网络攻击等引起流媒体服务接收到预期外的异常数据，引起服

务波动。class

FLVTagAudioBody:soundformat:intsoundrate:int#3soundsize:int

#1soundtype:int#1aacformattype:int

#only

when

soundtype=10FMT_MP3

=2FMT_AAC=

10AAC_HEADER=

0AAC_DATA=1QE

全链路稳定性保障测试-异常流测试流文件tag异常

音频body异常

视频body异常TYPE_KEY

=1TYPE_INTER

=

2TYPE_DISPOSABLE=

3CODEC_AVC=

7CODEC_HEVC=

12CODEC_AV1=13AVC_HEADER=

0AVC_DATA

=1AVC_EOS

=2自研编码程序-异常构造底层实现rtmppush、bmtpush

等推流能力class

FLVTag:tagtype:inttimestamp:uint4body:bytesVIDE0=

9AUDI0

=8

SCRIPT=

18dump

数据异常流的发现和复现排查保障frametype:int成果payload:bytes推流素材和case平台化管理历史积累的全部推流case,场景较多，涉及多种文件格式、推流协议、推流工具平台核心功能素材的收集和归类推流能力的平台化仅输出音频(无画面)仅输出画面(无音频)先有画面后有音频(音频延时3秒)音频与画面同时延时(默认5秒)[ffmpeg]低码率-->高码率[rtmppush]中间穿插无视频(丢失视频帧)[rtmppush]

增加Header[rtmppush]分辨率一直在变[rtmppush]横竖屏分辨率变化[rtmppush]随机丢包[rtmppush]音画同步[rtmppush]用例名称

【录像】普通视频264推流工具推流文件

/datamaterials/normal.mp4×rtmp:/9:11935/ive-bvc/ive_105054040_99764707streamname=live_10

房间号

460885推流协议

rtmpVideoCoec

copyAudioCodec

copy分辨率

1280*1080分辨率频繁变化header-change-330.flv"codec_name";"h264","codec_long_name";"H.264/AVC/MPEG-4AVC/MPEG-4part10","codec_type":"video""codec_time_base":"","codec_tag_string":"[0][0][O][0]","codec_tag":"0x0000","r_frame_rate":"24/1","avg_trame_rate":"293/12","time_base":"1/1000","start_pts":1214,"start_time":"1.214000","duration_ts":0,"duration":"","bit_rate":"",推流平台的成果：将B站目前支持的全部推流格式和推流协议在

平台上实现；记录了数十种异常推流场景；将复杂的异常场景，一键复现；大幅提高了直播流媒体测试的效率QE

全链路稳定性保障测试-推流测试平台化素材管理与元数据展

推流用例创建测试case

的维护推流用例管理QE

全链路稳定性保障测试-性能自动化场

景

指

标

基础能力

机

制性能基线送礼特效wda准出卡口gpuplaywrightopencv网络告警规则弹幕压力uiautomator2内

存cputc+flask编解码协议美颜卡顿比例首屏时长瞬时压力场景上下滑切换长时稳定场景playwright无异常

直接准出场景选定

网络组合

基

线

测

试

规则设定准出测试风险数据

多次运行超出阈值

告警卡点性能自动化数据推送BOT2311:38测试场景：20250119_160444_ios观看切换清晰度和线路_ios端_hls_弱网，性能数据：cpu:(平均值：6.34%同比：+0.26%),gpu:(平均值：34.04%同比：+1.71%),内存：(平均值：354.87MB同比：-0.19%,本次报告内增长趋势：无明显内存增长),fps:(平均值：60.83同比：-0.09%),jank:(平均值：-1.00同比：-0.00%)与上版本报告比对报告测试场景：20250118_201417_jos观看切换清晰度和线路_ios端_his,性能数据：cpu:(平均值：7.00%同比：+0.68%),gpu:(平均值：36.47%同比：+3.91%),内存：(平均值：375.08MB同比：+5.19%,本次报告内增长趋势：无明显内存增长),fps:(平均值：62.92同比：+3.29%),jnk:(平均值：-1.00同比：-0.00%)与上版本报告比对报告测试场景：20250119_170934_android观看切换清晰度和线路_android端_hls_弱网，性能数据：cpu:(平均值：13.49%同比：+6.44%),gpu:(平均值：13.85%同比：+8.02%),内存：(平均值：825.46MB同比：+7.85%,本次报告内增长趋势：无明显内存增长),fps:(平均值：32.75同比：+2.35%),jank:(平均值：-1.00同比：-0.00%)与上版本报告比对报告测试场景：20250118_205444_android观看切换清晰度和线路_android端_hls,性能数据：cpu:(平均值：8.28%同比：+2.31%),gpu:(平均值：6.04%同比：+1.17%),内存：(平均值：761.99MB同比：+8.48%,本次报告内增长趋势：无明显内存增长),fps:(平均值：31.97同比：+12.51%),jank:(平均值：-100同比：-0.00%)与上版本报告比对报告测试场景：20250119_165030_ios持续上滑_ios端_弱网，性能数据：cpu:(平均值：6.70%同比：+0.63%),gpu:(平均值：33.84%同比：+4.79%),内存：(平均值：435.68MB同比：+1.3%,本次报告内增长趋势：无明显内存增长),fps:(平均值：66.47同比：+8.51%),jank:(平均值：-100同比：-0.00%)与上版本报告比对报告jank_jank_time:821.67jank_total_jank_times:77.00jank_total_total_jank_time:63268.25total_time_total_time:1279080.00jank_jank_time:1004.23jank_total_jank_times:577.00jank_total_total_jank_time:579440.33total_time_total_time:1299000.00jank_jank_time:717.31jank_total_jank_times:638.00jank_total_total_jank_time:457644.79total_time_total_time:1280000.00jank_jank_time:944.00jank_total_jank_times:216.00jank_total_total_jank_time:203905.02total_time_total_time:1300000.00jank_jank_time:600.48jank_total_jank_times:760.00j

nt

ltota

tal

_ti

eim:

5,61326862.020

00e4tmotajaneomttla_ktoaQE全链路稳定性保障测试-性能自动化ios开播，安卓观看_ios_弱网_

web

户

外安卓开播，ios观看_ios_弱网_

web

户

外ios开播，安卓观看_android_

web

弱网_户外安卓开播，ios观看_android_web

弱网_户外ios开播，安卓观看_ios_弱网_

web

汽

车2025年4月17

卡顿明细

日07:40:282025年4月17卡顿明细

日07:38:142025年4月17

卡顿明细

日06:35:092025年4月17卡顿明细

日06:32:172025年4月17

卡顿明细日05:28:27jank_testjank_testjank_testjank_testjank

test0415_net0415_net0415_net0415_net0415_net人工干

预22222全球软件质量&效能大会PART04音视频质量保障888用户高敏感性&强实时性画质建设方向音质卡顿同步延迟典型问题直播间画面突发出现卡,大批弹幕说卡了。特性汇总直播中音量突然变化，影响部分观众的体验，弹幕玩起了‘我聋了’之类的梗。网络波动，直播延迟偏高，观众和主编互动过程中，等了较长时间才看到主编的反馈。音画质量建设音质专项建设画质专项建设音画同步检测直播延迟检测智能巡检+Al检测QE

直播特性-强实时性&用户高敏感性信号分析(波形分析/频谱分析/能量检测)音量异常(无声音/声

音色失真(金音大小等)属声)语音卡顿/断续

回音硬件异常检测(削波比例、底噪水平等)

电流声QE

方案-音质评测主观评测

客观评测线下阶段标准音频制作

模型准确度提升告警机制

音频分片

音频频谱特征自动化分析网络Qo

S无参考评测NISQANISQA-Music音乐高频损失背景噪音大爆破音

……有参考评测VISQOL客观评测线上监控人工基于MOS评测标准进行打分用户/主播音频问题根因分析效率提升模型/

评测

手段直播品类/内容选取阈值制定

阈值动态管理优化效果评估(如3A

等)非多播音频流获取根音推断规则库正负样本积累基础

能力适用

场景多播音频数据获取常见音质问题检测竞品评测阶段主观画质测评基于人类视觉感知的图像或视频质量评价方法，它通过让观察者对画质进行主观判断和评价，来获取对图像或视频质量的直观感受和综合评价。无

参

测

评

：BILIVQA基于深度学习的无参考视频画质评价体系，旨在评估和量化数字视频的视觉和感知质量，包括图像的清晰度、色彩还原、运动流畅性等方面。有参测评：PSNR

/SSIM/VMAF用于衡量两幅图像之间差异的客观指标。主要用于评估图像压缩、传输或重建算法、编码参数设置的效果等方面

。大盘画质监测用户体验分析更流畅

更稳定

更保真QE

画质测评方法线下测评：主观测评线下测评：客观无参测评线上监控：客观有参测评月度/季度画质摸底

优质内容推荐生产阶段测评时机适用场景技术手段目标竞品评测更生动更清晰更鲜艳更干净云端

转码预处理编码上行采集播放下行测评任务创建测评执行打分测评结果收集添加测评任务日站视频

请输人B站模频对

比

视

频请输入对比视频原

面

模

拟请输入原画视拟可以选填)分

辨

率

请选择分所率认720p)平台[

请选择对应平台测评项目□亮度□湖短重

□

对

比

度联

游

确认画质打分标准：1-5分。简洁的人工判

断题

。盲评：测评人不知道AB

视频

来

源

。成果：平台支持下，每月能

定期输出主观打分报告。累计完成了数十次对比评测，

覆盖版本对比、专项对比、竞品分析等多维度评测。QE

方案-平台化主观测评ABC

同框播放，直观对比区域对比，专注细节主观测评任务

平台一站式管理测评素材管理亮度清晰度对比度亮度清晰度对比度视频A视频B+++++QE

方

案

-

画

质

客

观

评

测端编码格式VQAhevc

97h264

97hevc

73

h264

76

h264

57

h264

63

h264

92h264

97h264

53h264

51h264

22h264

24h264

81h264

85

h264

37h264

61h264

41

h264

55h264

32

h264

61h264

56帧率596060596260626045603030303062303030606062平均码率(bps)峰值码率(bps)视频时长(s)728779733780435300468300407300418300370300300294479300423302398宽度128019201920192019201920192025601920192012801920108010801920192019201920192019201920高度72010801080108010801080108014401080108072010801920192010801080108010801080108010804,295,6315,987,3243,292,1443,872,4004,775,5055,123,4524,248,2947,998,9885,999,4946,264,2962,556,7422,984,9386,151,6422,842,8434,340,7853,984,6291,572,2181,748,2504,645,6255,565,7462,954,100591643280388407726976707090484197368245704918212810832320105993441118712035346804559488955358443751287574040644709632616483471592751298490122967529472有参考评测：PSNR/VMAF/SSIM应用场景：云端转码的日常监控一平均PSNR-清晰度45.000

44.000

43.00042.000

41.00040.000

39.00002“无参考的评测指标：

BILIVQA应用场景：端到端评测、版本分析、

策略分析、竞品比对202“h264h264h2645439563060602,429,0435,486,3895,614,491396352081587128427912298353300192019201920108010801080用PSNR数据分析，判断云端转码、编码器等迭代过程中，是否产生画质影响。用VQA数据分析，开播端各

类编码设置对画质的影响，

寻找画质优化的途径。视频叠加数字字幕采集屏幕输出OCR识

别差值计算音频频率随

时间增加直播系统音频输出采集音视频处理计算频率结果计算上传平台报告id场景平台版本机型APP名称系统版本内存大小报告各称111Windows4.24,0.3719PC哔哩哩直

播姬1016pe直插姬音

西同步测试audio_video_sync音画同步间隔的平均值：-74.65·

完成年会版本和后续版本的音画同步保障，每

周节约0.5人力测试，效率提升30%·

在播放器追帧跳帧需求中，检测出音画不同步

5s/小时，节省需求2人力测试时间，效率提升33%QE

方案-端到端音画同步测试发送端：在1帧的SEI中嵌入生成时间戳

(T1)接收端：提取I帧的SEI时间戳

(T1)记录接收时间(T2)单帧延时=T2-T1平均延时=所有I

帧延时的平均值上行推流端嵌入SEI,插入推流时刻的时间戳SEI

嵌入时间戳的优势与视频帧同步：SEI随视频帧一起传输，时间戳更精确支持动态更新：可逐帧或按场景更新时间戳不依赖容器格式：适用于RTMP/HLS/WebRTC

等多种协议下行接收端获取I帧，解析SEI$ffmpeg-irtmp://server/ive/stream\-vf"select=eq(pict_typelI)"\-vsync0-fnull-$ffmpeg

-re-i

input.mp4\-c:v

libx264\-x264-params"sei_user_data=0x$(printf'%.8x'$($(date+%s%3N)-1617504000000)):force-csei=1°-fflvrtmp://server/live/streamQE

方案-基于SEI的视