RTC 面试题及详细答案（实战完整版）

RTC面试题及详细答案（实战完整版）一、RTC基础概念面试题1、简单说下什么是RTC？核心作用是什么？RTC是实时音视频通信技术，核心是实现端到端、低延迟的音频、视频实时传输，主要应用在视频通话、直播连麦、在线会议、实时互动课堂等场景。和普通点播、直播最大的区别是，RTC追求低延迟、强实时性、双向交互，一般端到端延迟要求控制在400ms以内，满足实时互动的体验要求。2、RTC和普通直播、点播的核心区别？1）延迟差异：点播、普通直播延迟通常在1~5秒，RTC延迟百毫秒级，可实时互动；2）交互模式：点播、直播多为单向推送，观众被动观看；RTC支持双向、多向实时交互；3）容错策略：普通流媒体优先保清晰度、保画面完整；RTC优先保实时性，允许轻微丢帧、模糊，避免卡顿和延迟累积；4）传输协议：直播点播多用HTTP-FLV、HLS；RTC核心用UDP为主的实时传输协议。3、RTC整体链路流程是什么？采集→预处理→编码→封包→网络传输→解包→解码→后处理→渲染播放1）采集：摄像头、麦克风采集原始音视频数据；2）预处理：视频美颜、降噪、裁剪、旋转，音频降噪、回声消除、增益；3）编码：将原始大码率的YUV、PCM数据压缩为H.264/H.265、AAC等压缩格式；4）封包：将编码后的帧数据切片封装为RTP数据包；5）传输：通过UDP协议，经过网络、服务器转发或端到端传输；6）解码播放：接收端解包、解码，还原音视频数据，最终渲染播放。二、网络与传输核心面试题1、RTC为什么优先使用UDP而不是TCP？TCP核心特点是可靠传输、重传纠错、拥塞控制，但重传和拥塞重试会累积延迟，完全不适合实时场景。UDP无连接、无重传、开销小、传输速度快，即使少量数据包丢失，RTC可以通过丢包补偿、帧纠错、模糊降级等方式兼容，保证画面和声音不卡顿、延迟不堆积。简单总结：TCP保可靠、丢包必卡；UDP保实时、丢包可容错。2、RTC如何解决UDP不可靠的问题？行业内通过多种容错技术弥补UDP丢包缺陷，主流方案如下：1）ARQ自动重传请求：针对少量关键丢包，快速重传，不累积延迟；2）FEC前向纠错：发送端额外发送冗余包，接收端丢包后可通过冗余数据恢复，无需重传；3）JitterBuffer抖动缓冲：平衡网络抖动，平滑数据包到达时间，避免声音、画面卡顿断层；4）动态码率调节：网络差时主动降低码率、分辨率，减少数据包体积，降低丢包概率。3、什么是JitterBuffer？作用和原理是什么？JitterBuffer是RTC接收端的抖动缓冲队列，核心解决网络抖动导致的数据包乱序、间隔不均、突发丢包问题。网络传输中，数据包到达时间会忽快忽慢，如果直接播放会出现声音卡顿、断断续续、画面跳帧。JitterBuffer会先缓存一小段数据，统一平滑输出，抵消网络波动。同时支持动态调整：网络平稳时缩小缓冲，降低延迟；网络抖动大时放大缓冲，保证流畅度。4、RTC中的NATP、STUN、TURN分别是什么？作用是什么？三者都是为了解决内网设备无法直接点对点通信的问题，是P2P通话的核心：1）NAT：网络地址转换，家用、公司内网设备都是内网IP，外网无法直接访问，所有RTC设备基本都处于NAT之后；2）STUN：内网穿透服务器，作用是获取设备外网映射IP和端口，尝试建立端到端直接通信，穿透成功后无需服务器转发，延迟最低、成本最低；3）TURN：中继转发服务器，当STUN穿透失败（对称NAT、严格防火墙），会启用TURN中转，所有音视频数据通过TURN服务器转发，保证通话可用，缺点是延迟略高、服务器带宽成本更高。5、SDP、RTP、RTCP分别作用？1）SDP：会话描述协议，用于通话建连阶段，交换双方音视频参数，包括编码格式、分辨率、码率、端口、IP、加密方式等，完成通话握手协商；2）RTP：实时传输协议，负责承载真正的音视频媒体数据，是RTC数据传输的核心载体；3）RTCP：实时传输控制协议，伴随RTP同步传输，负责统计网络状态，包括丢包率、延迟、抖动、收发字节数，用于动态调节码率、FEC、缓冲策略。三、音视频编码与预处理面试题1、H.264和H.265在RTC场景的区别？1）压缩率：H.265相比H.264压缩率提升约50%，同等清晰度下码率更低，弱网环境更有优势；2）性能开销：H.265编码解码计算量更大，低端设备可能出现发热、帧率下降；H.264兼容性最好、性能开销低，适配所有设备；3）场景选择：移动端、弱网优先H.265；兼容老旧设备、追求极致流畅优先H.264。2、RTC音频核心预处理算法有哪些？各自作用？1）AEC回声消除：解决双向通话时，自己说话从对方设备播放后传回自己麦克风产生的回声；2）ANS降噪：过滤环境底噪，比如风声、键盘声、环境杂音，保留人声；3）AGC自动增益控制：自动调节人声音量，说话小声自动放大、大声自动压缩，避免音量忽大忽小；4）MUTE静音检测：检测无人说话时静音降噪，减少无效数据包传输，节省带宽。3、视频预处理常见优化手段？主要用于提升画质、适配带宽、降低设备功耗：1）裁剪、缩放：根据当前网络状态动态调整分辨率；2）美颜、磨皮、色彩增强：提升画面观感；3）动态帧率调节：网络差时从30fps降到15fps，保证流畅；4）画面降噪、去闪烁：解决灯光频闪、画面噪点问题。四、弱网优化与卡顿延时问题（高频面试）1、弱网场景下，RTC整套优化策略有哪些？可以按链路分层回答，逻辑清晰、面试加分：1）网络层：开启FEC纠错、ARQ重传、动态JitterBuffer、带宽探测；2）编码层：动态降码率、降分辨率、降帧率，切换H.265高压缩编码；3）传输层：优先传输关键帧、丢弃非关键冗余帧，避免阻塞；4）体验层：弱网时自动模糊保流畅，禁止画面卡顿冻结，音频优先保连贯。2、通话卡顿、声音断断续续，如何排查？1）先看网络指标：丢包率、抖动、延迟，音频丢包超过3%、视频超过5%大概率出现卡顿；2）排查设备性能：设备发热、CPU占用过高，会导致编码解码超时、丢帧；3）排查带宽：上行带宽不足，发送端码率超出带宽上限，导致数据包积压丢弃；4）排查服务器链路：中转节点延迟高、节点拥堵，切换最优调度节点；5）排查参数配置：JitterBuffer缓冲配置不合理、FEC/ARQ策略未开启。3、音频卡顿和视频卡顿的常见原因区别？音频卡顿：多为网络抖动、JitterBuffer过小、音频丢包、设备麦克风采集异常；音频对抖动更敏感，轻微抖动就会断音。视频卡顿：多为上行带宽不足、CPU性能不足、码率过高、关键帧丢失、网络持续丢包。视频对带宽和设备性能更敏感。4、RTC中音视频不同步怎么解决？音视频不同步核心原因是：音视频数据包传输延迟不一致、解码耗时不同、时间戳对齐偏差。解决方式：1）严格依赖RTP时间戳对齐播放；2）接收端统一时钟基准，音频、视频渲染同步时钟；3）动态补偿：视频解码慢则轻微延迟视频，音频优先不卡顿，保证人声同步；4）修复采集端时间戳异常问题，避免采集阶段就存在时间偏差。五、实战场景与进阶面试题1、什么是关键帧、非关键帧？作用是什么？关键帧（I帧）：完整画面帧，不需要依赖前后帧数据，单独一帧即可解码出完整画面，用于首次开播、画面刷新、丢包恢复。非关键帧（P帧）：只存储和前一帧的差异数据，压缩率高，体积小，必须依赖前序帧解码。RTC策略：正常情况多传P帧节省带宽；弱网、丢包、画面黑屏时主动发送关键帧，快速恢复画面。2、多人连麦场景和双人通话的技术差异？1）双人通话多为P2P传输，无服务器转发；多人连麦必须服务端混流或多路转发；2）带宽压力不同：多人场景需要同时上行、下行多路流，对带宽和设备性能要求更高；3）策略更复杂：多人场景需要智能码率分配、优先级调度、弱网分层降级，保证核心主播流优先流畅；4）混音混画：多人音频需要服务端或客户端混音，视频需要合流布局。3、RTC如何防止通话延时越来越大？1）禁用TCP重传逻辑，避免延迟累积；2）JitterBuffer动态收缩，网络恢复后及时清空积压缓冲；3）超时丢弃过期帧，不堆积过期数据，优先播放最新数据；4）动态降码率、降帧率，减少数据包积压；5）定期刷新关键帧，重置数据流状态。4、移动端RTC常见适配问题及解决方案？1）前后摄像头切换黑屏、闪屏：切换时重建采集流、主动发送关键帧；2）手机发热降频卡顿：动态降低编码参数、降低分辨率帧率、限制码率上限；3）蓝牙耳机音画不同步：适配蓝牙设备延迟补偿；4）后台切应用断流：适配系统后台权限、