广电IPTV业务平台卡顿故障排查指南

广电IPTV业务平台卡顿故障排查指南一、故障分级与响应时效卡顿故障的快速定级是压缩响应时长、避免故障扩大的核心前提，不同等级故障对应不同的响应权限与处置流程，严禁跨级处置或延迟上报。故障等级判定标准（满足任意1项即定级）响应时效要求责任主体一级（重大）跨2个及以上区县报障、全平台≥10%用户出现卡顿/黑屏、央视/省级卫视主频道播出中断运维分管领导5分钟内启动应急预案，平台/传输/内容团队5分钟内集结，30分钟内给出抢通方案，优先恢复业务省公司运维部牵头，各专业团队配合二级（较大）同一OLT下≥10户报障、单个小区≥30户报障、单频道全网点播/直播卡顿、用户每10分钟出现1次以上时长≥5秒的卡顿属地传输运维10分钟内介入，2小时内定位根因，4小时内恢复业务，恢复后30分钟内报省公司备案地市分公司运维部牵头，装维班组配合三级（一般）单个用户或同一楼道<3户报障、每小时卡顿<2次且单次时长<3秒、无用户批量投诉装维人员30分钟内联系用户，24小时内上门处置，一次性解决率≥98%属地网格装维人员故障风险演化路径：单个端口丢包未及时处置→同PON口用户卡顿投诉量上升→片区用户批量投诉→舆情事件/安全播出事故，所有运维人员必须按响应时效要求处置，严禁瞒报、迟报二级及以上故障。二、排查总原则IPTV卡顿涉及终端、接入网、城域网、CDN、平台、内容源6个环节，按固定顺序排查可将平均排障时长压缩60%以上，避免跨环节无效排查。1.先共性后个性：接报故障后优先核查周边3公里内同类工单量，存在批量报障时先排查公共节点，严禁无差别逐户上门；无批量报障时优先排查用户端问题。2.先用户侧后网络侧：排查顺序严格遵循「家庭终端→光猫/网线→楼道光交→PON口/OLT→城域网链路→本地CDN→核心平台→内容源」，从易排查、高发故障点入手，不得跳过前端环节直接排查核心平台。3.先抢通后定位：二级及以上故障优先通过切备用信源、切备用CDN节点、倒换备用链路恢复业务，严禁在业务中断时长时间开展根因定位；业务恢复后24小时内完成根因分析与整改。4.量化验证标准：所有故障恢复必须满足：连续播放高清直播15分钟无卡顿、4K点播10分钟无花屏、ping本地CDN节点100次丢包率<0.1%、平均时延<20ms、时延抖动<50ms，严禁用户口头反馈不卡即结单。三、单个用户卡顿排查处置（三级故障）单个用户卡顿占所有IPTV卡顿投诉的75%以上，90%的根因集中在用户家庭内部网络与终端配置环节，无需平台侧介入。3.1上门前预核查（接单后10分钟内完成）装维人员接单后必须先完成3项远程核查，提前预判故障点、备齐工具，避免空跑：1.登录BOSS系统核查用户账号状态：确认无欠费、业务模板配置正确（IPTV专用带宽≥100M，与上网带宽逻辑隔离，组播权限开通），模板配置错误直接远程修正后电话回访用户，无需上门。2.登录OLT网管核查用户光功率：接收光功率必须处于-8dBm~-27dBm区间，若光功率<-28dBm，必须携带冷接子、光功率计、备用光纤上门，重点排查光纤弯折、冷接子衰耗问题。3.核查用户近7天历史工单：若存在多次同类卡顿报障，必须携带同型号备用机顶盒、六类网线上门，便于替换测试。3.2现场排查与处置1.物理连接核查：机顶盒必须通过六类网线直连光猫IPTV专用口（通常为蓝色标识的LAN2口）；优先推荐有线连接；若不具备有线条件，可使用5GWiFi连接（需保证机顶盒与路由器间隔≤1堵墙，信号强度≥-60dBm）；严禁使用2.4GWiFi连接机顶盒——2.4G频段存在同频干扰（邻居WiFi、微波炉均工作在该频段），会导致空口拥塞、媒体流丢包率>1%，机顶盒缓存耗尽后必然卡顿，若用户坚持使用2.4GWiFi必须书面告知卡顿风险并签字确认。2.光猫配置核查：登录光猫管理页（192.168.1.1），核查IPTV端口VLAN配置（广电IPTV专用VLAN为45，与上网VLAN隔离），若VLAN配置错误直接修正；核查端口协商速率，必须为1000M全双工，若协商为10M/100M半双工立即更换水晶头——水晶头氧化会导致接触电阻增大，协商速率降速后可用带宽不足10M，无法支撑高清直播。3.终端配置核查：机顶盒分辨率必须设置为与电视匹配的1080P/4K，严禁设置为8K分辨率（平台无8K直播源，机顶盒强行上解会导致缓存不足、解码丢帧）；机顶盒缓存占用≥80%时必须清理缓存（长期不清理缓存会导致媒体帧写入失败，画面出现马赛克卡顿）；连续ping本地CDN节点100次，若丢包率≥0.1%或平均时延≥20ms，逐段traceroute定位丢包点。3.3结单验证所有处置完成后必须按量化验证标准连续测试25分钟，确认无故障后请用户签字确认结单；若按上述步骤处置后仍存在卡顿，直接更换备用机顶盒测试，更换后恢复正常则旧机顶盒返厂检测，严禁在用户端长时间调试旧终端影响用户体验。四、片区级批量卡顿排查处置（二级故障）片区级批量卡顿的根因100%位于接入网、汇聚层或本地CDN节点，用户侧无共性问题，无需逐户上门排查。1.故障范围定位（10分钟内完成）：从客服系统提取10分钟内报障工单，按PON口、OLT、小区维度绘制热力图：■若故障集中在同一PON口下：立即核查PON口光功率、是否存在流氓ONU——流氓ONU故障后会长发光，占用整个PON口上行时隙，导致同PON口下所有用户无法上传IGMP报文、带宽请求，组播流无法下发引发全PON口卡顿；定位到流氓ONU后立即远程将其下线，待业务恢复后上门更换故障ONU。■若故障集中在同一OLT下：立即核查OLT上联端口带宽利用率，峰值利用率≥70%即为拥塞（端口缓存超过阈值后会随机丢包，引发卡顿），立即将30%流量临时调度到备用上联链路，待业务平稳后72小时内完成上联端口扩容。2.传输链路检测：从故障OLT侧traceroute到核心CDN节点，逐段检测丢包与时延：若某段链路丢包率≥1%，立即核查该段链路光衰、端口错包率（错包率≥10^-6即为链路故障），倒换备用光纤恢复业务。3.本地CDN节点检测：核查CDN节点命中率，若命中率<85%说明大量请求回源导致回源链路拥塞，立即将30%热点频道流量调度到相邻地市CDN节点；核查节点并发连接数，若超过设计容量的80%立即启动流量均衡，将新用户请求调度到其他节点；核查节点磁盘IO利用率，若≥90%立即重启异常流媒体服务——磁盘IO占满会导致媒体流读取速率不足，帧间隔超过40ms即会出现卡顿。五、全平台大面积卡顿排查处置（一级故障）全平台大面积卡顿属于重大安全播出事故，必须严格遵循“先抢通、后排查”的原则，优先保障央视、省级卫视主频道播出，严禁在业务未恢复时开展冗长的根因定位。1.故障场景判定（5分钟内完成）：核心网管同步核查3类指标：直播源输入状态、核心CDN节点负载、核心路由器端口流量，按三类场景快速处置：■场景1：直播全频道卡顿、点播正常：判定为直播信源故障，优先切换到备用信源（国干网备路、卫星备路信源），30秒内完成切换并验证播出正常；严禁直接切断主用信源，必须待备路稳定运行10分钟后再排查主路链路故障，避免二次中断。■场景2：直播、点播均卡顿：判定为核心CDN/核心路由器故障，立即启动应急CDN节点，5分钟内完成全量用户请求调度；若为核心路由器板卡故障，1分钟内完成备用板卡倒换。■场景3：跨网点播卡顿、本网直播正常：判定为跨网出口拥塞，立即临时扩容跨网出口带宽20G，将非本网内容流量调度到缓存节点，限制非热点内容回源带宽占比不超过总出口的30%。2.故障上报与复盘：业务恢复后2小时内，由省公司运维部牵头出具故障报告，明确影响用户数、根因、处置过程、整改责任人、整改时限，上报广电行政主管部门；72小时内完成所有整改措施落地。六、典型卡顿根因快速对照表故障现象核心根因判定方法处置动作所有直播频道每隔10秒固定卡顿1次，点播正常组播报文被低优先级队列丢弃OLT上查看组播VLAN队列统计，丢包率≥0.5%将组播VLAN优先级调整为最高级（7级），严禁上网流量占用组播队列4K节目卡顿，高清节目正常IPTV专用带宽不足用户端口实际可用带宽<30M（4K直播需≥25M稳定带宽）排查光衰、端口协商速率，为用户开通IPTV专用50M带宽换台后卡顿3-5秒后正常，播放过程无卡顿IGMP加入报文被拦截抓包查看机顶盒侧发出的IGMP报文未到达OLT关闭光猫、交换机上错误配置的IGMPSnooping规则，允许IGMP报文透传晚间高峰时段卡顿，凌晨时段正常OLT/CDN节点峰值拥塞高峰时段端口带宽利用率≥75%，低峰时段<30%扩容上联带宽，CDN节点提前预推热门内容，将命中率提升至90%以上画面出现马赛克、声音断续，光功率正常网线线序错误/水晶头接触不良网线测试仪检测1/2/3/6线芯是否导通，端口错包率≥1%重新压制水晶头，更换老化网线七、日常运维与预防机制卡顿故障的前置预防比事后处置效率高10倍，必须建立常态化巡检、整治机制，从源头降低投诉量。1.日常巡检要求：CDN运维人员每日早8点巡检各节点命中率、磁盘IO、并发连接数，记录巡检日志，发现命中率<85%立即触发流量调度；传输运维人员每日核查核心链路、OLT上联端口带宽利用率，峰值利用率≥60%的端口必须在7天内完成扩容；装维人员每月上门为用户检测一次光功率，对光功率<-26dBm的用户免费更换老化光纤、冷接子。2.常态化整治要求：每季度开展一次PON口下流氓ONU专项排查，对上线时间超过5年的老旧ONU逐步更换；每月统计卡顿投诉Top10小区，优先开展接入网优化；每季度开展一次全平台压力测试，模拟并发用户数达到设计容量的120%，验证各环节承载能力。3.技能考核要求：装维人员每季度开展一次排障技能培训，考核单个用户卡顿排障能力，要求平均排障时长<30分钟，一次性解决率≥98%；平台运维人员每半年开展一次一级故障应急演练，要求故障抢通时长<15分钟。附件1：IPTV卡顿故障排查登记表字段填写内容报障时间年月日时分用户地址XX市XX区XX小区XX栋XX单元XX室联系电话13******故障等级□一级□二级□三级现场检测数值接收光功率：dBm；网线协商速率：M；CDNping丢包率：%；平均时延：ms故障根因处置措施业务恢复时间年月日时分用户签字确认处置人附件2：应急联络通讯录岗位值班电话响应要求省公司平台运维值班XXX-XXXXXXX7*24小时，一级故障5分钟内响应本地传输网运维值班XXX-XXXXXXX7*24小时，二级故障10分钟内响应CDN厂商驻场工程师13******7*24小时，CDN故障15