宽带测速综合平台解决方案

宽带测速综合平台解决方案一、 引言随着我国互联网业务的迅速开展，互联网应用的规模和功能越来越多，用户对网络带宽的需求也越来越高。家用宽带接入技术也逐步由早期以某数字用户线〔某digitalubcriberline，某DL〕为主开展到以光纤到户〔fibertothehome，FTTH〕为主，上网速率由2Mbp提高到100Mbp乃至1000Mbp以上，光进铜退成为宽带网络接入的主流。2022年前后一段时间，由于家用宽带接入仍以铜线为主，接入速率大多停留在10Mbp以下，一方面运营商对用户上网以Mbp为单位收取费用，另一方面用户的上网体验又不佳，纷纷质疑宽带速率货不对板，“假宽带”之声一时闹得沸沸扬扬。对于通信监管部门而言，如何让广阔网民全面了解上网真实情况，准确掌握带宽上网速率等网络质量数据就成为一个不容无视的问题。此外，国民上网速度、上网体验和资费水平等数据在一定程度上反映出一个地方宽带网络建设运行经营水平，全面了解这些数据有利于促进运营商提升当地的网络效劳质量。综上所述，建设一个宽带测速综合平台是十分必要的。二、 解决方案本方案以广东省为例提出建设一个“宽带测速综合平台”，通过采集家庭固定宽带测速数据和移动宽带测速数据，从地市、运营企业、接入带宽等多维度展示广东省宽带开展的整体情况。同时通过深度分析测速数据和行业运营数据、网络运行用户动态数据，综合剖析宽带网络整体运行情况，为行业监管提供支撑。总的来说，宽带测速平台主要有3个功能：用户测速数据的采集，对采集的数据的分析处理和数据的可视化展示。如图1所示，广东省“宽带测速综合平台”包括自建测速平台数据源、互联网企业数据源、各运营商数据源、数据接入处理系统、数据分析模块、多维度展示界面、大屏展示系统等7大局部，其中自建测速平台数据源、各运营商数据源和互联网企业数据源这3大数据源提供网络质量的根底样本数据，数据接入处理系统提供数据接口处理接入数据，数据分析模块对多源数据进行采集、清洗及综合分析，多维度展示界面进行丰富的图表展示和分析结果展示，大屏展示系统那么由8个屏幕组成，可选取关键数据进行大屏界面展示分析。〔一〕自建测速平台1.测速APP采集的数据包括终端业务数据、无线环境信息、坐标位置信息以及系统信息等，并按照标准要求进行解析、生成、合并处理，传送到后台数据分析模块。3.PC端金罔页版测速程序测速网页通过主动向测速效劳器发起测试访问，实现宽带接入速率的测量，采集获取终端业务数据，即固定宽带上/下行接入速率。〔二〕互联网企业和运营商数据源运营商与互联网企业测速结果数据接入通过内置的数据源监测系统实现，包括以下两种方式：〔三〕数据接入处理系统数据接入处理系统主要针对上述互联网企业和运营商已经具备的各具特色的本网实时网络测速数据，开发相应系统接口，接入和上传各数据源系统的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。实时动态监控类数据包括热点区域网络质量，人流量，话务量状况等。报表类数据包括4G/固网用户开展情况，各热点地区数据量情况，热点地区用户体验情况，热点地区话务量，根底资源数量，运营商运营收入和投资，运营商业务开展情况数据等。与此同时，提供运营商数据录入和审核的web界面，分别供运营商的数据报表录入人员和审核人员使用。运营商数据录入审核通过后，运营商数据可同步到测速平台后端系统，实现统计数据报送电子化功能。为实现数据采集，需要在各电信运营企业侧部署采集接口机，实现数据的采集和传送。数据接入子系统提供以下三种方式实现数据接入：通用接口。提供统一的数据批量上报接口，运营商通过调用此接口实时批量上传测速数据数据。个性接口。针对性打造对接系统接口，接入和上传各运营商的分析统计数据和图表数据，数据类型包括实时动态监控类数据和报表类数据。数据导入。提供批量导入数据的web界面和导入各类数据的E某cel模板，运营商将需要导入的数据事先录入到£某cel中，然后通过web界面上传E某cel数据实现批量导入。〔四〕数据处理分析模块数据处理子系统对数据接入子系统收集的数据进行数据清洗和必要重组，通过大数据技术处理和分析，各根底数据经过分析处理后展示全省根底网络历史和实时动态数据，包括：全省漫游情况、4G/固网用户开展情况、各热点地区数据量情况、热点地区话务量、根底资源数量、运营商运营收入和投资、运营商业务开展情况等。数据清洗处理采集过来的数据，实现数据的清洗、转换、加载功能，一方面保障采集的数据能正确、完整、标准地加载到目的地;另一方面，实现数据整合过程中的异常处理机制，如：处理传输异常、数据加载异常、数据结构与质量异常等。数据处理是数据中心的核心内容，系统需提供根底数据效劳，主要步骤包含数据抽取、数据清洗、数据转换和数据加载等功能。数据处理是数据比对整合系统的核心，作为一个面向效劳的平台，数据清洗整合应用就是由多个数据效劳组成的，其中包括一系列预定义的根底数据处理，这些根底数据处理包括以下几个功能：数据分析。系统利用大数据应用框架分布式存储平台的数据仓库作为传统数据仓库的补充，实现对非结构化数据的存储和管理，并对来自网络的海量数据查询提供支撑。基于开源计算框架，主要侧重于通过完善的内存计算和处理优化机制加快批处理工作负载的运行速度。图4是数据分析示意图。〔五〕多维度展示界面多维度展示界面综合利用系统采集到的家庭固定宽带测速数据和移动宽带测速数据、行业运营数据和网络运行用户动态数据等，按地市、运营企业、接入带宽等多维度展示广束省宽带网络整体运行情况，让管理人员全面把握全省宽带网络的运行态势，必要时作进一步的分析处理。系统主要通过热力图、人口流动图、数据流动图、开展趋势折线图、柱状图等形式呈现和分析数据。通过曲线和柱状图混合图，展示广东用户访问Top100网站的时延、丢包率、首屏时间等，拖动下方滑块可以浏览所有Top100网站的访问体验数据，数值越大代表网络体验越差。通过曲线图，展示广东用户访问Top10视频网站的时延和丢包率等，点击曲线，可以看到点击位置对应视频网站的时延和丢包率具体数值。管理人员可以查看广东用户在翻开哪个网站，尤其是视频网站时，时延较大或丢包率较高，准确定位问题所在，综合评估网络效劳质量，有针对性地解决问题。以全国地图+流动方向+数据表格的方式展示出入粤用户情况〔万人次〕，展示的内容包括：目的/起始省份、平时出粤用户数、特殊日期〔如春运〕出粤用户数、平时入粤用户数、特殊日期〔如春运〕入粤用户数等。以广东省地图+流动方向+数据表格的方式展示省内人口流动情况〔万人次〕，展示的内容包括：起始地市、前往地市、平时用户数、特殊日期〔如春运〕用户数。以区域热力图+表格的方式展示全省热点区域〔公共交通点〕人口流动情况〔万人次〕展示的内容包括：区域名称、平时日均用户数、特殊日期〔如春运〕用户数、峰值时段、峰值用户数。结合历史数据，以开展趋势折线图、柱状图形式综合展现和比照各运营商在用户开展、收入与投资、业务量、通信根底资源等方面的动态情况。〔六〕大屏展示系统通过对收集的数据进行统计分析处理，并且以不同的维度在大屏幕展现出来。首页展示的是比拟宏观的数据，数字翻牌器展示了测速总次数和今日测速次数;柱形图和折线图展示了通信行业业务运行情况;热力图展示了全省各地市的宽带网络网速水平情况;数据流动图展示了移动用户数全入粤的分布。通信行业业务运行主要展现的是全省电信业务的总体水平，包括电信业务收入、电信业务总量、宽带接入用户数和宽带用户普及率等数据。三、结语广东省“宽带测速综合平台”从数据源头开始，采集家庭固定宽带测速数据和移动宽带测速数据，并且对采集到的数据进行加工、分析、统计