中国电信基于位置分析的区域客流预警方案资料

1 1 / 2121 基于位置分析的区域客流预警方案基于位置分析的区域客流预警方案 中国电信上海公司总师室中国电信上海公司总师室 20162016 年年 4 4 月月 2 2 / 2121 目录目录 1 方案背景方案背景 .- - 3 3 - - 1.1 前期工作情况 .- 3 - 1.2 基站定位问题 .- 5 - 1.2.1 顾村樱花节客流监控系统的定位数据基础 .- 5 - 1.2.2 顾村樱花节应用的区域人数计算方法 .- 6 - 1.2.3 OIDD 基站定位的局限性.- 7 - 1.2.4 电信手机占有率估算的局限性 .- 8 - 2 优化方案优化方案 .- - 9 9 - - 2.1 基于三类数据的融合定位 .- 9 - 2.2 OIDD 信号漂移问题优化.- 10 - 2.3 PCMD 和 LTE 定位方法补充.- 12 - 2.4 网格指纹库定位技术补充 .- 13 - 2.5 人数计算方法的校准 .- 14 - 2.6 客流预警功能优化 .- 14 - 3 系统架构与功能系统架构与功能 .- - 1717 - - 3.1 系统整体架构 .- 17 - 3.2 系统主体功能 .- 17 - 3.3 处理流程与时限 .- 18 - 3.4 系统部署架构 .- 19 - 4 工作推进计划工作推进计划 .- - 1919 - - - - 3 3 - - / 2121 1 方案背景方案背景 1.1 前期工作情况前期工作情况 2015 年由理想公司配合宝山局为宝山公安开发了顾村樱花节客流监控系统， 将基于基站定位的区域客流统计分析应用于实战。在樱花节期间，客流监控系 统为宝山公安提供了园区及周边的客流统计和地图热力展示。在实际使用过程 中，结合公安和区局的宝贵意见，对系统功能和定位算法进行不断调整和修正， 发现了问题，也积累了经验。 项目建设历程如下： 顾村樱花节客流监控系统，基于每 2 分钟传输的顾村公园 OIDD 基站（22 个基站）信令数据，实现每 30 分钟更新的准实时大人流监控与三级告警。 系统的主要功能包括 （1）对顾村公园周边 15 个地块的当前人数、变化量进行统计和热力图展 示。 - - 4 4 - - / 2121 （2）系统提供每小时指定地块的人数统计，可以任意选择历史上的某一天 进行人数的对比分析。 （3）系统提供指定地块指定时间段内的每日人数统计，提供工作日平均值、 双休日平均值和历史最高值的对比。 - - 5 5 - - / 2121 （4）提供每天和每小时的互联网用户指定搜索关键字的统计，以便进行大 人流的超前研判和预警。 1.2 基站定位问题基站定位问题 2015 年顾村樱花节客流监控系统采用 OIDD 基站定位方法统计园内人数，与 园区实际客流人数相比，存在较大误差。现对原因进行分析： 1.2.1 顾村樱花节客流监控系统的定位数据基础顾村樱花节客流监控系统的定位数据基础 每 2 分钟的顾村相关 22 个 OIDD 基站数据，主要用于准实时的计算： 当前基站的人数 - - 6 6 - - / 2121 对应区域的人数 区域的人数变化 区域的告警级别 人群的流向分析 每天 OIDD 全量数据，主要用于非实时计算： 基站的历史人数峰值、平均值 区域的峰值、平均值 人群的来源地和去向地定位 人群活动类型分析：常住、工作、途经、游园 人群的大范围轨迹跟踪 1.2.2 顾村樱花节应用的区域人数计算方法顾村樱花节应用的区域人数计算方法 1. 根据客户的监控区域要求，结合电信基站位置，进行地块的划分。 2. 根据基站的信号覆盖范围（可能需要实地监测）和地块的面积，大致估 算基站用户中属于该地块的比例。前提假设是基站内人群平均分布，需 要实地考察，以便了解实际的人员集中地点，从而调整比例值。 3. 根据工作日和双休日/节假日、开园时间和闭园时间的人流集中情况，进 一步区分不同时段的比例值。 - - 7 7 - - / 2121 4. 在当前基站用户中，进一步剔除常住人口（每晚居住） 、途经人口（停留 小于半小时） 、工作人口（工作日稳定出现） 。 5. 按照电信手机市场占有率 18%，以及游园人群中使用手机的人占比 90%进 行估算，将地块内的电信用户数*6，得到地块的全部人数。 1.2.3 OIDDOIDD 基站定位的局限性基站定位的局限性 （1）单点定位问题：OIDD 只能做到单点定位，只能知道用户在一个几百米 -几公里的圆形区域内。因此一个地块内人群的实际分布难以计算。结合扇区信 息，可以判定用户在圆形的某个 1/3 区域。但 OIDD 的基站扇区的朝向和倾角信 息当时获取不到。 （2）OIDD 数据稀疏问题：OIDD 主要是用户通话、短信行为等触发的信令 记录，当用户不发生此类动作时，OIDD 中就没有记录。理论上每半小时会有一 次心跳记录，但实际传送给大数据平台的 OIDD 数据中并没有包含心跳数据。 以下为 OIDD 数据稀疏的样例： - - 8 8 - - / 2121 （3）OIDD 信号漂移问题 当用户处于两个基站边缘时，即使是没有移动，在 OIDD 记录中也会出现基 站的跳变。因此通过 OIDD 难以区分是哪些是用户真实的移动，哪些只是信号漂 移现象。 以下是信号漂移问题的样例： 1.2.4 电信手机占有率估算的局限性电信手机占有率估算的局限性 顾村系统通过电信手机用户的市场占有率推算全部人数，该方法存在两个 局限性： 一是在不同的地区，电信手机的用户占比是不同的，例如：在电信园区占 比必然高。因此电信手机的用户占比不是常数。 二是在不同的时间、不同场景下，手机用户数在人群中的占比是不同的， 例如：演唱会占比必然高于工作日公园游园人群。因此手机用户数在人群中的 占比也不是常数。 - - 9 9 - - / 2121 基于以上 OIDD 基站定位的局限性和手机占有率估算的局限性，导致 2015 年顾村樱花节系统的园内人数统计准确性不高。 2 优化方案优化方案 2.1 基于三类数据的融合定位基于三类数据的融合定位 为了更加全面和准确的对电信手机用户进行定位和统计，需要综合考虑不 同手机制式和通信场景下的定位数据选择。 现将各种手机制式和通信场景下产生的可用于定位的数据进行梳理： 上表中标*的数据，为对应制式和场景下的最优定位数据。数据选择原则为： 可三角定位数据 优于 不可三角定位数据；信令数据 优于 计费话单数据 如果要完整覆盖 2G、3G、4G 用户的各类通信场景进行基站定位，需要 OIDD、PCMD 和 LTE 三种数据进行融合定位。定位总体思路如下： - - 1010 - - / 2121 通过三类定位数据的多种定位方法综合运用，最终形成电信统一的用户位 置基础信息表，供各类上层应用调用。用户位置基础信息表的样例如下： 2.2 三类定位数据现状三类定位数据现状 （1）OIDD 数据现状 全市 OIDD 数据每天一次传输给大数据平台 具备 200 基站的定向 5 分钟批次输出大数据平台能力，需特别申请 - - 1111 - - / 2121 2015 年 OIDD 五期中不具备全市 5 分钟批次输出能力 （2）PCMD 数据现状 全市 PCMD 数据每 5 分钟批次传输给大数据平台的工程 4 月中旬完成 数据中包含 1X 和 EVDO 两部分信令数据，可用于三角定位 PCMD 定位算法有多套，理想公司、研究院和移互部，需要测试确定最优 方案。 （3）LTE 数据现状 MR 数据应 5 分钟批次传输给大数据平台，目前华为 5 分钟、阿朗 15 分钟、 中兴 15 分钟 MR 与手机号码关联的 Link 文件生成周期为数小时到 1 天不等。 LTE 三角定位算法研究院正在大数据平台测试 2.3 OIDDOIDD 信号漂移问题优化信号漂移问题优化 信号跳变（漂移）的定位算法，基于以下三个假设条件： 信号跳变由干扰引起，而非目标的移动； 任何基站的覆盖范围、信号发射强度相同； 周边建筑物、电网、电力电子设备等对电磁波无干扰。 OIDDOIDD 信号漂移定位方法：信号漂移定位方法： 设某个人的周围有 k 个基站，基站的坐标分别为： _1:(_1,_1 ),_2:(_2,_2 ),_:(_,_ ) 在某一段时间内，此人的手机信号在这 k 个基站间来回跳变。 因未知每个 基站的覆盖范围、信号发射强度、周边建筑物、电网、电力电子设备等对电磁 波的干扰，故此处假设所有基站的覆盖范围相同，且不受建筑物和天气因素的 影响。由此假设可得到以下推论： 当信号在这两个基站间跳变时，人所在位置在平面上的分布必为对称分布， 且位置的期望必为两基站连线的中心，如图所示。 - - 1212 - - / 2121 (x1,y1)(x2,y2) 通过计算当前位置的期望区间和方差区间，可以反推出手机的当前位置， 下图为定位结果的示意图。 (x1,y1)(x2,y2) 期 望 位 置 (x3,y3) (x4,y4) 90%概 率 区 域 2.4 PCMDPCMD 和和 LTELTE 定位方法补充定位方法补充 PCMD 和 LTE 数据中均包含场强和时延信息，均可以通过三角定位方法进行 准确定位。定位方法可分为两大类： （）场强三角定位，根据场强计算手机距各个基站的距离，再反算手机的位 置。示意图如下： - - 1313 - - / 2121 S1S2 (x1,y1)(x2,y2) (x3,y3) t S3 该算法的特点和适用性如下： 定位精度高 算法复杂，受天线发射功率、天气、建筑物、电力电子设备等的影响较大， 更适用于天气晴好、无遮挡、无强电磁干扰的环境 当前 PCMD 和 LTE 数据中包含场强信息，具有实施可能 （）基于时延的三角定位：TOA/TDOA（time (difference) of arrival） 多个基站同时接收信号，根据信号到达时间，计算距各个基站的距离。算法示 意图如下： S1S2 (x1,y1)(x2,y2) (x3,y3) t S3 该算法的特点和适用性如下： 定位精度高 算法复杂，对系统的时间同步性要求极高（需精确到纳秒级） 当前 PCMD 和 LTE 数据中包含到达时间信息，具有实施可能 2.5 网格指纹库定位技术补充网格指纹库定位技术补充 可以采用网格指纹库定位技术进一步提高 PCMD 和 LTE 基站定位的准确性， - - 1414 - - / 2121 实现百米以内的定位精度。 在监控核心地块划分 50m*50m 的虚拟网格，采用实际路测的方法，测量每 个网格内的基站场强和时延特征值，建立网格通信特征指纹库（3G 和 4G 分别 建立） 。通过比对手机用户上报的实际测量报告数值，精确判定用户所在的网格， 从而精确定位用户当前所在的位置。 算法示意图如下： 指纹库架构与数据流程如下： - - 1515 - - / 2121 2.6 人数计算方法的校准人数计算方法的校准 .根据公安提供的公园门票数据，与系统估算的人数进行比对，进一步调 整计算方法。人群中常住、工作、途经、游园的具体计算规则需要进一步调准。 例如：途经人群的判断是停留时间30 分钟，还是20 分钟。 .电信手机用户占手机用户数的占比系数、手机用户数占总人数的占比系 统的调整。 .工作日与双休日的各种系数需要进一步调准。 2.7 客流预警功能优化客流预警功能优化 （）超前预警 根据用户在互联网上对监控区域的关键字搜索量，以及门户网站、论坛、 旅游网站、团购网站等的点击量，与历史数据进行对比，提前发现用户的关注 度趋势，从而进行超前的预测和告警。 示意图如下： - - 1616 - - / 2121 （）事前预警 提前 1-2 小时进行目的地人流聚集的预测（基于预测模型，结合用户在地 图导航 App 上的搜索，途径基站人流分析、天气节假日状况、区域人数同环比 和时间序列，对未来客流量进行预测。 ） （）应急联动 通过小区短信发送警示信息：目前支持对 200 个基站组成的小区进行同时 - - 1717 - - / 2121 发送，有效能力 200 条/秒，用于公益类、紧急事件等的通知。 可使用视图调用全球眼、WIFI 进行可视、立体分层的现场确认。 可联动 800Mhz 集群、Qchat 等进行城市联动应急指挥。 3 系统架构与功能系统架构与功能 3.1 系统整体系统整体架构架构 3.2 系统主体功能系统主体功能 系统功能分为两个主要部分，一是基础定位分析功能，二是客流监控预警 应用功能。 （）基础定位分析功能：（）基础定位分析功能： 定位数据采集预处理：对 OIDD、PCMD 和 LTE 三类数据文件进行采集、解 析、格式化归一、时间戳同步、号码关联等预处理 OIDD 定位：根据 OIDD 基站位置、扇区和天线角度等，进行粗定位计算； - - 1818 - - / 2121 PCMD 三角定位：根据 PCMD 的场强、时延数据，进行三角定位计算； LTE 三角定位：根据 LTE 的 MR 中的场强、时延数据，进行三角定位计算； 统一用户位置信息表生成：综合三种定位数据，形成统一的用户位置信 息宽表，通过开放 API，供上层各类应用使用； GIS 功能：提供统一的地图底图、图层管理、地图展示等功能。 （）客流监控预警应用功能客流监控预警应用功能 离线数据分析：基于 DPI、话单等数据，进行区域互联网行为分析、互 联网舆情分析、区域人群基本属性分析、用户基本属性分析、区域人群 迁移分析等； 在线数据分析：基于实时的用户位置信息及历史数据，进行区域人群流 向、流速和密度分析、人流流动预测、客流数量预测、客流预警分析等； 实时客流监控：提供实时客流分布热力图、实时人数统计、人群流向、 流速、密度统计、客流构成情况、客流属性展示等功能； 客流预警与预测：提供客流预警信息、互联网关注趋势预测、热搜统计、 导航统计预测等功能； 统计分析：提供客流历史回放、时段统计、同比环比、同类区域对比、 趋势变化等统计分析功能； 系统管理：提供用户管理、权限管理、阈值配置、区域配置、节假日配 置、日志监控等功能。 3.3 处理流程与时限处理流程与时限 系统数据处理整体流程如下图所示： - - 1919 - - / 2121 系统处理性能指标如下： 1. OIDD、PCMD 和 OIDD 数据源上报周期小于等于 5 分钟； 2. 基础定位分析完成时间小于等于 4 分钟； 3. 客流监控预警应用处理与展示时间小于等于 1 分钟； 4. 端到端处理时限小于等于 10 分钟；系统数据刷新时间小于等于 5 分钟。 3.4 系统部署架构系统部署架构 本系统的部署架构如下图所示： 互联网 舆情数据 MySQL数据库 服务器B MySQL数据库 服务器A Tomcat应用 服务器A GIS引擎服务器 Tomcat应用 服务器B 客流监控预警平台数据源 第三方数据源 信令数据源 DPI数据源 电信大数据平台 接口 服务器 大数据处理集群 服务器 流式处理服务器 新增4台 外部应用系统 负载均衡 设备 Web服务器A Web服务器B PC/笔记本 手机 定位应用服务器A 定位应用服务器B 图中蓝色服务器为客流监控预警系统需新增服务器，预计在大数据平台流 - - 2020 - - / 2121 式处理服务器需增加 PC Server 4 台，用于基础定位分析处理；在客流监控应 用侧，需要新增 Pcserver 10 台。 4 工作推进计划工作推进计划 任任 务务 类类 型型 任务任务 名称名称 任务描述任务描述工工 程程 性性 质质 开开 始始 时时 间间 完完 成成 时时 间间 责责 任任 单单 位位 配配 合合 方方 PCMD 数据采 集 移互部 PCMD 数据传 输进入大数据平台 原 有 项 目 推 进 去 年 4 月 7 日 移互 部、 IT 部 樱 花 节 系 统 上 线 樱花节 客流监 控系统 上线 OIDD 和 PCMD 融合 定位、界面优化与发布 上线 新 项 目 投 资 3 月 4 月 14 日 理想 公司 移互 部 OIDD 静默数 据全市 5 分钟 采集 OIDD 五期项目不具备 能力，需在五期基础上 单独立项开发，涉及开 发费用 15 万，增加一 台虚机 （2C、32G、300G） 新