电信运营商数据开放服务架构研究1

1、电信运营商数据开放服务架构研究李卫魏进武中国联通研究院 北京100032摘要：电信运营商拥有海量的数据，为了更好地盘活数据资产，需要通过数据开放服务，面向各类数据应用或系统开放共享数据，满足多样性的数据请求。本文探讨运营商数据开放服务的内涵及服务方式，提出数据开放服务架构建议，实现数据封装，通过各种服务方式向不同应用或系统提供数据开放服务，最后给出演进策略建议，有 助于运营商全面供给数据、实时共享信息的同时，实现应用与数据的解耦，提升数据使用价值。关键词：数据开放服务；视图服务；脚本服务；原子服务；组合服务Study on Big DataOpen ServiceFramework for T

2、elecom OperatorsLi Wei, Wei Jin-wuChina Unicom Research Institute, Beijing, 100032, ChinaAbstract In order to take advantage of big data assets, telecom operators need to developbig data openservice to various kindsof data applications or systems . This paper discusses the meaning and the service mo

3、des of big data open services, and then proposes a big data openservice frameworkfor telecom operators and analyses the functions of its core modules.Finally, some evolutionstrategysuggestions of data openservice for telecom operators are put forward.Key words data service, view service, script serv

4、ice, atomic service, combined service前言随着智能终端的日益普及，移动应用和服务不断丰富，全球已经进入大数据时代。根据IDC在2015年初发布的报告称，全球大数据技术和服务市场将在未来几年保持31.7%的年复合增长率，2016年的总规模有望达到 238亿美元。中国信息通信研究院发布的2015年中国大数据发展调查报告显示，2015年中国大数据市场规模将达到115.9亿元，增速达38%对于承载提供通信网络信息服务的电信运营商而言，大数据已经广泛存在于其IT及业务系统、通信网络等环境中。以中国联通的过渡系统为例，31省用户上网详单准实时采集的日采集数据量达到9TB

5、,记录数1000亿条；B域的客户、用户、产品、渠道、订购关系、OCS预付费用户资料、帐详单、缴费信息等日采集数据量0.8TB,记录数170亿条。运营商的这些数据具有海量规模（TB至PB级数据）、多样性（结构化/非结构化/半结构化数据）、实时性（数据创建、处理和分析的实时性需求持续加快）、价值密度低（数据价值需提炼）等特征【1-3。为有效的获取和管理这些数据，充分发挥大数据的业务价值，运营商已经纷纷开始着手建立大数据平台，有效加工、处理、整合各类数据。本文将探讨运营商的数据开放服务架构，研究在完成数据加工处理后，如何封装数据，通过多种服务方式，向运营商内部或外部合作伙伴的数据应用/系统提供数据开

6、放服务，实现数据的共享开放。数据开放服务内涵分析4,5】。数据开放服务是指将大数据平台中加工处理后的数据封装成服务，以标准化访问接口方式，面向各类数据应 用或系统提供数据开放服务，开放共享数据，满足多样性的数据请求【数据开放服务的对象是数据应用或系统。数据开放服务具有以下特点。(1)应用与数据解耦数据应用或系统获取数据必须经过数据开放服务，通过服务封装与语义转换，实现数据应用和物理数据源的 隔离，实现系统间的松耦合性。(2)全面数据供给依托大数据平台，面向内外部的数据应用或系统的各类数据需求，提供全面的数据支持，解决以往数据开放 服务支撑能力不足的难题。(3)实时共享信息数据开放服务将各种接口

7、技术与响应模式结合起来，能够提供多种数据开放服务方式，支持多种平台同时并 发信息交互，能够快速响应用户的各种数据请求，提升与外部应用/系统实时的互动与信息共享能力。(4)提高工作效率用户通过数据开放服务，能够方便、快捷地找到满足自己需求的服务，可根据实际情况选择适合自己的服务 方式，通过接口调用将服务封装到自己的应用/系统中，执行服务，获取数据，灵活性更高，工作效率也得到提升，避免花费大量时间，遍历整个大数据平台来寻找、获取数据。(5)提升数据使用价值通过数据开放服务，不仅扩大了数据使用范围，为各类数据应用/系统提供支持；而且，可以降低数据使用门槛，让业务人员可以利用数据开放服务完成专业的数据

8、应用支撑需求，从原先的数据应用使用者转变为数据应 用生产者；降低数据应用的开发门槛，让集团总部、省公司、地市公司中优秀的IT人员和建设厂商都能够在平台中参与进来，敏捷、高效地开发、组装自己的个性化应用，在满足数据应用快速增长需求的基础上，进而解放 全公司范围IT人员的积极性和生产力，实现大数据应用的百花齐放，提升数据使用价值。 3 运营商数据开放服务进展电信运营商拥有丰富的数据资源，在数据应用方面也走在前列，目前主要是围绕精准营销、客户维系、网络 优化规划等具体应用的方案；而数据开放服务相对处于初级发展阶段，仅有部分电信运营商尝试与第三方公司合 作或者直接向第三方公司出售数据，推出了相关的数据

9、产品，以欧美的运营商为主，如西班牙电信、法国电信、 德国电信、意大利电信，美国的 Verizon、AT&T等，亚洲的日本 NTK中国电信也有一定的探索【6】。西班牙电信 2012年在Telefonica Digital下新成立了一个 Telefonica Digital Insights(西班牙电信数字洞察)部门，为企业及公共部门提供基于用户匿名位置数据的“分析洞察”，目前该部门已经与市场研究公司GFK联手，率先在英国、巴西和德国开发产品，推出的第一款产品是Smart Steps (智能步伐)，为零售商、政府部门、公共机构等提供手机用户全天活动位置的“热点地图 (heat maps)。heat

10、 maps以时间(小时/天/月/年) 为维度，展示在特定区域内的用户统计数据，如性别、年龄和行动等，数据使用者可以据此了解消费者和潜在消 费者的行为与特征。Precision Marketing Division美国Verizon在2012年10月初就成立了基于大数据分析的精准营销部门 对外提供三方面的服务，首先是精准营销洞察，提供商业数据分析服务；其次是精准营销，提供广告投放支撑；最后是移动商务，主要面向Isis （Verizon、AT&T和T-Mobile 发起的移动支付联盟）。在2014年初，Verizon又成立了一个大数据分析实验室，目的是作为该公司主要的数据分析实践的研发中心，为公司

11、规划“数据分析、人工智能和机器学习活动的战略方向”，帮助Verizon寻找到提高互联网基础设施效率的方法，还对公司的业务部门在产品和服务的开发方面提供帮助，特别是在一些重要的垂直市场，例如教育、医疗、IT和机对机通信等领域。中国电信主要围绕语音、视频、网络流量、位置数据分析等商业模式，构建数据共享服务平台。首先，利用 大数据处理平台分析呼叫中心的海量语音数据，建立呼叫中心测评体系和产品关联分析，提供基于自动语音识别 的大数据分析系统，如保险公司等。其次，基于智能图像分析能力的视频索引、搜索、摘要服务，从海量视频挖 掘有价值的视频信息，提供公用视频图像分析，大规模应用于智慧城市、平安社区、交通监

12、管等领域。再次，通 过分析互联网流量及协议信息，对一般性网络使用者的行为习惯分群组提供有针对性的网络便利性服务，比如精 准广告。最后，通过 LBS系统平台，对移动通信使用者的位置和运动轨迹进行分析，实现热点地区的人群频率的 概率性有效统，比如根据景区人流进行基站优化。运营商数据开放服务方式研究根据应用场景、使用人员的不同，运营商数据开放服务可以分为底层视图服务、中层脚本服务和高层API服务三类。底层视图服务和中层脚本服务仅开放给运营商内部应用系统使用，高层API服务可以向所有用户（包括运营商内部人员和外部合作伙伴）的数据应用开放。（1）底层视图服务此类服务仅供运营商内部应用系统使用。应用系统通

13、过视图服务，实时提取大批量数据，供运营商内部的业务决策人员、业务管理人员、业务执行人 员和应用开发人员进行简单的业务清单类或业务报表类查询、绩效管理类应用。（2）中层脚本服务此类服务仅供运营商内部应用系统使用。应用系统通过脚本服务，实时提取大批量数据，供运营商内部的IT人员和系统实施厂商进行DWA或DWD的数据开发、数据集市 ETL开发和临时需求ETL开发。（3）高层API服务此类服务将响应模式（实时响应、准实时响应、分时响应）、接口技术（API、Web service & Socket、FTP）结合起来，可以组合成 6种具体服务方式（如表 1所示）。此类服务可以集成到所有用户的数据应用或系统

14、中。在需要屏蔽底层数据或系统的数据实时交换的场景中，也往往会使用到此类服务。这些应用或系统的使用人员可以是运营商内部人员，如生产系统用户或者市场、 客服、财务等业务部门用户, 也可以是外部合作伙伴或用户，如政府部门、金融、互联网内容提供商等。表1高层API服务方式编R响应模式接口技术调用方式1 1实时API嵌入客户端应用程序代码中，通过实时执行应用程序来使2实时Web service & Socket用，一般适用于小数据量、要求快速实时响应的场景。3准实时API嵌入客户端应用程序代码中，通过应用程序延时执行设置4准实时Web service & Socket（以小时或分钟为单位）来使用5分时W

15、eb service & Socket嵌入客户端应用程序代码中，应用程序执行时发送请求指令 给数据开放服务即执行结束；数据开放服务接到指令后，开 始准备数据，数据准备就绪后存放至指定位置，应用程序通 过FTP服务读取数据。6分时FTP数据开放服务在准备就绪数据文件后，发送信息告知客户端 应用程序启动FTP服务来读取数据。运营商数据开放服务架构建议电信运营商数据开放服务架构如图1所示。其中，数据开放服务管理包括服务创建维护管理、服务申请管理、服务权限管理和服务监控管理。数据开放服务接口的服务请求解析功能主要用于对高层API服务请求进行语义转换以执行服务；对于中层脚本服务、底层视图服务不需要语义转

16、换，可以直接执行服务。服务请求优先级排队是指根据服务权限管理预定义 的优先级评定规则（如系统优先、时间优先、依赖优先等），对服务请求的处理进行优先级排序。对实时响应类服务优先处理，数据开放服务在接到数据应用发出的服务请求后立即响应，不做任何排队等待管理；对准实时响 应类与分时响应类服务排队处理，数据开放服务在接到数据应用发出的服务请求后，不立即响应，而是在服务等 待队列中给此服务请求创建一个任务编号，然后排队等候，当服务队列中的服务执行完成后，后面的服务方可执 行，可同时执行多个任务，执行数量可控。据放笫数开服明合理务原子服器脚本服务创建维护管理服务设计向导隔势创建服务修改服务删除服务查询服殍

17、目录管理雇务申i整理.服务中请服哥审批服务反馈服务监捽管理日志管理服务极限管理，服务谢十极限首式服务目录权限管理服务内容极限管理服务优先皴管理服务调用卷权管理安全审计内容接口依据接口模型限射物理数据源图1运营商数据开放服务架构服务创建维护管理服务创建维护管理提供服务设计向导功能，帮助快速完成底层视图服务、中层脚本服务、高层API服务的设计和创建。底层视图服务可以分为基础视图和综合视图。基础视图即公共视图服务，一个视图对应一张表，由运营商的 数据开放服务开发人员来创建。综合视图即个性化视图服务，一个视图包含多个基础视图，可以由运营商内部应 用系统的用户自行创建。中层脚本服务，主要是使用c/she

18、ll/perl等语言开发的自定义函数，用于读取复杂计算结果集、非结构化数据查询或直接读取大批量数据。高层API服务可以分为原子服务和组合服务。其中，原子服务由模型映射关系元数据库的实体或属性的逻辑元数据封装而成，由运营商的数据开放服务开发人员来创建。组合服务主要由多个原子服务（原子服务数量不少于1个）封装而成，需要设置原子服务之间的关系，合并原子服务之间的输出属性、过滤属性。组合服务又分为 公共组合服务和个性化组合服务。公共组合服务由运营商的数据开放服务开发人员来创建。个性化组合服务可以 由授权的外部用户根据自己的实际情况，自行设计、创建。服务申请管理服务申请管理提供数据开放服务的申请流程管理

19、。首先，用户根据自己的数据请求，浏览数据开放服务的目 录，选定服务，提交服务申请，申请内容包含数据的维度、度量、读取周期、服务方式、客观环境等信息；数据 开放服务的运维人员对服务申请进行评估，分析该申请的合理性及数据应用的客观环境，给出评估结果；由数据 开放服务的管理人员依据评估结果，进行服务申请审批；对于批准的服务申请，数据开放服务的运维人员需要为 开放此服务做准备，如赋权、建目录等；最后，将审批结果反馈给用户。服务权限管理服务权限管理提供服务设计权限、服务目录权限、服务内容权限、服务优先级和服务调用鉴权的管理。服务设计权限管理主要是配置哪些用户可以进行底层综合视图服务、中层脚本服务和高层个

20、性化组合服务的设计、开发、创建和修改。服务目录权限是配置用户可以浏览访问的服务目录。服务内容权限是配置用户可以使用的服务数据范围及内容，例如，针对集团业务部门用户，其服务数据范围 为全国数据；针对来自 A省分的用户，其服务数据范围则仅限于A省分的数据；而针对外部合作伙伴，其服务数据则必须进行脱敏。服务优先级管理是配置各个服务的优先级以及各个用户的优先级。当用户并发提出服务请求时，根据服务优 先级进行排队。服务调用鉴权管理是用于管理调用服务的应用鉴权信息。应用在访问数据开放服务时，将对应用的权限进行 鉴权，对于应用无权限访问的服务予以拒绝。服务监控管理服务监控管理主要提供数据开放服务的性能监控指标、告警规则和方式的定制。性能监控指标包括数据开放服务的最高/最低/平均访问次数、最高/最低/平均响应时长、服务并发数等。告警规则可以是监控指标指定阈值、监控频率、责任人或告警方式等。告警方式支持邮件、短信或彩信的通知方式。数据开放服务演进策略运营商的数据开放服务体系的实现，建议分三个阶段，自底向上逐步演进实现。第一阶段，通过提供底层视图服务、中层脚本服务，实现满足运营商内部主要应用系统及内部生产系统的大批量数据开放服务请求，如报表系统、OLAR数据挖掘、精细化营销系统等，均可通过视图服务、脚本服务读取数据；第二阶段，在第一