运营商发展大数据的机遇和挑战.pdf

技术专题 互联网天地 年 月第期 运营商发展大数据的机遇和挑战 胡立强 崔 萌 中 国移动通信集团设计院有限公司河北分公司 石家庄 摘 要互联网 通信行业爆发式增长 形成新时 代的大数据 大数据 在大 容 多样 性和高增速 方面 全面芩符现代 企业的 数 据 处理和分析能力大数据不仅是数据大 取要的是对大数据进 行分析 只柯通过分析才能获取有价值的信 息 并为企业带来更深入 史准确 的 市场 机 会 关键词 大数据 运 商 数据中心 再称作大数据了 但 是数超 过百千 历史事 件增 多 时结绳己事也不能满足需求 百 千以上是那个大时代 高德 纳 公司 发布了年对众多公司 的大数据 随后发明了文字和算术计数和记事变得简 和组织机构具有战略怠义的 大技术与趋势 它 将 战 单 以前的大 数 据又变成丫小 数据 早期的文字记录 略技 术 定义为将在 未 来年对企业产生重大影响的技 在 陶 器 金 诚器皿 石 碑 龟壳或 骨骼上 这些载 体的文 术 这 些具有 大影响 的素包 括使或业务 中断的高 字记录也 是有限的 并不能 及 当记录 的事件和历史 潜在风险 主要投资需 求 或是延迟采用的风险 丨 大战 越来 越多 越来越 长 计算越来越复杂时 文字达到成 略技术包括移 动设备战役 移动应用和 个人千上万 处理起来十分闲难进而人们发明 了竹简 木 云 企业应用 商店 物联网 混合和云计箅 战 略 大 简 算术引人了进制法 解决了这 个 时 代的大数据问 数据 可行性分 析 内存 计算 整合的生态系统 其中 题之后 社会更加进步竹简 木简已不能满足需求 大数据排在第位 汗牛充栋 形象地描述了这个时代大数据存储的困 进月了张 中 出 了 筹 珠辑 解决了 这 个 时代的大 数 据存储和计算难题 每个时期的技术 什么是大数据 首先 笔者认为这是 一 个相 对的 进 步无不是为了解决那个时代的 大数据存储 计箅问 概念 在原始计会 我们利 用手 指 计数 如果 一 次狩猎题 那么 什么是现阶段的大数据呢 超过了 丨 个 猎物 计数变得闲难 以上就是 那时的 大数据的早期理解 大数据 上古时代 文字发明之前人们发明了结绳记 数据过大 传统的数据处理技术难于满足 已超出 事 用来计数 或者己录历史 事大大结其绳 事小 小 一般 电脑的处理数据所能使用的内存量 自计算机时 结 其 绳 之多少 随物 众寡 以上的数 据已经不能代以来 大数 据处理都是面向 一 些科学领域 如天文 技术专题互联网天地年月第期 学 基因学等 随着互联网 的发展 面向 的用户越来越 的资料量规模臣大到无 法透 过目前主流 软件工具 在 多 客户的要求也越 来越高 同时 数据积累越来越多 合理时间内达到撷取 管理 处理 并整理成为帮助 企 针对这些数据的各种 处理技 术 也孕育而生 大 数据是 业经营 决策更积 极目的的资讯 数据从量变到质 变的 一个关键转 型 到目前为止 大 大数 据的特性 数据的涵义已经从表 示超大 量数据的基础上进 一步 如图丨所示 业界 常用 个来概括描述大数 据的 被延展 包括思维方法 处理技术 形成能力等 特性 大 数据即 大数 据的定义 是指数据体巨大 是指数据 类魁繁 进人世纪 互联 网通信行业风起云涌 大 数据 多 是指价值密度低是指处理速度快 指的是所涉及的 资料量 规模巨大到无法透过目前 主 大数据的经曲案彳列禾卩义 流软件工具 在合理时间内达到采 取 管理 处理目的 的信息 年 月 大会主题为为什么是大数 据 云计算相遇大数据 除了 一 直倡导的云计 算 在 维克托 迈尔 一舍恩 伯格及肯尼斯库克耶编 夕卜 抛出大 数据概念 进而大 数据 一 词 开始频繁进人 写的 大 数据 时 代 中 大 数据指不用随机分析法 抽 样 人们的视野 调查 这样的捷径 而采用所有数据的方法 杂乱无章 大数 据是由数量巨大 结构复杂 类型众多数据构 的大数 据 能 够做什 么 下面举 一 个经典的随机数计 成的数据集合 是 基于云计 算的数据处理与应用模式 算圆 周率值方法 通过数据的集成共享 交叉复用形成的智 力资源和知 根 据萦特卡 罗方法 也称随机抽样或 统计实验 识服务能力 目前 业界对大数据尚无统 一的 定义 法 主要思想是 通 过随机试验的方法 得到所要求解 维基百科定义 大数据或称巨量数据 海量数据 的问题出现频率 当实验样本足够 大时 就可以得到 是指无法在 一 定 时间内用传 统数 据 库 软件工具对其 比较精确的结果 用它作为 问题的解 基于萦特卡罗 内容进行抓取 管理和处理的数据集合 思想 可以实现对值的并行求解 以坐标原 点为岡 定义 大 数据技术将被设计 用于在成 本可承形作 一个直径为 的单位圆 再作 一 个正方形 与岡相 受 的条件 通过非常快速 的切 在这个正方形内随机产生 个点 判断落在岡 采 集 发现和分析 从大体量 多类 别 内的点数目计作根据概 率理论与加的比值 的数据中提 取价 值是领域新 一 代 就近似可以看成圆和正方形的面积比 岡 的半径是 的技 术与架构 正方形边长 是 则可以得出 百度定义 大 数据 或称巨量 资 料 指 的是所 涉及的计算公式 值计算示意如图 所示 全球在年正式进入时代 结构化 半结构化 非结构化 的数 预计到年 全球将总共拥 据 于广泛存在社交 网络 物联网 电 子 有的数据 商务等之中的非结构化数据 存储最大 来源多 计箅量大大量 多样 类型多 讓度低 黍善 以视频为 例 连续不间断监控过程中 可能处理速度是大数据区分于传统数据 有用的数据只有 丨 如何通过强大的机 显著的特征 如今已是时代 在 器算法更迅逨地完成数据的价值 提纯 是 如此海撖 的数据面前 处理数据的效 目前大数据汹涌背煨下 亟待解决的难题 率就是企业的生命 图丨大 数 据特性 胡立强等 运营 商发展大数 据的机遇 和挑战 互联网天地 稳 步上升 广 全球零售业巨头沃尔玛在对消费者 购物行为进 行 分析时发现 男性顾客 在购买婴儿尿片时 常常会 顺便搭配几瓶啤酒来犒劳自己 于是推出了将啤酒和 尿布捆绑销 售的促销手段 啤酒尿布 的数据分析 成果成了大数据技术应用的经典案例 另外 谷歌利 用 用户搜索记录 判断出美国流感疫情的现状 并比疾 控中心快 一两周 也是大数据应用的经典案例之 一 发展大数据的意义 大数据的意义在于能 够产生 一 种核心能力 当足够大 时 大数据 就能分 析出具体的 预测能力 这种 预测能力将深深地影响到我们所在的 结果得出较为精 确的 值 因此 通过利 用分析所有 市场竞争并且这种预测能力是跨领域的 的 大 量的数据 就能得到 期望的结果 大数据为云计算大规模与分布式的计算能力提 经 典 案例 供了应用 空间 解 决了传统计算机无法解决的问题 有了大数据 必须进行数据挖掘分析才 有 意义 同时 这个领域的计算标准与软件均刚起步 为全世 大数据的数据挖掘有以下不同定义 界新型软 硬件及应用创新提供了前所未有的机会 从数据中提取出隐含的 过去未知 的 有 价 值 从 海 量数据中提取有价值的信息 数据分析使数 的潜在 信 息 据变得更 有 意义 并将影响政府 金 融 零售 娱乐 媒 一 门从大量数据或者数据库中提 取有用信息 体等各个领域带 来 革命性的变化 大 数据的经济意 的科学 义 时代网 大数据时代的到来使得数据越来越 最早关于 大数据的故 事 发生在美国第二大的超成为企业的重要资产数据就是运营 商的隐形 金矿 市 塔 吉特百货公司 为了吸引孕妇这 一含 金量很 电信运营商拥有 极其丰 富 数据资源的天然优势 高的群体 塔吉特市场营销人员求助于其顾客数据分 大数据在运营商中的应用可以涵盖多个方面 包括企 析部的高级经理安德鲁斯要求他建立模型以期 在孕 业管理分析 如 战略分析 竞争分析 运营分析 如用 妇第个妊娠期就把她们 确认出来 由于美国出生记 户分析 业务分析 流量经营分析 网络管理维护优化 录公开 因此孩 子出生 后 新生儿母亲就 会被铺天盖 如信令 监测分析 网络运行质量 分析 营销分析 如 地的产品优惠 广告包围那时塔吉特再行动就晚了 精准营销 个性化推荐 等 如能将数据封装为服务 可是怀孕 毕竟是 私密信息 如何准确 判断哪位顾 形成可对外开放 可商业化的核心能 力 从而实现商 客就成为了难题 安德 鲁斯想到塔吉特有 一个迎婴聚 业模式的创新将成为运营商打开 金矿 的钥匙 会登记表 就开始对登记表里的顾客消费数据建模分 更加精确地洞察客 户需求 快速形成新市场的突 析不 久发现许多孕妇在第个妊娠期会买许多大包 破 随着互联网和移动互联网的发展 用户行为数据迅 装的无香味护手霜 怀孕最初的 周会购买 大量补 充 速增长 通过对海量用户的分析和挖掘 从 庞大的用户 钙 镁 锌的善存片类保健品 最后 安 德鲁斯选出 数据中分析出不同用户的行为习惯和消费喜好 种典型商品的 消费 数据 构 建 怀孕预测指 数 可以升级行业解决方案 提供增值服务 加强战 略合 在 很 小的误差 范围内预测顾客的怀孕情况 便 能 很早 作 智 慧城市的发 展以及教育 医疗 交 通 环境保护 把孕妇优惠广 告 寄给顾客 等关系到 国计民生的行业 都具有极大的信息化需 为了避免顾客收到这样的广告被吓坏 塔吉特聪 求 电信运营商如能 把大数据技术整合到行业信息化 明地把孕 妇 用品优惠 广告夹 杂 在 一 大堆与怀孕不 相 方案中 帮助客户通 过数据采集 存储和分析更好地 关的商品优惠广告中 巧妙地令顾客认为塔吉特并不 进行决策 将能极 大地提 升信息化服务的价值 知 道自己怀孕了 百密 一 疏的是 塔吉特这 种优惠 广 提供预测 式的网络运维服务 提 升网络服务质 告间接地令 一 位父亲意 外 发现自己还 是高中生的女 量 通过应用 大数据的相关存储技术 可以更有效地 儿怀孕了 此事经被 纽约时报 报道后 塔吉特 大数 存储海量的用户行为数据和网络运营数据 通过应用 据 的巨大威力轰动 全美 公司的营业额借助大数 据 大数据的相关分析技术 能够更准确地分析和预测网 技 术专题 耐互联网天地 赠丨月請 络运行状况 提高网络服务质 量 并对不同业务提供 数据挖 掘 分 类 估计 差异化的网络服 务和控制 预测 相关 性 分组或关联 规则 有助于构 建基于客户感知的运维体系 通过 分析 聚类 描 述和 大量客户行为数据和满意 度数据 实现对 客户感知 的 可视化 杂 数据 类型挖 预测 挖掘影响感知的关键因素 提供整个客户感知 掘 丨 图形图像 视 频 音频等 大数据 相关技术 模型预测 预测模型 机器学习 建模仿 数据采集 工具负责将分布的 异构数 据源中 结果呈现 云计算 标签云 关系图等 的数据进行 清洗 转换 集成 最后加载到数据仓 库或 数据集市中 成为联机分析处理 数据挖掘的基础 电 吕商的大数据所在 数据存取 分布式数据库 叩 经过近年的快速发展 截止到 年 全国 等 的 电信业务用户已经超过丨亿 互联网用户也超过 基础 架 构 分布式文件存储等 了 亿 典型的某运营商省公司 每台的 数 据 址也 达 数据处理 自然语言 处理 到了几十 是研究人与计算机交互的语言问题的电信运营商的数据主要来自用户行为 设备行为 一门 学科 和运维行为个 方面 其中 用户行为 面向市场 设备 统计分析 假设检验 显著性检验 差异分析 相关 行为面向设备维 护 运维行为面向管理行为数据是 分析 检验 方差分析 卡方分析 偏 相关分析 距离最细粒度的数据 对于通信运营商来说 大数据主要 分 析 回归分析 简单回归分析 多元回归分析 逐步回是大的用户行为数据和设备行为数据 电信运营 商 归 回归预测 与残差分析 岭回归 回归分析 数据库发展如图所示 曲线 估计 因子分析 聚类分析 主成分分析 因子分 行为数据的采 集 主要来自的 接 析 快速聚类法与 聚类法 判 别分析 对应分析 多元对口 交换网的接口 口 域的 丨 接口 应分析最优尺度分析 技术 等 口 口 域的 口 口都是大数 据的来源 亿 用户腿 丨 环比增长率 9 丨 年年年年年年 用户纏 增长率 年 丨年丨年丨年 移动用户数剧增 近年移动互联网用户规桢 不断拓展新业务 某运营商省公司每天的数据量 数据存储方 案 传统的关系哦数据库 语音通活记录 每天约入库数据存储规榄相对闹定 短信息话单记录 毎天约入库 纖 扩展性差 不能随 数据规拟的改变时扩丨 口信令数据 毎天 运作成本高 口信令数据 每天 维护困难 其他网管数据告警 性能 每天约丨 图电信运营商数据发 展 胡立强等 运锊 商发展大数据的机遇和挑战 互联网 天 截止到年 屮闻移动用户亿 典省份的移违 设的主要支 平台 如何在 有效 合理地控制总 动公司用户也有四 五 千万 每天产生的 数据将冇几十 体拥有成本的前提下 从大数据中获取有价值的信 其至 如何在这 岬海 数据中发 掘出打价 如何岛效利 用云计资源 更好地为企业业务的 值的数据将足 毎个运货商都 丨 该认考虑对待的问发展服务以及如何 简化数据的管理 是企业当前必须 题 随谷新业务的开 展和用户数的增长 运营 商遇到 面对的挑战 了日益增 长的大 数据玷带来的数据储和处的困对数据的增长 传统架构虽然能 够实现扩 难 电信运 背商的 大数 据 时代已经到 来 充 但局限性在于没有办法实现水平式的横向扩展 传统的架构和 数据处理方式无法有效地应 对大数 力 数据对商的机 和挑战 据环境 数据的存储 计算 管理 分析等几个节点都需 转变思维 要适应大 数据的 解决方案 企业在大数椐时代会而临 的个 主要 问题 海的数据浓要足够存储来容纳它 快速 低 廉 大数据的处理速度问题 价格 绿色的数据中心部 成为关键 近年 来 谷歌 如何通过 技水于段 提岛海数据的处理速度 等公司都在 纷纷建设 新 一 代的数 大数据的价依利用问题 据中心 大部分邡采用史岛效 节能 定制化的云服务 如何通过对大 数据的 加工 实现数据的 增 偵 器用丁大 数据存储 挖掘和云计算业务 长期以来 准确分析大坫数据 一 邡是 一种 挑 相比于互联网厂商 通倍运背商在新技术的接受和 战 如人口苻仵 客广满总度调杏 在大数 据时代 我 运川丨总是慢 一步 传统电倍运作商 的压力 趋增大飞 们 没必要知 为什么