云计算在数据分析与商业智能分析中的应用研究

1 / 11 云计算在 电信 数据分析与商业智能分析中的应用 研究 龚德志，段勇 （中国电信股份有限公司上海研究院 上海 200122） 摘要： 本文通过对电信 数据分析与商业智能分析系统 的 应用 现状进行 分析 ,结合云计算技 术的优势及特点 ,对云计算技术在数据分析与商业智能分析中的 应用 架构进行研究 和分析 ，并对其应用模式、技术难点及应用前景进行探讨 关键词： 云计算；电信；数据分析；商业智能 1. 引言 云计算是近年来新兴的信息技术之一，它将能更好地使用计算资源， 更智能地进行大规模数据处理 。基于高效的虚拟计算资源，应用程序能以一种灵活且安全的方式 实现快速扩展和缩减，从而交付高品质服务。 云计算使得 IT 管理更加轻松，保证快捷响应业务需求。 业务或客户服务以极为简化的方式交付，这将大大推进创新和高效决策。 云计算是一种新型 业务交付模式 ，同时也是新型 IT 基础设施管理方法 。通过新型的业务交付模式，用户将通过网络充分利用优化的硬件、软件和网络资源，并以此为基础提供创新的业务服务。新型 IT 基础设施管理方法让 IT 部门可以把海量资源作为一个统一的大资源进行管理，支持 IT 部门在大量增加资源的同时无需显著增加相应的人员进行维护和管理。 云计算通过简单的方式给业务服务和终端 消费者服务快速提供计算资源，提供无限扩展和有保障的高品质服务，因此 用户可以更加专注于服务本身的创新和决策 。云计算是一种成本高效的模式，用于提供流程、应用和服务，并让 IT 管理更加简单，更快的响应业务需要。这些服务，如计算服务，存储服务，网络服务等，都通过一种简化的方式按需提供，无论用户及用户使用的设备是属于哪种类型。 2. 云计算 相关技术 1) 虚拟化 虚拟化 可以大幅度提高组织中资源和应用程序的效率和可用性 。虚拟化把物理资源和最终呈现给用户的资源进行了分离，实际是一个替代过程，在具有统一良好架构设计的物理资源上创建出多个 替代资源（也就是虚拟资源），替代资源和物理资源具有相同的接口和功能，对于用户来说虚拟资源具备与物理资源相同的使用功能，同时还可以有着不同的属性，如价格，容量，可调整性等。下图是虚拟化的示意图。 2 / 11 虚拟化 一个替代过程 从实际资源上创建虚拟资源 一般用软件或固件完成实际资源 经过统一良好的接口和功能设计 往往指物理资源，可以是集中或者分布的 如：内存，硬盘，网络，服务器等虚拟资源 实际资源的替代 和实际资源具有相同的接口和功能 更少的物理局限 一般是一个实际资源的一部分，但也可以跨多个实际资源 图 1 虚拟化 2) 自动化部署 云计算的一个核心思想是通过自动化的方式尽可能地简化任务，使得用户可以通过自助服务方式快捷地获取所需的资源和能力。部署是基础设施管理中十分重要，也是需要花费很大工作量的一部分，包括操作系统、中间件和应用等不同层次的部署。自动化部署提供简化流程，用户提出申请后由自动化部署平台根据调度和预 约自动完成相应的部署，因此用户只需花十几分钟，甚至几分钟就可以得到一个完整的环境，极大地提高了工作效率。 3) 应用规模扩展 云计算提供了一个巨大的资源池，而应用的使用又有不同的负载周期，根据负载对应用的资源进行动态伸缩将可以显著提高资源的有效利用率，即高负载时动态扩展资源，低负载时释放多余的资源，这就是应用规模扩展技术所解决的问题。该技术以应用为基本单位，为不同的应用架构设定不同的集群类型，每一种集群类型都有特定的扩展方式，然后通过监控负载的动态变化，自动为应用集群增加或者减少资源。 4) 分布式文件系统 分布式存储 的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求。其特征是，存储资源能够被抽象表示和统一管理，并且能够保证数据读写与操作的安全性、可靠性、性能等各方面要求。 云计算催生了一些优秀的分布式文件系统和云存储服务。最典型的云平台分布式文件系统是 Google 的 GFS(Google File System)和开源的 Hadoop。这两种可伸缩的分布式文件系统利用容错和故障恢复机制，有效的克服单节点故障导致的系统故障；实现了大规模海量级的文件存储。 以 Hadoop 文件系统 为例， Hadoop 文件 系统（ HDFS）是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而和其他的分布式文件系统 的区别也是很明显的 ： HDFS 是高容错性的，可以部署在低成本的硬件之上， HDFS 提 3 / 11 供高吞吐量地对应用程序数据访问，它适合大数据集的应用程 序， HDFS 放开一些 POSIX 的需求去实现流式地访问文件数据 。 一个 HDFS 集群由一个管理文件系统元数据的 Name Node，和存储实际数据的一些 Data Node 组成。 5) 分布式数据库与 非 结构化数据存储 在分布式文件系统之上，是存储海量结构化数据 的分布式存储系统。典型包括， Google的 BigTable，开源的 HBase 等。这些系统可将 非 结构化数据，例如网页等，存储为分布式的、多维的、有序的图。 以 HBase 为例。 HBase 是一个分布式的、面向列的开源数据库 。 HBase 是 Apache的 Hadoop 项目的子项目 ， HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。 HBase 不同于一般的关系数据库 ,它是一个适合于非结构化数据存储的数据库 .另一个不同的是 ， HBase 基于列的而不是基于行的模式。 HBase 使用和 Bigtable 非常相同的数据 模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此 用户可以给行定义各种不同的列。 HBase 主要用于需要随机访问，实时读写大数据 。 在系统架构上，HBase 分成 Master 与 Region Server 两部份 。 Master 负责告知 client 对一个表访问时，应该转向 哪台 Region Server； 而 Region Server 就是实际上提供数据的节点。 6) 分布式计算 基于云平台的最典型的分布式计算模式是 MapReduce 编程模型。 MapReduce 将大型任务分成很多细粒度的子任务，这些子任务分布式的在多个计算节点上进行调度和计算，从而在云平台上获得对海量数据的处理能力。 概念 Map（映射） 和 Reduce（化简） ，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性 。 当前的软件实现是指定一个 Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的 Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。简单说来，一个映射函数就是对一些独立元素组成的概念上的列表的每一个元素进行指定的操作。事实 上，每个元素都是被独立操作的，而原始列表没有被更改，因 为这里创建了一个新的列表来保存新的答案。这就是说， Map 操作是可以高度并行的，这对高性能要求的应用以及并行计算领域的需求非常有用。而 Reduce 操作指的是对一个列表的元素进行适当的合并。虽然他不如映射函数那么并行，但是因为化简总是有一个简单的答案，大规模的运算相对独立，所以化简函数在高度并行环境下也很有用。 3. 应用分析 1) 问题和现状 对于 EDC 和业务支撑系统而言，大量的 业务涉及到数据分析和商业智能 。例如，以上海电信为例，相关系统，按大类划分，为 BSS、 MSS、 OSS、 EDI 等；按照具体应用系统，则 4 / 11 为 计费、 CRM、 DW、综合结算、网厅、 OA、 ERP、 门户、 EDW、 全息视图、计费分析、营销分析、资源管理、综合保障、综合报警 等。彼此独立的系统，占用了大量的硬件资源。然而，由于资源彼此隔离，服务器的平均利用率非常低。由于生产要求， 月初 出帐 (主要是报表 )期 ， 计算 扎堆严重 ，资源又明显不足。 数据分析和商业智能云平台，作为公共计算平台，用于支撑 EDC 和业务支撑系统中的数据分析和商业智能计算。因此，云平台的客户也即上述系统的客户，同时辐射到电信各种业务的决策层 。 通过 对电信 EDC 和业务支撑系统的分析，我们可以总结出以下几个业务特性： 高性能计算的需求 数据量大、运算量大的系统如计费、 CRM、 EDW 等对高性能计算有需求。四川电信数据分析都架构在小型机上， CPU 资源仍然不够。 虽然有一系列扩容优化计划，但计算与资源一直有矛盾。 上海电信 EDA/WS 部门，也面临针对海量数据做分析报表的压力；由于计算资源分离，不能共享，资源利用率低下，目前主要通过不断扩容应对压力。 时间窗口问题 需求 数据分析的一个突出 问题是时间窗口问题，这在上海电信和四川电信都很突出。由于生产要求，月初出账 (主要是报表 )期，计算扎堆严重，资源明显不足。目前对策主要是，对于阶段性以及突发性的作业需求进行动态调整以满足作业对计算能力的要求。即，对于重要业务需预留资源，对于其它业务则进行调度管理；在出账前，根据资源需要，停掉低优先级的计算，从而满足高优先级计算的需求。然而，在时间窗口之外，计算资源又相对空闲。 云计算在数据分析与商业智能分析中的应用有两种应用模式： 为电信内部 EDC 和业务支撑系统提供数据分析和商业智能业务，实现 传统数据分析与商业智能应用的云化 。 要实现此类应用模式需要完成后述工作： 利用虚拟化和自动化等云 计算关键技术整合现有硬件资源； 部署云模式数据分析与商业智能平台；遵照云模式选择性地重构现有业务系统中用到的数据分析与商业智能服务 ；将上述 用户 人物调度到云平台上进行计算，获得云模式带来的好处。 采用云模式开发新的数据分析与商业智能服务 ，实现企业数据分析云。要实现此类业 务应用模式需要 依托整合共享的硬件资源，在云模式数据分析与商业智能平台上开发新的服务，以支持各类新兴的应用模式和需求（如移动社交网络，基于客户社交网络的客户价值发现和营销，客户分群，基于用户地理位置和轨迹的信息服务和广告推送等）。 2) 典型应用场景 本节 阐述几个典型利用数据分析和商业智能云平台的新数据分析业务，包括客户流失分析， 客户社群发现 ，客户多重身份 识别 ， 客户价值发掘 。上述典型应用涵盖了云模式数据分 5 / 11 析与商业智能平台提供的数据挖掘和社会网络分析功能。然而，该平台并不仅限于支持上述业务，传统的各类数据分析业务均可通过定制化开发，移植到该平台上。 客户流失分析 针对当前中国电信的 C 网客户流失严重的现象，利用云数据分析平台提供的 CHAID（ Chi-squared Automatic Interaction Detector） 等客户分群 算法，将客户 划分为 “稳 定客户”和“潜在流失客户”，从而可以让中国电信将营销资金投入到挽留“潜在流失客户”上 ，有效地提高营销资金的使用效率 。 经过清洗和预处理的客户数据会被提交给这个应用，加以分析。分析过程包括 CHAID模型的建立和评估两个步骤。评估结果会以预测准确度和 LIFT 两个指标的形式展现 客户社群发现 针对性营销不仅需要了解单个顾客的特征，更需要识别和理解顾客形成的各种社群。例如，识别家庭用户形成的社群结构，对于特定种类的业务营销会有很大的帮助。然而，传统的统计方法往往只对代表社群规模的一些简单指标进行统计和比较，无法分 析客户社群内在结构上的差异。 利用 云平台 BI 算法库中的连通分量， K-core 和极大团等算法，可 深入分析客户社群的组成，发现具有商业价值的特殊结构。 例如， K-core 和极大团算法 分析一个网络社区 ，可以通过 分析结果 发现，不同 社群的内部联系紧密差异 是否很大； K-core 算法可以获得清晰的坍缩序列，极大团算法进而发现了该社群内部一些联系紧密的小团体。 对于电信业务，潜在的应用场景有： 发掘家庭客户 ，也即 哪些客户是家庭客户，哪些客户可能是 同一个家庭； 发掘商业关联 。 客户多重身份识别 在各类客户分析应用中 ， 往往需要识别单一客户的多重身份。例如 ,在电信网中需要识别重入网客户 ， 在广告营销管理中需要识别虚假好评。 云平台 算法库提供的个体中心网和极大团等算法 ， 可以辅助识别用户的多重身份。 电信网中的重入网客户识别 。 利用 网络分析 算法库提供的个体中心网算法，可以计算得到每个客户的朋友以及朋友之间的联系，这一信息可以被看作是该客户的社会关系指纹。将这一分析工具同时态分析等工具相结合，可以有效地判断一个客户是否是该运营商过去某个用户再入网的身份。 虚假好评 /马甲的识别 。 云平台 网络分析 算法库提供的极大团 等社群发现算法可以识别客户社群中一些有趣的小团体。以网络社区 数据为例， 可 发现一些包含两个用户的强极大团 6 / 11 实际上是一些用户的多个身份 。 客户价值发现 传统的客户价值分析方法往往将客户看作是一个个独立的个体，依据客户的统计属性来判断客户的价值。 然而，统计 属性 并非有效表征客户价值。利用云平台社会网络分析 pagerank和 HITS 等算法，可分析客户在社会网络中的位置对其价值的影响，从而有效挖掘出价值客户。 3) 分布式技术模型 数据分析和商业智能云平台的技术架构由如下四层结构组成： 数据分析与商业智能的应用 数据分析中间件（算法库和工具） 云模式分布式并行计算框架 云模式分布式文件系统和特定主题的数据模型 前述功能模型中的 四 个具体分析应用，归属 于 应用层。 平台未来将要支持的各种应用层业务逻辑也在这层定制化开发。 数 据 分 析 与 商 业 智 能 的 应 用（ 客 户 社 群 发 现 ， 行 为 分 析 ， 价 值 分 析 流 失 分 析 ）数 据 分 析 中 间 件（ 统 计 查 询 ， 社 群 网 络 分 析 ， 自 我 学 习 ， 数 据 挖 掘 等 等 ）ODS&EDW已有BI平台（SPSS/SAS,cogns）云 模 式 分 布 式 并 行 计 算 框 架M a p R e d u c e特 定 主 题 的 数 据 模 型云 模 式 分 布 式 文 件 系 统 H D F S源 数 据 C D R s ， S M S ， 日 志 图 2 技术模型 7 / 11 4) 数据分析中间件 这层中间件是架构在 Hadoop 之上，遵照 MapReduce 计算模型开发而来的一系列的算法库和工具。为支持现有各种数据分析和商业智能应用，本层应至少包含统计查询、社会网络分析、数据挖掘、机器学习的算法库和工具。此外，随着云模式数据分析与商业智能平台及其应用的发展，本层的算法库和工具也将不断丰富和完善。 下图展现了一个典型的数据分析和商业智能应用的流程，包括：问题定义、数据收集、数据分析、决策、行动 /监控 /学习，及其迭代过程。 云模式数据分析与商业智能平台所提供的算法库和工具将为应用提供数据分析和决策两个环节的支持。依托下层的 Hadoop MapReduce 分布式并行计算框架和 Hadoop 分布式文件系统，本层中间件适合处理满足下列特征的数据： 非结构化 或 半结构化源数据，例如 CDR，短信日志等。 大规模数据集； 快速增长的数据集 (例如，每日更新的手 机用户的通话日志 ) 本层中间件与传统数据分析与商业智能中间件相比，其特点在于： 针对海量数据提供高性价比的计算分析； 依附于最通用的云计算平台 (Hadoop)之上，可有效地与其他云计算中间件进行协调整合； 快捷地支持各种类型的商业智能解决方案的开发和部署； 依托 MapReduce 编程模型，可以有效建立协作式的分析知识库 5) 云模式分布式并行计算框架 基于云平台的最典型的分布式计算 模型就 是 MapReduce 编程模型 ，这也是本平台首选的分布式并行计算模型 。 MapReduce 将大型任务分成很多细粒度的子任务，这些子任 务分布式 且并行地 在多个计算节点上进行调度和计算，从而在云平台上获得对海量数据的处理能力。 概念 Map（映射） 和 Reduce（化简） ，和他们的主要思想，都是从函数式编程语言 8 / 11 里 借鉴来 的 。 遵照 MapReduce 编程模型，数据分析与商业智能算法库的开发者可以编写 一个 Map（映射）函数，用来把一组键值对映射成一组新的键值对， 还可以编写一个 Reduce（化简）函数，用来 处理 Map 函数产生的 键值对中的共享相同的键 的所有键值对 。简单说来，一个映射函数就是对一些独立元素组成的概念上的列表的每一个元素进行指定的操作。事 实上，每个元素都是被独立操作的，而原始列表没有被更改，因为这里 将 创建一个新的列表来保存 操作的结果 。 因此 ， Map 操作是可以高度并行的，这对 有 高性能要求的应用以及并行计算领域的需求非常有用。而 Reduce 操作 则是 是对一个列表的元素进行适当的合并。虽然不如Map 函数那么并行，但是因为 有许多的运算中用到的 化简 都 有简单的 输入和化简结果 ，所以 Reduce 函数在高度并行环境下 往往 也很有用。 目前存在的 MapReduce 分布式并行计算框架实现有几种，其中最主要的是 Apache Hadoop MapReduce，已经形成了成 熟活跃的开发和用户社群。这也是本平台首选的依托方案。在 Apache Hadoop MapReduce 中， Map 操作和 Reduce 操作的执行被包裹为任务（ task），而任务又以 Map-Reduce 对的形式被包裹为作业（ job）。负责在 Hadoop 集群节点上安排任务执行的软件被称作 TaskTracker，通常在每个计算节点上部署一个。负责在集群范围内调度作业和任务执行的软件被称作 JobTracker，通常在 Hadoop 集群内挑选独立的机器来部署。 6) 特定主题的数据模型 尽管 MapReduce 分布式并行编程模型 对底 层数据存储并无硬性的要求 ，但是，为了最好地利用该模型带来的伸缩性优势，往往需要采用分布式文件系统作为输入数据，中间结果以及输出数据的载体。 在 Apache Hadoop 套件中，这样的分布式文件系统就是 Hadoop 分布式文件 系统 （ Hadoop Distributed File System， HDFS）， 这也是本平台首选的分布式文件系统方案之一。该系统利用Hadoop 集群中 各个节点的本地磁盘来存放数据文件，可以在普通的硬件平台上实现可靠的数据存储 。 对外部客户机而言， HDFS 就像一个传统的分级文件系统。可以 创建、删除、移动或重命名文件，等等。但是 HDFS 的架构是基于一组特定的节点构建的（参见 下 图 ，这是由它自身的特点决定的。这些节点包括 NameNode， 负责 在 HDFS 内部提供元数据服务；DataNode， 负责 为 HDFS 提供存储块。 Hadoop 集群 往往 包含一个 NameNode 和大量 9 / 11 DataNode。 DataNode 通常以机架的形式组织，机架 之间通过 交换机 实现连接 。 Hadoop HDFS和 Hadoop MapReduce 的一个假设是：机架内部节点之间的传输速度 和延迟都好于 机架间。 4. 实现 步骤 从传统的数据分析与商业智能分析模式向基于云计算的数据分析云的进化是电信数据分析的终级目标。 转型过程应该从资源整合与平台虚拟化着手，分步引入虚拟化高级功能和云计算概念。 资源整合与点应用 以现有的数据分析与商业 智能 分析系统为基础，进行资源整合，实现物理资源的虚拟化，通过虚拟化技术实现资源池化和资源动态扩展等功能，实现基础平台与应用平台的扩展。目前实现虚拟化的产品有很多，其中以 Vmware，微软， ctrix 的虚拟化产品为主流。 依托基础平台与应用扩展平台， 实现 数据分析和商业智能平台 的快速部署和资源动态扩展。 在此基础上，借助平台快速部署 功能 和 系统 无缝移置功能，选择性地开发和部署一批数据分析和商业智能应用。 平台扩展和应用推广 在基础整合的基础上扩展平台，开发和部署更多的云模式数据分析和商业智能应用。 同EDW、 ODS 和其他现有 BI 平台的集成。 平台开放和自主演化 这个阶段的平台建设目标是 标准化云模式数据分析和商业智能应用的开发接口和运行时接口；提供较为完善的开发套件 。 鼓励和吸引电信及合作伙伴共同丰富平台和应用的功能 。 5. 难点和风险 在数据分析与商业智能分析中应用云计算技术，能提高数据分析的效率，让企业更加能适应快速 变化的市场，为快速推出新的产品提供数据依据，但是云计算也存在一些难点和风险。 产品选择问题 服务器虚拟化技术和产品没有统一的标准平台和开放协议，业界内服务器虚拟化产品良莠不齐，不合适的产品选择会带来严重的投资风险。 而且 服务器虚拟化软件价格不菲，短期、小范围内的应用难见效益。 10 / 11 可靠性问题 由于在一台服务器上运行多个重要应用程序和数据库，虚拟化的 IT 环境比大型计算机和微型计算机环境更容易遭到灾难 性崩溃的破坏，因为它们有同样集中的资源，但是，硬件的可靠性不同。 数据安全问题 数据是企业的生命，数据的丢失和泄露对电 信来说是不容忽视的风险。云计算带来便利的同时， 也给数据完全带来了风险。 环境的复杂化 虚拟化的本质是应用只与虚拟层交互，而与真正的硬件隔离。在造成便利的同时，也造成了风险。软件和硬件之间被切断联系将导致安全人员看不到设备背后发生的风险，服务器环境变得更加不固定、复杂，安全人员最终失去硬件本身提供的稳定性。当应用出现故障时，需要精确定位是硬件还是软件故障，在虚拟化世界中，这将是一项复杂而冗长的工作。 6. 结束语 中国电信实