贵州移动大数建设方案10

贵州移动大数据分析与

应用平台方案重庆大学2015年2月目录TOC\o"1-5"\h\z\o"CurrentDocument"1背景 4\o"CurrentDocument"2系统简介 5\o"CurrentDocument"3系统设计 6\o"CurrentDocument"3.1通用业务 73.1.1 用户行为特征分析 73.1.2 经营分析和市场监测 73.1.3 指标灵活查询 8\o"CurrentDocument"3.2专用业务 83.2.1 客户关怀与客户生命周期管理 83.2.2 套餐经营精细化 83.2.3 市场与精准营销 93.2.3.1 客户画像 93.2.3.2 关系链研究 93.2.3.3 精准营销和实时营销 93.2.3.4 个性化推荐 10\o"CurrentDocument"3.3 业务支撑 103.3.1 报告系统 103.3.2 报表系统 10\o"CurrentDocument"3.4 技术支撑 103.4.1 指标管理 103.4.2 配置管理 10\o"CurrentDocument"3.5数据商业化 103.5.1 对外出售数据 113.5.2 提供数据服务 11\o"CurrentDocument"4技术方案 11\o"CurrentDocument"4.1系统架构 114.2HADOOP简介 134.2.1 HDFS 134.2.2YARN 144.3SPARK简介 151背景全球的商用移动通信总的来说自上世纪70年代末以来,大致经历了四代发展,1G、2G、3G以及4G时代。第一代移动通信技术，釆用模拟通信技术，其代表作就是我们熟知的霸气外露大哥大时代。到了上世纪90年代初期,第二代也就是2G移动通信技术开始投入商用，完成了从模拟技术到数字通信技术的过渡。进入21世纪，定位于多媒体数据业务、以宽带CDMA技术为核心的3G移动通技术的第三代开始产生并被广泛投入使用。现在移动通信技术正在走进LTE和4G时代，容量更大、速率更高、功能更强的4G把移动通信从窄带推向宽带。移动通信宽带化和宽带通信移动化是未来通信技术发展的必然趋势。随着中国运营商的3G网络的广泛使用和4G时代的到来，苹果、三星、HTC、华为、中兴、iPAD等智能手机和移动终端的不断推广，微博、微信、facebook、Twitter社交网络等应用平台的广泛使用，电信运营商进人了薪新的移动增值业务运营时代，和过去相比，打电话、发短信已经不再是唯一的消费方式，“免费”业务和移动增值业务之间的矛盾冲突也越加明显。2012年Skype、WhatsApp、微信等OTT业务已经分流全球电信运营商近140亿美元利润,运营商正面临被管道化、收入降低、流量价值下降等三大问题。如何在薪新的时代准确了解用户的真正需求，让移动增值业务的客户体验和服务质量超过这些“免费”业务，让数据流量的收费更加具有合理性，增强用户粘度及提高用户忠诚度等等，是当前中国运营商非常紧迫且必须认真对待的事情。当前客户的信息消费需求呈现出多样化、个性化等明显特征，中国运营商需要提供多种多样的增值业务，来满足客户的不同消费需求，从而提高企业差异化竞争力，增强客户粘性。只有提供优质化、体贴及高质量的增值业务和产品，运营商才能避免被管道化的风险。4G时代带来了更多丰富多彩的数据业务应用，同时随着客户群体越来越向小众化、复杂化发展，用户对多元化业务的需要也不断提高，这对运营商精准营销能力提出了新的挑战。“为客户提供真正需要的产品”已经成为运营商移动增值业务开发和营销创新的重点所在。在21世纪网络快速发展的时代，移动增值业务已从卖方市场转变为买方市场，运营商需要进行营销理念转变，必须依靠先进的技术手段和方案来实现电信业务的深度运营和精准营销，实现产品、管理及商务模式的创新,从粗放式营销向精准营销和深度营销转变。随着移动互联网的不断发展,移动增值业务已经是运营商的非常重要经营业务主体。综上所述，分析和利用移动用户话单与上网行为数据信息，可以更好地服务于用户，为运营商获取更大的利润。系统简介基于大数据的移动用户行为特征分析与应用是基于用户话单、上网行为数据，采用“全样本”（相对于传统的抽样）的大数据分析方法与技术，分析出用户的行为特征，并将其应用于经营分析与市场监测、客户关怀与客户生命周期管理、套餐经营精细化、市场精准营销和对外数据服务，以充分挖掘和利用数据的价值，更好地服务于用户，为运营商获取更大的利润。如下图：台合贵州移动大数据分析与应用平台系统设计贵州移动大数据分析与应用平台主要分为五大功能模块分别是通用业务专用业务、业务支撑、技术支撑以及数据商业化。平台框架如下：

贵州移动大数据分析与应用平台业务支撑报告系统 报表系统技术支撑指标管理 配置管理数据商业化贵州移动大数据分析与应用平台业务支撑报告系统 报表系统技术支撑指标管理 配置管理数据商业化对外出售数据 提供数据服务3.1通用业务3.1.1用户行为特征分析移动用户行为特征主要从通话详单和上网行为来分析，通过通话详单进行分析主要理解用户的社交圈子，以及圈子的特征，通过用户上网行为分析可获得用户上网时变特征、空间特征以及上网内容。3.1.2经营分析和市场监测通过数据分析对业务和市场经营状况进行总结和分析，主要分为经营日报、周报、月报、季报以及专题分析等。数据来源主要是企业内部的业务和用户数据，以及通过大数据手段采集的外部社交网络数据、技术和市场数据。

3.1.3指标灵活查询按照设置好的指标灵活的进行查询分析，主要为满足运营商自定义的查询需求。3.2专用业务3.2.1客户关怀与客户生命周期管理客户生命周期管理包括新客户获取、客户成长、客户成熟、客户衰退和客户离开等五个阶段的管理。客户获取阶段：通过算法挖掘发现高潜客户。客户成长阶段：通过关联规则等算法进行交叉销售，提升客户人均消费额。客户成熟期：进行客户分群（RFM、聚类等）并进行精准推荐，同时对不同客户实时忠诚计划。客户衰退期：需要进行流失预警，提前发现高流失风险客户，并作相应的客户关怀。客户离开阶段：通过大数据挖掘高潜回流客户。通过分析用户的使用行为，在用户做出离开决定之前，推出符合用户兴趣的业务，防止用户流失。3.2.2套餐经营精细化套餐经营精细化主要包括基准套餐推荐、定制应用专属流量套餐。基准套餐推荐：基于用户历史套餐使用情况进行分析，预测下月套餐使用情况，推荐用户按需要调低或调高套餐标准，满足用户真实需求，提高用户粘度。定制应用专属流量套餐：基于用户上网行为分析，针对不同的APP应用，定制专属流量套餐。如中国联通为QQ音乐定制音乐流量套餐。3.2.3市场与精准营销市场与精准营销包括客户画像、关系链研究、精准营销、实时营销和个性化推荐。3.2.3.1客户画像基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据，为每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签，并借助数据挖掘技术（如分类、聚类、RFM等）进行客户分群，完善客户的360度画像，帮助运营商深入了解客户行为偏好和需求特征。3.2.3.2关系链研究通过分析客户通话行为、网络社交行为以及客户资料等数据，开展交往圈分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察，并进一步利用图挖掘的方法来发现各种圈子，发现圈子中的关键人员，以及识别家庭和政企客户；或者分析社交圈子寻找营销机会。如在一个行为同质化圈子里面，如果这个圈子大多数为高流量用户，并在这个圈子中发现异网的用户，我们可以推测该用户也是高流量的情况，便可以通过营销的活动把异网高流量的用户引导到自己的网络上，对其推广4G套餐，提升营销转化率。总之，我们可以利用社交圈子提高营销效率，改进服务，低成本扩大产品的影响力。3.2.3.3精准营销和实时营销在客户画像的基础上对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，并在在推送渠道、推送时机、推送方式上满足客户的需求，实现精准营销。如可以利用大数据分析用户的终端偏好和消费能力，预测用户的换机时间尤其是合约机到期时间，并捕捉用户最近的特征事件，从而预测用户购买终端的真正需求，通过短信、呼叫中心、营业厅等多种渠道推送相关的营销信息到用户手中。3.2.3.4个性化推荐利用客户画像信息、客户终端信息、客户行为习惯偏好等，提供客户定制化的服务，优化产品、流量套餐和定价机制，实现个性化营销和服务，提升客户体验与感知；或者在应用商城实现个性化推荐，在电商平台实现个性化推荐，在社交网络推荐感兴趣的好友。3.3业务支撑3.3.1报告系统按照指标导出报告。3.3.2报表系统按照指标导出报表。3.4技术支撑3.4.1指标管理制定报告框架，设置数据分析和统计维度等。3.4.2配置管理设置系统可配置项目，如数据字典等。3.5数据商业化数据商业化指通过企业自身拥有的大数据资产进行对外商业化，获取收导出对用户隐私（如姓名、年龄等）处理之后的数据，直接售卖。3.5.2提供数据服务利用大数据资产优势，将数据封装成服务，提供给相关行业的企业用户，为合作伙伴提供数据分析能力。技术方案4.1系统架构基于大数据的移动增值业务精准营销平台采用SparkOnYarn平台架构，使用HadoopHDFS分布式文件系统存储数据，采用HadoopYarn对集群计算资源进行调度，使用Spark进行分布式计算。平台架构如下图所示：应用层数据预处理逻辑层规则分析器Spark查询引擎丿J 丿胃B服务器 服务器应用层数据预处理逻辑层规则分析器Spark查询引擎丿J 丿胃B服务器 服务器本平台自底向上由物理层、数据存储层、逻辑层、接口层组成。各功能层的详细描述如下：物理层，指由多台计算机和网络交换机构成的局域网，是部署和运行云计算Hadoop平台的硬件基础。其中，包含了一台或多台Master计算节点，若干台Slave计算节点。由于Hadoop平台自身具备优秀的可伸缩性，节点数可根据实际计算任务中涉及的数据量大小任意扩展。数据存储层，指运行于物理层计算机局域网之上的HadoopHDFS分布式文件系统。该层提供了文件以数据块的方式进行分布式存储。文件的分发、容错、备份等功能均由Hadoop平台自带功能实现。另外，该层还为框架中逻辑层在进行Spark分布式计算时提供临时文件交换基础。逻辑层，基于HadoopYarn的Spark分布式计算环境构建，实现对大规模数据的查询和推理任务，主要包括数据预处理、数据适配器、查询与规则分析ES器。接口层，是云服务端与外界实现信息传递和数据交换的接口，负责云服务端的负载均衡以及访问的身份验证、权限分配以及云计算安全监控与管理等。4.2Hadoop简介Hadoop源于两个开源的项目Lucene和Nutch。Lucene是一个用Java开发的开源高性能全文检索工具包，Nutch是一个以Lucene为基础实现的开源搜索引擎应用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性：Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。低成本：与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市相比，Hadoop是开源的，项目的软件成本因此会大大降低。Hadoop主要由HDFS和YARN两大组件组成。4.2.1HDFSHDFS是Hadoop架构下的一个分布式文件系统，其采用主从结构体系。其架构如下图所示：

Metadata(Namerreplicas,/home/foo/data,3,.HDFS的集群是由一个或多个命名节点(NameNode)和多个数据节点(DataNode)组成。其中NameNode用来管理系统的命令空间以及文件的元数据，此外NameNode还负责监听DataNode和客户端的请求，执行对应操作，比如打开、关闭、重命名文件或者目录等，并且负责监控DataNode的状态。DataNode要定期向NameNode发送心跳(Heartbeat)信息，如果DataNode一段时间内没有反应，NameNode则将此DataNode标记为“死”节点，并将处理由此DataNode节点的离线所导致的副本数量不足而产生的数据复制操作。DataNode用来存储文件的数据，处理文件客户端的读写请求：创建、删除、复制数据块等。4.2.2YarnYarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、10、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。所以Yarn具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率以及能支持除了MapReduce计算框架外的更多的计

算框架（如SparkOnYarn）。其架构图如下:Conl-ain-erClientAppMstrContainerConlain-erCcntaineirNM已ManagerNodeStatusResnurr:已Re