移动经分发展.ppt

移动经分介绍,目录,经营分析（BI）演进阶段,商业智能的概念于1996年最早由加特纳集团（GartnerGroup）提出，其定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定BI（商业智能）的演进分为三个阶段：感知阶段、知识阶段以及智能阶段。目前我们所做的BI处于知识阶段。,BI演进阶段图,手机上网用户价值评估模型用户与流量套餐匹配分析模型,经分的挑战及应对,经营分析经过几年的发展，已经建成了世界上最大的分级数据仓库体系，应用日趋丰富，数据质量逐步提升，系统价值逐步显现。,经历了十年的发展，当前也面临很多问题：如何降低经分的存储？如何支撑互联网分析？客户隐私如何进行保护？如何提高系统的安全保障能力？如何提升系统的智能化、易用能力？。针对这些问题，提出了相应的解决的方法：引入云存储的技术建立互联网数据集市进行客户隐私保护建立金库认证鉴权机制引入BIStore和导航式分析。,我们的目标,将“加强业务支撑能力，支撑向移动互联网转型；探索新技术，满足“高效低成本”要求；突出重点，满足流量经营等重点应用；加强安全管控，进行指标过程管理。”为建设目标，提升互联网流量运营新形势下企业智能管道的综合支撑能力。,1.围绕角色2.围绕问题,加强业务支撑能力，支撑向移动互联网转型。拓展和完善移动互联网访问信息等业务数据，为互联网分析等业务支撑提供完善的数据基础。打通一经访问省经通道，扩展一经分析能力。,探索新技术，满足“高效低成本”要求。探索云计算等新技术，构建高效低成本的支撑架构；分步引入导航式分析，实现分析过程的积淀和复用；逐步引入BIStore模式，提升敏捷开发及应用共享能力，实现对业务需求的快速响应。,突出重点，满足流量经营等重点应用。扩展并深化数据挖掘模型建设及应用落地，加强对流量经营、客户维系等重点应用的支撑。,加强安全管控，进行指标过程管理。进一步加强逻辑模型标准化工作，增强对业务指标梳理、数据质量监控等的支撑能力，通过KPI急报/快报、指标波动阈值预测等功能进一步提升业务及时监控能力；构建金库安全管理功能，深化客户隐私信息保护。,我们关注的重点问题,经分系统如何高效低成本地支撑现阶段公司发展的业务重点，如何贴近各级各类使用人员的业务问题及具体需求，提供实用、高质量及安全可靠的应用支撑，是目前经分关注的重点问题。,针对新型数据及分析处理特征，如何保障系统“高效低成本”地建设发展？,数据仓库中整合的企业业务数据越来越多，如何加强企业信息安全及客户隐私保护？,系统架构及数据处理愈发复杂，如何进一步提升数据的管理水平？,面向“智能管道”和“流量经营”发展战略的具体业务问题，如何提供针对性的应用解决方案？,经分系统服务对象越来越广泛，如何提供适配性和实用性更高的应用支撑，提升使用体验？,规划思路及实施,目录,如何贴近使用者如何贴近业务问题如何更可管控如何更安全如何高效低成本,面向角色提供应用适配支撑,对经分系统服务对象进行梳理，加强面向企业各类角色的针对性应用支撑。,基于角色的应用地图：经营分析系统通过信息适配将流量发展监控及营销服务、核心客户保有、客户来源及离网去向分析、资费管理、渠道运营管理、一人多卡客户识别分析、财务价值分析、量化绩效薪酬支撑、市场运营监控等各类分析应用包装成不同的个性化解决方案，为企业决策人员、业务管理人员、分析策划人员、一线管理人员、一线员工和支撑人员提供符合角色的应用集，为不同角色的使用人员提供贴身服务。,工作指导不够,市场应变慢,积极性待加强,强调所得即所需，保证对一线支撑的及时性、完整性，解决一线实际问题。,无法及时了解任务进度情况市场问题不能及时发现,一线员工的绩效管理水平亟待加强,存在问题,解决之道,经分资源及时推送,任务跟踪、预警监控,量化工作、绩效透明,问题诊断,信息直通，一线所需的经分资源及时推送给一线，一线依据指导建议开展针对性营销工作，提高营销效果；建立一线任务获取与跟踪展示平台，帮助一线及时获取任务，跟踪任务的完成情况；建立针对一线的预警监控功能，及时发现市场问题；量化一线工作，实时展现一线绩效。,建立一线贴身服务应用,问题梳理,应用支撑,满足一线角色工作需要，在地市数据集市上建立一线贴身服务应用，实现端到端服务。,一线贴身服务：角色适配,一线集成工作平台整合一线人员日常工作所需资源，予以集中呈现，为一线工作提供一站式解决方案。,引入BIStore，实现“更快、更省、更简单”的使用体验,借鉴AppStore成功经验，构建BI门户,构建BIStore门户，用移动互联网流行的“客户端+内容”的方式替代“浏览器+内容”方式，用“小而精”的应用代替“大而全”的平台，达到“更快+更省+更简单”的客户体验提升目标,支持多种典型移动智能终端，提供即时经分应用；利用终端本身具备的新技术结合经分应用，提供更具特色的应用体验（例如通过GPS定位与客户密码认证双重验证，确保信息安全）。,借助移动智能终端,APPStore,借鉴AppStore成功经验，引入互联网“客户端+内容”的应用服务管理模式，借助智能终端带来的全新操作方式，增强经分用户的应用体验。,规划思路及实施,目录,如何贴近使用者如何贴近业务问题如何更可管控如何更安全如何高效低成本,贴近当前业务重点，需求、技术、管理并重,满足省公司2012-2013年业务运营需求支撑流量经营，打造智能管道支撑存量客户保有和增量客户拓展支撑资费和渠道精细运营支撑财务价值分析和量化薪酬精细管理,总结提炼前期试点、应用测评可落地最佳实践成果在全网推广分类应用试点成果应用推广优秀经验模型优化经验,适应全网一体化、集中化运营管理要求移动互联网等数据集中处理携号转网要求进一步加强CRM和经分等多系统协同客户跨省流转、重入网监控要求跨省协同,提升流量经营水平、做好存量客户保有、增量客户发展和精细运营，对经分支撑能力提出了更高的要求；上期工程建设和应用开发积累了优秀经验，有必要在全网推广最佳实践，进一步发挥应用价值；全网一体化运营管理要求持续优化省级经分应用架构，实现系统可持续演进。,1,2,3,支撑流量经营：加强对流量网络、终端等方面的综合分析，构建流量精确营销服务体系；促进运营管理水平提升：部署资费管理和渠道异常监控等应用一线客户发展维系支撑：优化核心客户保有、一人多卡和客户来源及去向分析应用等应用，强化一线存量客户保有、增量客户发展支撑能力；构建量化薪酬、财务价值分析等应用，促进企业人力财务等资源管控支撑能力。,新增客户运营分析类模型11个、产品分析及运营类模型5个、资源分析及运营类模型4个、企业管理类模型2个，从而更好的支撑新的应用分析需求。终结既有经验，修订客户运营分析类模型3个、资源分析及运营类模型2个、企业管理类模型2个，通过模型优化、进一步提高分析效率和准确性。,进一步夯实数据层，新增一系列数据接口，积极纳入互联网上网日志、财务、人力资源等数据，在满足日益增加的分析需求的同时，也为构建企业级数据仓库打下坚实基础。,加强流量发展监控及营销服务等支撑功能，提升企业一体化、精细化运营能力,丰富分析模型，优化既有模型，提升模型效率和准确性,扩充用户上网日志、财务成本等数据，夯实企业级数据仓库基础,提升功能、模型、数据的体系化支撑能力,支撑存量客户的保有、增量客户的发展、流量经营等市场发展重点、难点、热点、关键点，进一步提升综合分析支撑能力。,渠道异常客户监控,资费管理运营支撑,运营管理类,一人多卡客户识别,核心客户保有支撑,客户维系类,客户来源及离网去向分析,流量营销服务支撑,流量发展监控分析,流量经营类,小区价值分析,综合价值分析,财务及人力管理类,根据公司战略发展需要，进行重点应用建设,计量薪酬支撑,市场运营监控中心,移动互联网支撑突破：构建流量发展监控及营销服务等应用，提升“流量经营”支撑能力；一体化运营管理支撑：部署资费管理和渠道异常监控等应用，促进运营管理水平提升；一线客户发展维系支撑：优化核心客户保有、一人多卡和客户来源及去向分析应用等应用，强化一线存量客户保有、增量客户发展支撑能力；企业综合精细管理支撑：构建量化薪酬、财务价值分析等应用，促进企业人力财务等资源管控支撑能力,面向重点业务问题，构建业务方案提供专向支撑,面向重点业务需求提供业务方案支撑，包括流量发展监控及营销服务、资费管理、渠道管理运营系统、核心客户保有、一人多卡客户识别分析、客户来源及离网去向分析等。,省经仓库部署应用面向省公司业务部门的指标监控及分析应用、全省范围的统一营销策划及各地市共性需求的成熟应用。数据集市部署应用依据各地市实际业务需求，实现本地市场运营监控、客户洞察、产品分析、以及营销活动策划等专题应用支撑。应用互动与省级VGOP、CRM等系统进行数据交互与应用互动，实现业务问题的端到端全流程支撑。,构建互联网数据集市，支撑向移动互联网转型,对经分系统服务对象进行梳理，加强面向企业各类角色的针对性应用支撑。,新增互联网集市的建设和应用基于用户WAP网关访问日志、网页分结果等上网数据，建设流量监控分析、内容分析与管理、互联网产品营销三类重点应用，满足业务部门与分析人员的分析。新增一线贴身服务应用贴近一线不同角色，提供任务管理、指标监控预警、绩效展现等贴身服务，提升一线工作效率，增强一线问题分析与解决能力。,本期建设重点,构建互联网数据集市，支撑向移动互联网转型,互联网数据集市，是以用户WAP日志等上网行为数据为主要分析基础，以实现包括流量经营分析、内容分析管理以及互联网产品营销帮助在内的应用功能，从而为各层业务需求部门提供相应的服务。,构建四网流量监控与分析、套餐流量监控与分析、用户流量监控与分析、终端监控与分析应用；实现多维度的流量套餐效益价值评估、终端对流量的影响分析等，支撑流量套餐的设计与营销、终端运营等工作；利用WEB、短信及彩信等方式，向决策层、管理层及时提供关键业务指标数据，为其全面掌握流量整体运营情况提供支撑，实现流量监控的价值显性化。,实现互联网内容全方位分析分析客户内容使用的频率、流量、规模、生命周期等特征；利用数据挖掘技术，实现内容价值评估、挖掘热点内容；结合内容标签、内容属性等构建内容统一视图；实现内容-产品精准匹配从内容与产品功能的承载特征、内容分类与产品的对应关系、产品生命周期特征等角度，构建内容-产品适配模型，实现内容与产品的精准匹配。,以移动互联网产品需求为驱动，通过对互联网客户基础特性、网络特征、终端偏好、产品偏好、内容偏好等进行深度挖掘，针对当前及未来的市场热点及产品发展需求，策划相应的营销活动；利用营销管理平台进行目标客户筛选,通过多种渠道实现营销的触发和执行；营销的接触信息再反馈给互联网数据集市，实现营销的评估和优化；共同完成营销、服务活动流程的闭环管理。,流量监控与分析,内容分析与管理,互联网产品营销,一线应用支撑,汇集反映辖区内经营全貌的KPI指标集，总体把握市场状况；汇集与用户角色相关的重点关注指标和考核指标。,选取反映当前重点工作相关报表集，帮助一线把握市场重点。,涉及完成具体任务所需的资源。主要包括目标客户清单、套餐建议、接触渠道建议、产品推荐营销用语、终端建议等。,帮助一线管理员及时发现市场问题。包括：零次异常、疑似离网、套餐捆绑到期、重点业务投诉等。,支撑,引入导航式分析，提升业务问题解决方案的流程化、智能化水平,1确定需要分析的业务问题通过指标监控通过业务发展情况分析领导指派的分析任务,2选择适用的分析方法分析方法检索按照推荐级别推荐系统自动关联,4定位问题发生原因确定业务问题的诱因制定相应对策保存分析过程,3方法指引分析过程分析节点查看分析元素查看自行定义新的分析,分析过程,能力支撑,分析元素,分析方法库,构建以方法知识为驱动力，知识积累与知识应用为核心的新型智能化、导航式应用模式，以分析方法为智慧经分的主要承载手段，在应用价值和分析效率提升领域形成新的突破。,规划思路及实施,目录,如何贴近使用者如何贴近业务问题如何更可管控如何更安全如何高效低成本,加强指标出数过程管理,以服务业务人员，提升业务用户感知为主线，着力提升指标出数过程的用户感知，建立适应业务人员分析思路的指标检索体系，减少指标信息分散、无序以及相似指标带来的信息冗余和用户困扰，加强系统优化清理的系统功能支持，为数据质量管理的新增功能建设提供元数据基础服务支持。,通过类似地铁运行图和地铁进站时间预告牌的方式展现指标出数过程实时运行信息，为地市业务人员和管理人员直观了解指标出数进展情况提供支持。,通过自动分析筛选孤立的库表和作业，帮助运维人员快速确定系统垃圾清理范围，消除系统运维隐患。,指标出数过程的图形化展现应用,指标图书馆应用,孤立库表和作业的分析清理应用,构建适应业务人员分析思路的指标检索体系，梳理归并相似指标，为业务用户提供清晰、统一的指标定义信息以及高效、便捷的指标检索和推荐查询服务。,深化数据质量管理功能，提升数据质量管理智能化水平,扩大数据质量业务用户群，提高系统的易用性，通过各种应用丰富现有数据质量系统的功能，提高系统对外服务能力。,让一线人员、分析策划人员都可以定制自己关注的KPI指标；提前发现数据质量KPI指标数据波动，及时的发布数据质量问题，减少数据质询。,提供统一的图形化监控工具，实现指标图形化运维管理；细化接口数据内容检查；实现中断式监控预警，减少脏数据对数据处理作业的影响。,急报快报,指标波动阈值挖掘分析,实现图形化指标运维管理等应用功能,引入新技术，减少数据质量运维人员的工作量。如通过数据挖掘技术，智能分析指标波动阈值。,规划思路及实施,目录,如何贴近使用者如何贴近业务问题如何更可管控如何更安全如何高效低成本,安全模块改造重点,经分系统安全架构图,在安全管理方面重点进行金库模式及隐私信息保护的改造和加强。,金库模式,根据集团规范，对经分系统重点应用、后台导出规定使用金库模式认证。重点论述金库模式与经分的关系、金库模式保护的数据范围。,隐私信息保护,强调了隐私信息包含的内容，介绍了隐私保护技术并强调了隐私数据保护在经分系统的位置。,信息保护“城防图“,这么多防线如何攻破？,金库模式,金库模式中4A与经营分析系统的关系,用户通过4A登录经营分析系统后，当操作人员针对关键系统进行高风险操作时，在操作结果返回前，自动触发“金库模式”由值班经理、班组长、主管领导或前期配置的协同人员担任“授权员”，对操作人员的本次操作流程进行临时授权；授权通过后操作人员才能完成剩余的操作步骤，获得操作结果。操作完成之后，金库模式会将操作结果反馈回4A进行日志审核管理。,“金库模式”也称为“双人操作”或“多人操作”。根据集团公司文件要求，为了保证经营分析系统的数据安全，对于涉及到公司高价值信息及客户敏感信息的高风险操作，强制要求使用金库模式，通过相互监督、利益制约确保关键操作的安全性。,隐私信息保护,隐私信息保护范围,隐私保护的处理流程,姓名、身份证号（其他证件号码）、住址、联系人、联系号码、工作单位等个人属性类字段。用户通信（短信、语音）时的对端号码、位置等通信属性。集团客户名称、集团客户关键联系人及其联系方式等集团属性,隐私信息保护功能主要在ETL层实现，生产库中不存在未加密的隐私信息，且还原后的隐私信息访问需要经过审批。,规划思路及实施,目录,如何贴近使用者如何贴近业务问题如何更可管控如何更安全如何高效低成本,探索云计算技术应用，实现高效、低成本、易扩展的系统架构,互联网时代的飞速发展，智能管道的战略转型亟需纳入互联网信令数据进行深入分析，促进流量经营。互联网信令的数据量大、非结构化、操作简单等特点决定了不适宜再采用传统的数据仓库处理。传统IT架构面临可扩展性受限、成本高、资源无法充分利用等特点，一定程度上会影响业务的开展。以WAP日志为例，有些省一天的日志量达到了1T左右，是传统计费清单的10倍以上，同时通过云计算平台和小机数据库环境测试对比，在同等处理能力下，节约成本达600万以上。,众多互联网公司更早就遇到了类似的问题，不得不采用廉价PC作为承载海量数据和核心业务的主流设备，以此为基础搭建云架构实现高性能、低成本、通用性，云计算也因此以IT行业革命性技术的姿态出现逐步走向成熟。,背景,可行性,通过低成本、高效率、易扩展的云计算解决方案，一方面快速处理海量信令数据，另一方面还能承担部分清单的计算处理，缓解主库资源压力，逐步改善现有IT架构的局限性，应对竞争日益激烈的市场环境。,云计算关键技术,分布式抽取,基于分布式、高可靠、高可用的面向流的数据采集和导入技术，可处理海量非结构化日志数据的采集、聚合和传输，支持在海量日志文件中定制各类数据给接受方，一般支持text（文件）、dfs（HDFS文件）、RPC（Thrift-RPC）和syslog（TCP/UDPsyslog日志系统）等格式文件，从而实现后续应用的灵活调用。,以WAP访问日志数据为切入点，探索分布式抽取、云存储等新技术在互联网分析及流量运营支撑方面的应用落地。,云存储,WAP日志数据具有结构化、规模大、无更新等特点，相比传统的数据仓库方案，云存储技术可降低整体IT系统的建设和运营成本，加快应用部署速度。,目录,针对性的支撑方案,移动互联网信息安全统计分析,移动互联网支撑方案基于云平台的WAP日志处理方案,数据采集：数据采集器采集GPRS话单、WLAN话单、WAP日志等接口信息，以及通过网络爬虫抓取联网信息，进行文件级校验之后，抽取到分布式存储中。,数据处理平台：提供分布式存储、分布式计算、数据挖掘、数据分析等基础能力。,云ETL：基于Oozie工作流，提供ETL任务编排、任务调度、任务监控等功能。,数据封装：通过统一的、标准化的方式进行描述、明确服务提供数据的调用方式和地址，实现数据的组件化及服务化，应用系统通过数据封装调用平台的数据服务能力。,管理与监控：提供平台自管理能力,HADOOP,云平台综合数据采集、数据处理、云ETL、管理与监控、数据封装等模块，实现WAP日志清单数据的抽取、过滤、分类分析、排重、汇总等。,移动互联网-基于云平台的WAP日志处理,移动互联网互联网集市,进行流量数据分析，助力流量运营工作,进行互联网内容分析，挖掘用户偏好,结合互联网信息与互联网产品内容，提高互联网产品营销的精准度,1,2,3,目标,背景,移动互联网业务与需求飞速增长，系统可沉淀与拥有大量的用户上网记录；基于传统用户行为数据（语音或数据业务等CDR数据）的分析已不能满足精准营销的需求，而互联网数据却包含了大量的用户行为信息，如内容偏好等，对互联网数据的挖掘与分析，将给精准营销工作带来前所未有的价值；,移动互联网数据模型,第一层数据模型,用户业务使用汇总,流量内容汇总,营销套餐信息汇总,轻度汇总,网络信息汇总,他网用户汇总,终端信息汇总,用户上网行为汇总,基础数据,流量行为信息,网络资源信息,资费套餐信息,飞信使用信息,139邮箱信息,无线音乐信息,手机视频信息,获取层,DPI解析,网页语义,上网日志处理,通信轨迹解析,ETL,云平台,数据集市,数据仓库,应用模型,指标库,分析资源,统一视图,综合应用专题,第二层数据模型,通过云平台的数据清洗、数据汇总两级ETL过程，完成基础数据层模型的构建。模型包括清理过的清单数据和轻度汇总数据，基础层数据存储于云平台中。,深度汇总数据,移动互联网数据模型,移动互联网支撑方案云数据处理平台,网页分析子系统,HADOOP平台,数据预处理（ETL1）,数据汇总（ETL2）,基础分析能力,接口处理,WAP日志,用户资料,信息挖掘,云ETL管理,应用开发,应用监控,应用调度,数据挖掘,文本挖掘,清单数据处理,数据加载,数据获取,数据转换,互联网数据处理,日志预处理,URL分类、内容偏好、客户互联网行为视图,信息统计,日志汇总,用户行为,网站访问,分类访问,内容主题,搜索关键字,聚类,分群,