基于宽表的自助取数系统设计.doc

基于宽表的自助取数网络系统设计摘 要：电信运营商在日益激烈的市场竞争中，对营销IT支撑系统的依赖程度越来越高。营业人员在营销活动中，如何及时地获取针对不同客户的营销数据，成为直接影响营销效果的关键因素之一。在分析营销人员个性化实时取数需求的基础上，构建一种基于不同分析主题宽表的自助取数网络系统，方便营销人员通过简单的界面操作实现快捷、实时的自助取数功能。关键词：电信运营商；企业数据仓库；针对性营销；宽表；自助取数中图分类号：TP393.08 文献标志码：ADesign of Intelligent Data Acquire Network System Based on Wide TableXiang Yong1, Zhang Qing1, Wang Haixia1, Liu Ming2（1China Telecom Corporation Ltd. Guangzhou Research Institute, Guangzhou 510630, China；2University of Electronic Science and Technology of China, Chengdu 610054, China）Abstract: Under the increasingly fierce market competition circumstance, telecom operators depend more and more on marketing IT support system. To promptly acquire different marketing data for different customers becomes a key factor to the effect of sale. In this assay, based on the analysis of the needs for ad-hoc and real-time marketing data access, we construct wide tables for different topics and design an auto-data fetch functional framework, which enables the sales staff retrieve marketing data conveniently, quickly and real-timely, through simple UI operation.Key words: Telecom operators; Enterprise data warehouse; Targeted marketing; Wide table; Intelligent data acquire1 引言中国电信业竞争越来越激烈，市场情况瞬息万变。为促进企业有效益、可持续发展，有效控制离网率和流失率，电信运营商开展了一系列针对性营销活动。所谓针对性营销，是指根据客户的消费需求、消费特征等对客户进行细分，针对不同需求特征的客户群，提供差异化的产品、套餐或服务的营销过程。在此过程中，离不开各类营销数据的决策支持，这些都不同程度地需要使用和依赖于各种IT支撑系统。通常情况下，营销过程所需的各类数据都由功能齐全、系统复杂的经营分析类系统提供。由于这类系统通常都直接建立在企业数据仓库之上，分析主题相对固定，运算量较大，因此，其数据获取的实效性和个性化都存在明显的不足。本文针对当前营销支撑系统中存在的取数效率不足的问题，提出了一种用于营销人员以自助方式获取数据支持的网络系统功能框架。文章其他部分组织如下：第2节对相关工作进行说明；第3节对本文的系统定位和功能设计等进行描述；第4节给出系统参考实现和使用效果描述；最后总结全文。2 相关工作本文提出的自助取数系统，是在企业数据仓库基础上，建立由不同主题宽表构成的数据集市，需要运用到数据仓库和数据集市的相关知识、技术和手段。文献1-4只是从数据仓库基本概念，到数据挖掘方法和技术，进行了较为详实的介绍；文献5对数据集市相关知识做了介绍。这些文献都没涉及到自助取数的相关介绍。而自助取数功能的设计，将直接提高营销人员在营销活动中取得的效果。3 系统设计自助取数，是通过B/S模式（用户使用浏览器）提供了一系列的取数方式（如模板取数、客户细分、自定义取数等），使分析人员可以不直接访问数据库或在没有IT支撑的情况下通过web界面方便、快捷、简单地获取所需数据。自助取数能够降低针对性营销IT支撑的成本，提高业务人员对IT支撑的满意度。营销人员可以依托自助取数功能实现闭环的针对性营销，提高针对性营销中营销数据获取的方便性和快捷性，帮助多个角度分析客户，培养用数据说话、科学营销的习惯和技能，从而促进业务人员在营销策划、管理中的发散性思维。自助取数网络系统，由数据库（用作宽表数据集市等）、应用服务（自助取数业务逻辑处理模块）和web服务（营销人员操作门户）组成。本文主要介绍数据库宽表设计和自助取数功能框架设计。3.1 功能定位针对性营销全过程分为客户理解、营销策划、营销执行和营销评估等四个阶段。从业务操作、功能应用的角度出发，自助取数功能主要应用于客户理解阶段。同时，也对其它阶段予以支持。阶段功能体现如下：1）客户理解阶段：营销策划和管理人员通过自助取数得到目标客户的帐单费用和通话行为等信息后，辅以其他的手段深入分析客户消费与行为特征，更好支持客户理解。2）营销策划阶段：获取客户的属性类、拥有类、行为类、价值类和反馈等数值后，用户可以利用excel等常用软件，进行相对简单的营销策划。3）营销执行阶段：营销执行人员可以通过自助取数功能得到需要关注客户的每日购买、通话和消费行为。4）营销评估阶段：可以将目标客户清单导入到自助取数功能模块中，获取目标客户连续多个帐务月的帐单和通话量指标，再利用excel等常用软件，实现对目标客户群简单的效果评估分析。3.2 宽表设计图1描述了自助取数功能的数据架构。为了保证数据的一致性，避免系统资源的浪费，自助取数功能建议直接从EDW/ODS系统获取数据。图1 自助取数功能的数据架构自助取数数据集市的宽表，根据加载频度可分为以下两类：1） 按月加载的汇总表。包括帐单信息汇总表、通话信息汇总表和小灵通短消息信息汇总表等。根据目标对象，分别有产品实例月汇总表、帐户月汇总表和客户月汇总表。这些表中的帐单、话单等指标按帐务月进行汇总，相对数据挖掘宽表而言，指标的粒度要适当归并以适应自助取数的需求。各省需要根据EDW的性能、存储空间等实际情况，基于数据挖掘宽表以视图的形式生成月汇总表，或者ETL生成独立的月汇总表。2） 按日增量或者全量加载的日更新表。日更新表中保存的是从EDW中直接抽取的数据，主要是产品实例和客户的基本属性的最新数据。针对营销策划分析和管理人员对自助取数的业务需求，可以将其分为三大主题：1） 帐务月取数：主要是基于按月汇总的帐单、通话量等指标进行数值约束的查询取数，所以也称为数值约束取数。具体包括收入取数、通话量取数等；2） 日期段取数：包括新增清单、拆机清单、到达清单和到期清单等二级取数主题，具体又涉及主产品实例、附属产品实例、单产品优惠、帐户优惠和群组优惠的清单取数。考虑到宽带的特殊性，需要单列宽带产品实例清单取数和宽带优惠清单取数。同时，由于群组优惠和帐户优惠下往往关联多个产品实例，还需要单列群组优惠关联产品清单取数和帐户优惠关联产品清单取数。因为总是需要选定一个时间窗，所以称为日期段取数。具体包括主产品实例业务量取数、附属产品实例业务量取数、宽带产品实例业务量取数、单产品优惠业务量取数、账户优惠业务量取数、群组优惠业务量取数等；3） 数据挖掘打分数据取数：获取数据挖掘打分宽表中的打分数据。具体包括客户分群取数、客户价值取数、客户忠诚度取数和流失预警取数等。各种取数主题交叉组合，会产生更加复杂的取数需求，需要基于自助取数的主题划分，进行数据准备，设计界面和功能。3.3 功能设计营销和管理人员的自助取数业务（操作）流程，一般分为四步，如图2所示：图2 自助取数业务流程示意图为了覆盖完整的业务流程，同时，为了更好地体现模块化设计思想，可将自助取数的功能模块划分成七个子模块：配置管理、智能取数、取数结果管理、取数任务管理、用户管理、统计审计和自组织管理。其功能框架如下图3所示。图3 自助取数功能框架下面对各个功能子模块进行介绍。3.3.1 配置管理通过配置管理得到各种约束参数模板和结果字段模板，利用这些配置模板来满足各种差异化的取数需求。约束参数指标很多，用户需要的只会是一小部分，过多的约束参数会导致使用难度很大。为了降低使用难度，要针对不同的取数主题设定约束参数模板。约束参数可分为两大类： 数值指标的约束参数：各种帐单指标、通话量指标等。应该支持同类数值指标的简单运算，生成新的数值指标。 属性的约束参数：客户的营销服务属性、客户等级等基本属性，对于产品实例包括产品类型属性、关联的附属产品类型、产品落地区域、关联的套餐等。所谓的“结果字段”，是结果文件清单中的显示信息，主要是产品实例及其客户的各种基本属性、套餐购买信息、附属产品实例拥有信息等。不同用户、在不同的取数主题中对结果字段的需求是不一样的。结果字段的配置管理，就是针对不同的取数主题，把一般需要的字段设置为结果字段，并保存为模板。3.3.2 智能取数智能取数功能子模块主要包含以下三个功能点：1) 规则定义取数：用户对数据的需求是非常多样化的，需要通过设定时间、产品、套餐、地域等维度约束、设定各种帐务月指标和通话量指标的数值范围来实现。这种通过界面设定约束参数的过程，就是一个规则定义的过程。基于界面上设定的规则，再生成取数SQL，提交执行以获得清单结果。规则定义中，能够对数值型约束参数限定数值范围：即：X1=约束指标A=X2，其中的X1,X2为用户填写的数值变量。用户可以只填一个变量，或者同时填写两个变量。如果都不填写，则约束指标A不会作为取数中的查询约束参数。2) 文件上传取数：把特定类型的数值或者字符存放于EXCEL或者TXT等格式的文件中，上传该文件实现取数。可以基于电话号码、客户编号、帐户编号、宽带帐号、VPN群组号等字段类型进行上传。用户可以基于“规则定义取数”模块，在取数界面上设定各种规则参数的值或者值范围，以作为取数的约束条件，进行参数过滤查询。3) SQL模板取数：IT人员定义SQL取数模板，业务人员使用SQL模板取数的模式。SQL模板中的变量参数设定规则中，对于某些变量参数，例如日期、地域、套餐、产品等应该尽可能提供界面进行选取。3.3.3 取数结果管理取数结果管理主要包括如下功能：1) 结果文件管理：主要从取数任务状态显示、取数任务查看、取数任务删除和取数任务执行等角度，来管理取数结果文件。2) 取数任务逻辑复用：用户点击打开已经结束的取数任务，在旧的取数逻辑基础上进行一定的修改，从而复用以往的取数任务逻辑，提高取数工作效率。3) 结果文件格式转换：取数任务结束后，自助取数功能模块根据用户要求生成了特定格式的清单文件。3.3.4 取数任务管理取数任务管理子功能包括以下三个功能点：1) 结果文件生成：根据用户需要的文件格式，生成对应格式的清单文件。该文件保存于服务器硬盘上，用户可以下载应用。2) 任务的执行控制：出于系统的性能考虑，需要对系统的任务执行情况作相应的调度和控制。取数任务被提交时，检测该用户是否有正在执行的取数任务。如果有，则将提交的任务强制转为预约取数，否则立即执行该任务。即需要保证用户在一个时间点只能有一个取数任务被执行。3) 取数结束通知：取数任务执行结束后，无论成功或者失败，都可以通过小灵通短信或者e-mail等方式通知用户。3.3.5 自组织管理自助取数功能模块实现自组织功能，实现自我学习、持续优化，从而提高自助取数的灵活性和客户满意度。主要包括如下功能点：1) 预约取数的自组织：对取数主题进行划分后，统计不同取数主题下任务执行所需的平均时间。根据时间长短从高到低进行排序，将排在前面20%的取数主题定义为低效取数主题。这样，用户提交取数任务后，自助取数功能模块将属于低效取数主题的取数任务强制转为预约取数。属于低效取数主题的取数任务被要求在系统空闲时间执行，当IT人员优化了其SQL逻辑后，预约取数的自组织功能才会将低效取数主题重新定义为非低效取数主题。2) 约束参数的自组织：约束参数的自组织功能，简而言之就是根据约束参数的被使用次数，对约束参数进行界面显示的动态排序，使用次数越多的约束参数越排在前面。主要体现在两个方面：定义约束参数模板时，待选的约束参数动态排序，便于用户选择常用的约束参数进入参数模板；基于模板在界面上显示约束参数列表时，模板内的约束参数基于约束参数排序记录将参数在界面上显示出来。使用频次越多的参数排在界面的前面。这种排序显示能够不断提高常用约束参数的显示排序，从而逐渐自组织地改善参数显示的合理性，提高用户的使用满意度。3) 结果字段的自组织：根据结果字段的使用频次，对结果字段进行自动排序。使用次数越多的结果字段，在定义结果字段模板时，其界面显示顺序就越靠前。这种自组织的动态排序，能够降低用户定义结果字段模板的难度。由于结果字段往往很多，常用的结果字段排在前列，有利于用户选择使用。4) 存储空间的自组织：取数结果以文件的形式保存在计算机硬盘上，硬盘空间不够会导致结果文件生成失败。存储空间的自组织管理自动监控硬盘剩余空间，当剩余空间小于预设值时自动告警，并自动删除部分取数结果文件。3.3.6 统计与审计从多种角度、层次记录、分析和统计各应用、用户的访问情况和取数情况，有助于后续的开发与运维支撑工作的开展，也有助于管控数据的获取、防止客户资料的泄漏。3.3.7 用户管理主要包括帐号的增、删、改、查操作，以及用户权限的控制，并能进行用户个性化定制设置，如取数结果文件格式、自助取数条件保存和复用等。4 系统效果图4 自助取数系统中条件配置界面图5 自助取数系统中执行取数界面图4和图5是某电信运营商自助取数系统中的相关界面。从系统上线后投入实际运营的使用情况来看，本文提出的自助取数网络系统功能设计方案，可以有效解决营销过程中存在的以下关键问题： 1）取数流程过长目前的IT数据支撑流程中，营销人员从拟定取数工作联系单到最终获得数据，往往需要经过较多的工序，反复沟通的成本较大、周期较长。营销人员自助取数方式，能够有效地减少取数环节，实现快速取数响应。 2）取数需求过于集中日常工作中的取数需求通常在时间上较为集中，根据经验，取数需求主要集中在月初和月中。这容易导致取数需求难以得到快速响应。营销人员自助取数方式，能够有效缓解IT支撑人员的工作压力。3）取数统计口径存在偏差统计口