大数据技术在精准营销中的应用

1、大数据技术在精准营销中的应用王小鹏北京东方国信科技股份有限公司北京100102摘要简要介绍主流的大数据技术架构和大数据挖掘技术；阐述大数据技术在精准営销与维系系统建设中的应用.包括技术实现方式以及大数据能力的体现.最后展望大数摒应用的前景。关键词大数据应用；大数摇技术.精准莒销；大数据挖掘;大数掲能力#引言大数据时代，数据已经渗透到当今每一个行业和 业务职能领域，成为重要的生产因素.対于海量数据的 挖掘和运用，预示看舫一波生产率壇长和消费者盈余浪 潮的到来。回顾近两年対大数据的探索历程.杲基础运 营裔一方面顺应大势，牢牢把握大数湄技术快速发辰的 机遇.另一方面应势而动，充分释放前期IT集中化、

2、一 体化的红利，坚定推进数湄集中。先后经历了数湄集中 采集的积淀、初试大数据Hadoop平台、传统数据库与 Hadoop混格架构的大数据平台创矍，以及目前朝幵放 式大数据服务平台迈进四个阶段。精准化営销与维系系统，依托大数据精准定位支撑 端到端多维度维系体系，构建在大数据平台之上，面向 客户、面向服务、面向管理，深化数据分析、数据挖耀 能力，洞察客户、透视企业，是将大数潺转化为实际生 产力的重要云化应用之一叫1大数据技术架构1.1 MPP数据库MPP（Massively Parallel Processing,大规模并行 处理系统）由多个SMP（Symmetric Multi Processi

3、ng,对 称多处理系统）服务器通过一定的节点互联网络进行连 接.协同工作.完成相同的任务，从用户的角度看它是 一个服务器系统.其基本特征是由多个SMP服务器（毎 个SMP服务器称为一个节点）通过节点互联网络连接而 成.每个节点只访问自己的本地资源（内存.存储等）， 节点之间的信息交互是通过节点互联网络实现的.目 前的技术可实现512个节点互联.MPP数据库有以下特 点1）一般存储为结构化数据.有明显的星型或雪花型 结构.适用于大数据分析的应用；2）每个服务器都有自 己独立的存储.内存和CPU.允许动态地墙加或删除 节点：3）数居分区划分到不同的物埋节点上，通过分布 式查询优化来提高系统整体性能

4、；4）主要用在数据仓库 和大规模的分析处理应用中.1 .2 Hadoop大数据处理平台Hadoop是参考Google相关技术而发展起来的开源 分布式存储和计算系统。其核心部分是HDFSfHadoop Distributed File System,分布式文件系统）和M/R（Map/ Reduce）. HDFS是一个高度容错性的存储系统，M/R 则是一个计算枉架.一个M/R作业通常会把输入的数据 集切分为若干独立的数擔块.由Map任务以完全并行的 方式处理.枉架会对Map的输岀先进行萍序.然后把结 果谕入给Reduce任务，作业的输入和输出数据都会被 存储在HDFS中.整个桓架负责任务的调度和监

5、控以及 失败任务的重新执行叫1.3 ETL技术ETL是指将数据从源端经过抽取（Extract）.转换（Transform）,加敦（Load）至目的端的过程，该部分在 数湄挖掘和分析过程中为最基础的一部分。一个良好 的ETL系统应该有以下几个功能。1）消除数据错渓并纠 正缺失数据；2）对于数据可信度的评估提供文档化衡 量；3）获取相互作用的数据流程来保护数据；4）整合多 个源数湄；5）将数据进行结构化供最终用户使用。2大数据挖掘核心技术2.1语义引舉语义引犁即为一种能够从丰结构化数据中提取有效 信息的一种工具.相对于结构化数据而言.不方便用数 据库二维逻辑表来表现的数据即称为非结构化数据，包 括

6、所有格式的办公文档.文本.图片、XML. HTML、 各类报表、图像和音频/视频信息等等。2 2数据挖掘算法数曙挖廻算法是一个不断验证不断匹配的过程，需 要数湄分析人员与业务人员不断地沟通和交流，使采集 的数据更加符合实际営销情况。多数情况下，数据挖掘 技术与在线联机处理分析（OLAP）方法相伴使用，也可 以单独使用.选择正确的挖耀算法至关重要。如分析电 信夸户仕生命周期中处于哪种状态.需使用凹归分析； 分析挽留预流失用户.要根据以往流失用户倚征预测用 户是否有流失总向.需使用分类算法化2 3可视化分析数据可视化是利用图形、图像处理以及用户界面， 向用户清晰有效地传达数据所传达的信息。目前，数

7、据 可视化技术一般以表格.图形、地图等形式为主，实现 图表联动、图表转化、表格下钻、多维切换、地图数据 高亮显示等功能。2 4预测分析预测性分析是根据可视化分析和数据挖掘的结果做 出预测性的判断。数据挖耀可以预测谁可能是手机报 倾向使用用户，谁可能更喜欢玩网游”，或容预测"谁 可能即将离网”。2 5大数据处理技术大数潺处1里技术按目前分类.可分为大数据查询与 数湄分析.数湄库技术、流与复杂事件处1里.分布式文 件系统等忙3精准营销与维系系统的技术实现精准営俏与维系系统的大数据平台.既要支撑対内 的数淖分析应用（包招面向管埋层的企业管理和经莒分 析.面向前端的业务幵发.运営与推广分析.

8、面向后端 的网络运営与优化分析），又要支撑対外的数湄开放与 数揖经营服务，包括数揖产品化.31系统架构某基础运営商的大数湄系统架构如图1所示.主 要包括大数据uCloudD 三大体系、四大平台”的总 体规划以及全网、宽带明细数据.企业管1里域核心数 曙、移动互联网流量日志、全网手机终端数据等。精准化営销与维系系统是构建在大数据平台之上. 基于数桶平台的数湄支撑能力，依托传统B域高价值密 度数据.充分挖枫0域上网行为等低价值密度数揚，通 过幵放式应用平台将具数彳居能力转化为实际主产力.3 2 MPP与Hadoop+MySQL目前大数猾存储技术领域有两个主要的技术阵営和 酬究方向.一是MPPfMa

9、ssive Parallel Processing,大规 樓并行处團数据库；二是以Hadoop+ MySQL为代表的 分布式文件系统。如表1所示日1, MPPt顾计算和数据 访问，在计算能力上不如Hadoop,在数据访问能力上不 如MySQL； Hadoop+供了优秀的海量计算能力（同时提 供一定程岌的数据访问能力）：MySQL提供了优秀的数湄 访问能力，二者结合能够提供优秀的综合数湄加工和访 问能力。3 3数据采集与整合大数潺平台対生产系统数湄的采集及整合是精准化23Business & Operation 业务与运营I A a* 方t方您euHfHi 住 it.awiiwt/n 細

10、M艾应用9氯件一于Z5羊台"生Me图1系统架构图1"一仏.桶IMtW表1 MPP. HadoopMySQLg本特性对比ttiet+海十尊性能(tft卄算惟芒存航程.册新老构支14irRediiCe14iji<edilCe曲丰富變tiffin限干1IPP本开杭老杓事种尊法妄件非结枸化软揭处理不支持支持tt向扩紅力实社幵境片1支待1000节点有支件較千机誥节点的罕例ttffit?力支粉SQL千集支待.HlVe/Plg支捋便弔SQL査佃査恂功能和场景丰支洽SQL *HB.z支持荃于列査侃功 能不4BSQL査询丰富支洽沁高笄发査询性fit少录弔户査也性炭喪好. 离笄发玄询性馳

11、.色曲下降HE憨支特高斗发査临方式就第探 快上万并发直询能力软皓対叢支捋支待JDEC访问接口HE* 支 RESI API丰富的编惶接口VWeb敦摇存莒面向有分廉统 的前机血向总MMKHWlPUttWM. « 询艸»TDCN 的远»!传合IP承的敦惟fM*的迖««闸络爬虫didd标笑t&«<引*解併引录 *«?析设备/2G/3G/ lAlilUt.唧用户增值 业务订卿业务平台1LRH4漫数据梢息抽啟ftAtf 分& 备和 潢处理引*图2大数据平台的采集整合图営俏与维系系统連设的基础。大数 猾平台的采集整合

12、数湄分类与技术 如图2所示。1）结构化数据采集与整合。 采集生产系统和业务平台的数 据.并通过DCN承戟传输。实现 前霄机中的全/增量数据的实时/定 时采集功能；实现前雪机中基于 Web服务的少量数猾采集功能； 实现前臂机与交换平台之间的传 输控制交互功能.2）非结构化采集与整合。采集 互联网相关的内容及行为信息.并通 过IP网承载传输"通过网络爬虫引犁 采集静态的互联网浏览内容信息以 及通过页面标签解析引犁采集互联网 浏览历史和行为等信息。3）流数据采集与整合。采集网 络信令、设备日志、互联网实时行 为等流类型数据.搭建流处理引犁 和消息处理引華"4）临时数提采集与整合.

13、采集 各省各部门一次性数据.通过文件 方式直接传输入库到数据集市H。4精准营销系统实现电信 基础运营商的大数据能力本文硏究的大数淖能力，主 要分为资源能力和数擔能力两种形 式。合作伙伴或者容户可根据自身 业务需求.申请资源能力和数湄能 力精准営捎系统会为其提供多种 合作模式.以满足不同合作伙伴和 客尸的不同业务需求25.1）资源类能力.主要是指基础25运営商対外幵放计算资源和存储资源，针対外部合作伙 伴和客户实行按需分配资源，允许合作伙伴和客户在所 分配资源内部署业务运営所需的应用，在资源范围内使 用巳授权的电信数据资产，同时，允许其与自身数据进 行融合，与电信业开展数据应用运営业务合作。2）

14、数揖类能力。主要指在保证数湄安全的前提 下，向合作伙伴开放数据资产，允许合作伙伴将其所 拥有的数据与电信数据进行充分结合，产生满足业务 需求的价值数擔，或者借筌巳成熟的数据模型，形成 自身个性化的数据模型。主要包括：数湄转售、数据 咨询、数据能力开放等。数拯转售是指汇聚电信数据资产、外部关联数据、 经过脱敏、分析挖耀等加工处理后依按需有偿原则向第 三方提供数据接口调用的服务。通过数据挖掘将用户登 陆网址分析的大彳羊本数猾出售给相关容户，如淘宝、京 东、苏宁、新浪等，方便客户进行价值営俏，形成新的 盈利模式.数据咨询是指对电信数据.关联的外部数据进行收 集、存储和加工，形成有价值的商业咨询报告，

15、向第三 方提供以获取信息谱值收入.数据能力开放是大数据能力平台的虚拟运营模式， 第三方租用平台空间、计算和数据资源.开展数据分析 和挖掘应用，以满足自身业务需要或向其客户提供商业 信息服务.为实观大数据能力，主要从以下几点进行分析。1）洞察容户需求，提升客户感知。洞察各户特征，精准把握容户需求.基于大数 湄，构連多维度分类分级的高清容户画像，洞察容户消 费行为与需求偏好，幵展以客户为中心的精准化、高效 率的套餐推介、服务维系、流量助推、定向营俏等活 动，贴合客户需要，提升客户感知。并储备対外合作数 湄价值多元化、多样化的服务交付能力，如以大数据平 台的完整容户画像为基础.为客户进行一対一的个性

16、化 广告投放，通过短信等方式发送餐饮、娱乐、购物等生 活信息推荐给客户。客户触点管1 里统一，确保客户体验一致。以咨户 为中心，实观多部门多活动、线上线下多触点的统一协 同管理.防止执行渠道单一，避免过度打扰.确保容户 体验一致性，并及时评估渠道投放效率与效益，循坏优 化，持续铢升网。2）以大数猾为中心，开展精准営销维系。改变过去相放式的営俏和维系政策的制定与执行， 准确识别.楕准投放.实时跟踪.循坏优化，实现営销 维系智芝化、资源投放精准化和经验案例共享化.严格 做到事前精准策划.事中楕准管控，事后循坏优化。3）满足一体化运営.助力服务下沉。构建引导型、规范化、自上而下的一体化精准営捎 维系

17、体系.同时，支撑省分和本地网创新型営俏与维系 需求，助力服务下沉。営俏维系一体化运営能力，包括规范客户标签体 系，精准伺察客户需求：强化営维体系落地.确保一体 智葱运营I统一客户接触标准.树立企业服务形象：共 享全网营销案例，复制推广成功经验.精制细作服务下沉，包扌舌支持省.地市及多专业 个性化标签；支持省.地市及多专业个性化模板：支 持省.地市及多专业个性化流程配着；支持省、地市 执行渠道対接.如呼叫中心、短信.营业厅、网格经 埋等.5大数据应用5 1精准营销系统实现公共管理创新5.1.1公共交通基础运营奇利用成熟的GPS定位技术和高速的无 线传谕网络，为公交车、出租车公司提供车辆调度和 管

18、畏服务.提高车辆运营效率和大众人群使用公共车 辆的满意度。通过遍布全市的公交车和出租车行驶数据，分析挖 耀形成整个城市的路面交通“实时路况“，为公共交通 治理提供可靠的决策依据。27Business & Operation 业务与运营#用户一方面.利用鑑医疗55報的市场” 另一方在广产 品的局时ffima础运 有的增值疊务.M 如远軽斤号.i&Wft 轴息衿次收費jft包月收粒的 方式实厦立利6 人用户評体.的 用户息.包括用户的瞰 户WMfch为佶息通过手机定位簾用户 行为并将 医弁设备的用户Jfti在用 户的信息皈愴给设备厂商 从的准腐性和用户行分析网络雄护与优化中心AM也

19、务 合作攜广管載医疗豪求It工区域、 Rrr*tt的传与共享.的无线网络签针对这一需求可以对现 有的网络遏行护与优 化.» 疗的 mxa 实现立利 AN自己的fcrrfcftf中心. 并H纭厂商达戍令作关豪. 可以采用内1*«运晉有 SIM卡的形式居民便用旗疗设备产生数 掛.通过列络通遏传16翼 數据中心井为t用户可 以蘆时衽录进行査询图3电信行业在医疗卫生的大数据应用通过公交车的固定路线行驶时 间分析，可帮助公共交通部门优化 公交线路，合理配青公交车辆的投 放数蚤，从而满足人民群众的公交 出行需求。5.1 2公共教育敎育信息化正在引发教学模式 的重大变革，传统的“板式”教

20、学 向“多媒体教学”转变，云服务的 引入缩小了城乡基础教育的韭柜。在幼儿教育方面，基础运営商 利用视频传谕、云服务分享能够实 观幼儿、家长、老师三位一体的信 息化服务。随看幼教信息化的普及 和推广，借助大数据挖耀和分析. 将不同年龄段的幼儿特征和偏好进 行提炼，能够为教育局和相关教育 机构提供有力参考。在中小学教育方面.基础运 营商通过电子黑板、电子书包等形 式，将丰富的教育资源通过云服务 的方式传递到教育末梢。同时. 倩助大数据挖掘和分析，将教育资 源的使用率进行评估，从而得岀相 应的推广范本，为教育机构遴选教 材、试点新的教育手段提供参考。 5.1.3医疗卫生基础运营商利用遍布全国、通 达

21、乡極的通讯网络，将社区医院、 乡村诊所这样的基层医疗服务机构 连成网络，利用视频通信、云服 务、传感设备等先进技术实现远程 病情诊断、远程医疗咨询、共拿病 历等服务。利用大数曙挖堀和分析 为流行病防控、易感人群分析、季 节多发性疾病预测提供有力的数曙 支持。基础运営侖利用自身在通信网 络和用户资源方面的市场优势，与 医疗器械设备厂商及集成商建立长 期的合作关系，捆绑业务、互惠互 利，形成电信行业在医疗卫生行业 的大数猾应用（如图3所示），达到 双屋共5 14特殊人群魔务针对残障人士.基础运営商提 供定制化的通信套餐.让他们足不 出户也能享受高科技带来的信息雷 宴，同时.结合位霄定位、视频传 输

22、等通信技术，借助大数据挖耀和 分析.为特殊人群服务，提供位肯 分布、使用偏好、消费能力的数据 参考.5 2精准营销系统实现商业模 式创新根湄Gartner预测，2015年中 国大数据市场规樓将达到100亿 元。对于基础运营商来说，海量的 用户通信数曙，能够为各行各业提 供末梢消费奢的行为分析和结合地 理信息的数湄分布，从而衍生出形 式多样的商务模式。5 2 1地理信息的商业价直随看中国汽车市场的繁荣，“实时路况信息“不仅対公共交通 治理有益，对普通的驾驶人员也 有极高的参考价值。图商（高德地 图、百度地图等）在提供免费地图 导航软件的同时.対“实时路况” 收取增值服务费。对于基础运営商 而言.

23、大数据挖耀分析结果.不仅 可以为图商所用.还可以为保险公 司售卖车险所用.5 2.2宜联网金融帝来的商业机会越来越多的人使用“手机 支付“可通过分析lit类用户的 ARPU（月通信费）以及年龄结构、知 识结构，来为企业细分目标市场.多数银行普遍采用的“信用 卡移动受理”服务.是将银行的 信用卡开卡业务移植到平板电脑 上，方便银行业务人员随时随地 向客户推荐业务、受理业务.通#过大数湄挖据和分析，能够为银行提供潜在容户的分 布区域、高价值客户的集中度、新增容户的属性和消 费能力分析，从而为银行制定信用卡的优惠政策和品 牌区隔提供有力的数据依据。“掌上股市”服务，是将证券市场的实时信息推 送至用户

24、终罐，不需更用户终端安装庞大的历史证券数 湄。根据用户的分析需求，采取云服务的方式，在远程 服务器进行计算分析，降低用户手持终端的计算复杂度 和存储消耗.通过大数据挖掘和分析，证券公司能够获 取其最终用户的投资偏好，为其提供定制化的服务，从 而提高客户黏性.5 2.3成人教育的潜在商机在成人教育方面，以商学院为例，目前广泛采用基 于iPad等平板电脑的教学工具.依托高速3G网络.学生 在iPad上通过专有容户端软件进行“云端”电子课件的 阅读.还可进行标注、课堂笔记等操作。随着此类高端 教学工具的普及.基础运营商针対MBA目标人群进行大 数据挖掘和分析.为商学院制定合里的教学计划和教育 资源配

25、着提供参考。5 2 4物联网的广阔市场根据新华社物联网咨询中心的数据，2015年中国物 联网产业规模将达到5 000亿元.重点行业是安防、电 力、医疗、物流.坏境监测，覆盖了从公共管理和服务 市场到企业、行业应用市场，再到个人家庭市场，巳经 逐步发展成熟。综上所述，在移动互联网、物联网、云计算等产业 潮流的推动下.基础运营商将通信管道的传统业务与大 数据的增值服务相结合.发择通讯用户行为海量数据的 优势，与各行各业的新商机结合，共同推动社会管理水 平的提升和新型商业模式的利润增长Z.6前景与展望大数据技术的演进之路从未止步，大数据应用的 范围也在不勘扩大。目前.电信行业海量数猾还未形 成有效的信息资产，其