（通信与信息系统专业论文）ota个性化增值业务推广方式的研究和实现.pdf

北京邮电大学硕上研究，扛学位论文o t a 个性化增值业务推广方式的研究和实现 o t a 个性化增值业务推广方式的研究和实现 摘要 随着通信技术的提升和市场的不断扩大，电信增值业务正向种类 丰富的数据业务转移，是未来移动通信发展最有潜力的领域。作为最 大的增值业务平台之一的0 t a ，必须做到使终端用户在任何时间、任 何地点享受各色各样的个性化服务。同样由于3 g 无线传输技术的高带 宽、高传输速率，使得各种各样的移动增值业务具有了更新的用户体 验和更大的发展空间。 本文提出的个性化o t a 推荐系统通过分析移动用户的兴趣爱好 以及消费习惯，向用户推荐他们可能需要的信息，可以有效地帮助移 动用户选择和使用其感兴趣的信息，从而提高增值业务推广效果。 本文首先介绍了课题的相关背景，并简单地描述了o t a 以及本课 题使用到的数据挖掘、个性化技术等相关知识。接着根据移动用户兴 趣的特征分析，设计出个性化o t a 推荐系统的输入与输出模块。并详 细介绍了每个部分的基本结构与算法原理，包括用户兴趣模型的表 达，用户兴趣模型的信息采集、模型的建立、更新以及基于内容过滤 的搜索算法，用户评价反馈算法。之后，我们对整个个性化推荐过程 进行了演示，并对实验数据进行了分析。 关键词：o t a增值业务个性化推荐系统 北京邮电大学硕上研究乍学位论文 o t a 个性化增值业务推广方式的研究和实现 t h er e s e a r c ha n di m p l e n t a t i o no ft h e p r o m o t l 0 no f0 1 】p e r so n a l i z e da d d 一、厂a l u e s e r v i c e a b s t r a c t a st h ed e v e l o p m e n to ft h et e l e c o m m u n i c a t i o nt e c h n o l o g ya n dt h e r i s i n go ft h et e l e c o m m u n i c a t i o nm a r k e t ，t h et e l e c o m m u n i c a t i o n a d d - v a l u e ds e r v i c ei st r a n s f e r r e dt od a t as e r v i c e 。a n da l s oi ti so n eo ft h e m o s tp o t e n t i a la r e a so ft h ef u t u r e a so ft h eb i g g e s ta d d - v a l u e ds e r v i c e p l a t f o r m ，o t as h o u l dg i v et h et e r m i n a lu s e rv a r i o u sk i n d so f p e r s o n a l i z e ds e r v i c e sa ta n y t i m e ，a n y w h e r e a l s o ，t h a n k st oh i g hs p e e d h i g hb a n d3 gw i r e l e s st e c h n o l o g i e s ，v a r i o u sk i n d so fa d d v a l u e ds e r v i c e s w i l lh a v eg r e a tu s e re x p e r i e n c ea n dm o r ed e v e l o p m e n t s p a c e t h i st h e s i sp r e s e n t sap e r s o n a l i z e do t ar e c o m m e n d a t i o ns y s t e m w h i c ha n a l y s e st h ei n t e r e s ta n dc o n s u m p t i o nh a b i to fm o b i l eu s e r sw h o w i l lb ep r o v i d e di n f o r m a t i o nw h i c ht h e ym o s t l yn e e d e d ，a n d e f f e c t i v e l y h e l pt h em o b i l eu s e rt oc h o o s ea n du s et h ei n f o r m a t i o nt h e yi n t e r e s t ，t h u s ， i m p r o v et h ei n f l u e n c eo fa d d v a l u e ds e r v i c ei nt h ec r o w do ft h em o b i l e u s e r t h i sp a p e rf i r s td i s c u s s e st h eb a c k g r o u n do ft h et o p i c ，a n ds i m p l y d e s c r i b e st h eo t aa n do t h e rt e c h n o l o g i e sw h i c hi su s e di nt h i st h e s i s s u c ha sp e r s o n a l i z e d - t e c h ，d a t am i n i n ge t c t h e nt h ep a p e rg i v e sa d e s i g n a t i o no ft h ei oo ft h ep e r s o n a l i z e do t ar e c o m m e n d a t i o ns y s t e m b a s e do nt h ea n a l y s i so ft h em o b i l eu s e r s i n t e r e s t a f t e rt h a t ，t h ep a p e r i l l u s t r a t e sad e t a i l e di n t r o d u c t i o no fe v e r yp a r t ，i n c l u d i n gs t r u c t u r ea n d a l g o r i t h m a tl a s tt h ep a p e rd e m o n s t r a t e st h ep r o c e s so ft h e r e c o m m e n d a t i o ns y s t e m ，a n da n a l y z e st h ed a t aw h i c hi sg o tf r o mt h e e x p e r i m e n t k e y w o r d s ：0 t aa d d v a l u e ds e r v i c e p e r s o n a l i z e d t e c h 3 北京邮电大学硕士研究生学位论文 o t a 个性化增值业务推广方式的研究和实现 r e c o m m e n d a t i o ns y s t e m 4 北京邮电大学硕上研究，扛学位论文o t a 个性化增值业务推广方式的研究和实现 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期：丝! 翌：2 ：! ! 日期：遁i ：兰：! 北京邮电大学硕上研究生学位论文o t a 个性化增值业务推广方式的研究和实现 1 1 课题背景 1 1 1o t a 简介 第一章绪论 o t a ( o v e r - t h e a i rt e c h n o l o g y ) 空中下载技术。是通过移动通信( g s m 或 c d m a ) 的空中接口对s i m 卡数据及应用进行远程管理的技术。空中接口可以采 用w a p 、g p r s 、c d m a i x 及短消息技术。o t a 技术的应用，使得移动通信不 仅可以提供语音和数据服务，而且还能提供新业务下载。这样，应用及内容服务 商可以不受平台的局限，不断开发出更具个性化的贴近用户需求的服务，如信息 点播、互动娱乐、位置服务以及银行交易等。通过o t a 空中下载技术，手机用 户只要进行简单操作，就可以按照个人喜好把网络所提供的各种业务菜单利用 o t a 机制下载到手机中，并且还可以根据自己的意愿定制具体业务。 1 1 2 增值业务发展现状 增值业务是相对于基本业务而言的。基本电信业务是由基础网络来提供的业 务，而增值业务特点是本身不拥有基础网络，必须依附于基础网络通过计算机应 用平台为用户提供信息服务，从而使基础网络增加了附加值，例如电话信息服务 使电话网络增值，而专用电子信箱和电子目录服务等使数据网络增值。 一般而言，主动增值业务不像基本电信业务那样，一旦网络建成就可以开展业 务例如电话业务。增值业务一般需要借助计算机技术和电信技术的结合，依靠基 础网络配合软件或者业务的开发才能够向最终用户提供服务。因此通常由最终用 户和基础电信运营商之外的第三方提供增值业务，当然基础移动电信等运营商 也可利用自己的网络提供增值服务。 随着移动通信技术不断的进步增值服务无疑是今后移动通信业务增长的核 心之一。从目前增值业务发展来看，是由3 类技术将其实现的，即基于现有的 g s m 增值服务、基于手机终端的卡和基于w a p 的无线i n t e r n e t 。 目前，世界上各国运营商开展的移动增值业务以及采用的技术基本上有以下 方面：语音增值业务、基于j a v a 或b r e w 的下载游戏类业务，基于w a p w e b 的信 息浏览和信息查询类业务，基于s m s m m s 的邮件多媒体消息传送类业务，以及 基于各种定位技术的移动定位业务。从发展移动增值电信业务比较早、市场相对 成熟的日本和韩国的经验来看，开展移动增值业务对整个a r p u 值的拉动效应十 北京邮电大学硕上研究生学位论文o t a 个性化增值业务推广方式的研究和实现 分明显。 短信是各类无线增值业务中发展最早，最为消费者认可，也相对成熟的业 务。作为移动增值业务的中流砥柱，s m s 业务的收入在近几年仍将是移动增值业 务市场收入的主要来源。但是，短信市场作为成熟市场，其成长空间已经有限， 加之市场中各大d x s p 竞争日趋白热化，未来增值业务发展的热点在于是否能够提 供给消费者更加贴近其需求的服务。 1r 。一 曾撵据信 内容 h 购买 发送短信 提供 多择性内容 手机手机 运营商 s p 一购买f 传统媒体 卜_制造商用户 手机通信费0 v ，i j ；l ，桑 信息一 艚 4 弑1 簧s r 醚。 磊 证券天气财经 = 专业信专业信息源 _ 时 图1 1 我国增值业务的产业价值链 随着中国3 g 牌照的发放，3 g 网络将为用户提供更高速、优质的网络服务， 基于o t a 的下载业务将获得进一步发展。如何使o t a 下载业务能更加贴近消费者 的需求，是一个比较大的挑战。如何进行多类型应用的内容管理和用户管理、扩 大o t a 用户的使用群，本文将对这些问题进行理论和实现研究，为o t a 增值业务 平台的开发提供参考。 1 1 3 增值业务发展的机遇与前景 加0 5 年2 0 0 6 年2 口年加明年 e 翌用户娩覆1 一增长率 2 0 0 5 年2 0 0 6 年2 0 0 7 年2 0 0 8 年 苣圆市场j 曼横一增长率 图1 2 2 0 0 5 2 0 0 8 年中国移动增值业务用户、市场规模发展( 万) 移动增值业务之所以有无限美好的发展前景，是由于移动通信的移动性和个 人性的特点。移动网络和互联网是电信业中两个发展最快的领域，两者的快速结 合使得移动增值业务具有无穷的生命力。两者的结合，一方面使得数量巨大的手 机用户能够通过移动网络访问互联网获得增值服务，从而提升移动网络的承载价 值。另一方面，使得互联网的内容提供商能够为广大的移动用户服务，开发适合 0 抛 啪 咖 啪 伽 抛 矾矾矾睾毫脯耋辨啡瑚姗姗伽姗狮脚。 北京邮电人学硕士研究生学位论文o t a 个性化增值业务推广方式的研究和实现 手机用户使用的丰富多彩的应用也使互联网络迅速增值。目前“短消息”业务快速 增长即是证明。 移动增值业务将是机遇与挑战并存。机遇就在于移动增值业务其潜在的丰富 的、个性化的业务以及作为新的收入和利润增长点。挑战就是要探索与创新一种 健康有效的商业模式与合作模式，开放合作比任何时候都重要，要建立多赢的产 业价值链，如与各行业、各内容提供商合作，积极、主动、有效地利用政府资源， 让价值链上的每个参与者都能有所贡献，且都能获利；真正以业务和客户为中心； 竞争将日趋激烈，要清楚地认识到精确的市场细分和定位的重要性；建立良好的 社会信用体制，形成契约经济阻1 。 1 2 研究目的和意义 鉴于增值业务发展的巨大潜力，作为最大的增值业务平台之一的o t a ，如何 扩大其影响和增加用户数，这是个亟待解决的问题。增值业务属于电子商务的范 畴。和电子商务一样，也存在客户数增长和客户流失的问题。 若从用户的角度来分析问题。我们按用户取消使用的理由对客户流失进行分 类，在操作上存在一个大问题。即，我们怎样弄清客户离开的真正原因。首先， 当客户流失时，他们不可能告诉我们其离去的真正原因。人们可能对其真正原因 感到难以启齿，或是不想伤害公司员工或者会见者的感情。其次，许多情况下， 客户自己都不知道他们为什么要退出。客户流失决定常常是复杂的。 我们从用户角度分析问题发现，信用成本价值和客户服务是最主要的因素。 能否给用户以最好的服务是能否留住客户的要素之一。 对消费者行为的研究表明，消费者作为增值业务的最终使用者和付费者，决 定了o t a 增值业务产业链上各参与主体的生存状态。所以必须有足够多的消费 者愿意使用这项业务才能保证此增值业务的最大销售规模。对消费者行为的研究 成为计划与决策的基础，如果不主动掌握消费需求，在业务的发展上只凭感觉和 经验，出现问题也就不可避免了。由于当今社会对个性特点的关注与强调，针对 不同用户提供不同服务的个性化服务技术已经成为控制客户流失，增加使用客户 数的一个重要手段。 个性化推荐技术与移动通信技术的结合在理论层面和实际的应用领域都有 着相当积极的意义，其有助于用户发现他们感兴趣的信息的特点因此已经成为 电子商务系统中广泛采用的一项技术，特别是在信息量激增的现代网络，个性化 推荐变得越来越重要了。o t a 作为移动增值业务的新发展，便于人们随时随地的 获取信息。本文的个性化推荐系统可以帮助移动电话内容服务系统有效地解决上 述问题。 9 北京邮电大学硕士研究牛学位论文o t a 个性化增值业务推广方式的研究和实现 1 2 1 理论意义 从理论上说，本课题所提出的o t a 移动增值业务个性化服务的理念，有 定的理论包容性和一定的学术内涵，该课题融合了传统的增值业务技术与新兴的 个性化服务技术，紧贴通信与计算机技术发展的方向。本课题提出的o t a 增值 业务个性化推荐的理念与计算机编程技术相结合，能够产生新的信息服务方式以 及新的用户模型，在如何提高移动用户满意度方面有一定的借鉴意义。 本课题提出的o t a 用户模型与o t a 用户的兴趣倾向性发现算法充分考虑了 o t a 用户自身的特点，以及o t a 用户与互联网用户行为之间的差别，在如何更 好、更准确地发现用户的兴趣所在和用户实际的需求，如何更准确地向用户提供 有价值的信息等领域有着一定的积极意义。 1 2 2 应用前景 从移动业务市场需求的角度出发，个性化的应用推荐系统有着广阔的发展空 间与应用前景。 一方面从运营商的角度，中国已经形成世界最大的移动电话市场，国人又具 有热心新鲜事物的习惯。虽然手机屏幕大小受限，但移动电话终将成为我们的网 络伴侣，帮助人们移动上网，开展各种应用。在中国，能为用户实时提供天气、 新闻、体育、娱乐、交通及股票等最新信息的移动公众服务、移动个人信息通信 服务( 包括浏览网页查找信息、查址查号、可视电话、收发多媒体短消息、统一 传信、电话增值业务等) 和多媒体娱乐服务，将成为我国宽带移动网上的先导业 务。而与这些相关的服务可以通过个性化的应用推荐系统给用户进行推荐。 另一方面从用户的角度，移动通信网以及互联网目前在深度和广度方面正飞 速地发展着，并不断进入我们生活的各个方面，随着手机应用的增多，传统的一 些推荐方法已经不能满足用户对应用获取的需要。例如，某个o t a 用户在使用某 个运营商提供的应用的过程中，手机总是收到一些自己毫不关心的应用，或是从 来收不到自己需要的应用，则用户的喜好度就会下降，慢慢的就会对o t a 产生排 斥心理。要解决此类问题的主要方法就是移动通信网要从“以网络为中心”向以 “用户为中心”发展，实现个性化应用推荐服务。 此项技术的研究已经取得显著的成果，除了学术领域外，个性化推荐技术正 在迅速朝商业领域进军。可以预见，在不久的将来，此项技术将在商业领域得到 更为广泛的应用，并将获得巨大的商业效益。 传统的信息获取方式主动方是用户，是一个“拉”的过程：与之对应的是“推”， 即个性化信息推荐。个性化推荐是指根据用户的兴趣特点，向用户推荐其感兴趣 1 0 北京邮电大学硕十研究生学位论文o t a 个性化增值业务推广方式的研究和实现 的信息。个性化推荐的原理是根据用户模型寻找与其匹配的信息，或者寻找具有 相近兴趣的用户群而后相互推荐浏览过的信息，是一种“信息找人 的服务模式。 个性化推荐能够根据用户的兴趣主动的将信息推送给用户，减少用户寻找信息的 时间，提高浏览效率。个性化推荐还可以引导用户的信息需求，使用户发现新的 兴趣。用户对信息的反馈活动使系统能够自动的更新用户的兴趣，始终提供最能 够满足用户需要的信息。 现行的o t a 系统采用的是随机推荐的方式，往往造成推荐给用户的应用跟 用户感兴趣的不符，这对提高用户的满意度是非常不利的。为了满足用户个体差 异造成的各式各样的需求，我们应该根据不同的用户提供不同的服务。因此，在 本文中，我们将讨论基于个体差异的o t a 应用推荐系统的设计。 1 3 论文结构 本论文分为六章，章节安排如下： 第一章是绪论部分，该部分讲述了本论文的研究背景与研究目的。文章指出 个性化技术对实际的增值业务的重要性，以及传统的o t a 推荐方法的不足之处， 最后提出使用基于个性化的o t a 推荐系统来解决原先的推荐目的性不明确的问 题。 本课题的主要研究与分析对象是基于个性化o t a 推荐系统，因此在第二章 中简单介绍了研究对象的系统背景及使用到的相关技术。 在第三章中，论文主要通过用户的特征分析来设计o t a 推荐系统的各个模 块。包括o t a 推荐系统的输入端和输出端。 第四章是论文的重要部分。本章对第三章提出的o t a 推荐系统的各个模块： 用户模型设计，输入端的数据挖掘，最佳推荐算法，用户反馈算法等，根据研究 对象o t a 用户的特点与具体的应用场景一一进行设计和讨论。 在第五章中，根据第三，四两章的设计，主要以第四章中的研究成果为基础， 结合实际的环境来实现整个o t a 推荐过程，并根据得出的实验数据来评价整个 系统的性能。 第六章中，对整个研究工作进行了总结，还展望了系统以及使用到的各种挖掘 技术在电信业的其他方面的应用前景。 北京邮电大学硕十研究生学位论文 o t a 个性化增值业务推广方式的研究和实现 第二章相关技术简介 本章对个性化o t a 推荐系统所使用到的主要技术做简要的介绍，具体技术 在个性化o t a 推荐系统中的应用以及相关部分的实现将在第四章详细阐述。 2 1o t a 技术 对o t a 技术的需求最早出现在2 0 0 0 年的日本。移动用户迅猛增长、对新兴 通信技术和手机的要求也越来越高，新推出的手机更加智能化和多媒体化，往往 配置了先进的处理器芯片、安装了网络浏览器和媒体播放器等各种应用软件，有 的还配备了摄像头等附属设备。这样的手机尽管功能更丰富，但比那些仅有通话 功能的手机也更容易出现问题。手机也会像p c 一样死机或者丢失内部数据，甚 至还面临着手机病毒的威胁。按日本相关法规，厂商也只能被迫对这些出现了功 能故障的手机进行召回，增加了额外的成本。有什么方式能帮助厂商方便地更新 手机系统软件而不需要再召回问题手机呢? 空中下载技术o t a 由于其突破性的 理念应运而生，它可以通过移动通信( g s m 或c d m a ) i 网络的空中接口对移动数 据及应用进行远程管理，而空中接口可以采用w a p 、g p r s 、c d m a l x 以及广为 普及的短消息( s m s ) 技术，这样手机系统更新就可以通过无线下载方式来进行， 就像p c 通过互联网下载软件更新一样方便。 o t a 技术的一个应用方向是移动设备管理m d m ( m o b i l ed e v i c em a n a g e - m e n t ) 。移动通信的发展让手机不再是一个简单的通话工具，而是拥有更多的娱 乐功能、个人信息管理功能、多媒体功能，人们希望利用手机来玩游戏、听音乐、 上网、拍照等，这些复杂的功能带来了复杂的设备管理，当出现手机黑屏、莫名 其妙的死机或者其他软件故障、错误删除或者遗失了手机中存储的数据、希望将 数据从旧手机复制到新手机时，他们迫切希望能够享受到如同i t 技术人员提供 给p c 用户那样方便的设备管理服务，如通过无线网络进行远程问题诊断、故障 修复、软件升级、参数更新、管理用户数据等。通过o t a ，能够方便有效地改 善手机品质提高客户满意度，在客户支持服务和手机售后保修方面为厂商节省大 量成本。 o t a 技术的另一个应用方向是手机功能升级，有助于改善用户体验和使手机 更加个性化。首先，可以促进手机的用户界面( u i ) 客户化，通过空中下载更新指 令，实现u i 表面更新或者程序升级，这样，运营商可以方便地删除己经中止的 服务或者增加新的服务功能，而这种改变会迅速地反映到手机用户界面中。 现在，越来越多的运营商认识到，o t a 作为手机基础软件可用来促进无线数 北京邮电大学硕士研究生学位论文o t a 个性化增值业务推f “方式的研究和实现 据服务的推广。传统的s t k ( s i m c a r dt o o l k i t ) 卡由于指令菜单修改不方便，如 果想更换菜单则必须换卡，因此难以在移动增值服务方面做广泛推广。而应用了 o t a 技术的手机当用户要增加、修改、变更和删除应用时，无须做任何硬件更 换，只要随时随地通过空中下载功能利用从o t a 平台发来的信息就能轻松得到 所需的应用服务，同时运营商还可通过这种自动快速的问题诊断和解决改善客户 服务。o t a 技术让移动数据服务的使用更简便，运营商可以迅速通知用户提供 了新的服务，而用户只要进行简单操作，比方利用“一键通”，方便地下载这些 业务。o t a 技术促进了无线数据服务更加多样化、系统化和具有主题的个性化， 应用及内容服务商可以不受平台限制开发出更多贴近用户需求的服务，如互动娱 乐、信息点播、银行和证券交易以及位置服务等，用户可以根据个人喜好通过空 中下载使用各种数据服务或者定制具体业务的手机菜单。 实现空中下载技术需要以下组件：一个用来发送服务请求的后台系统；一个 能够理解的格式处理服务请求的o t a 网关；一个可以通过无线网发送服务请求 的短信服务中心；一个用于传输服务请求的空中通道；用于接收服务请求并将之 传给s i m 卡的移动终端；一块用于接收和执行服务请求的s i m 卡。 1 后台系统 后台系统可以是一个客户服务提供商、一个计费系统、一个内容提供商或一 个基于w e b 的用户界面，这个后台系统必须( 通过局域网或互联网) 与移动网 相连。服务请求包含被请求的服务( 激活、去活、上载、修改) 、目标用户及 运行服务所需的数据，通常由后台系统将服务请求传给o t a 网关。 2 o t a 网关 o t a 网关通过一个网关应用程序接口接收服务请求，由这个应用程序接口 负责指示实际提出修改更新激活等服务请求的s i m 卡。事实上，在o t a 网关 内部有一个s i m 卡数据库，其中记录了每一张卡的制造商( 如金普斯、雅思拓、 恒宝等) 、验证码、i m s i 及m s i s d n 等信息。第二步是将服务请求转换成接收 装置( s i m 卡) 能够理解的消息格式。o t a 网关为此准备了一个格式库，可以 识别各种品牌的s i m 卡的格式( 如金普斯的e s m s 格式) ，o t a 网关将根据接收 卡的不同把消息转换成与之相应的格式。第三步是o t a 网关使用g s m 0 3 4 8 中 规定的一套参数将经过格式化的消息发给短信服务中心。为完成服务请求，o t a 网关将根据需要发送相应数量的短信。在这一步中，o t a 网关还将负责检查整 个过程的完整性和安全性。 3 短信服务中心 短信服务中心负责消息管理系统( o t a 网关) 与蜂窝网络之间的消息传递。 移动电话一次接收或发送的消息最多只能包含1 6 0 个单字节字符。如果用户的手 o t a 十m * m n # r a e w r 自女e 机投有开机或不在网络覆盖区，消息将先会被存起来，等用户开机或重新进入服 务区后，再自动发给该用户。 4 短信通道 s i m 卡与o t a 网关之间的通信是通过互发短信实现的这就是所谓的短信 通道。移动电话必须符合g s m2 阶+ 标准，并具有处理部分或全部标准g s m 服 务所需的各种功能，若想获得空中下载服务，用户的移动电话还必须支持s i m 工具套件技术。 5 s i n 卡 智能卡可以对用户进行安全的身份验证，在g s m 系统中，它主要被用作用 户身份识别模块( 即s i m 卡) 。s i m 卡是g s m 系统的重要组成部分，也是提供 g s m 增值服务的基础。现在的s 眦卡可以提供新式菜单和快捷拨号方式，还可 以通过发送规定格式的短信查询数据库或确保交易的安全。 萱夕“ 烹黑j 2 2 数据挖掘技术 f 氚 ，r 一 图2 io t a 网络拓扑图 在当今的社会中，大量数据的产生导致了信息爆炸。现代社会的竞争趋势要 求对这些数据进行实时的和深层次的分析。虽然现在有了更强大的存储和检索系 统，但是使用者发现在分析使用所拥有的信息方面变的越来越困难。利用信息技 术和数据资源- 可以使客户感觉好像他或她与s p ( s c 州p r o v i d e r l 服务提供商) 有 着一种独一无二的个人关系；因为具有有效的信息交换访问能力。与这个客户 一 j 叠j |i ： 一 北京邮电大学硕士研究生学位论文 o t a 个性化增值业务推广方式的研究和实现 打交道就更容易一些。 现在的s p 总是想在留住原有客户的基础上开发新的客户，数据挖掘已经成为 这些业务的关键。我们利用数据仓库中的产品、价格、投资、分配等方法，基于 事实，而不是局域直觉做出决策。但是如何从浩如烟海的企业信息资料库中提炼 出更有价值的信息来呢? 答案就是数据挖掘。人们试图在数据对等的、不明显的 和不可预知的模式中发现信息的模式、趋势以及关系。 对于个性化o t a 系统来说，它将在人们不知不觉中记录人们的使用行踪，抓 取人们的喜好。例如，一位客户在网上下载了“环球时空”的应用，o t a 就应该 记录这位顾客的下载信息，这些信息就由数据仓库保存整理。当这位用户下次使 用o t a 推荐时，我们就可以提示用户，推荐其使用与“环球时空相关的一些应 用，客户一定会感到惊喜。 从商业的角度看，数据挖掘是一种新的商业信息处理技术。其主要特点是对 商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提 取辅助商业决策的关键性知识，即从一个数据库中自动发现相关商业模式。 从技术的角度看，数据挖掘就是从大量的、不完全的、有噪声的、模糊的、 随机的时机应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜藏的 有用的信息和知识的过程。这个定义包括几个层次：首先数据源必须真实可靠、 而且数据量大、并含有噪声；发现的知识对用户有用，但却是用户事先不知道的； 知识在特定的领域内，在特定的环境与前提条件下是有实际应用价值的。 数据挖掘的经典流程如下图所示哺1 ： 数据提取、转换、载入 图2 2 数据挖掘经典流程 2 2 1 数据挖掘的步骤和过程 过滤虚假知识 图2 3 显示的是从技术的角度看到的数据挖掘过程。在数据采集之后，需要进 行抽样和清理工作。清理的结果就是得到数据样本集。数据仓库是一种数据存储 的有效形式，非常利于数据挖掘。之后，就可以使用各种数据挖掘的算法了。有时， 需要返回到上一阶段，重新作上述过程。 北京邮电大学硕十研究乍学位论文 o t a 个性化增值业务推广方式的研究和实现 2 2 2 数据挖掘的任务 图2 3 数据挖掘的基本过程 数据挖掘比较常见的任务包括：解释性数据的分析、描述性建模、预测性建模、 模式和规则的识别、文字图像信息的搜寻。互联网挖掘的核心是数据挖掘技术在 互联网相关的数据源上的延伸。如果说传统的基于关键词检索的搜索引擎是面向 查询处理的话那么互联网挖掘就应该是面向互联网数据进行分析和知识提取 的。 互联网挖掘可以分为互联网结构挖掘、元数据挖掘、内容挖掘、使用挖掘、 总结和摘要系统等主要任务。互联网结构挖掘是对互联网页面之间的链接结构进 行挖掘：元数据就是关于数据的数据，元数据就是指那些能够帮助识别、描述和定 位互联网资源的数据；互联网内容挖掘是指对站点的互联网页面内容进行挖掘；互 联网使用挖掘是对用户访问互联网时在服务器方留下的访问记录进行挖掘：互联 网上信息的总结摘要和集成系统是指通过各种信息抽取办法，将信息浓缩或升华， 或者形成文字摘要，或者使用数值的方法。除了上面讨论的以外，还有复杂对象挖 掘问题、空间数据挖掘问题、音频数据和图像数据挖掘问题、时间序列数据挖掘 问题等等。 本质上，对这些对象的挖掘都基于一个相似性的概念，或者从数学上看，都是在 各种形形色色的度量空间中的距离概念，通过各种途径和方法，最后转换到数学相 似性的问题。 2 2 3 数据挖掘的算法 大部分数据挖掘的算法使用了一个或几个目标函数、使用若干搜索方法( 如启 发式算法、梯度下降方法、最大最小值法、网络推演法等) ，去找出在数据体中或 建立了距离关系的数据空间中的一个点或小区域。这个最优点和小区域有时不是 最重要的结果，伴随它建立起的模型才是人们所需要的东西。 数据挖掘算法根据挖掘方式可以分为有教师型和无教师型，也称监督学习和 非监督学习。在有监督学习中，先给定一个教师信号，对训练样本集中的每个输入 1 6 北京邮电大学硕上研究生学位论文o t a 个性化增值业务推广方式的研究和实现 样本能提供类别标记和分类代价，并寻找能降低总体代价的方向。在无监督学习 算法中并没有显式的教师。系统对输入样本自动形成聚类。 尽管大部分数据挖掘不需要实时性，即挖掘的数据是一些脱线的静态数据，但 确实有的数据挖掘算法需要实时性或快速性，比如股市上的数据挖掘，这种挖掘使 用的是在线的数据，而且是动态的。数据挖掘包含很多算法，具体使用哪种数据挖 掘算法，要根据具体情况和应用要求。一种算法可能在一种情况下适用，而在另一 种情况下就不适用。 2 3 个性化算法 个性化推荐系统( p e r s o n a l i z e dr e c o m m e n d e ds y s t e m s ) 正式定义是r e s n i c k & v a r i a n 在1 9 9 7 年给出的：“它是利用电子商务网站向客户提供商品信息和建议， 帮助用户决定应该购买什么产品，模拟销售人员帮助用户完成购买过程，【6 j 现 在这个定义己被广泛引用。目前，个性化推荐系统已广泛运用到各行业中，推荐 对象包括书籍、音像、网页、文章、新闻等。 用户个性化信息用来描述用户的个性化特征和偏爱，用户的很多特征和动作 都能不同程度的反映用户的偏爱，如用户的性别、年龄、所在国家和地区、职业、 教育程度、婚否、爱好、专业领域、阅读的文章内容等。对个性化推荐系统来说， 最重要的是用户的参与，为了跟踪用户的兴趣与行为，有必要为每个用户建立一 个用户描述文件。用户描述文件刻画用户的特征与用户之间的关系，用户描述文 件表达不同的个性化服务系统中的用户各自的特点，用户描述文件从内容上可以 划分为基于兴趣的和基于行为的两种类型。基于兴趣的用户描述文件可以表示为 加权矢量模型、类型层次结构模型、加权语义网模型、书签和目录结构等。基于 行为的用户描述文件可以表示为用户浏览模式或访问模式。在具体实现时可以综 合基于兴趣和基于行为这两种表达方式。用户描述文件可以用文件来组织，也可 以用关系数据库或其他数据库来组织。目前有一些系统采用基于x m l 的 r d f ( r e s o u r c ed e f i n i t i o nf r a m e w o r k ) 来表达用户描述文件，并利用支持x m l 的 数据库系统来存储用户描述文件，这样不仅利用了x m l 的优点，也保持了系统 的性能。不同的个性化系统的用户个性化信息的内容会有所不同，亚利桑那大学 的z h a nh u a n g 等人提出的基于图的推荐算法中，用户描述信息包括所在国家、 城市、生日、教育情况、职业、性别、婚否、是否有孩子、孩子个数、孩子的平 均年龄，表示成一个特征向量来描述用户的个性。c a r n e g i em e l l o nu n i v e r s i t y 开 发的w e bw a t c h e r 系统的用户个性化信息在初始时以关键字列表的形式给出，用 户浏览后要给出是否找到所需信息的反馈信息，用它来更新个性化描述。p e r s o n a l w e b w a t c h e 不需用户给出表示目的的关键字和对结果页面的评价，只记录用户请 1 7 北京邮电大学硕七研究生学位论文 o t a 个性化增值业务推广方式的研究和实现 求的页面地址。明尼苏达大学的g l o u p l e n 系统是一个n e t n e w s 协作过滤系统。 用户需要显式给出反馈信息，系统记录用户浏览的页面以及所花费的时间。 s t a n f o r d 大学的f a b 系统是一个基于协作过滤的推荐系统，把内容过滤和协作过 滤技术相结合，用户个性化信息用加权关键字向量表示，从用户喜欢的页面中提 取的关键字权重被加到用户个性化信息中相应关键字的权重值上。s u s a ng a u c h 等人把o n t o l o g y 用于个性化信息的描述中，根据用户浏览的网页以及网页的内 容、长度、浏览时间等产生用于描述用户个性的概念层次。大多数推荐系统都是 基于用户行为进行推荐的，即通过分析用户的行为获取用户的个性化描述信息。 下面介绍几种比较常见的个性化算法。 2 3 1 贝叶斯网络 贝叶斯网络是基于概率分析、图论的一种不确定性知识的表达和推理模型。 从直观上讲，在贝叶斯网络中，用每一个节点表示一个变量，即一个事件：各变 量之间的弧表示事件发生的直接因果关系。贝叶斯网络的建模目的是对所包含的 定性知识和定量知识进行结构上的描述，并为下一步推理提供依据。从原始数据 中构造贝叶斯网络模型，实际上就是对原始数据进行数据挖掘：即先找出最符合 原始数据的定性的网络图关系，然后根据网络图中的因果关系，计算节点间的条 件概率。 推荐系统中应用的贝叶斯网络技术利用训练集创建相应的模型，其中模型用 决策树表示，节点和边表示客户信息。模型的建立可以离线进行，即脱离系统的 网络运行环境，时间一般需要数小时或数天，而由此得到的模型可以非常小，对 模型的使用非常快。但随着客户的不断增多以及客户兴趣爱好的变化，即数据集 的变化，贝叶斯网络的学习过程也要重新进行，因此这种方法适合客户的兴趣爱 好变化比较慢的场合。 2 3 2 关联规则 在知识发现领域，电子商务中常用的数据挖掘技术就是在顾客购买的不同商 品之间发现关联规则，产生推荐。关联规则挖掘的典型例子是购物篮的分析。该 过程通过发现顾客放入其购物篮中不同商品之间的联系，分析顾客的购买习惯。 通过了解哪些商品频繁地被顾客同时购买，这种关联的发现可以帮助零售商制定 营销策略。关联规则的发现算法有很多，o h ：a p r i o r i ，f p t r e e ，h p ，a p r i o r i t i d 等。 基于关联规则的推荐算法就是根据关联规则发现算法以及客户当前的购买行为 向客户产生推荐。该算法常被用于产生t o p n 推荐。在关联规则推荐技术中，关 联规则的发现是最耗时的，也是算法的瓶颈，因此可以考虑离线进行。 北京邮电大学硕十研究生学位论文o t a 个性化增值业务推广方式的研究和实现 2 3 3 聚类 聚类就是将数据对象分组成为多个类或簇( c l u s t e r ) ，在同一个簇中的对象具 有较高的相似度，而不同簇中的对象差别较大。通过聚类，人们能够识别数据对 象密集的和稀疏的区域，因而发现全局的对象分布模式，以及数据属性之间的相 互关系。在商务上，聚类能帮助市场分析人员从客户信息库中发现不同的客户群， 并且用购买模式来刻画不同的客户群的特征。 为了便于寻找目标用户的相似用户，聚类模型首先将现有的用户按照一定的 方法分成为多个类或簇，这样具有相似爱好的客户分配到相同的簇中，根据目标 用户所在簇的对某商品的评价得到目标用户对该商品的评价，有些算法将目标用 户分配到多个簇中，根据与所在簇的关系强度进行综合考虑计算。由于对大型数 据集产生最佳的聚类是不现实的，因此在实际应用过程中使用贪婪聚类生成的方 法，这些方法首先形成各个分类，每个分类常常仅包含一个任意选择的用户，然 后反复地将剩余用户分配到不同的簇中，这期间可能产生新的簇，也可能将不同 的簇进行合并等。 由于聚类模型只是将目标用户与一定数量的簇进行比较而不是整个用户集， 因此在扩展性和实现性能上比传统的协同过滤技术略显优势，而且聚类计算可以 离线进行。但是在推荐质量上并不是很高，如当某客户处于个聚类的边缘时， 则对该客户的推荐精度比较低。为了能够更好的给目标用户进行推荐，需要将其 分配到与他具有较高相似度的用户所在簇或类中，这样对簇的要求提高了，簇的 数量也会有大的增加，因此在线进行目标用户归类的代价与传统协同过滤技术中 寻找相似用户的代价也就不分上下了。 2 3 4 协同过滤 协同过滤技术是推荐系统技术中应用最早和最为成功的技术之一。它一般采 用最近邻技术，利用用户的历史喜好信息计算用户之间的距离，然后利用目标用 户的最近邻居对商品评价的加权平均值来预测他对特定项( 商品) 的喜好程度，系 统从而根据这一喜好程度来对目标用户进行推荐。基于协同过滤的推荐系统可以 说是从用户的角度来进行相应推荐的，而且是自动的( 所谓自动即用户获得推荐 是系统从用户购买模式或点击行为等隐式获得的，不需要用户努力地找到适合自 己兴趣的推荐信息，如填写一些调查表格等) 。目前有许多网站采用了该技术的 推荐系统。如：互联网最大的书店h m a x o l l c o r n ，互联网最大的c d 商店 c d n o w c o m ，互联网上访问量最大的电影网站之一m o v i v f i n d e r c o m 等。由微软 研究院开发的协同过滤工具已被集成在微软的一系列产品中，并被许多站点使 1 9 北京邮电大学硕士研究生学位论文 o t a 个性化增值业务推广方式的研究和实现 2 0 北京邮电大学硕士研究，t 学位论文o t a 个性化增值业务推广方式的研究和实现 第三章o t a 个性化推荐系统的设计 我们将通过分析o t a 日志，用户浏览o t aw e b 页面的行为，来发现使用 o t a 的用户群( 潜在用户群) 的喜好，挖掘和利用已知的用户行为，来扩展系统提 供信息服务的能力。根据o t a 日志，w e b 浏览下载等行为分析各类o t a 应用， 对用户下载使用o t a 与兴趣之间的关联作讨论与分析，研究各种影响o t a 用户 使用的因素。设计o t a 个性化推荐系统，并根据这些因素进行用户建模，并完 善o t a 个性化推荐系统。 3 1 用户特征分析 消费者作为增值业务的最终使用者和付费者，决定了增值业务产业链上各参 与主体的生存状态。所以必须有足够多的消费者愿意使用这项新业务才能保证增 值业务的最大销售规模。对消费者行为的研究成为计划与决策的基础，如果不主 动掌握消费需求，在业务的发展上只凭感觉和经验，出现问题也就不可避免了。 不同国家和地区的社会文化背景、经济基础条件不同，这就造成了消费者特征有 很大差异，反映在消费需求上，也会显现出明显的地域特征。一个地区成功的增 值业务到了另一个地区未必会取得同样的成功，所以在增值业务的选择上，运营 商在参考国际先进经验的同时，必须考虑本地区消费者的特征h 1 。 表3 1o t a 用户的个体差异 文化因素社会因素 个人因素 文化家庭年龄与人生阶段 亚文化集体性别，职业，教