（计算机应用技术专业论文）彩铃系统中数据迁移技术的研究与应用.pdf

北京邮电大学硕士学位论文 彩铃系统中数据迁移技术的研究与应用 彩铃系统中数据迁移技术的研究与应用 摘要 彩铃业务是近年来新兴的一项电信业务，在市场上得到了广泛的 应用。彩铃业务有基于交换机改造的实现方案和基于智能网( i n ， i n t e l l i g e n tn e t w o r k ) 的实现方案，无论哪种实现方案，都需要采 用大型的关系型数据库做为用户数据和配置数据的存储方法，需要实 时高效地访问数据库中的数据，要求数据库提供很高的性能。当彩铃 系统规模扩大时，数据库中的数据量也增大，彩铃系统中设置单一的 数据库主机已经成为整个系统的性能瓶颈，无法满足大呼叫量和统计 分析操作的要求，所以导致其数据库结构，由最初的数据库集中设置 发展到管理数据库、呼叫数据库和统计数据库分离的分布式结构，数 据库的这种设置必然引起数据的流动转移，因此研究彩铃系统中的数 据迁移技术对彩铃业务的稳定运行和技术改进有重要意义。 本文以北京邮电大学网络与交换技术国家重点实验室和东信北 邮信息技术有限公司联合开发的彩铃系统为背景，首先介绍了彩铃业 务的背景知识和彩铃业务的实现方式。然后阐述了数据迁移的基本概 念和彩铃系统访问数据库的方式，引出了彩铃系统中数据迁移的研究 问题所在，并提出了两类可以采用的数据迁移技术：数据装载和数据 复制。 针对数据装载技术，本文采用生产系统数据库中的数据，设计了 测试的性能指标、测试方法、测试环境和测试项目，实现了彩铃业务 中数据装载技术的功能和性能测试，对测试结果进行了分析和总结， 为彩铃系统的开发维护提供了建议和借鉴。本文还分析和比较了基于 数据库和基于应用的两类数据复制技术，并设计了彩铃系统中基于数 据复制技术的数据迁移方案。 关键词彩铃数据迁移数据装载数据复制测试分析 北京邮电大学同络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 r e s e a r c ha n da p p l i c a t i o no fd a t a - m i g r a t i o n f o rc o l o rr i n gb a c kt o n es y s t e m a b s t i 。a c t t h ec o l o rr i n gb a c kt o n e ( c r b t ) s e r v i c ei san e wt e l e c o ms e r v i c ei n r e c e n t1 旧a r s a n di th a sb e e nw i d e l yu s e di nt h em 砌k c t t w os o l 谢。嬲c 锄 i m d l e m e n tc i m ts e n r i c e o n es o l u t i o n si sb 弱e do nm ea l t e r a t i o no f s w i t c h 柚dt h eo t h c ri sb a s e do ni n c i m ts e i c es t o r e su s c rd a t aa n d c o n f i g i l r a 【t i o nd l a _ t a i nt h el a r g er e l a t i o n a ld a t a b a s es y s t 锄a n dn o e d s a c c e s sd a t ai nr c a l - t i m ea n de 行酏t i v e l y i tr c q u i r e sd a t a b a s et 0p r o v i d e h i 曲p e r f o m a i l c e a st h ec r b ts y s t e ms c a l ei n c r e a s ，d a t aa m o u n ti n t h ed a t a b 勰ei n c r e a s e s s ot h es i n g l ed a t a b a s es t n l c t l l r ew h i c hh a sb e c o m e m ed e o m a n c eb o t t l e n e c ko ft h ew h o l es v s t e l ne v o l v e si m od i s t r i b u t c d d a t a b a s es t m c t u r e b e c a u s es e r v i c ed a t aa r ev e 珂i m p o r t a n tf o re a c hn o d e o ft h ed i s t r i b u t e dd a t a b a s es 仃u c t u r e ，m ee v o l u t i o nc o n s e q u e n t l yc a u s e s d a t am i g r a t i o n t h e r c f o r e ，i t ss i g n i f i c a n tt od op e r f b 彻a n c et e s ta n d a 1 1 a l y s i so nd a t am i g r a t i o nt e c h n o l o g i e si nc r b ts y s t e m t h i sp a p e ri m r o d u c e st h eb a c k g r c i u n dk n o w l e d g ea n dt h ei n 】【p l e m e n t o ft h ec r b ts e n r i c ef i r s t l y w h i c hi sd e v e l o p e db yt h en a t i o n a l l 加o m t o 珂o fb e i j i n gu n i v e r s i 哪o fp o s t s 柚dt e l e c o 鼬眦i c a t i o n s 锄d e a s t c o m - b u p ti n f - o 衄a t i o n 慨h n o l o g yc o ，l t d ，t h e n ，i ti n 仃o d u c 嚣 t h ed a t a b a s ea c c e s sm e t h o di nc r b ts y s t 锄a n d 如n d 锄e n t a lc o i l c e p t so f d a t am i g r a t i o n d a t am i g r a t i o nt e c h n o l o g yt h a tc 孤b eu s c di nc 砌玎 s y s t 锄i n c l u d e sb o t hd a t a 1 0 a da n dd a t a _ r c = p l i c a t i o n t h ep a p e fe x p l a i n st c s tm 戗h o d ，t e s tc n v i r o n m e n ta n dt c s ti t e m sf o r d a t a - l o a dt e c h o n o l o 黟a c c o r d i n gt ot h e 锄a l y s i so ft e s tr e i u l t ，i ts u mu p s o m es u g g e s t i o n sa n de x p 耐c 铭f o rt h ed c v e l o p m e m 锄di m p l 锄e mo f d a t am i 伊a t i o ni nc r b ts y s t e m i na d d i t i o n ，m et e s t 锄da n a l y s i s 矗” d a t a - 唧l i c 砒i o nt e c h n o l o g i e s a r ea l s om a d ci nt h ep a p c ra n d m e m i 窒枷o ns o l u t i o n sb a s e do nr e p l i c a t i o na r e 西v e n 北京邮电大学网络与交换技术国家重点实验室一3 一 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 k e yw o r d sc o l o rr i n gb a c kt o n e d a t a - m i g r a t i o n d a t a - l o a d d a t a - r 印l i c a t i o n t e s t a n a l y s i s d 一 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：| 丝日期：! ! ：! ! ：堕 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期问论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 引言 彩铃业务( c r b t ，c o l o r i i l gr m gb a c kt o n e ) 是近年来在移动话音业务基础 上新增的一项增值业务。该业务可以让被叫用户定制自己个性化的手机回铃音， 让主叫用户听到被叫用户定制的回铃声。彩铃业务在充分利用现有网络资源的前 提下，为市场提供了个性化、方便、快捷和高品质的增值业务服务，该业务自推 出以来，在市场上获得了广泛的应用。 彩铃业务中采用大型的关系型数据库来进行数据存储，随着用户的增加，系 统规模的扩大，完成不同功能的数据库服务器被分开设置来保障系统的稳定和可 用。本文以彩铃业务中分布式数据库结构的演进为切入点，对彩铃系统中的数据 迁移技术进行了研究和分析。本文的组织结构如下： 第一章介绍了彩铃业务的背景知识和彩铃系统的实现方案，包括交换机改造 方案和智能网实现方案，对媒体设备的结构进行了介绍。 第二章介绍了数据迁移的基本概念和彩铃系统中的数据库技术，分析了彩铃 业务中的分布式数据库结构的演进，提出两类适用于彩铃系统的数据迁移技术： 数据装载与数据复制，并总结了在彩铃业务中对数据迁移技术进行研究测试分析 的必要性和意义。 第三章介绍了适用于彩铃系统的数据装载技术，并对多类技术和工具进行了 功能和性能测试，本章详细阐述了测试的性能指标，测试方法和测试环境的配置， 并对测试和研究结果进行了分析和总结，最后介绍了数据装载技术在彩铃统计平 台项目中的应用。 第四章介绍了适用于彩铃系统的数据复制技术，分析了基于数据库的复制技 术、基于应用的复制技术，最后设计了彩铃系统中采用了数据复制技术的数据迁 移方案。 第五章是作者对全文的总结和思考，阐述了研究工作中的不足和需要改进的 地方，并提出了未来对数据迁移技术研究工作的几个研究方向。 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 1 1 彩铃业务简介 第一章彩铃业务简介 彩铃( c r b t ，c o l o rr j n gb a c kt o n e ) 业务是一种当主叫用户发起呼叫并等 待被叫应答时，以个性化，差异化的音乐替代传统的由被叫端局提供的单调的回 铃音为目的的业务，是一种根据客户的价值取向和消费心理而提出的增值业务。 该业务既为消费者创造了一种全新的体验，也为运营商提高了单个用户的平均收 入值( a r p u ，a v e m g c r c v e n u e p 盯u s e r ) 。该业务自推广以来，在市场上获得了 广泛的应用。 抛5 年势弹馥耋羞转动嘲髓韭彝翻穗爝黼 图卜12 0 0 5 年移动增值业务规模 在目前日益激烈的电信市场竞争形势下，对移动运营商而言，为了应对竞争， 应当立足自身的通讯网络基础设施，发挥自己的传统优势，尽快、及时为市场提 供方便、快捷和高品质的增值业务服务，使公司在多元化的现代市场环境中处于 有利的地位。而彩铃业务恰恰可以吸引和发展用户，提高移动运营商市场的竞争 力。 彩铃业务的主要功能在于可以让手机用户自己定制手机回铃音。当手机用户 申请了这项服务以后，主叫用户拨打该用户的手机时，听到的回铃音不是以前单 调的铃声，而是一段悦耳动听的音乐、一句温馨的问候语等等富有人性化和个性 化的回铃音。该业务的意义在于：在充分利用现有网络资源的前提下，为市场提 一2 一北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与戍用 供了个性化、方便、快捷和高品质的增值业务服务，从而刺激提高网络呼叫量和 切实增加网络运营收入。 彩铃业务定义 彩铃业务是将主叫用户在呼叫过程中所听到的普通回铃音替换为丰富的彩 铃音乐铃声。该项业务由被叫用户申请，可以根据不同的主叫用户分类提供不同 的回铃音。通过该业务，可以实现： 1 当主叫用户拨打被叫用户电话时听到的是被叫设置的悦耳的音调或 音乐等，能充分体现被叫用户的个性，而不再是单一的、呆板的回 铃音。 2 被叫用户可为每一个或每一组主叫用户设置不同的声音或音乐作为 回铃音。 彩铃业务特征 彩铃业务最基本的特征是用定制的音乐取代传统的回铃声，提供一个更亲善 的呼叫界面： 1 被叫业务申请：该项业务由被叫申请，通过触发到被叫业务流程， 根据被叫申请该业务时所提供的业务数据，向主叫用户播放不同的 音乐替代传统的回铃音。 2 回铃音订制：申请该项业务的用户，可将主叫用户分类，为每类主 叫用户定制回铃音，业务根据主叫用户的号码匹配业务数据，向不 同的主叫用户回放所订制的音乐。对于主叫号码为i p 电话、固网电 话、国际电话等，可能存在号码为乱码的情况，将采用默认的铃声 作为回铃音。 3 丰富的回铃音资源可用：提供大量的回铃音给用户选择，用户可以 通过以下途径随时随地修改回铃音：拨打特服号，用户可通过这种 服务自录回铃音并试听，访问彩铃门户网站( w e b 方式) 或通过手机 访问彩铃门户网站( w a p 方式) 。 彩铃业务的铃音管理 彩铃业务使用成熟的语音管理方法，可以实现特服号w e b w a p 接入方式。 提供一个直观的用户界面给用户，通过这个管理界面，用户可以方便的进行： 1 彩铃业务申请，可以申请、撤销此业务功能。 2 个人的主叫分类名单，可以增加，删除，修改分类的类别，可以增 加，删除每个类别的用户。 3 管理每个类别对应的回铃音，可以删除、重新选择回铃音音乐。 4 可以在线试听所有提供的回铃音。 北京邮电大学网络与交换技术国家重点实验室一3 一 北京邮电丈学硕七学位论文彩铃系统中数据迁移技术的研究与应用 此外，系统提供了i v r 、w e b 、w a p 、短信、u s s d 等多种用户接入的方式，使 用户可以方便的开通业务、定制业务和管理业务。同时开放与内容提供商的接口， 通过多个内容提供商为该业务提供丰富的音乐回铃音以供用户选择。 1 2 彩铃业务的实现 目前，彩铃业务的实现方案主要分为基于交换机改造的实现方案和基于智能 网的实现方案。本节对g s m ( g l o b a ls y s t e m6 ) rm o b i l ec o m m l m j c a t i o 邺) 网络彩 铃业务的各种实现方案做简单的说明和对比。 g s m 网络中一次正常的通话由一个发端m o ( m o b i l eo r i g i i l a t e d ) 流程和一个 终端m t ( m o b i l e t e 肋i n a t e d ) 流程组成，由于彩铃业务是一种由被叫申请的业务， 因此只与m t 流程相关。 彩铃业务需要替代原有呼叫流程中的播放回铃音的过程，因此需要对基本呼 叫流程的m t 流程进行修改。m t 流程涉及入口g m s c ( g a t 州a ym o b i l es w i t c h i n g c e n t e r ) 、h l r ( h o m el o c a t i o nr e 垂s t e r ) 、v l r ( v i s i t e dl o c a l i o nr e 舀s t c r ) 和 v m s c ( v i s i t c dm o b i l es w i t c h i n gc e i l t e r ) 几个实体问的信令交互，如图卜2 所示。 1 g m s c 收到初始地址消息i a m ( “t i a la d d r e s sm e s s a g e ) 信令，向h l r 发 送s r i ( s dr o u t i n gi n f o 肌a t i o n ：发送路由信息) 信令请求被叫的路 由信息，h l r 通过p r n ( p r 0 、，i d er 0 锄i n gn 啪b c r ：提供漫游号码) 信令 请求v l r 返回分配给被叫的m s r n ( m o b i l es t a 缸o nr o 锄i n gn 删曲盯： 移动站漫游号) 。 2 v l r 通过p r na c k 信令向h l r 返回被叫的m s r n ，然后h l r 通过s r ia c k 信令向g m s c 返回被叫的m s r n 。 3 g m s c 根据m s r n 选择路由，向被叫当前所在的s c 发起呼叫，s c 尝 试呼叫被叫用户，成功以后，被叫手机振铃，s c 向g m s c 返回a c m ( a d d r c s sc o m p l e t cm 鼯s a g e ：地址全消息) 信令，同时向主叫用户发 送由s c 产生的回铃音。 4 被叫用户应答后，s c 停止发送回铃音，向g m s c 发送a n m ( a l l s w 盯 m e s s a g e ：应答消息) 信令，导通语音通道，主被叫双方开始通话。 一4 北京邮电大学嘲络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 图卜2g s m 移动用户m r 流程 从上述流程的第3 步可以看到，要实现彩铃业务，我们需要替代原有m t 流 程中的播放回铃音的过程。当s c 试呼被叫用户成功后，替代原有放音流程， 用一个媒体设备向主叫用户播放特定的音乐作为回铃音，当被叫应答时，停止播 放铃音，将主被叫问的双向话路接通。从目前国内现有网络的结构来看，修改 f r 流程可以从两个方面来入手： 直接修改交换机的盯处理流程。 通过智能网技术，影响m t 流程。 两种变动m t 流程的方法都在于当v m s c 处于原先播放回铃音的那个状态时， 将主叫用户与s c 间的话路接续到可提供铃音定制的媒体设备，而当被叫应答 时释放对媒体设备的占用，并进入后续的m t 处理流程。 1 2 1 交换机改造方案 在交换机的改造方案中，端局在收到前向的i a m 消息后，去寻呼被叫用户， 当得到a l e r t i n g 指示( 此时被叫开始振铃) 时就发送后向的a c m 消息，同时将 分配给本次呼叫的交换时隙搭接到交换机内部的铃音资源板，向主叫播放回铃 音。此时若以一个播放音乐的流程替代掉原先交换机提供回铃音的流程，那么彩 铃业务的基本业务属性也就可以实现了。 从实现角度看，可以定义一套交换机和外部媒体设备的接口协议，用媒体设 备提供音乐作为回铃音来实现该业务。一种可行的方案是利用i s u p 信令作为接 口协议，当需要提供回铃音时，由v m s c 通过i s u p 信令发起一个伪呼叫( 携带主 叫号码，被叫号码等信息) 到媒体设备，该伪呼叫在s c 和媒体设备之间建立 一条临时的语音通道，将主叫用户与s c 间的话路暂时接续到这个媒体设备上， 媒体设备根据用户的业务数据和相应的匹配规则选择音乐，向用户提供彩铃服 务。其流程图可参见图卜3 。 北京邮电大学网络与交换技术国家重点实验室一5 一 北京邮电大学硕十学位论文彩铃系统中数据迁移技术的研究与应用 图卜3 交换机改造方案的信息流 该方案在s c 增加了一个判断该被叫用户是否为彩铃注册用户的过程，如 果为非彩铃用户，则采用原有的呼叫处理过程去完成该呼叫过程，否则，则发起 到媒体设备的伪呼叫。判断是否为彩铃用户可以采用如下两种方式： 1 将申请彩铃业务的信息写入用户在h l r 中的p r o f i l e ，s c 在用户移动 设备进行网络登记或位置更新时获取该信息，当m t 流程触发时，s c 根据p r o f i l e 中的相关数据决定是否要发起这个伪呼叫； 2 s c 在所有盯流程中增加该伪呼叫，将所有呼叫都暂时路由到媒体设 备，由媒体设备根据存放的用户数据来判断该用户是否享受彩铃服务而 选择播放普通回铃音或音乐回铃音。 第一种方式需在h l r 中存放相关信息，势必需要对h l r 进行升级或占用某个 原有字段，需对网络进行改动。后者需要在媒体设备中存放所有的彩铃用户数据， 对全网提出了数据同步的要求，不利于漫游用户享受彩铃服务。 当用户应答或者无应答超时，需要拆除和媒体设备的临时连接，并按照原有 的流程进行对呼叫的处理。 由于该业务对基本呼叫流程的修改点仅在町流程中v m s c 发送a c m 消息和 a n m 消息之间，因此对基本呼叫流程和对其他补充业务都没有实质的影响。 2 2 智能网实现方案 彩铃业务相当于一个三方呼叫业务，在s s p 不具备多方呼叫控制能力的情况 下，可以利用i p ，将这个三方呼叫转化为两个两方呼叫( 主叫至i p 的呼叫和i p 至被叫的呼叫) ，此时对主叫来说，i p 成了虚拟的被叫；而对于被叫来说，i p 成 一6 一 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 了虚拟的主叫。同时，通过智能网控制着两个呼叫，当被叫应答时，将两个呼叫 合并。而这对于用户和网络来说是透明的。 业务通过t _ c s i 签约信息触发，主叫的呼叫在s c p 的控制下接续到i p ，同 时s c p 指示i p 建立第二个呼叫去接续被叫，当被叫用户振铃，也就是i p 收到被 叫侧送来的a c m 消息时根据业务数据选择播放合适的音乐作为回铃音向主叫播 放。独立i p 在整个呼叫流程中监视主叫和被叫的呼叫状态。当被叫用户应答时， 立刻停止播放音乐并将两个呼叫桥接起来；当监视到某一方挂机时，就释放掉相 关资源，并结束另一方的呼叫。 i p 作为虚拟主叫呼叫被叫时，由于被叫具备t c s i 签约信息，会导致s s p 再次触发该业务，形成业务的循环嵌套触发。为避免i p 呼出时再次触发业务， 需要采用被叫的m s r n 进行呼出，这就要求s c p 通过姒p 操作去获取被叫的m s r n 并传送给i p 。 完整的业务的正常信令流程如图卜4 所示。 l ；燃eili j i 托il s c p li j p ll v s el f f 妒 1 j 彳一t 瓣8 9 引， f k l 1 n 押 - ( i i l e d p 自 n f 4 kl m - 一， 蝥l 一 r 口t 孰m 一0 l 鼢魄l 一 h “ # 剁 一 婶i p t # v # 州 霸 # 埘p 链磁矧婚哥 一 a 哪 嘲 ：l 删j 蠹龋 图卜4 智能网方案的信息流 由于该方案的主被叫桥接动作在i p 侧完成，在整个呼叫过程中增加了到i p 出入两条话路，对于被叫漫游到外省的情况，呼叫首先被接续到本省，再由i p 呼出到外省，和未提供彩铃业务前相比，呼叫路由被改变，造成了一定的长途话 路迂回，但此时如果s c p 指示使用被叫漫游地的i p 时，呼叫被接续到漫游地的 i p ，长途路由迂回现象可以消除。 北京邮电大学网络与交挠技术国家重点实验室 _ - 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 1 2 3 方案的比较 交换机改造方案中，交换机只与媒体设备交互，不存在与s c p 交互的问题， 减少了e l 线的使用，并且不存在话路迂回的问题。但是，改造方案需要修改呼 叫基本流程，尽管修改点不会影响原有的基本呼叫处理，但是这种改动将涉及全 网所有交换机，并且这种改动只能是针对彩铃业务的，代价较大。 智能网方案将对呼叫的控制放到i p ，使得不改动现网就可以实现彩铃业务， 这样，该方案适用于多个厂商的交换机。而且在智能网方案中，s c p 可根据用户 的位置信息选择提供彩铃服务的独立i p ，这就为全网漫游提供了很好的基础。 但是，智能网方案的设备利用率低，网络结构较为复杂。 由于两种方案各具优劣，到底选取那种方案，要根据各省的实际情况来具体 分析。目前，在国内开通彩铃业务的省市中，两种方案均有使用，甚至有同一省 份同时采用两种方案的情况。 1 3 媒体设备的结构 无论彩铃业务采用哪种方案实现，都需要媒体设备提供播放回铃音的功能。 图卜5 给出媒体设备的物理实现方案。它由信令节点( s n ) 、控制节点( c n ) 和 资源节点( r n ) 三部分组成，三者通过以太网交换机连接起来。 图卜5 媒体设备的物理结构 信令节点的功能是进行信令消息的格式转换和转发。它接收m s c 发来的 i s u p 消息，转换成控制节点能理解的内部消息格式，通过局域网转发给 控制节点；或者接收控制节点发来的内部消息，转换成标准的i s u p 消息， 发送给m s c 。信令节点运行在u n i x 操作系统上。 控制节点是整个媒体设备的逻辑控制部分，控制和管理语音资源在业务 中的使用。控制节点为每个呼叫维护一个自动机。当彩铃业务需要媒体 设备支持时，m s c 向媒体设备发送i a m 信令消息，信令节点将i a m 消息 转化成内部消息格式转发给控制节点，控制节点为该呼叫创建一个呼叫 北京邮电大学网络与交换技术国家重点实验室 甲 北京邮电大学硕士学位论文 彩铃系统中数据迁移技术的研究与应用 自动机，然后根据随后的消息交互驱动自动机，控制管理资源节点中资 源的使用和释放。 控制节点采用高性能服务器，比如c o m p a qe s 4 0 ，h p 9 0 0 0 系列服务器， 操作系统使用u n i x 系统。控制节点为了对用户播放定制的铃音，需要访 问数据库中的用户数据和配置数据。 资源节点管理和维护语音资源，根据控制节点的要求控制资源的使用和 释放。资源节点由高可靠性的工控机构成，操作系统采用l i n u x 或u n i x 操作系统，每台工控机部署一定数量的资源卡，可以保存、播放各种提 示音、问候语等。此外资源节点可以根据话路需求平滑扩容。 此外，媒体设备可利用和短信中心的接口向用户提供短信通知服务。通过与 b 0 s s 的接口，配合营帐开户管理，和营帐系统通过数据网相连。彩铃系统对用 户使用业务计费、提供费用话单，通过统一或数据专线与计费中心连接，实现费 用结算。同时系统通过w 啊接入服务器支持向用户提供互联网的w e b w a p 接入服 务，提供用户管理功能。 1 4 本章小结 彩铃业务是近两年来在移动话音业务基础上新增的一项增值业务。该业务可 以让被叫用户定制自己的手机回铃音，让主叫用户听到被叫用户定制的个性化回 铃声。彩铃业务在充分利用现有网络资源的前提下，为市场提供了个性化、方便、 快捷和高品质的增值业务服务，该业务自推广以来，在市场上获得了广泛的应用。 彩铃业务的实现方案主要分为基于交换机改造的实现方案和基于智能网的 实现方案。两种方案各具优劣，现网系统中两种方案都有应用。彩铃业务需要媒 体设备提供播放回铃音的功能，它由信令节点、控制节点、和资源节点三部分组 成。 本章在对彩铃业务做了基本的介绍以后，说明了彩铃业务基于交换机改造和 基于智能网的两种实现方案，并进行了对比。本章最后对彩铃业务的媒体设备的 结构进行了介绍。接下来，将对彩铃业务中数据库技术的使用进行介绍，分析彩 铃业务中分布式数据库结构的演进和数据迁移的基本概念，继而引出彩铃系统中 数据迁移技术研究的意义和重要性。 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 第二章数据迁移与彩铃业务中的数据库应用 2 1 引言 彩铃业务需要保存大量彩铃用户的用户数据和业务数据，这些数据保存在关 系型数据库中。彩铃业务需要对数据库中的数据进行实时高效的访问。随着彩铃 业务的拓展和规模的扩大，业务数据的数据量和业务数据的访问频度不断增长， 为了能够保证业务的稳定和可用，彩铃系统分布式数据库结构发生了几次变化， 根据业务的三类需求，由数据库集中设置变成了彩铃管理库、彩铃呼叫库和彩铃 统计平台三类数据库的分开设置，分别承担不同的任务，后两者的运行又是以管 理库的数据作为基础，因此有必要对三者问存在的数据迁移进行关注和研究。 本章的主要内容安排如下：第2 节介绍了数据迁移的基本概念，包括数据迁 移的技术实现：第3 节介绍了彩铃业务中的数据库技术，包括关系数据库应用， 数据库访问方式和分布式数据库结构：第4 节介绍了彩铃系统中的数据迁移，总 结了本文研究的目的和意义。 2 2 数据迁移的基本概念与技术实现 一个系统在其使用期间往往积累了大量珍贵的历史数据，其中许多历史数据 都是另一个新系统顺利启用所必须的。另外，这些历史数据也是进行决策分析的 重要依据。数据迁移广义的理解可以是任意两个系统之间的数据流动，既可以指 操作系统或存储系统间，也可以指异构或者同构的数据库系统间，既可以将这个 概念上升到系统规划的高度去理解，也可以从具体的某一个层面和角度去理解。 本文的数据迁移主要是指同一网络不同主机上的数据库系统间的数据流动。 数据迁移的技术实现，根据数据的数据量和数据操作的复杂性可以采用不同 的技术方法实现，小型的应用可以直接使用s q l 操作完全实现，而且这些操作 会进行日志记录，是可恢复的。这是最容易想到，也比较容易实现的。 对于稍大型的应用，如果对数据转换的要求不高但数据量较大，也可以使用 s q l 来完成数据的转换任务，而数据抽取和加载采用批量加载工具实现，大型的 关系数据库一般都提供这类工具，也有第三方产品支持，甚至可以自己编程序实 现，成熟的关系数据库产品提供的批量加载工具操作上更易于使用，并且在装入 一1 0 一 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 大量数据时速度极快，对于海量数据的加载将会节省大量的时间。尤其是对于数 据的转换清洗没有特别复杂的需求时，直接利用数据库产品提供的装载工具是一 个比较可行的办法。 对于数据来源广泛，处理过程复杂，数据量又庞大的大型应用，则整个过程 必须要采用专门的大型数据迁移产品来实现，目前市场上的这类工具有不少，占 据市场份额较高的几家产品都价格昂贵，操作复杂，但是功能强大，可以处理使 用到这类产品的项目，一般都与0 l a p ( o n - “鹏a n a l 如c a lp m 懈s i n g ) 、数据挖掘、 数据仓库等技术整合成一套完整的商业智能解决方案，它们可以实现对来自不同 生产系统，不同数据库产品，不同存储方式的数据的集中清洗和装载。 除此以外，还可以通过手工编写数据复制工具或者部署基于数据库产品的数 据复制组件实现数据迁移。例如目前在彩铃生产系统中已经使用和计划使用的数 据同步引擎、高可用性数据复制( h d r ) 和企业复制( e r ) 等方案，都是典型的数据 复制技术。实时的数据复制技术还可以避免大批量操作给生产系统造成的较大系 统负荷，因此可以作为一种重要迁移手段考虑。 2 3 彩铃业务中的数据库技术 彩铃业务需要保存大量彩铃用户的用户数据和业务数据，这些数据保存在关 系型数据库中。彩铃业务要求实时高效的访问数据库中的数据，对数据库的性能 提出了很高的要求。因此是否能够做好数据库技术的实施和优化是彩铃业务稳定 发展运行的基本条件之一。 2 3 1 彩铃系统中的关系数据库应用 我们通常将最常用的关系数据库应用分为2 种类型：联机事务处理 ( o l l p ：0 n l i 聆t 眦s a c t i p r 0 懈s i r 园，决策支持系统( d s s ：d e c i s i o ns u p ：p o n s ) r s t 锄) 。 联机事务处理( o l l p ) 该类型的应用是高吞吐量，插入、更新、删除操作比较多的系统，这些系统 以不断增长的大容量数据为特征，它们提供给成百上千的用户同时的数据存取， 典型的o l t p 系统是订票系统，银行的业务系统，订单系统等等。彩铃业务中的 管理数据库与呼叫数据库应用都是典型的0 l t p 应用。o t l p 的主要目标是可用性、 速度、并发性和可恢复性。这类系统必须确保大量并发用户不能干扰系统的性能。 决策支持( d s s ) 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 该类型的应用将大量信息进行提取形成报告，协助决策者作出正确的判断。 典型的情况是：决策支持系统将o l t p 应用收集的大量数据进行查询。例如客户 行为分析系统( 超市，保险等) ，业务分析系统等等。这类系统往往面对的是数量 有限的用户，而复杂的查询统计分析是影响系统性能的重要因素。决策支持的关 键目标是速度、精确性和可用性。该种类型的设计往往与0 l t p 设计的理念背道 而驰，一般建议使用数据冗余、大量索引、并行查询等。近年来，该类型的应用 逐渐与o l a p ( o n l 柚ea i l a l y t i c a lp m c e s s i n g ) 、数据仓库紧密的联系在一起，形 成的一个新的应用方向。 表2 1 在线事务处理与决策支持的比较 原始的、细节性的当前值数据导出的、综合性和提炼性的、历史数据 可更新不可更新，但周期性刷新 一次处理的数据量小 一次处理的数据量欠 面向应用，事务驱动面向分析，分析驱动 面向操作人员，支持日常操作面向决策人员，支持管理需要 大量的表，规范化的方案较少的表，非规范化的方案 用户可以增加、删除和修改记录用户查询只读记录 少量索引加快更新速度大量索引优化查询 走量用户查询，少量用户使用报氛太多数用户使用报表 由上比较町以看出，彩铃统计平台符合一个典型的d s s 应用的条件，而彩 铃业务呼叫库和管理库则属于0 l t p 系统的范畴。 2 3 2 彩铃业务中数据库访问方式 彩铃业务一方面允许被叫用户定制多个回铃音，另一方面允许被叫用户定制 多个铃音播放规则，为不同的主叫用户播放不同的铃音。这些用户信息和配置信 息都保存在传统的关系型数据库中。归纳起来，彩铃系统中保存的数据主要有下 面几种类型： 系统配置信息：保存彩铃业务的系统配罱信息。 用户信息：保存彩铃用户的号码，业务状态，归属地等信息。 铃音信息：保存铃音的名称，物理路径，铃音类型等信息。 规则信息：保存用户定制的铃音播放规则，譬如在一定的时间为某一个 用户播放某一个铃音。 话单信息：保存彩铃业务定制的话单。 集团彩铃信息：保存集团定制的彩铃和规则。 在呼叫处理流程中，为用户播放铃音前，需要首先查询数据库中的用户信息， 而后决定为用户播放哪个定制的铃音。用户通过w e b ，w a p 或是i v r ( i n t e r a c t i v e 1 2 一北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 v o i c er e s p o n s e ) 修改个人的铃声定制规则时，也涉及到数据库中数据的访问。 总结起来，彩铃业务对数据库的访问有下面几种方式，如图2 一l 所示。 呼叫处理的访问：在呼叫处理过程中，需要查询数据库中的用户信息， 而后决定为用户播放哪个定制的铃音。 w e b 门户的访问：用户和管理员通过网站方式开销户，检索铃音，试听 铃音，定制铃音。 i v r 的访问：用户可以通过i v r 定制铃音。 统计分析的访问：对彩铃业务的数据库进行统计型的查询访问，完成决 策支持( d e c i s i o ns u p p o r t ) 的功能。 ilii 坪_ 如埋l 曲i 、；a 缝计1 分辆 图2 1 彩铃业务对数据库的访问 彩铃系统中，只有呼叫处理对实时性的要求比较苛刻，需要数据库能够实时 快速的给出响应。w e b 门户访问、i v r 访问对实时性的要求并不是特别高。而统 计分析访问主要是通过复杂的查询操作来进行统计分析，对决策分析和经营分析 提供建议，这是典型的联机分析处理( 0 l a p ) 应用，主要关心数据库的响应时间。 2 3 3 彩铃业务中的分布式数据库结构的发展 彩铃业务的数据库结构的变化经历了三个阶段，他们按照发展顺序分别是： 数据库集中设置、呼叫数据库的分离、统计数据库的分离。其中呼叫数据库的分 离，又经历了从单套到多套的变化。 彩铃业务发展的初期，彩铃系统的规模较小，数据库中的数据量不大，数据 库是集中设置，所有类型的操作访问一个集中的数据库。 随着彩铃系统规模的扩大，彩铃用户规模已经增至百万甚至千万级，集中设 置数据库暴露出了性能问题。呼叫处理的实时请求和其它操作的非实时请求有必 要分离，于是提出了分设呼叫数据库和管理数据库的方案，如图2 2 所示。呼叫 数据库负责对数据库的实时呼叫处理，呼叫处理都是对数据库的只读操作；管理 数据库负责其它的管理操作，包括开销户、定制彩铃、定制铃音规则等等。管理 数据库和呼叫数据库之间通过同步软件进行同步操作，同步软件将管理数据库的 所有s q l 操作发送到呼叫数据库执行，实现两个数据库的一致性。 北京邮电大学网络与交换技术国家重点实验室 北京邮电大学硕士学位论文彩铃系统中数据迁移技术的研究与应用 上。上缝上氍呼。lw 曲i v 囊缝计分静；呼州能理 图2 2 分离呼叫数据库 彩铃用户的数量越来越多，一套呼叫数据库已不能满足呼叫处理请求的性能 需求，于是建立了多套呼叫数据库系统，同样使用同步软件实现管理数据库和呼 叫数据库的同步。每套呼叫数据库分别负责一部分彩铃用户的呼叫处理，数据库 可以将这部分彩铃用户的信息缓存到内存中，提高数据库访问的性能，如图2 3 所示。 图2 3 多套呼叫数据库 随着彩铃业务的广泛应用，统计分析操作的数量越来越多，运营商也对彩铃 业务的发展分析提出了更高的要求，管理数据库的性能产生了很大的影响。由于 决策支撑系统和联机事务处理对数据库来说是两种不同的应用需求，需要对数据 库进行不同的配置，对系统资源地分配、数据库的配置要求也都不一样，这在一 定程度上会影响了彩铃业务系统，主要是管理数据库的正常运行，同时也会对管 理库与呼叫库的数据同步造成影响。这些都要求在呼叫库分离的基础上，进一步 实现统计库的分离，并由专门的统计平台来完成统计分析工作。于是进一步衍生 出了分离统计数据库的方案，如图2 4 所示。 图2 4 分离统计数据库 统计数据库进行统计分析的数据访问，可以针对d s s 应用的特点，进行单独 的配置和优化，降低了管理数据库的负担。管理数据库主要负责用户的开销户、 北京邮电大学网络与交换技术国家重点实验室 北京邮电丈学硕士学位论文彩铃系统中数据迁移技术的研究与应用 用户定制铃音等各种管理工作。呼叫数据库负责用户呼叫的实时处理。彩铃统计 平台就运行在统计数据库所在的主机上，满足业务运营和管理人员对统计分析和 决策的需求。 2 4 彩铃系统中的数据迁移 通过对彩铃系统中数据库分布式结构的描述和了解，可以很清晰的看出，随 着彩铃业务的迅猛发展，彩铃的用户数不断增加，出现彩铃的管理库，统计库， 呼叫库的分离是大势所趋。整个彩铃的核心的数据都保存在管理库，分离出来的 统计库和多个呼叫库为了能够保证业务的正常运行和统计结果的正确，必须要能 够以管理库的数据作为基础实现数据迁移，因此如何高效稳定的实现呼叫库、统 计库和管理库之间的数据迁移值得研究。此外，在工程实践中也会经常遇到需要 数据迁移技术解决的问题，比如遇到灾难或者故障导致部分数据丢失，通过数据 备份将数据完全恢复往往对业务的运营会造成消极影响，有时候并不是一个好的 解决方案，如果能够合理使用数据迁移工具只实现所丢失数据的部分恢复，那么 肯定能够对解决这类问题提供一个思路，再比如有时候在管理库中需要导入来自 b 0 s s 系统的文本数据来支持彩铃系统的运营，也需要使用到数据迁移技术。 通过调研后我们认为在彩铃系统中可行的迁移技术方案包括以下两种： 其一是利用批量数据装载工具对数据进行大批量的导入导出，也就是从一个 数据库系统中一次性导出近期所需要的数据，然后通过网络或者介质迁移到另一 个数据库系统中，这类数据迁移，就是将这些历史数据进行抽取( e x t r a c t ) 、转 换( t r a n s f o r m ) ，并装载( 1 0 a d ) 到新系统中的过程，又称为e t l 过程。数据抽取 是捕获源数据的过程，可以对数据进行完全抽取或者增量抽取。数据转换是指清 理有效数据，使之更精确更有意义的过程。数据清理一般包括：将来自数据源的 数据合并与分离、数据类型和格式的转换等。数据装载是将数据装载入到核心数 据库中的目标表，是整个过程的最后步骤。装入数据的最佳方法取决于所执行操 作的类型以及需要装入多少数据。仅限于在彩铃系统内考虑迁移，数据的卸载工 作快捷简易，数据的