手机视频2012年汇报材料封闭合并v0

1、手机视频2012年规划汇报材料2012年3月AAA系统架构整体优化分析AAA数据库只部署运行在DBM单点上，没有DB层面的容灾备份缺乏DB容灾完全DB依赖应用未区分同步类应用、异步类应用、离线类应用进行分离部署混合应用模式单点AAA组网，支持全网业务和用户，系统容量不能扩展单点组网架构所有业务处理完全基于DB进行，尤其是大量的DB读占用了数据库90%以上的I/O资源 多节点AAA组网架构 按策略将用户分流到各节点处理 物理分离同步实时与非同步实时类应用 基于DB容灾备份，将非同步应用迁入离线库 在接口机层引入MemCache 将大量Read类操作转入内存处理降低DB I/O压力 构建AAA D

2、BM数据库容灾节点 使用DataGuard实现准实时同步数据库容灾节点修订补充页AAA系统架构优化整体示意图AAA应用层BRM核心层数据库层离线库非实时类应用MemCache按用户策略分流单点AAA架构转为多点AAA架构构建数据库准实时容灾离线节点分离非实时应用并迁入离线库运行MemCahce实现Read类业务降低数据库I/O压力 每用户信息和数据完全隔离在各AAA节点中 每个AAA系统从物理上独立组网和隔离运行修订补充页AAA分库与数据缓存处理原则AAA多节点分库原则根据用户分库策略（如号段等）将用户所有数据（包括鉴权/计费/历史记录等）完全隔离到某AAA节点上存储和运行少量公共数据（如号段

3、表/产品表/黑白名单/CP业务放通设置等）在每个节点都存储一份，由AAA业务控制平台负责维护每个AAA节点从物理上独立组网和隔离运行MemCache数据缓存对象鉴权类缓存数据： 全局号段表/全局产品表/分地市/渠道/业务放通设置/用户有效包月订购关系/用户72小时有效按次订购关系计费类缓存数据：流播放前鉴权信息/用户防盗链数据/黑白名单MemCache数据缓存与源库数据处理原则在MemCache没有READY之前，还是去源库查询所需的数据优先从MemCache中查询相关业务缓存数据在完成对源库数据更新后，同步增量更新MemCache数据MemCache定时从源库全量刷新，避免长期运行后，Mem

4、Cache与源库数据差异必须解决MemCache刷新期间，源库数据在同步更新的问题修订补充页AAA架构优化之多节点AAA架构通过构建多个相对独立的AAA子系统，将用户按照一定的策略分流到各子系统上进行鉴权计费，降低目前单点AAA系统的压力和风险，以支持未来快速发展的业务需要容灾备份数据汇聚外部接口各节点数据容灾备份用户门户流服务用户分流调度AAA子节点1接口层核心层数据层AAA子节点2接口层核心层数据层AAA子节点3接口层核心层数据层业务数据汇聚与外部接口经分接口BOSS接口VGOP接口话单接口数据汇聚鉴权订购计费请求用户按策略分流 根据策略将用户分流到多AAA子节点多AAA节点架构 每个AA

5、A子节点负责部分用户的鉴权/订购/计费 AAA子节点内均支持负载与平滑扩容数据汇聚层实现外部接口 外部全局类应用如经分/BOSS/话单/VGOP等由数据汇聚层实现对各子节点AAA数据的汇聚和操作子节点数据容灾备份 对各子节点的DB和业务数据进行备份修订补充页AAA架构优化之MEMCACHE机制通过在AAA引入MEMCACHE，将大量DB读I/O通过内存来完成，一方面提高前端鉴权和计费的响应速度，提升用户体验，另一方面降低对于核心数据库的压力协议接口层BRM核心层数据库鉴权类数据MemCache计费类数据MemCache门户流媒体如缓存中有数据直接以缓存中的数据做鉴权处理更新类操作后同步更新到缓

6、存中如缓存中有数据直接以缓存中的数据做计费处理更新类操作后同步更新到缓存中以下鉴权类数据可缓冲在内存中： 全局号段表 用户有效包月订购关系 用户72小时有效按次订购关系 全局产品表 分地市/渠道/业务放通设置以下计费类数据可缓冲在内存中： 流播放前预计费信息 用户防盗链数据 黑白名单修订补充页AAA系统运行控制平台运行参数控制：随着AAA系统业务能力的增强，可控运行参数（如黑白名单、防盗链控制、CP业务放通状态等）的快速增加，当前以手工调整文件参数或DB配置的方式已经不再适用快速应急操作：在应急和特殊场景下，需要对AAA系统做快速的放通、恢复和重启的操作，目前主要依赖手工的操作方式已不能满足此

7、类场景的需要放通补单能力：在AAA系统放通恢复之后，需要快速完整的将放通期间的话单补到AAA系统，尽量降低因放通给业务运营带来的损失产品管理融合：随着PMS从CMS系统的剥离，原PMS必然需要和AAA产品管理系统进行融合设计开发AAA系统运行控制平台加强提升对AAA运行的控制能力设置控制修订补充页AAA系统的AWR报告正如Oracle数据库的AWR报告可以全面深入的反映DB运行的各类信息和状态一样，作为手机视频的核心系统，AAA也需要这样的一套监控分析系统，作为分析问题的手段和参考，甚至关键时候成为决策的依据当前有多少设备接入AAA，接入分布如何？各类接入的并发数多少，业务响应时延多少，分布如

8、何？处理队列中还有多少等待事务，事务等待时间多少，分布如何？线程池内工作线程的状态如何，后端响应性能如何？.AWR是Oracle Database 10g 提供的一个显著改进的工具，全称自动工作负载信息库，Automatic Workload Repository，是一个 Oracle 的内置工具，它采集与性能相关的统计数据，并从那些统计数据中导出性能量度，以跟踪潜在的问题，在DBA数据库问题分析过程中有着至关重要的作用修订补充页AAA计费能力扩展互联网移动无线网铁通网络手机视频平台移动BOSS铁通BOSS第三方计费平台绑定绑定移动收入通过接入互联网/IPTV等非移动号码用户，和与第三方计费平

9、台的对接，进一步扩展AAA平台的计费能力支持IPTV,互联网用户接入IPTV使用铁通帐号登陆互联网用户使用邮箱帐号登陆互联网用户可以通过第三方平台，如苹果APP Strore实现对业务的订购非移动号码用户如能绑定移动手机号码，则可以通过移动BOSS进行计费通过业务收入分成获得IPTV、互联网、Apple用户的收入分成分成AAA技术模型优化按次订购实现优化调整按次订购流程,规避BRM订购函数引发行锁分离包月订购和按次订购表数据，简化按次历史数据清理过程提升按次订购,点播,下载接口性能大包月模型调整大包月平滑增加垂直栏目包含关系优化现有大包月订购模型，提升大包月订购接口性能通过优化大包月模型,降低

10、订购关系表数据增长随着业务快速发展，业务量随之增加。需要对平台现有业务技术模型优化，提升平台的稳定性和健壮性AAA业务能力规划业务目标类型业务名称背景描述精准业务控制根据业务维度，精确控制放通根据渠道，用户区域信息，最小化控制产品放通纬度,降低用户投诉同时，保证最小化的业务损失提升收入灵活性根据用户区域信息计费策略灵活同一内容，根据用户区域信息，产生不同的计费策略.增加收入扩大业务收入订购关系赠送使用一个扣费号码，赠送订购关系给其它用户，增加收入的同时，增加平台访问用户灵活计费流量计费对流量计费进行平台改造集团需求二级返回码优化调整根据集团规范,进行二级返回码优化改造集团需求分散帐期改造配合进

11、行分散帐期改造集团需求营销插件项目根据集团规范改造，方便集团营业推广收入统计支持运营快速业务分析按小时提供话单数据，订购历史记录，话单数据记录栏目ID，节点ID，会话ID配合统一数据管理平台进行数据采集和分析精准计费企业代码插分垂直栏目的独立，同时进一步规范话单的信息,保证数据的准确性现有数据支撑体系（含全成）统一数据管理平台功能组件图（现网）统一数据管理平台工单系统通过数据需求工单系统，有序管理、评估、处理、跟踪、闭环数据需求。工单系统需求提出需求确认数据需求方需求分发需求跟踪需求分析需求处理需求管理方需求处理方可视、可跟踪、可优先调度修订补充页统一数据管理平台配置信息管理门户通过配置信息管

12、理门户统一管理芜杂的业务配置信息渠道分配信息终端UA信息推荐位信息其它信息配置信息管理门户渠道管理UA管理推荐位管理其它管理修订补充页邮件通知信息滞后人工处理统一管理实时更新数据纠错统一数据管理平台功能增强和优化统一数据管理平台接口改造和扩展日志接口的小时化改造能力域播放、下载话单采集BOSS交互日志采集新业务形态数据采集互联网数据IPHONE、IPAD数据IPTV数据集团插件营销数据外部驱动接口变更VGOP新数据需求MM新数据需求省BOSS黑名单过滤VGOP能力中心建设数据功能增强和优化新增KPI功能新增小时排名功能增强小时业务监控现有功能优化提升统计准确性内容使用情况分析新业务形态支撑新业

13、务数据统计新业务数据查证新业务报表统计外部接口支撑外部数据接口变更支撑，如VGOP、MM、省BOSS等外部数据黑名单功能外部实时接口支撑统一数据管理平台架构扩展与相关功能门户（访问日志）AAA(订购日志/使用日志/BOSS交互日志)能力域(点播日志/下载日志)BOSS分布式非关系型数据库（会话ID串联数据+按小时采集数据+分布式及时分析数据）访问、使用业务行为的数据稽核订购、BOSS交互的数据稽核AAA使用日志与能力域点播、下载日志的数据稽核及时稽核数据业务质量用户访问路径分析用户兴趣分析用户逗留时间分析内容推介效果分析快速挖掘数据价值统一数据管理平台全阶段客户提升分析客户获取 客户提升 客户

14、成熟 客户流失 客户衰退潜在客户挖掘客户偏好分析客户粘性分析客户期望分析客户流失预测手机互联网访问出行、旅游等内容的用户分析；用户IMEI分析；WLAN用户分析；其他新业务的活跃用户分析；内容标签偏好分析；常用门户、栏目、内容分析；常用门户的访问路径分析；订购次数、订购频率分析；客户价值、客户贡献评估；客户真实性稽核；客户关怀需求分析；客户投诉分析；客户消费趋势分析；客户访问热情、门户停留时长分析；客户流失原因分析；即将流失客户预测；客户获取计划客户提升计划客户忠诚度计划客户挽留计划客户赢回计划修订补充页统一数据管理平台客户流失原因分析指数示例：内容吸引指数=0.7若订购业务数0,则（n1/均

15、值,结果大于1则取1），0.1（n2/mean1取值1），0.1（n3/mean1,取值1），0.1（n10/mean1,取值1）推荐次数被推荐次数推荐人数被推荐人数评论次数顶驳次数在订购提醒页面流失次数是否即订即退用户包月信息费占比信息查询次数各栏目访问次数收藏次数各栏目停留时长点击搜索结果次数/搜索次数是否访问推荐店铺 购买第三方业务次数访问首页次数访问次数错误页面访问次数访问网站层级DBCA内容吸引指数门户体验指数互动沟通指数资费敏感指数聚类首先对流失原因进行业务抽象，设计与流失相关的指数，然后用指数进行原因的聚类分析，可得到不用群体用户的不同流失原因修订补充页统一数据管理平台沉淀客户特

16、性历次的分析以及营销活动会产生很多的客户标签，为了提高运营管理效率，避免重复的分析工作，因此需要以IT化的方式保留和更新这些客户标签，并提供更易用的方式使客户标签能快捷支撑下一次营销活动创建新标签及关联客户群人工查询或系统自动推荐客户标签通过标签直接下载客户清单，并用于营销活动共享运营人员分享关于客户标签的使用经验产品及其订单关系常驻地、终端型号业务偏好客户标签社会关系网络电子交易记录用户基本资料用户门户访问模式互联网访问爱好（应用、音乐、影视、图书）根据业务需求支持客户群的并集、交集等运算，同时也支持在线和异步两种方式导出客户群清单，满足高性能的业务需要修订补充页统一数据管理平台基于客户分析

17、精准营销任务计划数据清洗/冗余管理数据装载ETL数据抽取/转换推荐过滤规则推荐权重/系统参数配置信息用户兴趣内容相似度用户相似度用户评分数据业务属性数据业务属性分析兴趣计算行为分析模块评分计算用户相似度计算迁移学习用户/内容聚类计算模块内容相似度计算业务数据视图Service 分类： News, Music，SportsService Id,attr_id, attr_ValuemetadataOther characterBehavior & LogLog column defineMetadata Mapping defineOther definition基于内容推荐基于规则/知识推荐基

18、于用户协同推荐推荐模块基于条目协同推荐混合推荐定时器过滤规则系统参数配置管理推荐权重推荐及配置接口门户客户端3rd party业务群发平台数据映射数据层功能层接口层修订补充页统一数据管理平台灵活多变推荐算法热点推荐基于客户基本属性的推荐基于内容相近的推荐客户协同过滤产品协同过滤基于模型的推荐修订补充页分账结算系统优化规划统一数据管理平台业务分账平台结算工作流引擎IDC结算手机视频结算在初步完成的分账结算系统基础上，完善与增强平台能力与架构，支持更广泛的端到端业务结算需求，是下阶段系统的发展方向分账结算系统结算分账系统 UI架构优化调整以统一数据管理平台作为结算分账系统的基础数据平台平台功能增强

19、分账模板平台化能力增强支持更多分账规则参数与公式结算能力扩展引入对合同的管理支持引入对预装费的管理支持IDC结算动态规则化系统发展规划手机视频全网内容一致性面临的问题手机视频平台是由多业务系统协同为用户提供的服务，各系统之间通过API接口/文件复制等方式进行数据同步和传递，各种可能或意外的错误和场景引发的各系统之间数据不一致的问题，为业务运营和用户体验带来潜在风险，如：某些有问题内容在CMS下线，但OMS或门户未能相应处理，用户依然可以访问因分发或存储的问题，导致用户无法播放或下载某些内容CMS数据库CMS源存储（源媒体和元数据文件）DLSC DBMM DB能力域存储OMS终端域数据不一致将影

20、响内容下线数据不一致将影响流服务数据不一致将影响下载数据不一致将影响OMS同步数据不一致将影响整体流服务数据不一致将影响整体流服务分发/下线分发分发/下线同步更新同步修订补充页CMSOMS & 门户流媒体域手机视频内容全网一致性校验系统以CMS为中心，对周边业务部件的内容状态做单向一致性校验，并在可能情况下做自动化更新同步和自我修复，对于无法自动更新修复的，输出详细的校验报告做手工修复处理，降低因一致性带来的运营风险和用户体验问题MMDB流服务存储DLSCDB元数据文件OMS服务节点核查媒体文件是否存在如不存在可主动拷贝修复检查MM DB中文件路径是否正确如缺失或错误，主动修复检查DLSC D

21、B内容是否缺失如缺失，做强制重新分发检查元数据文件是否正确完整如错则主动刷新，并变更同步到OMS，进而同步到服务节点主动核查OMS的数据库信息是否和CMS保持一致主动核查服务节点的数据库信息是否和CMS保持一致同步同步CMS自我修复访问预览路径修订补充页手机视频实时排行榜平台排行榜对用户行为的影响是毋庸质疑的，很多游客性质的用户都是因为对排行榜热点内容的访问，转化为真正的用户排行榜数据的及时性、有效性、丰富性都会对用户发展和业务增长产生直接或间接的影响和帮助流服务UMAAA实时排行榜平台CMS门户OMS流媒体播放播放鉴权/计费播放鉴权/计费传递播放信息 全网实时排行榜 日榜/周榜/月榜 按产品

22、排行榜 按栏目排行榜浏览排行榜推送排行榜获得产品信息，可产生产品维度排行榜根据内容ID获取名称等信息获得栏目信息，可产品栏目维度排行榜统计排行榜修订补充页HLS录制与回放流服务器对直播频道录制成RTP数据文件、媒体数据索引文件并存储。HLS直接读取RTP媒体数据文件、媒体数据索引文件，转为HTTP Live Streaming为iPhone/iPad提供服务。降低对存储的需求。编码器录制服务器NASRTP媒体文件HLSHLS录制成RTP媒体数据文件,媒体数据索引文件媒体数据索引文件HLS点播适配与优化切片工具直接对3GP媒体文件生成媒体数据索引文件，不生产TS切片文件。HLS服务器直接读取3G

23、P媒体文件、媒体数据索引文件，转为HTTP Live Streaming为iPhone/iPad提供服务。降低对存储的需求。NAS3GP媒体文件媒体数据索引文件切片工具HLS 1HLS 2HLS 3HLS n.1.5M网络带宽检测 为iPhone、iPad播放器提供多码率的特性。iPhone、iPad播放器请求低码率媒体迅速启动播放过程，在播放过程中检测网络带宽情况，切换至适合当前带宽的媒体流，提升用户体验。HLS协多码率特性的协议结构HLS自动多码率方案（点播）MS-HRtsp/rtp Flv over http Live EncoderSDI/AV手机PCRTP MulticastFlas

24、hWebTV直播业务沿用RTP直播流。无需部署支持Flash直播的专用编码器，实时从RTP格式转换成FLV文件格式。直接录制RTP流，并可对外提供Flv回放业务WEB直播、录制与回放NAS录制文件 Flash REC服务节点根据CMS发布的片源情况，提供给播放器可供切换的URL播放器根据URL数量来决定是否展示码率切换按钮用户根据播放时的体验，主动选择合适的码率进行切换用户也可以选择根据网速自动匹配码率WEB多码率切换方案引入高清编码器支持高清业务码率最大384kbps分辨率最大CIF（352X288）码率最大2Mbps分辨率最大800X576码率最大20Mbps分辨率最大1080p2005年

25、-2009年Helix编码器 2009年-2012年MTV编码器2012年高清编码器高清编码器支持720p/1080p高清分辨率，20Mbps高码率支持PS/TS/MP4等常见高清格式作为输入源与现网编码器配合，手机视频低码率业务使用MTV编码器，WebTV和Pad等高码率业务使用高清编码器纳入OEMS2.0集中转码系统统一管理调度修订补充页动态密钥管理系统门户子系统流媒体服务系统防篡改URL加密压缩防传播AAA防盗链防破解全局动态密钥手机视频流业务访问安全三部曲客户端流服务器WAP流服务器HLS流服务器LiveFLV流服务器下载服务器WAP门户SUP门户RMS门户动态密钥管理系统 设备管理

26、密钥刷新 密钥管理控制台密钥派发密钥派发作为手机视频流业务安全三部曲的第三步，全局动态密钥系统将彻底斩断骇客之手，将手机视频业务安全提升到新的层次直播流管理系统- 该系统主要关注基于RTP组播的直播流管理建立完整的对手机视频直播流、直播源编码器、直播CP专线传输质量、直播内容前端使用率的监控与管理体系，为直播业务管理与运营提供有力支撑网络中到底有多少直播组播流？直播流是否都在CMS中发布了吗？商用状态的直播内容都真的有直播流吗？已下线直播内容的直播流在编码器停了吗？直播流的真实码率符合预期吗？各路直播流的录制状态如何？各路直播流的丢包率多少？CP到基地的专线使用率和总体丢包率多少？哪些直播流极

27、少被访问？当前手机视频直播流管理面临的问题直播流管理系统直播流质量分析与监控直播流丢包率分析与监控直播流有效性分析直播内容有效性分析与使用统计直播内容的直播流是否有效 直播流码率与发布码率是否吻合 直播内容的丢包率分析 直播内容的录制回放状态直播内容的使用统计专线利用率和质量分析专线带宽利用率分析 专线直播流丢包率分析 专线内直播流与内容综合分析系统目标流服务异常访问检测分析系统 手机视频流媒体平台每天除了产生大量的正常用户访问之外，还有大量的异常或失败访问，如能及时检测分析这些异常访问并尽快解决，降低用户使用的失败体验，就可以提升用户访问成功率和体验，并转化为可能的业务收入每天大约有5万的访

28、问，因为终端RTSP协议上的标准偏差导致访问失败每天大约有10万的访问，是因为URL请求的文件不存在或URL资源路径异常每天大约有20万的访问，是因为用户请求的URL时间戳超时用户体验的每一次失败，都有可能让平台损失用户，损失一系列可能的延伸性收入终端针对性适配兼容提升访问成功率分析并解决问题，降低访问失败率适当增加URL超时，降低用户访问失败可考虑优先用户使用，延迟异步计费修订补充页注：以上数据统计自3月5日-11日一周流服务平台多点分发与动态调度系统内容分发控制与业务动态调度系统全面提升手机视频内容多点分发的控制能力，支持CDN和多点组网模式下的业务动态调度能力，是该系统的核心价值内容管理

29、系统终端门户系统CMSAS流服务节点-1流服务节点-2流服务节点-N内容分发请求内容异步分发、策略分发、节点管理不同CP门户用户访问不同的流服务节点分发控制部件管理控制部件Web控制台分发控制系统DB1、分发策略2、分发控制3、节点管理流服务节点CMS访问调度请求支持互联网合作模式的多点分发与调度移动视频基地互联网合作联盟1流节点1流节点2流节点3主节点互联网合作联盟2流节点1流节点2流节点3主节点互联网合作联盟3流节点1流节点2流节点3主节点CMS云桥主节点钦州叶节点多点分发动态调度系统运营/门户系统分发分发分发分发调度内容分发内容同步分发访问基地的门户页面，播放被调度到合作联盟网站访问基地

30、的门户页面，播放被调度到合作联盟网站流服务播放通过多点分发和动态调度系统，将内容分发到互联网合作联盟方的CDN系统中，用户访问视频基地的门户页面，但将视频播放请求调度到合作联盟方的流服务CDN中云集中转码平台将CMS中集中（离线）转码能力独立出来，形成独立的可对外服务的平台，并结合云计算平台实现转码资源的虚拟化动态调度，打造云集中转码服务平台云计算动态调度平台云集中转码管理与服务平台 OEMS2.0（原）集中转码服务器群云平台虚拟化资源CMS媒资系统3rd平台根据多种策略进行综合调度，力争做到效率与公平的和谐统一提供多种途径的转码进度查询能力，让管理员和cp操作员都可以随时查到任务状态统一内容

31、管理系统功能优化检索类别：快速、高级检索项：名称、标签、关键字、相关性等检索信息维护内容发布、分发、下线、转码相关数据统计CP相关数据统计操作员日常操作数据统计统一内容管理系统主题分类：如两会、巴以冲突、高铁建设等内容分类：如新闻、体育、娱乐等栏目分类：如足球、非诚勿扰等流程监控：实时监控系统业务流程内容数据一致性：全量、增量数据比对及修正内容检索管理内容分类管理内容统计管理系统管理CMS视频分段截图辅助内容快速审核随着CMS内容发布量和内容时长量的快速增加，内容审核的工作量和时间也在同步线性增加，运营压力日益增加作为一种快速审片的技术支撑手段，将视频按时间分段截图，快速概要的将视频内容画面展现在审核员面前，是一种相当不错的用户体验视频时间轴分段截图 快速概览视频内