产品数据分析系统用户手册

产品数据分析系统用户手册 v1.0产品数据分析系统用户手册 V1.01 系统介绍综合资源数据分析系统基于先进的 BI 技术，采用 B/S 架构，包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法，使用人员还可以根据需要，自定义指标、维度、历史数据范围等，以多种直观、灵活的方式展现。实现短信、彩信、手机上网等重点业务端到端的质量分析；实现网络隐患的主动发现与溯源；实现多专业的日常分析和跨专业的网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产和优化方案制定。综合资源数据分析系统面向维护、面向质量、面向经营，通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内的各层面系统的信息资源，通过对信息深加工和智能化分析挖掘，提供“可视、可分析、可溯源” 的能力。打通与 BOSS 系统接口，结合 BSS 数据进行跨域分析，解决网络资源的精确投放问题；综合资源数据分析系统提供灵活自定义功能实现多专业的日常分析和跨专业的专题分析，提升运行维护效率，同时也大大减轻了一线人员的压力。2 系统设计产品数据分析系统用户手册 v1.02.1 系统逻辑架构数据仓库D W元数据管理安全管理基础服务组件即席查询报表引擎数据转换采集调度自动分析规则管理报告引擎多维分析数据质量管理系统管理应用层信息呈现数据呈现层信息发布数据订阅应用模板管理呈现模板管理OLAP服务M e t a D BS y s D B数据共享封装知识共享接入管理s q o pO D M - D BO r i g i n a lV e n d o r S p e c i f icC o m m o n数据采集Avro(Serialization)Zookeer(Coordination)P i g ( D a t a F l o w ) H i v e ( S Q L )M a p R e d u c e ( J o b s c h e d u l i n g / E x e c u t i o n S y s t e m )H b a s e ( C o l u m n D b )H D F S ( H a d o o p D i s t r i b u t e d F i l e S y s t e m )云计算基于高效的虚拟计算资源，应用程序，以灵活安全的方式达到快速扩展和缩减的效果，从而交付高品质服务。业务以及客户服务以相对简化的方式交付，这将大大推进立异和高效决议计划。因此综合资源数据分析系统也采取基于云计算的技术架构，采用了服务器池、存储池、网络及安全池架构虚拟化结构。2.2 系统逻辑数据模型综合资源数据分析系统逻辑数据模型划分为五个主题域： 客户主题域：描述各类参与人（个人、集团、团体等）在中国移动业务活动所处角色的各类信息，主要包括客户、客户性能； 服务主题域：描述中国移动向客户提供的主要服务，主要包括服务、服务性能； 资源主题域：资源是移动公司拥有的为客户提供服务的所有载体，主要包括资源、资源性能； 公共主题域：主要包括基本类型、时间、位置、性能等等； 企业效能主题域：企业效能主题域主要刻画企业内部资源的生产效率，包括网络的效率和运维人员工作的效率等等；产品数据分析系统用户手册 v1.0各主题域之间的关系如下 Error! Reference source not found.所示：资 源 性 能企 业 效 能 客 户 性 能客 户 0.*0.* 服 务 性 能空 间服 务0.*0.* 10.*资 源 0.*0.*0.*0.*时 间性 能 0.*0,21 0.*基 本 类 型 ABE 0.*0.*产品数据分析系统用户手册 v1.02.3 系统模型结构综合资源数据分析系统服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据的市场相关人员，实现匹配网络资源与业务发展，发现网络短板，优化客户感知，提升运行维护效率的目标，为企业运营决策和维护优化提供完整、及时、准确、科学的信息支撑，从而保障网络收益最大化，保持竞争优势。网络综合资源数据分析系统涵盖 4 大专业，3 大网络和 8 大规模业务，聚焦网络问题，对问题进行层进实溯源分析，实现网络隐患的主动发现与溯源；重点实现语音、短信、彩信、WAP。CMNET 和手机报的端到端分析；实现网络概览、网络运行分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。3 实现的功能产品数据分析系统用户手册 v1.03.1 元数据管理3.1.1 元数据基本功能本章节对元数据管理模块基本功能做出要求和描述，主要包括元数据基本维护、元数据变更管理、元数据查询、元数据统计、元数据质量管理和元数据权限管理。3.1.1.1元数据的基本维护元数据维护提供对元数据的增加、删除和修改等基本操作。对于元数据的增量维护，要求能保留历史版本信息。元数据的维护操作是原子操作，这些原子操作可通过服务封装的形式向综合资源数据分析系统的其它模块提供元数据维护接口。3.1.1.2元数据变更管理元数据变更管理包括变更通知和版本管理两个部分。变更通知是当元数据发生改变时，系统自动发送信息（邮件、短信）给订阅用户。用户可以主动订阅自己关心的元数据，帮助了解与自身工作相关的业务系统变更情况，提高工作的主动性。版本管理是对不同时期进入元数据库的同一实体的元数据进行管理。要求的基本功能是能够显示同一实体的元数据的修改历史。另外还提供版本差异分析和版本变更分析等。并且能够进行单个元数据版本的恢复。3.1.1.3元数据查询对元数据库中的元数据基本信息进行查询的功能，通过该功能可以查询数据库表、维表、指标、过程及参与的输入输出实体信息，以及其它纳入管理的实体基本信息，查询的信息按处理的层次及业务主题进行组织，查询功能返回实体及其所属的相关信息。元数据查询功能要求支持对历史版本信息的查询，以了解具体实体的历史变更情况。产品数据分析系统用户手册 v1.03.1.1.4元数据统计元数据统计是指用户可以按不同类别进行元数据个数的统计。方便用户全面了解元数据管理模块中的元数据分布，该统计功能可以按元数据类型、元数据创建者和元数据的版本号来进行统计。3.1.1.5元数据质量管理元数据管理模块应具备对元数据本身质量进行检查的功能。元数据质量检查包含但不限于以下内容：元数据一致性、元数据关系的健全性、元数据属性的填充率、元数据名称重复性、元数据关键属性的填充率和元数据关键属性值的唯一性。对于以上检查结果，元数据管理模块可生成详细的检查报告，并能够支持相关人员对检查报告的检索和查找，能够把指定的检查报告导出成 Excel、PPT 等更易于阅读的文档。元数据一致性检查一致性检查主要是指从运营分析系统中抽取元数据，并与元数据库的对应信息进行比较，及时发现运营分析系统的应用变更，保证元数据的及时更新。一致性检查包括两种方法：自动检查和人工检查。产品数据分析系统用户手册 v1.0元数据关系健全性检查在运营分析系统元数据库中，除个别类型元数据之外，各类元数据之间都有着千丝万缕的联系，并且相互间的关联关系需要保持一致，不应出现空链或者错链的情况(即存在外键或链接，但所链接的内容不存在或错误)；运营分析系统各个子系统内部的元数据之间的关联也要保持一致；同时，子系统之间的元数据关联也要保持一致（不能出现某一个系统引用另一个系统中出现的元数据对象，却在另一个系统中找不到这个对象的情况） 。元数据管理模块通过元数据的这些关系描述了运营分析系统的数据流向、过程依赖和业务承载等各种内在的规律。元数据关系是否健全直接影响到维护人员的问题判断和处理结果，直接影响着开发者对数据流向的分析和判断，因此，元数据管理模块必须在元数据的关联关系健全性方面作好保障检查工作。对于元数据关系健全性检查工作，可以从以下几个方面进行： 数据处理关系检查数据处理关系是数据实体和数据处理过程之间的关系。数据处理关系检查是从元数据库中找出缺乏应有数据处理关系的数据实体和数据处理过程。例如，找出没有与任何数据处理过程建立数据处理关系的数据实体和找出没有与数据实体建立数据输入输出关系的数据处理过程。 上下级关系检查产品数据分析系统用户手册 v1.0上下级关系是在元数据库中对运营分析系统实体进行分级管理所形成的元数据关系，例如将指标按业务主题和业务子主题进行分级管理。上下级关系检查是在元数据库中找出存在不合理上下级关系的实体，例如找出没有与任何业务主体建立关系的指标。 组合关系检查组合关系是运营分析系统实体之间的整体和部分关系，例如数据库表和字段之间的关系。组合关系检查时在元数据库中找出存在不合理组合关系的元数据，例如找出没有与任何数据库表建立关系的字段。元数据属性检查元数据属性检查是对元数据库中实体属性详细信息方面的检查，包括元数据属性填充率检查、元数据名称重复性检查和元数据关键属性值的唯一性检查等。对于元数据属性填充率检查，省公司可以根据自己的建设情况，抽样检查部分重要属性，原则上必须涵盖实体的关键属性。产品数据分析系统用户手册 v1.03.1.1.6元数据权限管理元数据模块的权限管理负责元数据管理功能的权限分派、审批以及访问日志记录，实现对元数据管理模块的数据访问和功能的使用进行有效监控。元数据管理模块的权限管理工作应纳入综合资源数据分析系统中统一管理。3.1.2 元数据分析功能本节详细描述了综合资源数据分析系统元数据管理模块功能层的各个分析功能。本章节对元数据管理模块分析功能做出要求和描述，主要包括元数据血统分析、元数据影响分析、数据映射分析、差异分析和实体关联分析。3.1.2.1血统分析血缘分析（也称血统分析）是指从某一实体出发，往回追溯其处理过程，直到综合资源数据分析系统的数据源接口采集层。对于不同类型的实体，其涉及的转换过程可能有不同类型，如：对于底层仓库实体，涉及的是 ETL 处理过程；而对于仓库汇总表，可能既涉及 ETL 处理过程，又涉及仓库汇总处理过程；而对于指标，则除了上面的处理过程，还涉及指标生成的处理过程。数据源接口实体由源系统提供，作为综合资源数据分析系统的数据输入，其它的数据实体都经过了一个或多个不同类型的处理过程。血缘分析正是提供了这样一种功能，可以让使用者根据需要了解不同的处理过程，每个处理过程具体做什么，需要什么样的输入，又产生什么样的输出。产品数据分析系统用户手册 v1.0为实现血缘分析，对于任何指定的实体，首先获得该实体的所有前驱实体，然后对这些前驱实体递归地获得各自的前驱实体，结束条件是所有实体到达数据源接口或者是实体没有相应的前驱实体。血缘分析应能够以图形的方式展现所有实体和处理过程。3.1.2.2影响分析影响分析是指从某一实体出发，寻找依赖该实体的处理过程实体或其他实体。如果需要可以采用递归方式寻找所有的依赖过程实体或其他实体。该功能支持当某些实体发生变化或者需要修改时，评估实体影响范围。影响分析应能够以图形的方式展现所有实体和关联关系。3.1.2.3数据映射分析用户能够查看数据处理程序内部的映射关系，了解数据加工过程的细节。以图形展现数据的处理过程。3.1.2.4差异分析实体差异分析是对元数据的不同实体进行检查，用图形和表格的形式展现它们之间的差异，包括名字、属性及数据血缘和对系统其他部分影响的差异等。3.1.2.5实体关联分析实体关联分析是从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况，形成一张实体和所参与处理过程的网络，从而进一步了解该实体的重要程度。本功能可以用来支撑需求变更影响评估的应用。对于关系数据表，可以分析与某个表有关的实体或处理过程，查看具体数据的使用情况，从而判断该表的重要程度。该功能有助于寻找数据库中关键表和冗余表，为系统调优提供支持。产品数据分析系统用户手册 v1.03.2 数据质量管理3.2.1 数据质量监控3.2.2 数据质量问题处理数据质量问题处理包括问题生成（来源） 、问题分析、问题处理和问题总结四个环节，下面分别表述。3.2.2.1问题生成按问题生成途径可以把数据质量问题分为以下几种： 数据质量监控生成的问题数据质量监控根据预先配置的告警转问题规则，可由系统自动将一定级别的告警转为数据质量问题；也可以在告警处理过程中手工方式将告警转为问题。数据质量监控生成的问题主要由告警信息组成，问题发现时间为告警产生的时间。产品数据分析系统用户手册 v1.0 数据质量评估发现的问题通过对数据质量一段时期的评估，可能从中发现一些数据质量问题，通过数据质量问题提交接口（界面）提交数据质量评估问题。 业务人员或维护人员手工提交的问题综合资源数据分析系统的业务人员或维护人员在日常工作过程中也会发现数据质量有关的问题，使用人员可以通过问题提交功能记录数据质量问题。可以通过 EOMS 进行问题工单的流转也可以通过数据质量模块的问题录入界面进行问题的录入。在以上三种数据质量问题中，数据质量监控生成的问题为系统自动产生的问题，其余两种为手工提交的问题。在问题生成过程中，无论是自动生成还是手工提交的问题，都可以先检查数据质量知识库中是否有相同或类似的问题，生成建议的解决方案。3.2.2.2问题分析数据质量问题生成后，首先需要进行问题的分析与定位工作，当发生重要或严重级别的问题时，可根据需要先采取数据处理流程挂起和问题隔离措施：通过手工或自动的方式将数据处理流程挂起，并将存在问题的数据进行隔离。通过流程挂起和问题数据隔离，可将问题的影响范围控制在较小的区间内，防止问题扩大，便于问题的解决。无论是否采取问题隔离措施，在问题分析与定位过程中，根据问题信息和问题关联的对象，对问题的原因进行分析。在分析过程中借用以下两种工具辅助分析与定位问题： 元数据分析工具使用元数据分析工具首先需要知道问题关联的对象，或者在问题信息中先识别问题关联的对象，然后通过元数据管理模块的分析工具进行问题分析与定位才有效。如使用血缘分析工具定位问题产生的根源，使用影响分析工具分析问题对综合分析全局的影响程度等。 数据质量知识库通过问题信息中的关键字、问题关联的对象或对象类型，可以在数据质量知识库中寻找相同或相似的问题，通过分析历史问题的发生规律，有利于对当前问题的分析与定位。3.2.2.3问题处理对于综合资源数据处理环节造成的数据质量问题，启动相应的数据质量维护流程，解决相应的数据质量问题。可以考虑通过 EOMS 系统来处理数据质量的相关问题。产品数据分析系统用户手册 v1.03.2.2.4问题总结1) 问题总结类型当问题处理环节结束后，需要对问题处理的全过程进行记录和总结。问题总结可以划分为不同的类型： a) 单一数据质量问题的总结单一问题的总结是对单个数据质量问题处理的过程和结果进行评估；以及在采集、检查、报告和处理等过程信息进行整理，形成问题处理案例，存入数据质量知识库中，以便质量管理工作的改进。b) 数据质量的阶段性总结阶段性总结是对综合资源数据分析系统一个时间阶段内的数据质量状况进行总结。阶段性总结数据质量监控信息库、数据质量问题信息库和数据质量知识库为基础，通过对各种信息进行分类统计，得到不同角度的总结报告，如月度数据质量问题分析报告和数据源接口质量评估分析报告等。经过问题总结，形成数据质量知识库，其中问题处理过程、问题解决方案等均可以作为数据质量知识的一部分进行存储。2) 问题总结对系统功能的要求a) 问题查询功能查询作为总结分析功能的基础，系统能对数据质量存储库中的各类信息进行灵活查询，这些信息包括：采集数据、检查结果信息、监控报告（包括告警信息） 、数据质量问题及问题处理过程和数据质量知识库等，同时，查询所得的数据是关联性的，如某一数据质量问题可以追溯到检查结果信息、采集信息和被检查对象及属性等。b) 问题统计分析功能系统能快速的统计某一维度或组合维度的数据质量情况，如可以统计某周期内数据质量问题总数、接口到达及时率、关键指标波动区间等等。通过统计功能分析数据质量阶段问题，优化检查规则、并可形成知识。c) 问题总结转化为知识功能通过对问题的总结，可以将典型的问题及其解决方案转为数据质量知识；或者将共性的、普遍的问题及其解决方案经归纳后转为数据质量知识。系统应该提供将问题总结转化为知识的辅助功能。产品数据分析系统用户手册 v1.03.2.3 数据质量知识库数据质量知识是在综合资源数据分析系统使用及运维过程中，由数据质量管理子系统收集的有关数据及过程问题的处理经验总结。这些知识可作为今后数据质量问题解决方法的参考，并可以按关键字的形式进行索引和分类管理。3.2.3.1数据质量知识的产生数据质量知识主要来源于对数据质量问题的总结，同时，对数据质量问题的不同解决方案以及对知识本身的评价也是对数据质量知识的补充与完善。通过调用综合资源数据分析系统知识库的知识生成接口提交数据质量知识。数据质量知识库中包括了以下经验的集合：接口问题解决经验、数据抽取问题解决经验、数据转换问题解决经验、数据加载问题解决经验、数据仓库问题解决经验、应用汇总问题解决经验和指标问题解决经验等。产品数据分析系统用户手册 v1.03.2.4 数据质量评估数据质量管理系统在对数据的质量进行监控的同时，也对数据提供者有了考核的依据。考核评估包括以下功能： 数据质量核查评估规则管理 数据质量核查评估报表 数据质量核查评估报告3.2.4.1数据质量评估规则管理数据质量评估规则是指根据核查结果，对数据核查特性的一个量化评估规则。例如数据的完整性，可以根据数据的完整率对应的评估；数据的及时性根据数据不及时的次数进行评估；数据的有效性根据数据的有效率进行评估；数据的一致性根据波动率超过阀值的次数进行评估。 提供数据质量不同特性的数据考核规则增加、修改、删除； 保存考核规则的历史修订记录； 查看历史记录；支持区分核查的数据内容，设置数据完整性、及时性，有效性，一致性的评分规则；3.2.4.2数据质量评估报表根据核查结果以及核查评分规则的设置， 自动提供核查评估报表。考评表 细分 详细描述数据源性能完整性报表呈现各数据源各性能数据集的数据完整率以及对应的评分数据源配置完整性报表呈现各数据源各配置数据集的数据完整率以及对应的评分完整性考核日报表核查点配置完整性报表呈现各核查数据集配置完整率以及对应的评分产品数据分析系统用户手册 v1.0核查点性能完整性报表呈现各核查数据集性能完整率以及对应的评分告警完整性 分 OMC 呈现每天的告警完整率数据源性能数据及时性呈现各 OMC 各性能数据集的数据及时率以及对应的评分数据源告警数据及时性呈现各 OMC 告警及时率以及对应的评分报表数据采集层性能数据及时性分 OMC 呈现 各性能数据集采集的数据及时率以及对应的评分及时性考核日报表数据采集层告警数据及时性 分 OMC 呈现 告警及时率以及对应的评分数据源数据有效性报表分 OMC 呈现各核查数据集的数据有效率以及对应的评分有效性考核日报表 核查点数据有效性报表分核查数据集呈现数据有效率以及对应的评分一致性日报表每日各数据采集点波动率超阀值次数数据质量综合评估日报表数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估日报表。数据质量综合评估月报表数据源、各网管系统的数据完整性、及时性、有效性、一致性综合评估月报表。3.2.4.3数据源接口质量评估数据源接口质量评估是数据质量管理子系统在元数据管理模块的支撑下，对数据源接口质量的定期评估，是综合资源数据分析系统对数据源接口数据质量的定期考核。在一定时间范围内，数据质量管理子系统通过对数据源接口质量问题的统计分析，结合数据源接口质量评估规则，生成数据源接口质量评估报告。数据源接口质量评估要求在以下数据质量问题指标的基础上，建立数据源接口质量指标考核体系，主要包括以下两大类 9 个指标：产品数据分析系统用户手册 v1.0 数据质量问题类指标 不准确问题数量 不一致问题数量 不及时问题数量 不有效问题数量 不完整问题数量 数据质量处理情况指标 数据源接口问题总数量： 指在一定时间范围内，数据源接口出现数据质量问题的总数量（包括重复出现次数） ； 问题处理完成比率： 指在一定时间范围内，处理完成的数据源接口质量问题数量与数据源数据质量问题总数量的比值； 问题平均处理时长： 指在一定时间范围内，数据源接口质量问题处理总时长与数据源数据质量问题总数量的比值； 重大问题出现次数： 指在一定时间范围内，出现重大数据质量问题的次数，如：影响增值业务话单接口数据质量问题等。数据源接口质量评估功能要求在元数据管理模块中配置数据源接口质量评估规则，并进行数据源接口质量评估规则的管理。数据源接口质量评估规则是指：根据数据源接口质量问题各指标对综合资源数据分析系统数据质量影响程度的不同，在元数据管理模块中定义与各指标相对应的评分规则。数据源接口质量评估要求数据质量管理子系统将每月的数据源接口质量评估结果及时发送给数据源系统相关管理人员。数据源接口质量评估报告应详细反映当月数据源接口质量问题情况，主要应包括以下内容：1) 评估月份2) 数据源接口质量问题各指标值3) 数据源接口质量评分接口侧质量问题、发生时间、问题类型、严重级别、问题描述和处理结果。3.2.5 数据质量对外服务数据质量管理子系统是综合资源数据分析系统的有机组成部分，通过与综合分析其它产品数据分析系统用户手册 v1.0模块的信息交互可以提升数据质量管理子系统的利用价值。同时，数据质量管理子系统本身也可以利用这些服务功能。数据质量对外服务功能一般以界面集成（页面嵌入）或服务接口调用方式供综合分析门户使用。3.2.5.1数据质量信息查询功能数据质量信息查询可以分为以下两种信息的查询：1) 数据质量问题查询：可以查询单个或多个对象在某个时间段内的数据质量问题，对于存在数据质量问题的信息给予特别显示（如红色字体、闪烁等） ，以引起运维人员的注意，运维人员可以从该指标对象出发进行问题的分析与处理。2) 数据质量统计查询：可以查询某一维度或几个组合维度的数据质量统计信息，如在综合资源数据分析系统中使用该查询功能以显示上周数据质量问题总量、接口到达率等。3.3 数据采集管理3.3.1 数据采集3.3.1.1主动检测主动检测为主动采集的发起方。检测数据源端数据完整性，检测到数据完整后主动发送触发采集的消息。主动检测需要具有较高效率，最大限度降低由于检测造成的数据源侧负荷。检测功能主要包括检测任务生成和检测任务执行。检测任务生成需提供配置功能，可对检测对象、检测周期、理论数据条数、经验时间点等参数进行配置。各个数据源应当优先提供数据库接口，对于数据库接口可以根据设定的某测量当前时间的理论数据条数、该测量最近一段时间的平均数据条数和指标检查规则来检查数据源侧数据的完整性。对于其他接口方式可以根据具体的接口特性进行检测规则的设置。考虑到当前数据源侧的数据质量的不稳定因素，主动检测模块应当能够对数据源侧的数据入库时间戳进行识别，对于变化的数据应当具备重新采集的能力。也可以通过对数据源侧的数据库日志进行跟踪，感知数据变化从而触发采集。产品数据分析系统用户手册 v1.03.3.1.2对数据源侧触发消息的接收综合资源数据分析系统应当提供消息接收能力，即能够接收各专业网管发送的专业网管数据准备好通知消息，及时进行数据的采集，当专业网管进行数据补采后，也能及时触发综合分析进行数据补采，最大限度保持数据完整性。要求综合资源数据分析系统具有较强的并发能力，不丢消息，在 1 分钟内完成消息入库，保证后续能及时进行采集。3.3.1.3数据采集解析数据采集适配器负责按照接口类型、特性从不同的数据源通过文件接口、指令接口、数据库接口等方式从网元、OMC 侧或其他网管侧获取基础数据，然后对获取到的原始数据进行格式标准化，写入数据缓冲区。采集适配器应当为支持二次开发的程序或组件，对于同一种接口类型、接口特性的多个数据源应当作为同一个程序的多个实例存在，而只针对不同的接口类型设定不同的适配器。采集适配器应当具备可视化的配置管理能力，即可以通过图形化界面对不同的数据源选择不同的采集适配器进行数据采集，并对不同的数据源根据实际需要，可视化的配置需要采集的数据范围和相应的约束条件。对于数据源侧的数据配置信息应当从元数据库中获取被采集侧元数据，并在采集模块的配置界面中通过可视化界面进行采集范围的选取。对于数据的格式标准化，应当遵照 ODM-A 相应模型的约定，尽量保持原有数据源侧的模型结构。产品数据分析系统用户手册 v1.03.3.1.4数据装载把格式化的数据写入到 ODM-DB 数据库中，数据入库策略支持增量入库、全量入库方式。 增量入库：只把采集到的新数据入库； 全量入库：采取把数据库中数据先删除后入库方式。3.3.1.5数据智能补采根据数据的完整性情况，和数据补采策略，能够自动重新发起采集任务，把数据重新进行采集，保证数据的完整性，最大限度和数据源侧保持一致。3.3.2 数据转换3.3.2.1数据抽取从 ODM-DB 中获取数据，加载到数据缓冲区。数据缓冲区可以采取文件方式或者数据库方式；如果采用数据库方式则需要对临时数据和正式数据分开存储。3.3.2.2数据清洗数据清洗负责对“脏数据”进行剔除，消除数据的不一致。“脏数据”包括不规则数据、不符合事实数据，如：取值范围、完整性规则、拼写检查等。产品数据分析系统用户手册 v1.0对于数据清洗过程要求具备完善的日志功能，日志内容需要记录数据清洗的原因，被清洗的数据存放到哪里和被清洗的记录数。在元数据管理中已经对数据的基础值域范围进行了描述，数据清洗模块可以从元数据管理系统中获取相关信息进行数据处理。3.3.2.3数据转换数据转换主要包括如下三个方面： 统一网元数据编码，将不同数据源的同一网元的数据集中转换成统一格式编码； 转换数据类型，对与目标数据类型不一致的数据进行转换； 转换数据格式，对与目标数据格式不一致的数据进行转换。在该模块的程序日志中，需要记录数据转换的原因和记录数。数据转换算法应当可被元数据管理系统识别并采集。3.3.2.4数据装载直接加载数据缓冲区中无需另外处理的“干净”数据；加载经过清洗和转换后的符合目标数据模型的数据；加载成功后，删除缓冲区中相应数据，并写进日志文件；加载日志包括加载记录数和加载时间戳。3.3.3 数据汇总数据汇总算法主要包括：汇总时间粒度、汇总网元粒度、汇总映射算法等，采用元数据方式描述。需要将细粒度数据根据维度层次汇总成高粒度数据，包含时间、空间粒度、产品数据分析系统用户手册 v1.0业务等汇总。汇总任务触发条件：完成维度数据和事实数据加载后触发。汇总日志主要包括：汇总粒度、汇总时间戳、汇总原始数据记录数、汇总结果记录数。3.3.4 任务调度由于数据采集模块需要发起大量的数据采集、转换、加载等任务，所以要求该模块具备完备的任务调度管理能力，能够对各类任务进行配置、启动、跟踪。并具备任务联动能力，即可以将多个任务通过流程组装成一个联合任务，各任务之间存在相互制约关系，任务调度管理能够根据各任务的执行状态、结果来自动的启动后续任务，任务间允许并发及串行两种模式。要求各任务的配置应当为可视化的配置。对于任务启动至少包括定时启动和条件启动两种模式。同时允许管理员进行任务的手动执行。3.3.5 任务监控系统应当具备对当前系统已经执行和正在执行的各项采集、转换、装载等任务的监控能力，即可以通过可视化的界面对各任务的启动时间、执行状态、执行结果、结束时间等进行实时监控。应当能够对任务队列深度进行监控，当出现异常时，系统应当能够给出相应告警信息。3.4 综合分析3.4.1 网络概览网络概览提供一个呈现最新的网络信息的公共窗口，分为综合视图和专业视图。采用了雷达图、柱状图、趋势图、分布分析等分析方法，提供各专业重要指标的展现和分析，如核心网用户数、全省 GSM 话务量分布、网络利用率、网络能力、 集团考核 KPI、省内考核 KPI、网络故障等。供管理人员全面、直观了解各专业网络业务发展趋势、总体运行产品数据分析系统用户手册 v1.0情况和网络能力匹配情况；掌握网络质量和客户感知的变化趋势，及时发现网络和业务发展的异常，辅以管理流程督促解决。网络概览呈现的内容可以为公司决策层领导、管理层领导及生产人员提供一个集中、全面了解全网运行质量情况、业务发展情况、关键网络问题、全网资源情况等的渠道，有助于领导迅速了解整体网络情况和关键问题，从而为迅速决策提供依据。对异常指标集中提示，达到异常信息共享的目的，引导生产人员及时发现网络异常情况，提高问题的处理效率。3.4.2 网络运行分析网络运行分析通过对网络的分析，预测，发现网络性能问题和瓶颈，定位问题原因，发现网络恶化趋势并进行预防，及时排查网络隐患；为管理层、规划等部门提供网络运行的质量现状、网络负荷情况和分布规律、网络资源利用效率和均衡性等方面提供评估依据。网络运行分析包含网络容量、网络质量、网络故障三部分主题分析。其中网络容量包含了网络规模、网络负荷和网络利用情况的分析，网络质量分析包含无线网、核心网、数据网、增值网、传输网的网络质量分析，网络故障分析包含了一般故障分析和告警分析。3.4.3 业务能力分析业务能力分析实现面向业务的分析实现业务的端到端管理，支持业务整体质量及业务价值提升，提升网络质量与网络效益。业务能力分析包含用户量分析、业务量分析、业务质量分析、业务运营分析、集客业务分析五部分内容。通过业务能力分析，掌握网络业务发展和趋势变化情况，了解网络容量和业务发展是否匹配，判断是否由于业务量的变动导致网络负荷的波动的问题。，通过分析各类业务流量和发展情况，掌握网络业务发展和趋势变化情况，最终达到合理规划资源，提高网络利用率的目标。产品数据分析系统用户手册 v1.03.4.4 客户全向分析客户全向分析对客户进行全方位多纬度的分析，通过用户数量分析展示用户发展趋势，客户行为分析了解用户的使用习惯，为业务发展提供依据，从用户感知的角度，基于客户感知指标和客户投诉数据，多维度进行问题挖掘分析，定位引起客户感知恶化的网络问题，同时通过分析客服转派的投诉工单，从三个角度进行统计分析，发现网络薄弱环节、隐患，为网络优化提供方向。同时对各投诉工单处理单位、各类投诉的处理时长进行分类统计，掌握各类投诉处理的一般情况，从而为提升客户感知，降低用户投诉等提供有力的保障。客户全向分析包含客户行为、客户感知质量、客户投诉、客户终端、异常事件五方面内容。其中客户感知包含客户感知评估体系框架、语音业务分析、短信业务分析、彩信业务分析、手机报业务分析、彩铃业务分析、客户满意度分析等主题分析。通过分析客户的感知反馈，及时对出现的异常现象进行根源分析和处理，降低客户投诉率。 3.4.5 网络运营分析网络运营分析面向运维工作管理，发现改进运维工作的重点方向，支撑运维支撑效率提升与成本缩减。通过分析主要运维流程的进处理质量和效率，为管理层快速了解运维人员工作效率，各个部门的沟通效率、配合效率等提供直观和定量化的手段，从而近一步提升运维支撑效率。3.5 安全管理系统安全管理模块负责综合资源数据分析系统的敏感数据的访问控制和各环节审计日志记录的管理，对综合资源数据分析系统的数据访问和功能使用进行有效监控和控制。同时配合 4A 管理平台实现安全管理功能。当 4A 管理平台发生异常时，应急配置管理可以提供应急处理方案。产品数据分析系统用户手册 v1.03.5.1 用户信息管理用户管理模块管理用户基本信息及相关验证信息，主要包括：姓名、账号、密码、部门、手机号、邮箱、所在地区、备注等。3.5.2 用户组信息管理用户组管理包含以下内容： 用户组维护可以对用户组进行增加、修改、删除等操作，用户组信息主要包括：名称、描述、是否有效、所属上层用户组等。 树形结构用户组采用树形的管理结构，参照公司的组织架构，使对用户的管理更加清晰，权限分配也更加容易。3.5.3 角色管理角色管理应包含两部分内容： 管理各功能模块与角色的对应关系，支持角色对综合资源数据分析系统功能模块权限的增、删、改等操作 角色本身和管理：角色进行增删改操作时，属于本角色的用户对相应的综合资源数据分析系统功能模块的权限也作相应的变动。产品数据分析系统用户手册 v1.03.5.4 权限管理权限管理是对综合资源数据分析系统维护及使用权限的管理，主要涉及对操作该系统的人员进行授权管理和对系统功能角色的管理。权限划分包括用户功能权限、用户数据权限、用户资源权限三个部分。资源权限管理支持按照参与者主题域、资源主题域、事件主题域、性能主题域、财务主题域的具体实体内容进行资源权限指定和定义个功能，如指定某个用户只能按照某一主题域实体进行数据访问操作。产品数据分析系统用户手册 v1.03.5.5 用户认证管理综合资源数据分析系统与 4A 平台配合，实现单点认证 SSO（Single Sign On）功能：用户在登录 4A 平台后，在访问综合资源数据分析系统时无需重复登录。综合资源数据分析系统接收用户的认证请求，将用户请求信息发送到 4A 平台，由 4A平台为合法用户生成用户身份凭证，并将凭证反馈至综合资源数据分析系统，从而完成用户登录认证过程， 3.5.6 日志管理综合资源数据分析系统从各环节层次抽取的审计日志信息，按照 4A 管理平台的要求对其进行重新过滤和格式化整理，并最终进行日志信息入库。整个过程需实现处理的流程化及自动调度机制，以保证 4A 管理平台能够及时地获取日志数据。综合资源数据分析系统对各层次所产生的日志记录进行获取并整理。其中包括访问层日志记录、应用层日志记录、数据存储层日志记录、数据获取层日志记录以及元数据管理和数据质量监控的日志记录。3.5.6.1 日志审计管理操作日志审计综合资源数据分析系统的全部日志信息可被安全管控平台获取，由安全管控平台完成各类日志审