数据稽核文档

1、数据稽核文档1.1数据稽核1.1.1稽核策略如图所示，DM数据稽核的大致思路是通过数 据完整性、数据一致性、数据准确性三方面依次对 DM层数据进行稽核，每一步都为下一步做准备， 层层递进，环环相扣，以保证DM获取层、基础层、 衍生层、复合指标层以及视图层的数据质量。应用数据层准确性复合指标层完整性、准确性衍生数据层一致性基础数据层一致性数据获取层完整性、一致性、准确性1.1.1.1数据完整性接口层从兴管控平台数据完整性稽核主要包括，实体是否在规定的 时间点提供了并加工生成了数据，实体中指标是否 完整覆盖订阅指标两个方面，首先考虑实体中各账 期各省份是否有数据（即判断数据是否缺失），只有 在实体

2、有数据的基础上才能做进一步的数据稽核， 其次检查数据中指标是否满足需求，是否包含指标 订购的指标。实体是否在规定的时间点提供了并加工生成了 数据，相当与已经具备了一个完整的木桶，指标覆 盖了订购，相当与已经盛满了鱼。数据完整性稽核的目的也就是，用完整的“木 桶”，盛满我们需要的“鱼“。1.1.1.2数据一致性数据在由数据源到数据获取层，数据获取层到 基础数据层，再由基础数据层到衍生数据层的传递 过程中，数据能否保持一致也成为纵向实体间稽核 的内容。在此基础上，检查横向实体间在相同口径 下的相同指标的指标值是否一致。虽然实体间相同口径下相同的指标是建设集市 极力避免出现的，但是一旦出现并使用，就

3、要要对 此进行严格的稽核管控。这种大量横纵十字交叉的方式进行一致性的检 查，便形成了一种网状稽核。数据一致性网状稽核复合指标层的一致性稽核主要包括复合指标层 实体内上期值、累计值等对应一致的稽核，这不仅 保证了复合指标层的数据一致，而且便于数据的准 确性稽核。1.1.1.3数据准确性数据在时间推移的过程中不可能一成不变，会 按着一定规律波动，我们依照以往指标数据，确定 不同指标的波动上限，波动下限，形成一个指标的 正常波动范围。在数据保证完整一致的基础上，对当前更新的 月数据作环比来表现月指标的变化状况，对当前更 新的日数据作同比来表现日指标的变化状况，严格 控制阀门，一旦超出指标正常波动范围

4、，准确及时 地找到异常数据。另外，我们用排名对比的方法体现复合指标层 指标较上月的排名变化，把指标省内排名和全国排 名变化较大的标记为异常指标。以上是本月比起上月同期值的变化情况，如果 指标为异常，我们并不能确定哪个月的数据异常， 因此，弓I出在时间序列上的指标数据展现，从而确定异常数据来源。1.1.2稽核规则根据稽核策略，我们制定了数据完整性、数据 一致性、数据准确性稽核的标准，提供数据稽核时 参照的依据，也就是稽核规则。1.121数据完整性稽核规则1.1.2.1.1数据是否缺失稽核依照数据应出数时间，与数据实际出数时间对 比，检查实体是否在规定的时间点提供了并加工生 成了数据。例如：日指标

5、的应出数时间为第二天的四点， 我们就可以以此为标准，检查日指标是否在规定的 时间点提供了指标数据。1.1.2.1.2指标是否缺失稽核将表中所含指标与需求订购表作对比，表中没 有且订购表中有的指标即是表中缺失的指标。比如 说一个表我们需要N个指标，但数据接口层的表只 提供了这N个指标中的N-1个，那我们就可以找出 这一个缺失的指标，反馈给数据提供方。如图所示，显示了两个表的所有订购指标，稽核这两个表的完整性时以这些指标为参照，找出缺 失的指标列出来。日 DM_KPI_ESS_TERM_D月 DM_KPI_W_MOB_BAS_M终端补贴用户主叫 计费时长、终端销 售量上网流量、网 上用户数、流量用

6、 户数、三无用户数、 活跃用户数、终端 补贴金额、终端补 贴主叫通话用户数 套餐包上网流量、 短信条数、下行流 量、佣金、预流失 用户、套餐包主叫 计费时长、计费时 长、上行流量、流 量用户数、活跃用 户数、三无用户数、 携入用户数、欠费 用户数、新增用户 数、出账用户数、 离网用户数、合约 到期用户数、注销 用户数、转网用户 数、停机用户数、 发展用户数、套餐 转移用户数、通话 用户数、流失用户 数、未出账用户数、 终端补贴用户数、 通话次数、终端补 贴金额、上网次数、 上网时长、通话时 长、上网流量、综 合优惠金额、缴费 金额、欠费金额、 出账收入、网上用 户数、出账收入、 上网流量、活跃

7、用 户数、短信条数、 出账用户数以上是稽核基础指标是否缺失，要考虑基础指 标在非公共维度上是否缺失，这种情况我们可以通 过稽核复合指标是否缺失来实现。系统页面展示时 会以复合指标+公共维度的方式展现，我们通过稽 核复合指标在公共维度（时间、地域、产品类型、 渠道类型等）上是否缺失来实现。a数据完整性稽核.XISX1.122数据一致性稽核规则1.1.2.2.1数据纵向表间传递稽核纵向表间稽核可分为数据获取层与数据仓库数 据源指标值的对比稽核、基础数据层同衍生数据层 指标值的对比稽核。数据获取层与数据仓库数据源指标值的对比稽 核：通过对数据获取层，数据源在相同账期，相同 省份的相同口径下的各指标值

8、作差。若差值为零， 则数据正常；否则数据在传递过程中有误；基础数据层同衍生数据层指标值的对比稽核： 通过对基础数据层，上层衍生数据在相同账期，相同省份的相同口径下的各指标值作差。若差值为零, 则数据正常；否则数据在传递过程中有误。通过这两部分稽核，保证了各层数据在传递过 程中的一致准确性，并能够及时发现传递有误的数 据。1.1.222数据横向表间对比稽核横向表间稽核又分为数据获取层表间指标值的 对比稽核及数据获取层表内指标值的对比稽核数据获取层表间指标值的对比稽核：通过对横 向基础表在相同账期，相同省份，相同业务口径下 的各共有指标值作差。若差值为零，则数据正常； 否则数据有误，而且若接口层数

9、据传递无误，则表 明数据仓库数据源横向表数据有误；例如： DM_KPI_W_FLUX_M 表中流量在限制了手机用 户群时，应该和 DM_KPI_W_MOB_BAS_M 表中 的流量数据完全一样；而限制了卡类用户群时，应 该和DM_KPI_W_CARD_M 表中的流量数据完全 一样。无 线 上DM_KPI_W_CARD_MDM_KPI_W_CHARGE_M网出账收入攵DM_KPI_W_MOB_BAS_MDM_KPI_W_CHARGE_M机出账收入几攵DM_KPI_W_MOB_BAS_MDM_KPI_W_VOICE_M机通话时 长几1舌 寸2、DM_KPI_W_MOB_BAS_MDM_KPI_W_

10、FLUX_M机 通 话 次 数、 手 机 计 费 时 长 手 机 上 网 时 长、 手 机 上数、手 机 上 网 流量、手 机 上 行 流量、手 机 下 行 流量手DM_KPI_W_MOB_BAS_MDM_KPI_W_SMS_M 机短信条数数据一致性稽核.XISX数据获取层表内指标值的对比稽核：对于一些 基础数据层表内有分档，分群的情况，比如说， DM_KPI_W_LVL_M 表中对于网上用户会根据不 同需要进行分档，对于3G无限上网卡网上用户的 分档为：3G无线上网卡流量分档与3G无线上网卡 上网时长分档，虽然是按不同的需求进行了分档， 但是都是统计3G无限上网卡的网上用户，通过这 两个分档

11、算出的网上用户数的总值应该是一样的。 我们对不同分档下的相同指标值在一致口径下作差 对比，对不同拍照群下的观察分散指标求和与拍照 群数据在相同口径下作差对比。若差值为零，则数 据正常；否则数据有误，而且若数据获取层数据传 递无误并通过了横向表间稽核，则该表数据有异常。通过这两部分稽核，保证了基础数据层的横向 数据准确性，并能够检验特殊需求表内的数据准确 性，为数据质量增添砝码。1.122.3复合指标表内一致性稽核复合指标表内一致性稽核是检查账期内除本期值 以外的其他值的一致性，主要针对复合指标层的月 复合指标表和日复合指标表，其中月复合指标表中 的上期指标值、本年累计指标值、去年同期指标值、

12、去年同期累计指标值，日复合指标表中的昨日指标 值、上月同期值、本月同期累计值、上月同期累计 值、去年同期值、去年同期月累计。对比规则：1.1.2.3数据准确性稽核规则1.1.2.3.1月数据环比预警稽核参考以往合理月数据指标的环比变化，确定该 指标变化的波峰，波谷，由此形成其正常变化范围。 通过对当月账期值与上月账期值对环比对照，若该 数据在正常变化范围内，则说明该指标数据正常； 若偏离正常变化范围之外，则说明该指标数据异常。举例，我们通过稽核网上用户类的 6个关键月 指标，保证了 3.19%的复合指标的准确性。122G网上用户环比月3G网上用户环比月33G手机网上用 户环比月4网上用 户类3.19%固定电话网上 用户数环比月5宽带网上用户 数环比月6无线上网卡用 户环比月73G离网用户环比月82G离网用户环比月93G手机离网用 户环比月10离网用 户类1.34%固定电话离网用户环比月11宽带业务离网用户环比月12无线上网卡离 网用户环比月1.123.2日数据同比预警稽核参考以往合理日数据指标的同比变化，确定该指标其波峰，波谷，由此形成其正常变化范围。通 过对当日值与上月同日值对同比对照，若该数据在 正常变化范围内，则说明该指标数据正常；若偏离 正常变化范围之外，则说明该指标数据异常。举例，我