数据中心质量保证方案样本

1、数据中心质量保证方案广东第二师范学院第一章引言高校数据中心作为校情决策分析的数据来源,为保证数据中心的质量 ,一般需要进行数据处理, 主要包括以下几个重要的步骤 :数据审查、数据清洗、数据转换和数据验证四大步骤。( 一 ) 数据审查该步骤检查数据的数量( 记录数 ) 是否满足分析的最低要求,字段值的内容是否与调查要求一致, 是否全面 ; 还包括利用描述性统计分析 , 检查各个字段的字段类型、字段值的最大值、最小值、平均数、中位数等 , 记录个数、缺失值或空值个数等。( 二 )数据清洗该步骤针对数据审查过程中发现的明显错误值、异常值、可疑数据 , 选用适当的方法进行”清冼”缺失值、, 使”脏”资

2、料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。数据变为”干净”数据, 有利于后续的统计分析得出可靠的结论。当然 , 数据清理还包括对重复记录进行删除。( 三 ) 数据转换数据分析强调分析对象的可比性, 但不同字段值由于计量单位等不同 , 往往造成数据不可比; 对一些统计指标进行综合评价时 , 如果统计指标的性质、计量单位不同 , 也容易引起评价结果出现较大误差 , 再加上分析过程中的其它一些要求 , 需要在分析前对数据进行变换 , 包括无量纲化处理、 线性变换、 汇总和聚集、 适度概化、 规范化以及属性构造等。( 四 ) 数据验证该步骤的目的是初步评估和判断数据是否满足统计分析的

3、需要 , 决定是否需要增加或减少数据量。利用简单的线性模型,以及散点图、 直方图、 折线图等图形进行探索性分析, 利用相关分析、 一致性检验等方法对数据的准确性进行验证, 确保不把错误和偏差的数据带入到数据分析中去。第二章数据质量的基本要素资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。首先 , 如何评估数据的质量 , 或者说怎么样的数据才是符合要求的数据 ? 能够从 4 个方面去考虑 , 这 4 个方面共同构成了数据质量的 4 个基本要素。2.1 完整性数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要有记录的缺失和记录中某个字段信息的缺失 , 两者都会造成统计结果的

4、不准确 , 因此完整性是数据质量最基础的保障 , 而对完整性的评估相对比较容易。2.2 一致性数据的记录是否符合规范,是否与前后及其它数据集合保持统一。资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。数据的一致性主要包括数据记录的规范和数据逻辑的一致性。数据记录的规范主要是数据编码和格式的问题,比如教工号是 7 位的数字、学号是 11 位的数字 ,性别码包括2 个类目、 IP地址一定是用” . ”分隔的4 个 0-255 的数字组成,及一些定义的数据约束,比如完整性的非空约束、唯一值约束等;数据逻辑性主要是指标统计和计算的一致性,比如 PV=UV, 新用户比例在 0-1 之间等。

5、数据的一致性审核是数据质量审核中比较重要也是比较复杂的一块。2.3 准确性数据中记录的信息和数据是否准确 , 是否存在异常或者错误的信息。导致一致性问题的原因可能是数据记录的规则不一,但不一定存在错误 ;而准确性关注的是数据记录中存在的错误,比如字符型数据的乱码现象也应该归到准确性的考核范畴,另外就是异常的数值,异常大或者异常小的数值,不符合有效性要求的数值 ,如学生数一定是整数、年龄一般在1-100 之间、转化率一定是介于 0 到 1 的值等。对数据准确性的审核有时会遇到困难 , 因为对于没有明显异常的错误值我们很难发现。2.4 及时性资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。数据中心的数据及时性主要反映在数据交换和数据分析的时效性上。数据交换中部分业务数据的时效性要求极高变动及时到OA, 资产的账单及时到财务等高的数据交换也有时效的要求:如 1 小时, 如人员岗位的, 其它及时性要求不、 一天、 三天等。虽然说数据分析的实时性要求并不是太高 , 但并不意味着就没有要求 , 数据分析能够接受当天的数据要第二天才能分析查看 , 但如果数据要延时两三天才能出来, 或者每周的报告要两周