数据挖掘中数据质量分析方法简介.doc

葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀蒄蒀羀肃芇蝿罿膅蒂蚅羈芇芅薁羈羇蒁蒇蚄聿芃莃蚃膂葿蚁蚂袁节蚇蚁肄薇薃蚁膆莀葿蚀芈膃螈虿羈莈蚄蚈肀膁薀螇膂莇蒆螆袂腿莂螆羄莅螀螅膇膈蚆螄艿蒃薂螃罿芆蒈螂肁蒁莄螁膃芄蚃袀袃蒀蕿袀羅芃蒅衿肈蒈蒁袈芀莁蝿袇羀膄蚅袆肂荿薁袅膄膂蒇袄袄莇莃羄羆膀蚂羃肈莆薈羂芁膈薄羁羀 数据挖掘中数据质量分析方法简介邮政电信行业部 徐俊军产品研发中心 贺建珲北京华胜天成科技股份有限公司2008年6月众所周知，在bi项目中数据质量问题十分重要。这里我们将向大家介绍数据挖掘中使用的一些数据质量分析方法。在向大家介绍数据挖掘相关技术的同时，也希望这些简便易行的方法能够对大家在bi项目实施中有所助益。1 概述数据质量分析是数据挖掘中数据准备过程的重要一环，是数据探索的前提。我们常说，“garbage in, garbage out”。数据质量的重要性无论如何强调都是不过分的。没有可信的数据，数据挖掘构建的模型将是空中楼阁。1.1 数据质量检查的目的数据挖掘的数据质量分析是以数据的提供信息的正确性和有效性为目标，而在通常的bi项目中主要关注正确性。保证数据的正确性自然是数据质量分析的目的。但数据挖掘中数据质量重点关注的是对建模效果影响大小，对质量的评估也是以对后续挖掘建模影响为原则。如在电信客户流失分析时，我们发现有国际漫游通话的客户比例极小，例如只有不到0.01%的客户有此行为。这时，即便国际漫游通话时长的统计正确性毫无问题，我们也认为该变量缺少有效的信息而有数据质量问题。因为该变量提供的信息只可能对最多0.01%的客户产生影响，对未来预测模型的贡献实在太微乎其微。1.2 数据质量检查的方法在bi实施中通常的数据质量检查方法有两种：u 与源系统对照这是我们在etl开发和测试中常用的方法。将数据仓库或最终报表中的数据与源系统的数据或报表进行一一比对，是数据质量检查最全面细致的检查方法。u 业务经验判断这是我们在etl维护过程中常用的方法。依靠对业务相关知识的经验来判断指标是否在合理的范围。如，业务收入要在一定范围内，可以设置最高、最低的数值来判断是否出现异常；存量用户数通常每月之间上下波动不会超过5%，如果超过则一般可能是数据处理出了问题。依靠经验，我们就可以在etl流程中加入自动的数据质量检查，当发现异常出现时可以及早通知etl维护人员进行检查，以预防将错误的数据发布出去。在数据挖掘实施中，由于一般都以数据仓库为数据源，因此通常我们不做数据核对。同时我们通常假定挖掘建模人员对业务和数据本身并不十分熟悉，所以也很难用经验数值的方式进行判断。而数据挖掘对数据的有效性检查，也是需要专门的分析。数据挖掘的数据质量检查方法主要有：u 值分析u 统计分析u 频次与直方图分析u 相关性分析2 数据质量分析方法数据挖掘中数据质量分析的对象主要是宽表。宽表通常是在数据仓库基础上建立的客户信息列表，一般其中每条纪录对应一个客户某个时间的各种信息。其中用于分析建模的字段我们称为变量。对于变量，我们通常按照取值类型分为：数值变量和分类变量。对于数值变量，还可以进一步分为离散型变量、连续型变量。分类变量通常对应数据仓库中的维度，而数值变量通常对应指标。本文中我们主要介绍值分析、统计分析、频次和直方图分析方法。2.1 值分析值分析通常是进行数据质量分析的第一步，它可以帮助我们在总体上分析数据的自然分布情况。比如,数据是否只有唯一值, 该变量中有多少空值等。值分析是我们常用方法中最简单的一种。它的分析信息统计简便，信息含义清晰易理解。但它却是最有效的分析方法，因为它能够快速的给出明确的结论。2.1.1 分析方法进行值分析时，我们对宽表中变量进行取值情况的统计。具体统计信息为：u 总记录数u 唯一值数：该变量不重复取值的数量u 空值数/空值占比：取值为null的记录数/占总记录数的比例u 空字符数/ 空字符占比：取值为空字符串的记录数/占总记录数的比例，对于数值型变量无意义u 0值数/ 0值占比：取值为0的记录数/占总记录数的比例，对于字符型变量无意义u 正数个数/正数占比：取值大于0的记录数/占总记录数的比例，对于字符型变量无意义u 负数个数/负数占比：取值小于0的记录数/占总记录数的比例，对于字符型变量无意义为方便起见，我们对于将宽表中的变量可以批量生成值分析数据：表1：值分析批量结果表xcolxtypexcntxuniquexnullxblankxzeroxposxnegarralmtindchar(1)92291 3 0 5580 ?arralmttmsmallint92291 36 76522 ?15057 7120 bankactnmvarchar(80)92291 395 0 91793 ?custstatinteger92291 2 0 ?82281 10010 0 operqty_51decimal(12,0)92291 1663 0 ?7503 84782 6 operqty_52decimal(12,0)92291 89 0 ?86026 6263 2 operqty_53decimal(12,0)92291 31 0 ?89978 2313 0 operqty_54decimal(12,0)92291 437 0 ?70004 22276 11 operqty_59decimal(12,0)92291 1 0 ?92291 0 0 为了浏览时直观清晰，还可以对值分析数据做柱状图：图1：值分析图2.1.2 质量评估原则u 唯一值分析唯一值存在问题最简单的情况就是变量只有一个取值，如表1中的“operqty_59”只有一个取值。这样的变量对于挖掘建模无法提供任何有效的信息。所以从数据有效性方面我们认为是存在问题的。而如果我们对于变量业务含义有一定了解时，还能分析变量唯一值数是否较预期的异常的多或者少。例如，我们预先知道年龄只有“男”、“女”、“不确定”三种，如果出现4、5种取值时，可能就要查看是否存在数据质量问题了。u 无效值分析空值、空字符串都是无效信息（只有极特殊的情况下我们为认为空值、空字符串提供了信息），而很多情况下我们也认为取值为0时也是无效信息。无效值的比例越多，建模时能够利用的信息就越少。当无效值的比例大到一定程度，我们甚至认为该变量对于建模是无效的。有效与无效的界限是以建模的目标为依据的。例如，在流失预测建模时，流失率大概为15%，同时我们希望能够预测流失倾向较高的前10%用户。这时，如果一个变量无效值的比例接近90%，则我们认为该变量质量较差，提供信息较少；而如果无效值的比例超过99%时，则我们认为该变量质量极差，提供很少的信息；而如果无效值的比例超过99.9%时，则我们认为该变量无效。对于无效值较多的变量，我们将首先怀疑数据处理过程是否存在错误。如无错误，对于极差和无效的变量，在建模时将慎用甚至弃用。u 异常值分析在多数情况下，变量是不容许出现负值的；在不少情况下，空值、空字符也是不正常的；而在某些业务背景中，变量取0也是异常的。结合一定的业务背景知识，可以从变量的取值情况发现异常，从而与有关方面确认是否存在数据处理的错误。2.2 统计分析统计分析是对变量数据统计学特征的分析，可以对变量取值范围、偏离程度等数据分布情况进行分析。相对值分析方法，统计分析方法的统计量的计算多数较为复杂。2.2.1 分析方法对宽表中变量进行统计量的计算，具体信息包括：u 最小值u 最大值u 均值u 标准差(standard deviation)：反映变量数据的分散程度。标准差越大说明数据越分散。但是注意值越大自然标准差也就越大。计算公式为：其中n是宽表的纪录总数，即均值。u 偏度(skewness)：反映变量数据的相对于平均值不对称程度。图2：偏度示意图正态分布的偏度为0，偏度0称分布具有正偏离（右图）。若知道分布有可能在偏度上偏离正态分布时，可用偏离来检验分布的正态性。计算公式为：其中s是该变量的标准差。u 众数(mode)：变量中发生频率最大的值。众数不受极端数据的影响，并且求法简便。当数值或被观察者没有明显次序（常发生于非数值性资料）时特别有用。例如：用户状态有：正常、欠费停机、申请停机、拆机、销号，其中的众数是“正常”。u 分位数(median)：将数据从小到大排序，小于某个值的数据占总数的。例如我们通常所说的中位数就是50%分位数,即小于中位数的所有值占总数的50。中位数可避免极端数据，代表着数据总体的中等情况。如果总数个数是奇数的话，按从小到大的顺序，取中间的那个数，如果总数个数是偶数个的话，按从小到大的顺序，取中间那两个数的平均数。除上述统计量之外，还有峰度(kurtosis)、标准误差(standard error)、cv(coefficient of variance)、方差(variance)等。这里不一一介绍了。我们对于将宽表中的变量可以批量生成统计分析数据：表2：统计分析批量结果表xcolxcntxminxmaxxmeanxstdxskewxkurttermless_times1035145 01,2140.13.76137.2830,150.37percall_dur1035145 04672.338.966.4377.60forw_times1035145 000.000.00toll_times1035145 010,2120.8912.78501.63394,689.67chg_times1035145 090.030.188.3109.392.2.2 质量评估原则统计分析方法的核心就是分析数据的分布情况，即查看数据与正态分布的接近程度。以数据按照正态分布为假设的前提下，我们利用统计分析方法就是查看数据相对正态分布的偏离程度。在了解数据分布情况之后，我们还可以针对分布情况选取代表性的统计量描述数据整体情况。如，在数据分布为正态时，我们可以用均值来代表数据的整体情况；而数据分布较为偏斜时，众数与中位数就能够更好的代表数据整体情况。u 极值与均值对极值与均值的评判要借助一定的业务常识，或与变量的历史进行对不。我们可以查看最小值是否合乎业务逻辑；最高值是否真实、准确；均值是否合理。在一定时间区间以内，均值通常比较稳定的。极值与均值的获取较为简易，目前在bi项目的实施中也常常被使用。但单纯使用极值与均值的评估需要借助一定的业务经验，具有一定局限性。u 标准差标准差反映变量数据的分散程度。如果我们认为变量是以正态分布，则当最大值（或最小值）与均值的差超过3倍标准差时，很可能这些极值是存在问题的。因为超过3倍标准差的数值存在的概率大约为0.3%.如下图所示，深蓝、浅蓝、淡蓝区域对应分别是1倍、2倍和3倍标准差，对应数据落在其间的概率为68.3%、95.5%、99.7%.图3：标准差概率图不过现实中，一方面我们的数据量十分巨大，往往上万，因此极值超过3倍标准差也就是正常的；另一方面，许多变量的分布并不满足正态分布，因此使用是需要注意。u 众数、中位数在正态分布中，众数与中位数与均值是一致的。当数据较正态分布偏斜较大时，我们用众数与中位数能够更好的代表数据的整体情况。同时可以从众数和中位数与均值的差异考察数据分布情况。与极值与均值类似，结合一定的业务常识，可以从众数和中位数查看是否有与业务经验相背之处。2.3 频次与直方图分析统计分析时我们对数据分布情况用一些统计量进行了描述。但这些统计量即宏观又不直观，因此我们使用频次与直方图来进行深入、直观的分析。直方图和频次图都是表示数据分布特征的柱状图分析方式。通过直方图和频次图可以有效地观测出数据分布的两个重要特征：集中趋势和离散趋势。直方图是适用于对大量连续性计量数据进行整理加工、找出其统计规律。即分析数据分布的形态，以便对其总体分布特征进行推断的方法。频次图是为了计算离散型数据各值分布情况的统计方法，它有助于理解某些特殊数值的意义，同时它也可以支持多个维度组合分布情况。频次与直方图分析方法在提供更细节信息的同时，也存在必须人工分析的局限。同时，很多时候需要借助一些业务经验。2.3.1 分析方法（数值等宽）直方图分析方法是：1 集中和记录数据，求出其最大值和最小值。 2 将数据按序排列。分组的数量在620之间较为适宜。 3 计算组距的宽度。用组数去除最大值和最小值之差，求出组距的宽度。 4 计算各组的界限位。各组的界限位可以从第一组开始依次计算，第一组的下界为最小值减去组距的一半，第一组的上界为其下界值加上组距。第二组的下界限位为第一组的上界限值，第二组的下界限值加上组距，就是第二组的上界限位，依此类推。 5 统计各组数据出现频数，作频数分布表。 6 作直方图。以组距为底长，以频数为高，作各组的矩形图。分析结果举例：图4：年龄分布图频次图分析方法是1 集中和记录数据，计算总分类量n 2 将数据按序排列。分为n组3 统计各组数据出现频数，作频数分布表。 4 作频次图。分析结果举例（性别分布图）：图5：性别分布图2.3.2 质量评估原则与统计分析方法类似，频次与直方图分析能够给出数据分布更直观景象。通过它们不仅能够了解数据分布是否对称、是否符合正态分布等，还可以对了解更多的细节。例如，我们从图4中年龄的分布可以发现，在图的右侧分布有一个异常的突起。从极值分析时我们便可以知道年龄的最大值异常，出现了205岁这样不符合现实的数值。从直方图中我们进一步发现存在异常的分布。在与源系统负责人沟通之后，我们了解到这些异常年龄是由于运营商早期登记资料不完整，在支撑系统切换系统时默认设置的数值。再例如，图5中的性别分布图中，1代表女性，2代表男性、3代表未知。我们发现，男性的比例远远超过女性，这与社会中男女比例相差悬殊。这是业务现状还是数据未反映真实情况？在与源系统负责人沟通之后，我们了解与年龄情况类似，也是由支撑系统的默认设置而导致的。3 数据质量分析应用的探讨数据挖掘的数据质量分析方法如何在数据挖掘之外的bi项目中做更一般的应用呢？下面我们将尝试对此做一些探讨。新加入或新启动一个项目，开发人员刚刚接触相关业务与数据时，数据挖掘的数据质量分析方法能够帮助大家快速的了解数据的情况。u 值分析利用值分析方法，可以在无或很少的业务背景知识下，对数据的唯一值、无效值、异常值进行分析，可以发现只有一个无重复数值、无效值过多、异常取值（如出现负数）等可能的数据质量问题。u 统计分析利用极值与均值的差与标准差的比值，可以找出可能存在异常的指标。u 频次与直方图分析对于字符型的字段（通常是维度），可以使用频次图了解维度的数值分布情况；对于数值型的字段（通常是指标），可以通过直方图了解指标大致分布情况。在etl维护阶段，我们可以结合历史经验与数据挖掘的数据质量分析方法，通过对比历史情况来实现对数据质量的侦测。u 值分析侦测唯一值数量的变化，在维度出现新的取值或取值数量减少时进行告警。其实这相对于我们常用的维表维护的部分功能。无效值的侦测。根据与历史情况对比，在出现了空值、空字符串等无效值或无效值比例超过历史水平时告警。u 统计分析极值与均值。极值与均值的历史对比，是目前bi项目中常用的手段，因此这里不做覆述。标准差、偏度、峰度等。变量的随着业务的发展，具体数值在不断变化。所以使用极值与均值这样常用的统计量分析指标的变化，有时较难分辨指标的变化是由与业务的变化还是数据质量问题造成。使用偏度、峰度等统计量，能够更有效的分辨两者的差别。因为，指标数据的分布随时间的变化是非常小的。参考资料1 teradata solutions group(2004.6), teradata warehouse miner users guide 4.0, ncr corporation2 the crisp-dm consortium (2000.8), crisp-dm 1.0 - step-by-step data mining guide, the crisp-dm consortium3 wikipedia (2008.6), normal distribution, /wiki/normal_distribution4 wikipedia (2008.6), skewness, /wiki/skewness5 管于华(2005.8), 统计学(第四章 数据的描述性分析), 高等教育出版社 莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿蒂袅肄蒅莈袅膇芈蚆袄袆肀薂袃聿芆薈袂膁腿蒄袁袁莄莀袀羃膇虿衿肅莂薅罿膇膅蒁羈袇莁莇羇罿膄螅羆膂荿蚁羅芄节薇羄羄蒇蒃薁肆芀荿薀膈蒆蚈蕿袈芈薄蚈羀蒄蒀蚇肃芇莆蚇芅聿螄蚆羅莅蚀蚅肇膈薆蚄腿莃蒂蚃衿膆莈蚂羁莂蚇螁肃膄薃螁膆莀葿螀羅膃蒅蝿肈蒈莁螈膀芁蚀螇袀蒆薆螆羂艿