CH3--第4讲重复数据的消除.ppt

DuplicateElimination 重复数据的消除 脏数据形成的原因 滥用缩写词数据输入错误数据中的内嵌控制信息不同的惯用语 如 ASAP对 atfirstchance 重复记录丢失值拼写变化不同的计量单位过时的编码 数据清理的重要性 脏数据的普遍存在 使得在大型数据库中维护数据的正确性和一致性成为一个及其困难的任务 垃圾进 垃圾出 数据清理研究现状 数据清理常常与数据仓库 数据挖掘和数据集成的研究联系在一起 近年来在数据库研究团体中得到了广泛的关注 主要集中在模式集成问题的研究 如集成框架 中间件系统 mediatorsystems 模式冲突解决方案 很少涉及实例层次的研究 数据清理处理内容 格式标准化异常数据清除错误纠正重复数据的清除 重复数据清除概念模型 数据清理有效性的度量标准 返回率 Recall 定义 重复数据被正确识别的百分率例子 假定有7个记录A1 A2 A3 B1 B2 B3 C1 其中 A1 A2 A3 和 B1 B2 B3 分别是记录A和B的不同表示 如果清理过程识别出 A1 A2 C1 和 B1 B2 那么Recall值为4 6 100 66 7 False PositiveError定义 错误地作为重复数据的记录的百分比 False PositiveError 精确度 Precision Precision 100 False PositiveError 数据清理过程存在的问题和困难 不确定性和风险性很难确定两个不完全相同的记录是否表示同一个实体 即使它们非常相近 结果的确认很难找出真正的重复记录数 这样有效性的度量很难得到 数据库相关清理算法的性能跟数据库密切相关 现存的数据清理方法 脏数据的预处理排序邻居方法优先排队算法多次遍历数据清理方法增量数据清理采用领域知识进行清理领域无关的数据清理采用数据库管理系统的集成数据清理扩展SQL进行数据清理过程方便用户的使用存在优化问题 脏数据的预处理 先于数据清理过程使数据更加规范化和一致 获得更好的结果包含外部参考文件 如缩写标准表 排序邻居方法 Sortedneighborhoodmethod SNM SNM方法包括三个步骤创建关键字 依赖于领域知识中的错误模型 排序数据合并SNM方法的缺点结果与所采取的关键字密切相关 Windowsize 问题 优先排队算法 将各个记录根据相似性程度归入不同的队列中减少了比较的次数照样存在 Windowsize 问题 多次遍历数据清理方法 每次排序选用不同的关键字减少错过重复数据的机会选择关键字比较简单可以采用传递闭包 transitiveclosure 将相似记录合并成一个组增加false positiveerror 基于知识的方法进行重复数据的消除 三个阶段 预处理阶段数据类型检查数据格式规范化不一致的缩写处理阶段将预处理后的数据通过专家系统引擎和一系列的规则进行处理 人工检验和确认阶段处理规则无法处理的重复记录 规则的分类 重复识别规则 Duplicateidentification 指定两个两个记录为相似记录的条件 合并 清除规则 Merge purge 指定对两个重复记录如何进行处理 更新规则 Updaterules 在特殊情况下更新数据的方法 警报规则 Alertrules 当一个特定的事件发生时发出警报 原因分析会的建议措施建议措施中每项活动预防缺陷信息必须管理和控制 基于知识方法的好处 应用商业规