集成数据中实体统一技术的研究.doc

硕 士 学位 论文土 比日 日关于 学位 论文 使 用 授 权的声 明本 人完 全了 解 山东 大学有关 保留、 使 用 学位 论文 的规 定， 同意学校保 留或 向 国 家有关 部 门 或 机 构 送交 论文 的复印 件 和电子版 ， 允 许 论文 被查 阅和借 阅； 本 人授 权山 东 大学可 以 将本 学位 论文 的全 部 或 部 分 内 容 编 入 有关 数 据 库进行 检 索 ，可 以 采用 影印 、缩印 或 其 他 复制手 段保存 论文 和汇 编 本 学位 论文 。日 实验 结果 与分 析 总 结 展 望 参 考 文 献 致谢 攻 读 学位 期间 发表 的学术 论文 目录 攻 读 学位 期间 参 与科 研项目情 况 山 东 大学硕 士 学位 论文 。 。 。 ： 山 东 大学硕 士 学位 论文 山 东 大学硕 士 学位 论文中 含 有大量的“脏 数 据 ”，网 等 领域， 提出了 一 个 领域相 关 的整体 式 实体 统 一 的方 法 。 该 方 法 综 合 运用 了 属 ” 甌 瑃 ， ， 琤 山 东大 学 硕 士 学 位 论 文不一致值、 简写 、同一实 体 的 多种 表 示 馗、不遵 循 引 用完 整 性 等 【 】， 严重影响 了数 据 的 可 信 度和 可 用性 ， 现 实 世 界 中 的 数 据 极易受噪声 数 据 、空 缺 数 据 和不一致性 数 据 的 侵扰 。 对 于 这样的 数 据 ， 如 果 不进 行 数 据 处 理， 数 据 质 量就会很差 ， 对 应 的 一些应 用， 如 商 业或者其 他行 业的 情 报 分析 、决 策判 定、 数 据 报 表 等也就成了无 根 之树 ， 没 有意 义了， 即 成了“进 去的 是 垃 圾， 出 来的 也是 垃 圾 复 记录和 重复 属 性 。 所 以利用实 体 统 一可 以提 高 数 据 的 完 备性 其 主要 工 具包 括 ： 琁 ， 疨 ， 的 实 体 统 一主要 采 用距 离函 数 模 型、 标准 的 字 符串 度量方 法【 ， 基 于 算 研究 内容和 主要 贡献 与 目前已 有的 工 作 相比 ， 我的 主要 贡献 在 于 ：本 文 一共分为五 个章节 。 山 东大 学 硕 士 学 位 论 文实 体 统 一在 不同的 领 域里有不同的 称呼， 在 数 据 库被 称为： 猵 、 、 、 一个实 体 ， 称为是 一个匹 配 。属 性 相似度 编 辑距 离方 法 间复 杂 度 ： 空 间复 杂 度 ： ， 现在 利用本算 法来做 两 种情 况 的 比较 ： 编 辑 距 离 的 方 法 山 东大 学 硕 士 学 位论 文通 过全 局 最 优 联配的 定 义说明串 匹配问 题， 给 出如 下定 义： 保 敲 碨 疨 癮産 保 琓 疨 埃 瓹万 芻頣 度 求 得整 体 相 似度 。 中定 义两 个 额外 的 操作 ： 应 单 独 的 空 位和 连续 的 空 位， 显 然 山 东大 学 硕 士 学 位论 文 与 为 了 表 述 方 便 清 楚 ， 这 里 以文 献 领 域 为 例 子 ， 来计 算 一下基 于 上下文 的 作 者的 相 似度 。 采用关 联规 则 来查找属性 值 之 间的 相 关 性 ： 一个 属性的 某 个 值 与其 他属性的 某 个 值 是 否 经常 共同 出现。 在 查找到 的 所 有 关 联规 则 中， 如 果 某 一个 属性的 值 和 作 者 属性的 值 会产 生 很 多的 关 联规 则 ， 那 么 这 个 属性就是 作 者 属性的 一个相 关 属性 。 例 如 ， 作 者 妥 髡 連 经常 一块 出现， 作 者 妥 髡 逥 经常 一块 出 现。 这 样 的 规 则 频 繁 出现， 可以知道 合 作 者 就是 作 者 的 关 联属性。 当 把 国 际会议用它 对 应 的 更 高 层 次 的 研究 领 域 来替 代 后 ， 研究 领 域 也是 作 者 的 一个 关 联属性。获 得作 者 属性簿 褪且 J侗鸬 氖 粜 的 相 关 属性后 ， 利用这 些 属性判断两 个 表象是 否 同 一个 对 象时 ， 首 先 计 算 它 们各 个 对 应 属性的 相 似度 ， 而后 合 成 两 个 表 象的 相 似度 ， 计 算 公式如 下：其 中， 。 是 相 关 属性口 的 相 似度 ， 橇煊 蜃 腋 龅南 喙厥 粜詊 的权 值 。 利用上面 的 公式计 算 出两 个 表 象的 相 似度 后 ， 判断和 领 域 专 家 设 定 阈 值 丁的 大 小 关 系。 论 文 是 第 一次 提出利用关 联规 则 查找表 象的 相 关 属性， 并利用这 些属性进 行 作 者 识 别 。 但 是 ， 本文 的 工作 需要 领 域 专 家 手 工的 给 出国 际会议 的 概念层 次 树 ， 计 算 公式也需要 领 域 专 家 的 手 工设 定 权 值 ， 在 实 际大 规 模的 数 据 上并不实 用。 而且 当 字符串 重复 度 高并且 超 边比较 稠密 的 时 候 叵 当 冉 隙， 会出现的 现象 赜 趂 本章 小 结 问 题引入 山 东大 学 硕 士 学 位论 文定 义 憾 匀 我饧 锹 糥 離 堑牡趉维 字段 分别 为 ， 瑇 业 硎綳 的 长 度 ， 硎緓 的 原子 串 的 数 量。， ， 粕 如 果 存 在 两 个 或 两 个 以上的 字段 ， 那 么 ， 它 们的 最 终 统 一级 别 相 同 ， 则 籯 ； 根 据 公式 或 公式 ， 计 算 ；第 一步： 选择 能 明显 区 别 记 录 间特 征的 字段 或 字段 的 特 定 几 位， 把 大 数 据 集 山 东大 学 硕 士 学 位论 文第 二步： 分割 后 ， 某 些 数 据 集 仍 旧 十 分庞 大 ， 有 必 要 选择 另外 关 键字段 或 字段 的 特 定 几 位， 对 这 些 数 据 集 进 行 再次 分割 。 比如 根 据 全 国 人口 普查知道 赵 姓 人口 占 左 右 ， 这 就可能 造成 赵 姓 的 数 据 集 仍 旧 十 分庞 大 ， 有 必 要 对 这 些 数 据 集进 行 二次 分割 ， 现比如 取 出生 日 期 的 年 月 ， 把 这 些 比较 大 的 数 据 集 再次 分割 成 几千个 小 数 据 集 。销 售 山 东大 学 硕 士 学 位 论 文汪 玉 珍经 济学 院宿舍 楼为 了 解决 这个 问题 ，我 们 引 入 多 趟 查 找 技 术 ，即把 数据 集 划 分 成 大 小 合 理的设 5趖 个 数据 集 ， 琧 琒 算 法 步 骤：输出 ： 小数据 集 ， ， ， ； ； ； 菁疿 琗 甔 ；纯 数字 组 成 汉字 组 成 。 梗琗， ，定义参 照 公 式 ，按 照 西 文 规 律分 别把 捎隭 ，。 分 割 山 东大 学 硕 士 学 位 论 文汉语 的比如 样本 表 中 ，计表示计算 机 缩写 ，院表示学 院缩写 等 ，根 据 汉字 的介绍 ，通过 索 引 图 来 判 断它 们 是否 是习 惯 用 语 的缩写 。算 法 ：把礅分 割 成 西 文 玛 和 中 文 两部 分 ； 侄 稳诤蛒 业 由中 文 组 成 ， ；基 于上面对各 个 算 法 的几 个 关 键步 骤进 行 了 描述，现用 程 序对算 法 作一 个 整算 法 ：输出 ： 重 复 实 体表象记录： 猒 依 次 取 数据 集 粁 甪 ； 甪 ，物 理内 存 才炭占 ，据 来 源 于从 某些 大 型综合 商 业 集 团 公 司 数据 仓库和 网 上检索 、 抽 取 到的客 户 信 逫 蠭 山 东大 学 硕 士 学 位 论 文 万权 值分 级 的数据 分 级 的时 间 复 杂度是为 ，分 级 后在 各 个 小 数据 集 中 进 行 相 ：； 本 章小结 山 东大 学 硕 士 学 位 论 文第四章 一 种 领 域相 关 的整体式实 体统 一 方法本 章 在 分 析基 于属 性的实 体统 一 方法 缺点 的基 础 上，提出 一 种 领 域相 关 的整体式实 体统 一 方法 。 该 方法 综合 利 用 属 性相 似 度、 上下 文 相 似 度和 关 系 相 似 度三种 方法 来 计算 两个 实 体表象的相 似 度，并提出 一 个 基 于聚 类 的实 体统 一 算 法 。 其中 ，对于关 系 相 似 度，本 文 提出 一 种 基 于拟 团 的相 似 度度量 方法 ，以提高 实 体统一 的精 度。 另外，本 章 的方法 主 要 应 用 于待统 一 实 体本 身 之间 具有 丰 富关 系 的场景，比如 文 献 、 社 会 关 系 网等领 域，故 而，称之为 一 种 领 域相 关 的方法 。本 章 的内 容 组 织如 下 ： 第一 节在 两个 典 型场景中 指出 基 于属 性的实 体统 一 方法 存 在 的问题 ，引 入 上下 文 的概 念； 第二 节主 要 介绍 相关 研究及其存 在 的不 足：第三节主 要 介绍 文 章 提出 的实 体统 一 方法 的主 要 思想 并给 出 一 个 基 于聚 类 的算法 ； 第四节分 别介绍 算 法 中 应 用 的三类 相 似 度度量 方法 ； 最 后一 节给 出 实 验 结果及分 析。 问题 引 入 山 东大 学 硕 士 学 位 论 文 法 人 代 表 图 醋 訵 数据 源 的两条旅 行 社 信息电 话电 话 等 人 利 用 实 体类 型之间 的关 系 ，提出 虚拟 连接 图 産 ： 糜 氪 鋜 直 接 ： 利 用 与 待匹 配 苯 踊 蚣 浣 酉喙氐 膔 ，利 用 相应 的关 系 和 依 赖，为 统 一 提供 证据 。 山 东大 学 硕 士 学 位 论 文我 们将实 体统 一 看 作 一 个 基 于图 的 聚 类 问 题。 最 初 ， 我 们将每 个 实体表象看基 于以 上 分析， 我 们采用 凝 聚 的 层 次聚 类 输 入： 各 实体表象及 其关 系 ， 以 超 图 形式 组织 数 据输 出 ： 对 实体表象进行聚 类 ， 每 个 簇中 的 各 表象对 应一 个 实体算法 包 括 如下 步骤 ： 山 东大 学 硕 士 学 位 论 文 扑 闳我 饬 礁龃刂 涞 南 嗨 贫 龋 雍蜓灾姓 业 较 嗨 贫 茸 畲 并 且 超度 为： ， 从 而 大 大 减 少了 比 较 次数。 ： 山 东大 学 硕 士 学 位 论 文 瓼 ， ， ， ， 山 东大 学 硕 士 学 位 论 文 畆 山 东大 学 硕 士 学 位 论 文一个 连 通 图 为 图 ， 当 其每 个 顶 点 的 度 丫 ， 其中图 图 的 半 径 定 义 紧 密 的 结 点 集 合， 构 成 拟 团 。 而 拟 团 中 结 点 的 紧 密 连 接 关 系 可 以 表明作 者之 间 的紧 密 联 系 ， 这 暗 示 着潜 在 有 共 同 兴趣研 究 团 体的 存 在 。 如 果 两 个 簇属 于同 一 个 连接 紧 密 的 大 图 ， 这给我 们将其合并 提 供 了 证 据 。 鯭 ， 隝 詍 簂 僮飨 低 砏 山 东大 学 硕 士 学 位 论 文 甅 篗 篈 ： ： ： 刊 ： 二齵：三： 篟 篏 山 东大 学 硕 士 学 位 论 文 硐 笪 R桓龃氐呐卸鲜钦 返 硐 蟛 晃 R淮 氐呐卸鲜谴 砦 蟮 硐 笪 R淮 氐呐卸鲜谴 砦 蟮 硐 蟛 晃 R淮 氐呐卸鲜钦 返 。 、 。 ” 、 矿 保 璱 拢 瑅 山 东大 学 硕 士 学 位 论 文 薄 薄 啊 ！ 省 ” 甭 俊 保 。 裳 眗 ” 。 键；如五 山 东大 学 硕 士 学 位 论 文 总结 山 东大 学 硕 士 学 位 论 文对 几个数 据 集 试验 评价表明 高查准率 ，验 证了该 方 法的 效 率 。 展望 山 东大 学 硕 士 学 位 论 文 】 痯 】 瓻 甌 】 俞 荣 华，田增平，周 傲 英 等 一 种检测多 语言文 本 相似重 复记录 的 综 合方 法 】 计 算 机科 学 ， ， 】 柴 玮 数 据 清 理工具 瓹 的 设 计 与 实 现 】 北京 大 甁 ， 疨 瓸 癐 盤 瓼 甒 琀 琣 瓻 ，“ 縍 ， 甂 珹 琣 縈 琖 琣 ： 】 痯 【 ， 琣 緿 琑 ； 籏 ， 籥 山 东大 学 硕 士 学 位 论 文 縅 珼 琣 狢 珹 衷心感谢我 的 导师 董 国 庆 副教 授，董 老 师 勤 奋 的 治 学 精 神和对 学 生 的 爱 护 与理解 让人印 象深 刻 ，也 让我 在 日 常 与 他 的 接触 中 学 会 了如何有效 地 思 考 解 决 问题和进 行 科 学 研究的 方 法与 态度 。 董 老 师 朴素 的 治 学 ，求 实 的 作 风 ，率 真的 为人，谦和的 处 世 ，高尚 的 情操 使 我 获 益 匪浅 ，让我 看 到 了人生 路上做 人的 道 理。 在 他的 指导和关心下 ，我 得 以 顺利 完成 学 业 ，并 奠定了科 学 研究的 基 础 。 在 我 的 学 习 、科 研和生 活 上的 各 个方 面 ，董 老 师 也 给 予 了谆谆教 导和亲 切 关怀 ，为我 的 学 习 和研究工作 提