数据仓库的数据质量控制研究---开题报告

厦门大学软件学院毕业设计（论文）开题报告学生姓名班级 学号指导教师姓 名职称教授所在单位厦门大学软件学院毕业设计（论文）题 目数据仓库的数据质量控制研究毕业设计（论文）的目标：1. 了解数据仓库目前的发展状况和发展趋势，了解数据仓库的数据质量现状，了解国内外对数据仓库的数据质量的研究现状，了解研究数据仓库的数据质量控制所具有的现实意义。2. 掌握数据库方面的理论知识，了解在数据库中可能会存在哪些数据质量问题，并 对这些问题有全面、深刻的理解，了解针对不同的问题，可以采取哪些有效的解决方法。3. 掌握数据仓库方面的理论知识，并具有一定的深度和广度，尤其要全面、系统地 掌握有关数据仓库的数据质量方面的知识，深入了解已有的数据质量控制方法以及它们在实际应用中的成效。4. 论文能对数据仓库的数据质量问题有侧重点地进行深入地分析、研究和探讨，并有独到的见解。5. 论文能综合应用各方面的知识，并从不同的角度提出数据质量的多种控制措施，以此来解决数据质量问题。这些措施应具有一定的新颖性和现实意义。6. 论文结构合理，逻辑性强，层次清楚，论据充分。实现方法：一研究步骤1. 收集、阅读大量文献资料，包括国内外对数据库、数据仓库的理论研究资料，尤其是关于数据仓库的数据质量方面的理论研究资料，还有国内外对数据库、数据仓库的实际应用成果（即已成功建设并投入使用的数据库系统、数据仓库系统和决策支持系统）的资料。这些文献资料包括专著、期刊文章、学位论文和电子文献等。注意多收集、阅读一些最新的研究和应用成果的资料，紧跟时代的步伐。在收集、阅读的过程中，对资料进行筛选、分类整理，并加以思考和理解，以此来启发思路。2. 接触一些已投入使用的数据库系统，对它们进行实际操作，发现它们中存在的数据质量问题，并对这些问题进行全面、深入地分析和研究，综合应用自己所掌握的有关知识，思考解决这些问题的方法，并通过实际操作验证方法的正确性和有效性。3. 在掌握了大量的相关知识后，确定要研究的具体问题和内容，决定采用哪些研究方法，确定合理的、层次分明的论文框架结构。4. 开始对自己所要研究的内容按序进行全面、系统、深入地研究、分析和探讨，组织研究成果，按照框架结构来撰写论文。在研究的过程中，不断查阅相关文献资料，在已有的研究成果的基础上，综合应用各方面的知识和多种研究方法，得出关于数据仓库的数据质量问题的正确的、独到的、有价值的研究结论，并从多个方面提出有效的、新颖的、具有现实意义的数据质量的多种控制措施，以此来解决数据质量问题。二研究的主要内容 本文分为五个部分来研究数据仓库的数据质量控制。 第一部分为引言，包括三个部分，这三个部分是：1. 论文的研究背景。2. 数据仓库的数据质量现状分析。3. 从三个方面介绍国内外对数据质量的研究现状，这三个方面是：（1）数据质量整体框架和相关模型的研究。（2）数据质量技术手段的研究。（3）数据质量工具的研究。第二部分从五个方面介绍数据仓库的一些基本理论，为研究数据仓库的数据质量奠定基础。这五个方面是：1. 数据仓库的产生背景，包括两个部分，这两个部分是：（1）在数据库的基础上产生了数据仓库。（2）数据库与数据仓库的区别。2. 数据仓库的定义。3. 数据仓库的特征。主要有四个特征：面向主题性、集成性、相对稳定、随时间不断变化。4. 数据仓库的体系结构。体系结构主要有七个部分：数据源、数据准备区、元数据库、数据仓库数据库、应用工具、管理工具、数据仓库的用户。5. 数据仓库的数据模型。主要有三级数据模型：概念模型、逻辑模型、物理模型。第三部分是本文研究的重点之一，从三个方面深入分析数据仓库的数据质量问题，这三个方面是：1. 定义数据质量的衡量指标。它是考察数据质量状况的主要参考。正确地定义数据质量的衡量指标是对数据质量进行控制的基础。2. 分析可能发生数据质量问题的位置或过程。3. 从两个角度对数据源的数据质量问题进行分类，并对这些问题进行详细地分析。数据源的数据质量是数据仓库的数据质量的一个主要方面。合理地划分数据源的数据质量问题是对数据质量进行控制的重点。这两个角度是：（1）单数据源的数据质量问题。（2）多数据源的数据质量问题。第四部分研究数据仓库的数据质量控制，是本文研究的又一个重点。包括两个部分，这两个部分是：1. 阐述数据质量控制的重要性。2. 从四个方面提出一些数据质量的控制措施，以此来解决数据质量问题。这是解决数据质量问题的关键所在。这四个方面是：（1）对单数据源的数据质量问题进行控制。初步思路是从两个方面来进行质量控制：一是保证数据录入时的数据质量，二是清理数据源中已有的历史数据。分析数据清理的步骤，并详细分析单数据源中孤立点的检测方法。（2）对ETL过程中的数据质量问题进行控制。初步思路是从两个方面来进行质量控制：一是确保ETL过程的正确性，重点在确保转换过程的正确性；二是选择合适的ETL工具。将三大主流ETL工具进行比较，以便在实际的数据仓库项目中，能够根据项目自身的特点选择合适的ETL工具。 （3）对数据仓库内部数据的质量进行控制。 （4）对数据仓库应用工具和应用系统的质量进行控制。 第五部分讨论应用扩展元数据库的方式来控制数据质量，这种方式具有一定的新颖性。包括两个部分，这两个部分是： 1. 从三个方面介绍元数据的基本概念，以此显示出元数据的重要性。这三个方面是：元数据的定义、元数据包含的主要内容、元数据的用途。 2. 全面、详细地分析扩展元数据库这种控制数据质量的方式。它的主要思想是：在元数据库中融入质量维度和质量模型，以此来改进数据质量的评价方法，还可将质量模型用于数据的ETL过程和质量驱动的数据仓库系统设计。从三个方面来进行分析，这三个方面是： （1）质量维度。初步思路是：首先介绍与数据仓库相关的三类人员设计开发人员、数据仓库管理员、决策者；然后给出由上述三类人员所组织而成的质量维度的主要内容。 （2）元数据库中的质量模型。以图的方式给出质量模型，分析它的主要思想、工作过程和作用。 （3）简要介绍将质量模型用于质量驱动的数据仓库系统设计。三主要参考文献1. Building the Data Warehouse，William H Inmon，John Wiley & Sons出版社，2003年2. Identification of outliers，Hawkins D M，Chapman and Hall出版社，1980年3. 数据仓库项目管理，锡德阿德尔曼等著，薛宇等译，清华大学出版社，2003年4. 数据清理及其在数据仓库中的应用，庄晓青、徐立臻、董逸生等，东南大学出版社，2006年5. Framework for Analysis of Data Quality Research，Richard Y.Wang、Veda C.Storey、Christopher P.Fifth A，IEEE Transactions on Knowledge and Data Engineering，1995年第4期6. AIMQ:A Methodology for Information Quality Assessment，Yang W.Lee、Diane M.Strong、Beverly K.Kahn、Richard Y.Wang，Information & Management category:Research，2001年7. Anchoring Data Quality Dimensions in Ontological Foundations，Yair Wand、Richard Y.Wang，Communications of the ACM，1996年第1期8. Architecture and Quality in Data Warehouse:An Extended Repository Approach，Jarke M、Jeusfeld M、Quix C等，Information Systems，1999年第3期9. 一个可扩展的数据清洗系统，郭志慰、俞荣华、周傲英等，计算机工程，2003年第3期10. 数据质量评估方法研究，杨青云、赵培英、杨冬青、唐世渭、童云海，计算机工程与应用，2004年11. 数据仓库中数据质量若干问题的研究，杜永明，福建电脑，2003年第1期12. 应用扩展元数据库方式解决数据仓库质量问题，谢茂龙，计算机工程与应用，2002年第18期13. 构造数据仓库系统的元数据，廖林，于立刚，计算机工程与应用，2001年第16期14. 电信企业数据仓库数据质量的研究与应用，方智，国防科学技术大学，2006年15.三大模型架起数据仓库大厦，付红玲，/cio/knowledge/200711/806.html，2007年16.三大主流ETL工具选型，刘庆，/cnw07/Software/BI/htm2006/20060414_15088.shtml，2006年时间进度安排：2008年11月17日2008年12月26日理解主要任务，收集、阅读大量相关文献资料，对资料进行筛选、分类整理，并加以思考和理解，增加知识储备。对一些已投入使用的数据库系统进行实际操作，发现问题，分析问题，并解决问题。2008年12月27日2008年12月31日确定要研究的具体问题和内容，决定采用哪些研究方法。2009年1月1日2009年1月12日 拟定论文框架结构，征求导师意见后，在导师的指导下修改、完善，