付费下载
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据的质量问题分析获奖科研报告【摘要】如今,大数据是一种不断增长的技术。大数据有很多用途;人工智能、医疗保健、商业等等。因此,有必要对所获取的大量数据进行预处理与分析,以确保使用和生成的数据具有更高的质量。如果想拥有较高质量的大数据,那么它的获取规则、管理架构等条件必须得到满足。本文从数据本身、数据管理、数据处理和数据用户的角度出发,提出了需要测量的主要大数据质量因素。这项研究强调了质量因素,这些因素在以后可能会用于创建不同的大数据质量模型。
【关键词】大数据、数据质量、回归规模
1引言
大数据概念已经使用了这么多年,研究人员在1944年以“信息爆炸”的名义开始注意到它。在信息技术领域,“大数据”一词最早是在1980年由CharlesTelly使用的。TimO'Reilly在2005年定义了我们今天所知道的术语“大数据”。这一术语将于2013年出现在牛津词典中。此后,许多研究者从定义、应用、技术、工具和质量等方面对“大数据”进行了讨论。而现在的大数据是一个术语,用来描述一个企业或系统日常的大量数据,它可以是结构化的、半结构化的或非结构化的。
软件质量是软件开发的一个基本过程。它是“软件产品满足既定需求的程度;然而,质量取决于这些既定需求准确表示涉众需求、愿望和期望的程度”。数据,作为任何软件产品的四大支柱之一,它必须尽可能高质量,以确保它不会在系统中产生任何故障或失效。本文主要对大数据的质量因素和问题进行了讨论,以帮助大数据生产者,分析师和用户衡量他们的大数据质量。
2大数据基本特征
如今,大数据涉及许多领域,如社交媒体、人工智能、机器学习、医疗保健、电力和核系统等等。2001年,DougLaney[8]提出了大数据的三大主要特征,后来被称为“大数据的三个V”:
1、容量(Volume):大数据,顾名思义,是需要处理和存储的海量数据;
2、速度(Velocity):是通过系统移动数据的速度。面对如此庞大的数据量,移动数据是一个巨大的挑战;
3、多样性(Variety):大数据是不同类型数据(图像、视频、音频、文本等)的巨大集合。此外,收集的数据的格式和呈现方式也不同。
大数据的特点和应用提出了大数据质量问题。任何将要使用它的应用程序都必须确保数据具有高质量标准,这是生成良好质量系统的强制性要求。主要考虑大数据的质量因素与传统数据集相同。此外,一些额外的质量因素,处理大量的数据,如数据管理和修复。
在以往的研究中,大多数研究者都讨论了传统数据的质量因素。然而,传统数据与大数据有许多相似的质量因素,它们在质量应用和度量上存在差异。
在文献[2-3]中,研究人员描述了网站数據的六个质量评估标准:权威性、准确性、客观性、通用性、覆盖率/预期受众和交互/交易特征。另一位研究人员讨论了网络数据质量,并与用户进行测试,以确定每种数据的重要性级别。另一位研究人员提出了六个质量指标,包括货币、可用性、信息噪音比、权威性、流行性和凝聚力,以进行调查。文献[4]中引入了一个新的质量模型,称为IQIP(Identify,Quantify,Implement,andPerfect)。他们总结了最常见的不同的数据质量/信息质量框架。该模型作为一种管理互联网爬虫搜索引擎质量相关算法的选择和实现的方法。
3大数据质量挑战
大数据的准确性、完整性、冗余性、可读性、可访问性、一致性、信任度是主要的数据和大数据质量因素。每个因素都与一个或多个必须满足的质量标准相关联,以满足质量因素。
此外,对于大数据开发人员来说,还有一些特性需要讨论,这些特性是:准确性;数据源的多样性和处理的复杂性是评估大数据质量的一个挑战。可变性;大数据类型和格式的变化可能导致质量的巨大差异。可能需要额外的工作和资源来识别、处理和过滤低质量的数据,以减少工作量和成本增加数据的有用性。价值;大数据在处理和过滤大数据时所传递的价值是什么?这个问题是大数据分析师面临的主要挑战。大数据质量的衡量不仅仅是数据质量,数据质量管理(DQM)也是一个必须考虑的质量挑战,DQM在大数据质量度量中起着关键的作用,大数据生命周期的每个阶段都必须根据一些质量规则来衡量。
大数据的生存周期图如图1所示,而DQM有五个主要步骤,可总结如下:
1)人员:项目经理、组织变革经理、业务/数据分析师是任何数据质量管理的关键角色;
2)数据分析:数据审查、比较、报告和统计分析,以检查数据的准确性或找到使用可用数据的最佳方法;
3)定义数据质量:在此阶段创建并定义数据的质量规则;
4)数据报告:删除和报告所有泄露数据;
5)数据修复:在这个阶段,修复和更改数据的最佳方法。
大数据生命周期也引入了质量因素和需要衡量的问题。因此,大数据的质量因素包括关注数据本身以及大数据管理和用户需求的因素。
外国学者曾做过一项关于大数据的品质因素研究,在这项研究中,这些品质因素被分为四类,取决于他们的视角,这些类别是:
数据透视图:关注数据质量因素,这些与通常的数据质量因素非常相似;
管理视角:如何从管理的角度处理数据;
处理和服务视角:如何使用和分析数据;
最后是用户视角:如何将这些大数据交付给目标用户并使其可视化。
一个国外的研究小组曾经也进行了四个独立的、特定领域的大数据应用案例研究。这些案例研究是对大数据收集中遇到的数据质量问题是否与传统规模的数据收集中遇到的数据质量问题在原因、表现形式或检测方面有本质不同的问题进行的初步调查。这项研究从多个层面探讨了影响大数据质量的几个因素,包括收集、处理和存储。这项研究的主要发现强调了影响大数据的主要因素在于在保持数据完整性的同时处理大数据的局限性和复杂性。这些关注点比数据的来源、处理以及用于准备、操作和存储数据的工具更重要。数据质量对于所有的数据分析问题都非常重要。从研究结果来看,“关于大数据的真相”是在大数据分析项目中没有根本上新的“数据质量”问题。不过,一些“数据质量”问题表现出规模回报效应,在大数据分析中或多或少变得明显。大数据质量因不同类型的大数据和不同的大数据技术而异。
4结论
在本文中,主要对大数据质量因素进行了讨论。得出大数据的质量不仅与数据本身有关,而且还
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级美术《如歌行板》教学设计:听觉形象的视觉转化与生命情感表达
- 初中七年级数学教学设计:有理数除法分层教学与核心素养培育
- 小学二年级音乐下册表花审美体验教学设计
- 高中思想政治选择性必修二《正确行使诉讼权利》教学设计
- 八年级数学下册第十四章一次函数核心素养导向教学设计
- 高中信息技术选修3教学设计:因特网信息资源检索策略与实践
- 关于广东省预制菜新品牌项目天使轮融资品牌策划
- 第一单元-主题活动一《生活中的小窍门》教学设计-2026-2027学年内蒙古版小学综合实践活动六年级上册
- 关于暂停钻井作业的函(7篇)
- 人力资源专员招聘与培训能力绩效考评表
- 2026年中央安全生产考核巡查明查暗访应知应会手册及检查重点解析(完整版)
- 2026新版:企业负责人及安全管理人员安全专题培训
- 2026年消防安全专题培训(含近期火灾事故案例)
- 青春期功血护理查房
- 中医护理技术操作
- 国家义务教育质量监测五年级劳动素养模拟试卷
- 2025版压力性损伤指南解读与临床实践
- 《毛泽东思想概论》 课件 第5、6章 社会主义建设理论、革命军队建设和军事战略理论
- 养老机构安全事故处理与报告制度
- 配网工程管理介绍
- 钢结构楼梯施工合同协议书
评论
0/150
提交评论