大数据详细介绍综述

大数据详细介绍综述大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。百度百科认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像蚁巢一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据通常容量巨大，且内容多样化，计量单位一般都是TB甚至EB等级，简单来说，大数据技术就是采集这些信息后进行分析和处理，以获得普通数据中蕴含的更丰富信息。1PB相当于50%的全中国学术研究图书馆藏书信息内容；5EB相当于至今全世界人类所讲过的话语；1YB相当于7000位人类体内的微细胞总和；1ZB如同全世界海滩上的沙子数量总和。大量，指大数据量非常大。必须包含尽可能详细的数据才可称为大数据。种类，体现在数据类型的多样化，除了包括传统的数字、文字，还有更加复杂的语音、图像、视频等。高速，指大数据必须得到高效、迅速的处理。价值，指大数据的价值更多地体现在零散数据之间的关联上。复杂性，体现在大数据所代表的不同信息的混杂程度。真实性，指与传统的抽样调查相比，大数据反映的内容更加全面、真实。因为他的六大特征的英文名称首字母为五个v一个c,所以大数据的特征又被称作5v一c模型特征。大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。（1）

优化各级政府、主管部门、各级公司企业都将基于大数据分析平台优化其决策。（2）

带来新的革命，大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。（3）

对相关行业的颠覆，银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务。（4）

带来的改变：因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。大数据的应用案例：1、大数据使人民生活更加便利。2、方便日常出行，利用交通系统的大数据，我们可以预约网约车出行，可以提前了解路况，避免堵车。3、利用大数据，可以节省用户的购物时间，而且可以通过大数据分析来获取用户的准确需求，达到精准推送的效果。挑战1：大数据技术的运用仍有困难数据采集方面：要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，还可与历史数据对照，多角度验证数据的全面性和可信性。数据存储方面：要达到低成本、低能耗、高可靠性目标，要用到冗余配置、分布化和云计算技术，存储时对数据进行分类，通过过滤和去重，减少存储量，并加入便于检索的标签。数据处理方面：大数据的复杂性使得难以用传统的方法描述与度量，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可的数据中综合信息，并导出可理解的内容。可视化呈现方面：使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。挑战2：大数据给信息安全带来新挑战（1）加大隐私泄露风险，大量数据的集中存储增加了其泄露的风险；一些敏感数据的所有权和使用权并没有清晰界定。（2）对现有存储和安防措施提出挑战，复杂的数据存储在一起，可能造成企业安全管理不合规；（3）被运用到攻击手段中，黑客可收集更多有用信息，大数据分析让攻击更精准；大数据为黑客发起攻击提供了更多的机会安全防护手段更新升级慢，存在漏洞。事情的起因是美国中情局前职员斯诺登向媒体爆料，过去6年间，美国的情报部门通过一个代号为“棱镜”的项目，从多家知名互联网公司获取电子邮件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。他说，自己只需要坐在办公桌前，动动指头，敲敲键盘，就能了解很多人的私密信息。斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入“棱镜门”事件的公司包括微软、雅虎、谷歌、苹果、Facebook等9大IT业巨头。在“棱镜门”事件开始发酵之后，这些公司先是赶紧出面否认与美国政府的监视项目进行过合作，并相继发表声明，呼吁政府采取更透明态度，以证明他们的“清白”。但是根据此事件后续的爆料只能说他们越描越黑。机遇1：国家层面大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。机遇2：企业层面每个企业都可能拥有大数据，但是并非每个企业都能成为大数据企业。对于企业而言，大数据实质上是一种管理思维，其支点在于业务信息资源与社交媒体的融合，以及企业内外部信息的融合，在这样的支点上反思企业的组织形态、运作范式和价值创造模式，是企业运用大数据的真正内涵所在。机遇3：对个人层面中国是人才大国，但能理解与应用大数据的创新人才一直是稀缺资源。从知识结构升级的角度来看，不论是否处在计算机行业，学习一定的大数据、人工智能技术，对于未来的发展还是很有帮助的。既然大的社会发展趋势无法扭转，那么就应该积极拥抱新技术，从而抓住新技术所带来的新机遇。虽然当前消费互联网时代的用户增量红利已经逐渐结束了，但是大数据时代的红利期才刚刚开启，所以当前学习大数据相关技术也是顺应时代发展的选择。

关于“大数据证据”的研究综述随着新兴技术逐步渗入证据法领域，大数据证据、区块链证据等新的证据类型在司法实践中频繁出现。然而，目前我国立法和司法解释中尚未对大数据证据的证据属性、审查运用等作出明确规定，理论上关于大数据证据的概念与审查标准的讨论也未形成一致意见，司法实践中对于大数据证据的裁量标准也缺乏统一尺度。因此，小编对现有的文献（截止2023年11月）进行归纳，便于学界与实务界进一步深入研讨。关于大数据证据的研究目前主要分为四个议题，且主要集中于大数据证据的概念及其独立性。一是关于大数据证据的概念及其独立性。刘品新（2019）认为，对于大数据证据如何定位，各国法律界存在着不同的理论争论和实务处理，主要包括鉴定意见说、专家辅助人意见说、证人证言说等。考虑到大数据证据具有专业性和科学性，中国现实的便宜选择是将其纳入鉴定意见的证据法定形式。徐惠、李晓东（2020）认为，大数据证据是运用大数据技术、方法、思维等方式方法用以证明案件事实所得出的一切材料。张吉喜、孔德伦（2020）认为，大数据证据是记载对海量电子数据进行分析后所获得的结论的材料。在司法实践中，大数据证据主要包括三种情形：用来证明涉案人员活动轨迹的大数据证据；用来证明有组织犯罪案件中涉案人员组织架构的大数据证据；用来证明涉案金额的大数据证据。元轶（2021）认为，大数据证据由大数据集和大数据报告构成。大数据集是实物证据，大数据报告也是实物证据；与此同时，两者并非彼此独立的。在算法控制不变的前提下，大数据集与大数据报告具有高度稳定的对应关系。在这一意义上，大数据证据具有二元实物证据属性。杨继文（2022）认为，算法证据本质是上通过大数据算法软件、编码或者程序等技术规则来证明案件事实的材料。算法证据是大数据证据的一种类型，本质上是电子数据。郑飞、马国洋（2022）认为，大数据证据是指证据提出者通过对海量数据进行筛选、汇总、提炼、形成结论并在审判中使用的证据。一般而言，大数据证据的运用主要有四种形式：一是将大数据的载体作为证据；二是将大数据等量复制的数据副本作为证据；三是将大数据中的部分数据作为证据；四是将大数据分析结论作为证据。大数据证据是一种全新的证据种类。倪春乐、陈博文（2022）认为，通过大数据算法对数据进行挖掘、分析、碰撞、刻画寻找行为的数据规律是大数据证据区别于传统证据的核心。因此，支撑大数据证据发挥证明作用的，不是作为其载体的电子数据本身，而是认识主体在大数据技术辅助下，以相关关系拓展为路径对大数据与事实之间内在因果逻辑的揭示和表达，它是一种融合性证据。黄健（2023）认为，大数据证据并无区别于其他证据的决定性差异，无需新设法定证据种类。大数据证据原始载体与最终载体均可划归现有刑事证据法定种类之中。张迪（2023）认为，应当使用算法证据来指称实践中与大数据相关的证据。周慕涵（2023）认为，大数据证据的本体、结构与法律性质共同决定了，大数据证据不同于以往任何种类的证据，应当被赋予独立的证据种类地位。二是关于大数据证据的作用方式。谢君泽（2020）认为，大数据证据的运用主要有四种方法：第一种是把大数据所涉及的所有服务器(原始载体)作为证据使用；第二种是把服务器中的大数据(全样本)以等量复制的数据副本形式作为证据使用；第三种是从大数据(全样本)中筛出“小”数据作为证据使用；第四种是将大数据(全样本)经过计算模型处理后的分析结论(如数额)作为证据使用。林喜芬（2021）认为，大数据证据主要被用于侦查破案线索、弹劾被告辩解、补强言词证据、印证性的间接证据等，在作用方式上包括了基于海量数据的数据库比对和基于算法模型的大数据分析。程龙（2022）认为，大数据证据在刑事司法运用中主要有两种样态：基于海量数据的数据库比对；基于算法模型的大数据分析。张迪（2023）认为，将算法证据分为对案生大数据分析的算法证据、对案外大数据分析的算法证据以及案件发生时生成的算法证据。而不同的算法证据具有不同的证明机理。李育林、马静华（2023）认为，大数据证明是一种在证据推理过程中具有明显优势的间接证明方式，核心是数据相关转化为逻辑因果。三是关于大数据证据的适用规则。杨继文（2022）认为，为了克服算法证据的适用风险，需要促进法律价值、司法理性和技术理性的融合，通过构建算法证据的“主仆场景”适用规则、场景解释规则、对质参与规则、证明力规则、鉴定与推定规则来达成。王燃（2022）认为，大数据证明最核心的要素在于数据及算法，特别是算法内部的运行机制。因此，大数据证明的可靠性要求重新构建一套规则，并重点关照其发挥证明作用的两大支柱“数据和算法”，包括数据质量、数据准确性、数据全面性等，算法的源代码及内部运行机制等。由针对人类经验的证据规则迈向针对机器逻辑的数据法则。四是关于大数据证据的审查方式。刘品新（2019）认为，对于这一证据如何审查判断，我国应当聚焦真实性与关联性规则进行创新。具体来说，针对海量数据本身的真实性问题，要建设以“大”真实性为主的真实性规则；针对大数据分析结果的真实性问题，要构建判断机器算法是否可信的真实性规则;针对大数据分析结果所揭示的关联性结论，要构建基于整体数据与具体数据分层的关联性规则，特别是探索超越人类经验判断的关联性规则。卫晨曙（2020）认为，大数据证据的审查，一方面要根植于电子数据的规则传统进行证据鉴真，另一方面要对机器学习的源代码进行可靠性评估,，以完成大数据证据的相关性判断与可靠性评价。同时,应当以调整证据种类制度、完善电子数据鉴真制度以及构建大数据证据质证机制作为大数据证据审查的配套机制。马国洋（2021）认为，人工智能证据是由机器而非人类作出的实质判断，使用时审查内容主要包括相关性和可靠