新一代信息技术吴柏雄69课件

新一代信息技术主讲：吴柏雄目录03物联网04人工智能05区块链02云计算01大数据大数据（一）大数据的概念一、大数据的概念和特征维基百科把大数据定义为如何从规模大到无法通过传统技术进行处理的海量数据中提取有效信息并进行分析的技术领域。『视频』大数据是什么？（一）大数据的概念一、大数据的概念和特征信息技术快速发展“数据爆炸”成为大数据时代的鲜明特征。2022年我国大数据产业规模达1.57万亿元，同比增长18%，成为推动数字经济发展的重要力量。在这个信息化时代，数据已成为继物质、能源之后的又一重要战略资源。人类社会经历的三次工业革命：蒸汽时代电气时代信息时代。（一）大数据的概念一、大数据的概念和特征指标传统数据大数据数据量GB数据持续产生，一般为TB-ZB产生速率每小时、每天、甚至更久每分、每秒，甚至更短数据类型结构化数据半结构化或非结构化数据数据来源来源单一，集中分布来源多样，分散分布数据集成容易困难数据存储关系数据库管理系统Hadoop分布式文件系统，NoSQL传统数据与大数据的对比（二）大数据的特点一、大数据的概念和特征大数据的4V特征：关于大数据的“大”，业界认同“4V”的说法。大数据是如何被定义以及它具备哪些特征呢？（二）大数据的特点一、大数据的概念和特征大数据还有以下特点：1.规模性2.高速性3.多样性4.价值性5.准确性6.动态性7.可视性8.合法性9.在线的（一）萌芽阶段（20世纪80年代初-20世纪90年代末）（二）发展阶段（2000年-2008年）（三）应用阶段（2009年至今）二、大数据的发展历程1.1999年8月，在《美国计算机协会通讯》上，史蒂夫·布赖森（SteveBryson）等人发表了一篇名为《千兆字节数据集的实时性可视化探索》的文章，这是《美国计算机协会通讯》收录的第一篇使用“大数据”这一术语的文章。2.2008年，在谷歌成立10周年之际，著名的《自然》杂志出版了一期专刊，专门讨论与未来的大数据处理相关的一系列技术问题和挑战，其中就提出了“BigData”的概念。3.2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透，几乎所有世界级的互联网企业，都将业务触角延伸至大数据产业，因此2013年也被称为大数据元年。（一）大数据采集三、大数据的生命周期大数据的定义从字面角度：大数据（Bigdata）是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。换言之，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。数据的采集几乎涵盖了各个领域，如互联网、金融、医疗、交通、教育、通信、科研等。由于领域不同，在数据的规模、数据的特性、数据的类型上均存在着较大的差异。常见的数据采集设备主要有移动终端、传感器、日志文件、网络爬虫等。（二）大数据存储三、大数据的生命周期大数据储存即将采集到的数据以数据库的形式存储到存储器上，业内常见的存储路线主要有3种。第一，基于大规模并行处理（MassivelyParallelProcessing，MPP）架构的新型数据库集群。第二，基于Hadoop的技术扩展和封装。第三，大数据一体机。（三）大数据预处理三、大数据的生命周期数据源的多样性和数据传输中的某些因素使得大数据质量具有了不确定性，噪声、冗余、缺失、数据不一致等问题严重影响了大数据的质量。为了获得可靠的数据分析和挖掘结果，必须利用预处理手段提高大数据的质量。数据预处理主要包括数据清理、数据集成、数据转换、数据规约等4个步骤。（四）大数据挖掘与分析三、大数据的生命周期大数据挖掘与分析是大数据处理体系的核心，其目标是通过一定的分析和挖掘技术发现大数据中隐藏的有价值的信息或知识从而辅助决策。大数据挖掘与分析涵盖了统计分析、机器学习、数据挖掘、模式识别等多个领域的技术和方法。为了能够让用户更好地理解对大数据挖掘与分析的结果，需要将挖掘分析到的信息以友好的、易于理解的、直观的方式呈现在用户的终端，辅助用户做出决策，为用户的决策提供支持。（一）医学研究四、大数据在医学领域的应用大数据的价值促使医学研究实现由假设驱动向数据驱动的重大转变。大数据技术可以挖掘海量研究数据中蕴藏的规律，直接提出假设或得出可靠的结论。（二）医学教育四、大数据在医学领域的应用运用医学大数据技术建立包含影像资料、电子病历等多方位的资料的“大数据模型”可以将一手的临床资料直接呈现给学生，改变以往以老师为中心的教学模