大学计算机与人工智能基础 课件 第6章 大数据技术基础

第6章

大数据技术基础本章目标熟悉大数据技术的概念了解大数据技术的应用领域熟悉大数据处理技术掌握使用WPS表格和Python语言进行数据的可视化的基本方法第6章

大数据技术基础

大数据技术概述6.16.2大数据处理技术6.23.35.4大数据技术的概念大数据技术是指从各种各样类型的巨量数据中，快速获取有价值信息的技术体系。它融合了分布式存储、分布式计算、数据挖掘、机器学习等一系列先进技术，旨在解决海量数据的采集、存储、管理、分析和可视化等关键问题，从而为各行业的决策提供有力支持。大数据技术涵盖了硬件、软件、算法以及应用的综合性技术生态系统大数据技术的概念硬件层面：高性能服务器、分布式存储设备等，以支撑海量数据的存储和处理。软件层面：各类数据库管理系统、数据处理框架等。算法层面：数据挖掘算法、机器学习算法等，用于从数据中提取有价值的信息。应用层面：广泛应用于金融、医疗、电商、交通等各个领域，帮助企业和机构优化业务流程、提升决策效率、创新产品和服务。大数据的产生大数据产生的方式主要集中在以下几个方面：1.交易数据2.移动通信数据3.物联网数据4.网络日志数据5.企业信息化数据大数据的特点1.数据体量巨大大数据技术能够处理的数据量远超传统数据处理方式所能承载的范围，从TB级别跃升到PB级别甚至EB级别2.数据类型多样数据类型不仅限于传统的结构化数据（如关系数据库中的表格数据），还包括非结构化数据（如文本、图片、视频、音频、地理位置信息等）和半结构化数据。3.处理速度快通过高效的算法和计算框架，大数据技术能够实时地处理数据流，并在极短的时间内给出分析结果。大数据的特点4.价值密度低

大数据中的有价值信息往往只占很小的一部分，即价值密度低。然而，通过大数据技术的处理和分析，可以从海量数据中挖掘出隐藏的价值，实现数据的“总量价值高”。5.真实性高大数据技术强调数据的真实性和准确性，在数据采集、存储和处理过程中，大数据技术需要采用一系列措施来确保数据的真实性。6.可变性大数据技术处理的数据具有高度的可变性，包括数据的格式、内容、来源等方面。大数据技术需要适应这种可变性，能够灵活地处理不同类型和格式的数据。大数据的特点7.复杂性大数据技术涉及的数据量巨大、类型多样、处理速度快，这导致了数据处理的复杂性。8.可视化

大数据技术提供了丰富的可视化工具和方法，使得数据能够以直观、易懂的方式呈现给用户。这有助于用户更好地理解数据和分析结果，从而做出更明智的决策。9.隐私和安全性大数据技术处理的数据往往包含敏感信息，如个人隐私、企业机密等。因此，大数据技术在处理数据时需要严格遵守隐私和安全法规，确保数据的安全性和隐私性。大数据的应用领域1.金融领域在金融领域，大数据技术被广泛应用于风险评估、欺诈检测、精准营销等方面。2.医疗领域在医疗领域，大数据技术的应用有助于提高医疗质量、优化医疗资源配置以及推动医学研究的发展。3.电商领域电商领域是大数据技术应用最为广泛和深入的领域之一。电商平台通过对用户的浏览行为、购买历史、搜索记录等数据进行分析，能够实现精准营销和个性化推荐。4.交通领域在交通领域，大数据技术可以用于智能交通管理、交通拥堵预测和优化出行规划等方面。本章内容

大数据技术概述6.16.2大数据处理技术6.23.35.4数据收集与存储1.大数据收集技术大数据收集技术是指从各种来源获取大规模数据的技术手段。常用的大数据收集方法包括：数据库采集：通过部署大量数据库，如MySQL、Oracle等关系型数据库，以及Redis、MongoDB和HBase等NoSQL数据库，来采集和存储数据。系统日志采集：收集公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。网络数据采集：利用网络爬虫技术模拟人类访问网页的行为，自动抓取网页上的数据。数据收集与存储1.大数据收集技术感知设备数据采集：通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。其他数据采集方法：包括文件导入、手动采集和RSS订阅采集等。数据收集与存储2.大数据存储技术大数据存储技术是指将大规模的数据集持久化到计算机中的技术手段。分布式文件系统：能够将数据分散存储在多个节点上，并提供高效的文件读写和访问接口。NoSQL数据库：为大数据提供了高可用性和可扩展性的存储解决方案。列式存储数据库：它们将数据按列存储而不是按行存储，这可以大大提高查询效率并减少存储空间的占用。云存储服务：提供了在线的数据存储服务，用户可以通过网络访问云服务器上的数据。数据清洗与整合1.大数据清洗技术大数据清洗技术是指对原始数据进行处理，以确保数据的准确性、一致性和完整性的过程。目的在于提高数据质量，为后续的分析提供可靠的基础。缺失值处理：对于数据集中存在的缺失值，可以采用删除包含缺失值的记录、使用平均值或中位数填充缺失值等方法进行处理。异常值处理：异常值是指与其他数据明显不同的数据点，可以通过简单的统计分析、3∂原则或基于聚类的方法进行检测和处理。数据清洗与整合1.大数据清洗技术大数据清洗技术是指对原始数据进行处理，以确保数据的准确性、一致性和完整性的过程。目的在于提高数据质量，为后续的分析提供可靠的基础。格式转换：将不同格式的数据转换为统一的格式，如将日期数据转换为特定的日期格式，将文本数据转换为数值型数据等。数据一致性检查：根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。数据清洗与整合2.大数据整合技术大数据整合技术是指将来自不同数据源的数据进行合并和整合，以便进行综合分析的过程。数据源识别与选择：识别和选择需要整合的数据源，这些数据源可以来自不同的数据库、文件或系统。数据字段匹配：将不同数据源的字段进行匹配，将具有相同或相似含义的字段进行对应，以实现数据的关联和整合。数据冗余处理：对于整合过程中出现的数据冗余，可以采用删除冗余数据、合并相同数据等方法进行处理。数据关联与合并：通过共同的字段将不同数据源的数据进行关联，然后将关联的数据进行合并，形成综合的数据集。数据分析与挖掘数据分析与挖掘是大数据处理过程中的核心环节，它主要利用统计、机器学习和数据挖掘等技术手段，从大量数据中提取有价值的信息和知识。1.数据分析数据分析是一个系统性的过程，旨在从数据中提取有意义的信息，为决策提供支持。具体步骤和方法包括：1）数据探索使用图表、统计摘要等手段对数据进行初步观察，了解数据的大致分布、范围和特征，识别数据中的异常值、缺失值和重复数据，为后续的数据清洗做准备。2）数据清洗去除重复数据、纠正错误数据、填补缺失值。数据分析与挖掘3）数据转换将数据转换为适合分析的形式，如标准化、归一化、离散化等。4）描述性统计分析计算均值、中位数、众数、标准差等统计量，描述数据的中心趋势和离散程度。5）推断性统计分析使用假设检验、置信区间估计等方法，从样本数据中推断总体数据的特征。6）机器学习与预测构建和训练机器学习模型，如决策树、随机森林、支持向量机等，对数据进行分类、回归、聚类等操作。数据分析与挖掘2.数据挖掘数据挖掘是一个从大量数据中提取有价值信息的过程，主要关注发现未知的、有价值的模式和关系。具体步骤和方法包括：1）数据准备选择合适的数据集，进行数据的清洗、转换和集成。2）算法选择根据数据挖掘的目标和数据类型选择合适的算法，如分类、聚类、关联规则挖掘、异常检测等。3）模型训练与评估使用训练数据集对模型进行训练，得到模型的参数和结构。4）模式发现与解释从训练好的模型中提取有价值的模式和关系，如关联规则、聚类结果等。对发现的模式进行解释和分析，理解其业务含义和实际应用价值。数据分析与挖掘4）模式发现与解释从训练好的模型中提取有价值的模式和关系，如关联规则、聚类结果等。对发现的模式进行解释和分析，理解其业务含义和实际应用价值。5）结果应用与部署将发现的有价值模式应用到实际业务场景中，如推荐系统、欺诈检测等。对模型进行监控和维护，定期更新和优化模型，以适应数据的变化和业务需求的变化。数据可视化数据可视化技术是指将数据以直观的图形、图表、地图、信息图等视觉形式呈现出来，从而更高效地传达数据中的信息和模式，帮助用户快速理解和分析数据。1.常用软件WPS表格：作为最常用的办公软件之一，WPS表格具备强大的数据处理和可视化功能。Tableau：一款专业的数据可视化工具，以其强大的交互性和可视化效果而闻名。PowerBI：微软推出的数据可视化工具，与微软的办公软件套件无缝集成。Python（Matplotlib、Seaborn、Plotly等库）：Python作为一种强大的编程语言，拥有众多用于数据可视化的库。R（ggplot2等包）：R语言也是一种常用的数据分析和统计编程语言。数据可视化2.数据可视化类型统计图表：是最常见的数据可视化类型，用于展示数据的分布、趋势、比例等统计信息。常见的统计图表包括柱状图、折线图、饼图、散点图、箱线图等。信息图：将复杂的信息和数据以图形化的方式呈现，通常结合了文字、图表、图标等多种元素，旨在以简洁、直观的方式传达信息。地图可视化：将数据与地理信息相结合，通过地图的形式展示数据的分布和变化。关系图：用于展示数据之间的关系，如网络关系图、层次关系图、流程图等。时间序列可视化：专门用于展示随时间变化的数据，强调数据的时间维度和趋势。数据可视化2.数据可视化类型统计图表：是最常见的数据可视化类型，用于展示数据的分布、趋势、比例等统计信息。常见的统计图表包括柱状图、折线图、饼图、散点图、箱线图等。信息图：将复杂的信息和数据以图形化的方式呈现，通常结合了文字、图表、图标等多种元素，旨在以简洁、直观的方式传达信息。地图可视化：将数据与地理信息相结合，通过地图的形式展示数据的分布和变化。关系图：用于展示数据之间的关系，如网络关系图、层次关系图、流程图等。时间序列可视化：专门用于展示随时间变化的数据，强调数据的时间维度和趋势。数据处理实例1.使用数据透视表进行数据分析和汇总数据透视表的功能特点如下：数据汇总：可按照用户指定的行和列字段，对数值字段进行各种汇总计算，如求和、平均值、计数、最大值、最小值等，快速呈现数据的总体特征。灵活分组：能够根据数据的特征或用户需求，对行或列字段进行分组，实现数据的多层次分析。例如，可按日期范围对销售数据进行分组，查看不同时间段的销售情况。交互性强：用户可以通过简单地拖放字段、筛选数据等操作，快速改变数据的展示方式和分析角度，方便进行不同维度的数据分析和比较。数据清理和转换：在一定程度上可以对数据进行清理和转换，如去除重复值、对数据进行排序等，为进一步的数据分析做好准备。数据处理实例数据透视表的应用场景如下：商业智能：在企业的销售数据分析、财务报表分析、市场调研等领域广泛应用，帮助管理层快速了解业务状况，发现问题和机会，制定决策。数据挖掘：作为数据探索的重要工具，用于初步分析数据，发现数据中的潜在规律和异常值，为后续的深入挖掘和建模提供基础。日常数据处理：在办公场景中，用于处理各种数据报表，如员工绩效统计、项目进度跟踪等，提高数据处理和分析的效率。数据处理实例实例1：使用数据透视表进行数据分析、汇总素材：2023年个人支出统计表.xlsx数据处理实例实例1：使用数据透视表进行数据分析、汇总素材：2023年个人支出统计表.xlsx实验要求：1.按照大类汇总金额的和2.按照月份汇总金额的和3.设置数据透视表的格式数据处理实例实例2：使用数据透视图绘制图表实验要求：1.创建按照大类汇总金额的数据透视图（柱形图）2.创建按照月份汇总金额的数据透视图（折线图）实例3：使用切片器将图表变为动态图表实验要求：1.插入“成员”切片器，通过单击成员姓名切换指定的透视图。数据处理实例4.使用Python实现数据可视化Python作为一种功能强大且灵活的编程语言，在数据可视化领域发挥着重要作用。Python提供了多种数据可视化库，其中Matplotlib是最为基础和广泛使用的库之一。1）Matplotlib库简介Matplotlib是Python的一个2D绘图库，它能够生成高质量的数学图形，非常适合用于数据可视化。Matplotlib提供了丰富的绘图函数和参数，使用户能够轻松地创建各种类型的图表，如折线图、条形图、散点图、饼图等。Matplotlib库是一个第三方库，在使用之前需要使用pip工具安装。数据处理实例2）matplotlib常用函数①plot()功能：绘制二维折线图。格式：plt.plot(x,y,format_string,**kwargs)②scatter()功能：绘制二维散点图。格式：plt.scatter(x,y,s=None,c=None,marker=None,**kwargs)③bar()功能：绘制柱状图。格式：plt.bar(x,height,width=0.8,bottom=None,align='center',**kwargs)数据处理实例2）matplotlib常用函数④pie()功能：绘制饼图。格式：plt.pie(x,explode=None,labels=None,autopct=None,pctdistance=0.6,shadow=False,labeldistance=1.1,startangle=None,radius=None,counterclock=True,wedgeprops=None,textprops=None,center=(0,0),frame=False,**kwargs)⑤xlabel()功能：设置x轴标签。格式：plt.xlabel(xlabel,fontdict=None,labelpad=None,**kwargs)数据处理实例2）matplotlib常用函数⑤xlabel()功能：设置x轴标签。格式：plt.xlabel(xlabel,fontdict=None,labelpad=None,**kwargs)⑦title()功能：设置图表标题。格式：plt.title(label,fontdict=None,loc='center',pad=None,**kwargs)⑧show()功能：显示图表。格式：plt.show()数据处理实例2）matplotlib常用函数⑨legend()功能：显示图例。格式：plt.legend(*args,**kwargs)数据处理实例3）使用Matplotlib库实现可视化的过程①导入Matplotlib库：在Python脚本或交互式环境中导入Matplotlib库，通常使用importmatplotlib.pyplotasplt语句。②准备数据：加载和处理需要可视化的数据，确保数据的格式和范围适合绘图。③选择绘图函数：根据数据的特征和可视化需求，选择合适的绘图函数，如plt.plot()、plt.bar()等。④设置绘图参数：指定绘图的各种参数，如x轴和y轴的数据、图表的标题、坐标轴的标签等。⑤显示或保存图表：使用plt.show()函数显示绘制的图表，或使用plt.savefig()函数将图表保存为文件。数据处理实例4）使用Matplotlib库绘制折线图数据如下：绘制一个折线图，显示12个月销量的趋势1月2月3月4月5月6月7月8月9月10月11月12月200540460700846931765459765403350870数据处理实例importmatplotlib.pyplotaspltplt.rcParams['font.san