人工智能数据服务 课件 2-3 项目二 数据采集 任务3 数据存储与加载

任务2-3数据存储与加载3数据在人工智能中的核心作用：数据是驱动人工智能模型智能进化的关键燃料，也是整个人工智能生态系统发展的基石。它不仅是模型训练与优化的基础，还直接影响到系统的智能化水平和最终性能。数据存储与加载机制的重要性：一个高效、安全、可扩展的数据存储与加载机制对于人工智能系统的顺畅运行至关重要。它确保了数据在系统中的流通无阻，提高了数据处理效率，同时增强了系统的安全性和灵活性，为系统的长期维护和扩展提供了坚实基础。技术创新与优化方向：项目实践不仅加深了我们对数据存储与加载机制的理解，还激发了我们对技术创新的追求。通过不断探索和优化数据存储与加载流程，我们可以进一步提升人工智能系统的整体性能和运行效率，从而更好地服务于实际应用场景，推动人工智能技术的持续进步和发展。本任务旨在对采集后的数据进行有效的存储以及加载，以方便后续的任务。根据采集到的数据特点，采用不同的数据存储方式，包括TXT格式数据存储、CSV格式数据存储、Excel格式数据存储以及MongoDB数据库数据存储。同时，将存储后的数据重新加载，并进行数据展示。2.3.1基于Python的TXT格式数据存储在Python中，将数据存储到.txt文件（文本文件）是一个常见的操作。以下是一些基本的示例，说明如何使用Python将数据写入和读取.txt文件。（1）写入TXT文件使用open()函数以写入模式（'w'或'a'，其中'w'表示写入，会覆盖已有文件内容，'a'表示追加，会在文件末尾添加内容）打开一个文件，并使用write()方法将数据写入文件。#写入数据到txt文件data="Hello,World!\n"#\n表示换行符withopen('myfile.txt','w',encoding='utf-8')asf:f.write(data)2.3.1基于Python的TXT格式数据存储（2）读取TXT文件使用open()函数以读取模式（'r'）打开一个文件，并使用read()方法读取文件内容。#读取txt文件内容withopen('myfile.txt','r',encoding='utf-8')asf:content=f.read()print(content)2.3.2基于Python的CSV格式数据存储在Python中，CSV（CommaSeparatedValues，逗号分隔值）格式的数据存储和读取是非常常见的。CSV文件是一个简单的文本文件，其中包含由逗号或其他分隔符分隔的表格数据。Python的内置CSV模块提供了方便的函数来读取和写入CSV文件。（1）写入CSV文件使用csv.writer()函数来创建一个写入器对象，该对象能够将数据写入CSV文件。importcsv#定义要写入的数据

data=[['Name','Age','Country'],['Alice','25','USA'],['Bob','30','Canada'],['Charlie','35','UK']]#写入CSV文件

withopen('mydata.csv','w',newline='',encoding='utf-8')asfile:writer=csv.writer(file)forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式数据存储（2）读取CVS文件使用csv.reader()函数来创建一个读取器对象，该对象能够读取CSV文件中的数据。importcsv#读取CSV文件

withopen('mydata.csv','r',encoding='utf-8')asfile:reader=csv.reader(file)forrowinreader:print(row)#每行数据将被打印为一个列表2.3.2基于Python的CSV格式数据存储（3）使用DictWriter和DictReaderCSV模块还提供了DictWriter和DictReader类，它们允许以字典的形式处理CSV数据。写入CSV文件（使用DictWriter）importcsv#定义要写入的数据（字典列表）

data=[{'Name':'Alice','Age':'25','Country':'USA'},{'Name':'Bob','Age':'30','Country':'Canada'},{'Name':'Charlie','Age':'35','Country':'UK'}]#定义字段名

fieldnames=['Name','Age','Country']#写入CSV文件

withopen('mydata_dict.csv','w',newline='',encoding='utf-8')asfile:writer=csv.DictWriter(file,fieldnames=fieldnames)#写入字段名

writer.writeheader()#写入数据行

forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式数据存储（3）使用DictWriter和DictReaderCSV模块还提供了DictWriter和DictReader类，它们允许以字典的形式处理CSV数据。读取CSV文件（使用DictReader）importcsv#读取CSV文件

withopen('mydata_dict.csv','r',encoding='utf-8')asfile:reader=csv.DictReader(file)forrowinreader:print(row)#每行数据将被打印为一个字典2.3.3基于Python的Excel格式数据存储在Python中，Excel格式的数据存储通常使用第三方库，如openpyxl（用于处理.xlsx文件）或xlwt和xlrd（用于处理较旧的.xls文件，但xlrd从2.0.0版本开始不再支持.xlsx文件）。由于.xlsx是更现代的Excel文件格式，下面将展示如何使用openpyxl来读取和写入Excel文件。1）安装openpyxl库首先，需要安装openpyxl库。可以使用pip来安装：pipinstallopenpyxl2.3.3基于Python的Excel格式数据存储（2）写入Excel文件使用openpyxl创建一个新的Excel文件并写入数据。fromopenpyxlimportWorkbookfromopenpyxl.utilsimportget_column_letter#创建一个新的工作簿

wb=Workbook()#选择活动工作表

ws=wb.active#写入标题行

ws.append(["Name","Age","Country"])#写入数据行

data=[["Alice",25,"USA"],["Bob",30,"Canada"],["Charlie",35,"UK"]]forrowindata:ws.append(row)#保存工作簿

wb.save("mydata.xlsx")2.3.3基于Python的Excel格式数据存储（3）读取Excel文件使用openpyxl读取Excel文件中的数据。fromopenpyxlimportload_workbook#加载工作簿

wb=load_workbook(filename="mydata.xlsx")#选择活动工作表，或者通过名称选择工作表

ws=wb.active#或者wb["Sheet1"]#遍历并打印所有行

forrowinws.iter_rows(values_only=True):print(row)#如果你知道要读取的数据的位置，也可以直接访问单元格

cell_value=ws['A1'].value#获取第一行第一列的值

print(cell_value)2.3.4基于Python的MongoDB数据库存储1.

MongoDB数据库介绍MongoDB是一个强大而灵活的文档型NoSQL数据库，它以其独特的存储机制、高性能、可扩展性和易用性而广受欢迎。MongoDB采用BSON（BinaryJSON）作为其数据存储格式，这使得它能够存储复杂且多变的数据结构，非常适合用于非结构化或半结构化数据的存储和管理。2.3.4基于Python的MongoDB数据库存储2.MongDB数据库安装和使用要使用Python将数据存储到MongoDB数据库中，需要安装pymongo库，这是MongoDB的官方Python驱动程序。安装完成相关库后，可创建、连接数据库，然后可以进行数据的插入、查询、更新和删除。表2-3-1任务工单数据存储与加载的任务工单如下表2-3-1所示班级：组别：姓名：掌握程度：任务名称采集数据的存储任务目标根据数据的特点，将采集到的数据按照一定的格式进行存储，并且能够将数据进行导入和展示。存储数据文本工具清单Python、openpyxl、pymongo、xml、MongoDB操作步骤1.

爬取数据存储环境配置：创建虚拟环境，安装相关涉及数据存储的python模块。2.

编写数据采集爬虫代码，编写数据存储代码。3.

进行脚本测试，存储数据以及数据加载测试。考核标准1.实现与性能：[能否正常存储和读入数据]2.稳定性和可靠性：[长时间稳定运行，异常处理能力]3.

数据质量：[数据的完备性、多样性]2.3.5数据存储与加载实战步骤一数据存储环境搭建（1）参照任务2.1任务实施的步骤一，创建一个Python版本为3.8的虚拟环境。（2）配置数据采集存储所需模块。激活虚拟环境：condaactivatedata_save如图2-3-3所示，图中最左边的状态由（base）转变为（data_save）。2.3.5数据存储与加载实战步骤一数据存储环境搭建pipinstallopenpyxl-i/simple安装openpyxl和pymongo模块pipinstallpymongo

-i/simple步骤二文本数据采集及txt格式存储以下是数据存储文件创建和数据保存部分代码

#检查文件是否成功创建

ifos.path.exists('data.txt'):

print("数据已保存到data.txt文件中。")

#读取txt文件并显示数据

withopen('data.txt','r',encoding='utf-8')asfile:

print("txt文件中的数据：")print(file.read())else:print("保存文件失败。")else:print("请求网页失败，状态码：",response.status_code)步骤三电影数据采集及CSV格式存储以下是数据存储文件创建和数据保存部分代码步骤四Excel表格的数据存储在本步骤