项目三之任务一 读写CSV数据文件

项目三：导入数据集中高本一体化课程体系·大数据应用技术专业核心课程Contents课程项目总览大数据应用编程——从数据采集到可视化的完整项目实践路径01任务一读写CSV数据文件02任务二读写XLSX数据文件03任务三读写JSON数据文件04任务四读写关系数据库任务一读写CSV数据文件从Python基础语法入手，建立基本的数据分析处理意识与能力大数据应用编程〖任务描述〗

巨蟒公司最近接到一个学校社团业务，该社团要为毕业生提供全面的招聘信息服务。许多企业例如腾讯，在其招聘网上提供了各种工作岗位信息，现需要巨蟒公司从网页上获取并汇总岗位数据（岗位名称、地点、岗位类别、岗位需求、岗位职责、发布时间）并存储起来。大数据应用编程〖知识准备〗1.认识CSV数据文件CSV（逗号分隔值文件格式）。逗号分隔值（Comma-SeparatedValues，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）2.使用csv库读写CSV文件#方式一importcsvwithopen("D:\\test.csv")asf:reader=csv.reader(f)rows=[rowforrowinreader]print(rows[0])

#方式二importcsvwithopen("D:\\test.csv")asf:#1.创建阅读器对象reader=csv.reader(f)#2.读取文件第一行数据head_row=next(reader)print(head_row)大数据应用编程〖任务分析〗方法一方法二（1）搭建腾讯招聘Scrapy框架；（2）抓取数据包，分析页面结构，厘清抓取思路和抓取策略；（3）在items.py里面定义要抓取的数据字段；（4）编写爬虫文件主体逻辑，实现数据的抓取；（5）修改settings.py文件；（6）编写管道文件pipelines.py，将数据存入CSV文件中。此处由教师或学生自己思考方法实现任务大数据应用编程〖任务实施〗1.搭建腾讯招聘Scrapy爬虫框架2.爬取数据，将数据存入CSV文件中importscrapy

classTencentItem(scrapy.Item):#定义要抓取的数据结构

name=scrapy.Field()

#岗位名称location=scrapy.Field()

#地点kind=scrapy.Field()

#岗位类别duty=scrapy.Field()

#岗位需求requ=scrapy.Field()

#岗位职责release_time=scrapy.Field()#发布时间大数据应用编程〖任务检测〗一、填空题1.Python操作CSV文件时用到的库是_____________。2.Python向CSV写入中文数据发生乱码时，用到的库是_____________。二、实操题1.自建一个CSV文件，通过csv库写入如下信息到文件中，及处理中文乱码， 学号 姓名 年龄 班级 1 张三 16 1班 2 李四 17 1班 3 王五 16 1班2.通过csv库，输出题1中CSV文件的数据。大数据应用编程〖任务评价〗序号评价内容识记理解应用分析评价创造问题1应用Scrapy爬虫框架的项目搭