数据预处理实验1

重庆交通大学信息科学与工程学院重庆交通大学信息科学与工程学院 实验报告实验报告 班班 级 级 曙光曙光 17011701 班班 姓名姓名 学号 学号 实验项目名称 数据导入与预处理实验一实验项目名称 数据导入与预处理实验一 实验项目性质 实验项目性质 验证性 设计性验证性 设计性 实验所属课程 实验所属课程 数据导入与预处理数据导入与预处理 实验室实验室 中心中心 语音楼八楼语音楼八楼 指指 导导 教教 师师 实验完成时间 实验完成时间 20192019 年年 1111 月月 1 1 日日 1 1 实验目的实验目的 1 了解和掌握数据库的恢复 数据库数据的变换 数据的统计以 及可视化 掌握 Json 数据集的 API 下载方法 数据提取 以及导入 其他数据结构的方法 2 了解和掌握不同数据格式之间的转换方法 掌握用计算机编程 语言实现数据的格式转换以及数据信息的提取 2 2 实验要求实验要求 1 安装 Mysql 数据库 以及 mysql workbench 客户端 2 下载对公众开放的安然 Enron 公司的电子邮件数据集 下载地址 3 在 mysql 中恢复 Enron 数据库 4 数据统计每一天和每一周发邮件的数量 并用可视化软件实现 可视化 5 采用 iTunes API 做个小实验 利用关键词来生成 JSON 数据结果 集 iTunes 是由 Apple 公司提供的一个音乐服务 任何人都可以利 用 iTunes 服务来查找歌曲 艺术家和专辑 在查找的时候需要把搜 索关键词添加到 iTunes API URL 的后面 URL 中 后面的是搜索关 键词 是一个乐队的名字 the Growlers 注意 URL 中用 代替空 格字符 URL 不允许包含空格字符 iTunes API 会根据提供的关键词从音乐库中返回 50 个结果 整个结 果集形成一个 JSON 文件 每一条音乐信息中的元素 以名字 值 的 格式存放在 JSON 文件中 The Growlers Apple iTunes 的开发文档 6 使用一种熟悉的语言 编写程序 将下载下来的 the Growlers 的 所有音乐的歌名提取出来 并可视化显示 3 3 需求分析需求分析 1 提取出安然公司数据集中的每天的阅读量和每周的阅读量 并 画出趋势图 2 提取出 iTunes 中的 trackname 数据 4 4 实验过程实验过程 1 安装好 Mysql 和 Mysql Workbench 2 建立一个新的数据库 3 打开 cmd 进入 MySQL 查看数据库 4 下载好安然公司的数据集 5 选用 enron 数据库 在 Mysql 中导入安然公司的数据集到数据 库 6 在 Mysql Workbench 中查看已经创建好的数据库 7 用 SQL 语言查找每天的订阅量 1999 年到 2017 年 8 并导入 excel 画图 excel 文件如下 再用 Tableau Public 2019 2 绘制图形 如下图所示 9 用 sql 语言查找每周的订阅量 10 并导入 excel 画图 11 下载 iTunes 数据集 下载结果为文本文件 12 以文本文件格式打开 如下图 将后缀名改为 Json 13 用 python 将 json 格式文件中的 Trackname 提取出来 14 打开 jupyter 编写代码 15 结果如下 5 5 总结总结 通过此次实验 了解和掌握数据库的恢复 数据库数据的变换 数据的统计以及可视化 掌握 Json 数据集的 API 下载方法 数据提 取 以及导入其他数据结构的方法 还有就是了解和掌握不同数据格 式之间的转换方法 掌握用计算机编程语言实现数据的格式转换以及 数据信息的提取 了解了 mysql 的安装以及一些基本的 sql 操作 例 如数据库的创建 基本的查询功能 数据库 sql 文件的导入等 同时 对于可