数据预处理实验1

1、重庆交通大学信息科学与工程学院实验报告班 级： 曙光1701班 姓名 学号： 实验项目名称：数据导入与预处理实验一 实验项目性质： 验证性、设计性 实验所属课程： 数据导入与预处理 实验室(中心)： 语音楼八楼 指 导 教 师 ： 实验完成时间： 2019 年 11 月 1 日1 实验目的1. 了解和掌握数据库的恢复，数据库数据的变换，数据的统计以及可视化；掌握Json数据集的API下载方法，数据提取，以及导入其他数据结构的方法。2.了解和掌握不同数据格式之间的转换方法；掌握用计算机编程语言实现数据的格式转换以及数据信息的提取。2 实验要求1.安装Mysql数据库，以及mysql workbe

2、nch客户端，2.下载对公众开放的安然(Enron)公司的电子邮件数据集。下载地址：3.在mysql中恢复Enron数据库。4. 数据统计每一天和每一周发邮件的数量，并用可视化软件实现可视化。5.采用iTunes API做个小实验，利用关键词来生成JSON数据结果集。iTunes是由Apple公司提供的一个音乐服务，任何人都可以利用iTunes服务来查找歌曲、艺术家和专辑。在查找的时候需要把搜索关键词添加到iTunes API URL的后面。URL中，=后面的是搜索关键词，是一个乐队的名字，the Growlers。 注意：URL中用+代替空格字符，URL不允许包含空格字符。iTunes AP

3、I 会根据提供的关键词从音乐库中返回50个结果。整个结果集形成一个JSON文件，每一条音乐信息中的元素，以名字-值 的格式存放在JSON文件中。The Growlers Apple iTunes的开发文档：6.使用一种熟悉的语言，编写程序，将下载下来的the Growlers的所有音乐的歌名提取出来，并可视化显示。3、 需求分析1. 提取出安然公司数据集中的每天的阅读量和每周的阅读量，并画出趋势图2. 提取出iTunes中的trackname数据4、 实验过程1. 安装好Mysql和Mysql Workbench2. 建立一个新的数据库：3. 打开cmd,进入MySQL:查看数据库：4. 下载

4、好安然公司的数据集5. 选用enron数据库，在Mysql中导入安然公司的数据集到数据库6. 在Mysql Workbench中查看已经创建好的数据库7. 用SQL语言查找每天的订阅量（1999年到2017年）8. 并导入excel画图excel文件如下：再用Tableau Public 2019.2，绘制图形，如下图所示：9. 用sql语言查找每周的订阅量10. 并导入excel画图11. 下载iTunes数据集，下载结果为文本文件12. 以文本文件格式打开，如下图：将后缀名改为.Json:13. 用python将json格式文件中的Trackname提取出来14. 打开jupyter，编写代码15. 结果如下5、 总结通过此次实验，了解和掌握数据库的恢复、数据库数据的变换、数据的统计以及可视化；掌握Json数据集的API下载方法，数据提取，以及导入其他数据结构的方法；还有就是了解和掌握不同数据格式之间的转换方法；掌握用计算机编程语言实现数据的格式转换以及数据信息的提取。了解了mysql的安装以及一些基本的sql操作。例如数据库的创建、基本的查询功能，数据库sql文件的导入等。同时对于可视化软件Tabl