大数据采集与预处理课件：存储数据-MySQL的安装与使用

任务3存储数据——学生就业信息数据读写和数据持久化本章学习目标了解MySQL的基本概念掌握MySQL的安装和操作方法了解PyMySQL和MySQL的区别掌握PyMySQL的安装和基本用法了解CSV和JSON的基础知识和数据类型转换掌握CSV和JSON数据的读取和写入操作存储数据就是将信息以各种不同的形式存储起来，数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。3.1 任务描述本章节将使用Python操作CSV和JSON文件格式的数据实现对学生就业信息数据进行读取和写入，并使用pymysql实现和数据库MySql的增加、删除、查询和修改的数据持久化操作。探索学生的就业状态（数据探索）3.2MYSQL3.2.1MySQL的概述MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。在WEB应用方面MySQL是最好的一款轻量级RDBMS应用软件之一。官方网站：.mysql/注意：在MySQL官方网站中下载之前，需要先注册，登录之后才能下载。如图3-1所示。图3-1MySQL下载页面

在下载了MySQL之后，请按照如下步骤安装即可。1）要安装MySQL，必须接受OracleSoftware的许可证。这里需要勾选“Iacceptthelicenseterms”复选框，表示接受许可证，然后单击“Next”按钮，如图3-2所示.3.2.2MySQL的安装图3-2接受MySQL许可证2）根据需求选择安装类型。DevelopDefault表示根据MySQL开发目的安装所有需要的产品；Serveronly表示仅安装MySQL服务器产品；Clientonly表示仅安装不带服务器功能的MySQL客户端产品；Full表示安装MySQL所有产品和特色功能；Custom表示自定义选择MySQL的产品。这里选择“DevelopDefault”（开发者默认值）单选按钮，然后单击“Next”按钮，如图3-3所示。图3-3MySQL安装类型选择3）由于之前选择的安装类型为DevelopDefault（开发者默认值），因此已经自动配置即将的安装组件内容。这里单击“Execute”按钮，开始执行安装以下组件，如图3-4所示。图3-4MySQL特定组件安装4）类型和网络配置。为MySQL服务器安装选择正确的服务器配置类型，这里配置MySQL的服务器配置类型为DevelopmentComputer。Connectivity表示可连接性，这里需要具体选择具体的链接参数。TCP/IP表示链接协议，Port表示MySQL使用的端口号，XProtocolPort表示其他协议的端口号，OpenWindowsFirewallportsfornetworkaccess表示打开操作系统防火墙。这里特别需要记住其中的端口号3306，然后单击“Next”按钮，如图3-5所示。图3-5MySQL网络配置5）账户的角色。按照MySQL的安装流程操作，AccountsandRoles表示需要设置Root的密码，MySQLUserAccounts表示为使用者和应用程序创建MySQL的用户账户，并指定一个带有一定权限的角色。这里单击“AddUser”按钮，自定义用户信息作为用户名并输入密码。localhost表示本机，DBAdmin表示数据库管理角色。单击“Next”按钮，如图3-6所示。b)a)图3-6MySQL账号和角色设置a)MySQLroot账号密码和角色设置b)MySQL角色账号和密码设置6）连接到服务器。以下是安装在这台计算机上的兼容MySQL服务器实例，这里需要根据前面的安装需求，选择将创建的样例框架和数据，并打上勾。然后需要在“User”文本框中输入“root”，在“Password”文本框中输入设置的密码验证root账号的登录信息是否合法，单击“Check”按钮检查。如果通过验证，则显示“ALLconnectionssucceeded”，，然后单击“Next”，如图3-7所示。图3-7MySQL服务器连接验证

7）完成安装，并启动。根据需要勾选“StartMySQLWorkbenchafterSetup”和“StartMySQLShellafterSetup”复选框，单击“Finish”按钮，如图3-8所示。图3-8MySQL安装成功8）MySQL安装成功后显示MySQL初始化界面，在此需要输入root账号的密码才能连接到本地的MySQL实例当中，如图3-9所示。到此，就成功地下载并安装了MySQL。图3-9MySQL初始化界面3.2.3MySQL的操作本小节将在MySQLWorkbench的默认sys数据库实例中创建一个名为test的数据表，并对该表做基本设置。具体操作方法如下。1）在成功安装并进入MySQLWorkbench之后，在左侧窗格中展开“sys”选项，右击“Tables”选项，在弹出的快捷菜单中选择“CreateTable”命令创建新表，如图3-10所示。图3-10创建表test2）设置“TableName”（表名）以及对应的“ColumnName”（列名）、“Datatype”（数据类型）等选项后，单击“Apply”按钮，如图3-11所示。

这样就在MySQLWorkbenchd的sys数据库中创建了一个名为test的数据表。图3-11设置test表的具体内容3.3PyMySQL3.3.1PyMySQL和MySQL的区别PyMySQL是从Python连接到MySQL数据库服务器的接口。它实现了Python数据库APIv2.0，并包含一个纯Python的MySQL客户端库。在成功安装完成MySQL之后，还需要安装PyMySQL，才能在Python中调用MySQL。3.3.2PyMySQL的安装和前面安装其他包一样，在PyCharm中安装PyMySQL，如图3-12所示。图3-12安装PyMySQL3.3.3PyMySQL的用法【实例3-1】在成功地安装了PyMySQL之后，这里将讲解在PyCharm中使用PyMySQL连接MySQL数据库管理系统，获取MySQL的游标，执行SELECTVERSION()方法后获得当前MySQL的版本信息。同时，通过编写简单的SQL语句，在MySQL中创建一个名为test的数据库。1）Python中导入PyMySQL库。importpymysql2）使用PyMySQL库建立与MySQL的连接，并返回一个connector对象。Connect方法中的参数分别表示：host主机名，user连接MySQL的用户名，password为MySQL的连接密码，port表示MySQL的端口号。connector=pymysql.connect(host='localhost',user='root',password=’密码’,port=3306)3）使用connector对象的cursor方法建立对MySQL的操作游标。cursor=connector.cursor()4）使用execute方法，并以’SELECTVERSION()’字符串作为参数，执行游标。其目的就是执行SELECTVERSION()方法后的返回值。cursor.execute('SELECTVERSION()')5）通过fetchone方法获取第四步中游标cursor执行后的返回值的第一行。data=cursor.fetchone()6）输出打印结果print('Databaseversion:',data)7）使用cursor的execute方法，并加入SQL语句实现对MySQL的操作。这里使用CREATEDATABASE+数据库名的方式创建一个名为test的数据库，并使用utf8mb4作为字符集。cursor.execute("CREATEDATABASEtestDEFAULTCHARACTERSETutf8mb4")8）在对数据库操作结束之后，必须要关闭connector对象指向的MySQL连接通道，释放有关资源。connector.close()完成代码如下所示。importpymysqlconnector=pymysql.connect(host='localhost',user='root',passwor