数据基础及分析 2

Python爬虫、数据清洗和数据可视化大数据分析大数据与人工智能技术丛书了解文件格式的概念了解常见的的文件格式及分类特征了解数据编码的特征了解并掌握数据转换的方式本章学习目标第七章数据格式与编码技术了解数据的各种类型7.1文件格式概述文件格式是指在计算机中为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。每一种文件都要使用有特定的软件来打开，例如在Windows系统中想使用记事本来打开图像文件，就会出现乱码的现象。对应不同的文件类型需要使用不同的编辑方式。例如使用Excel电子表格来打开MicrosoftExcel文件，使用Photoshop来打开数码相机拍摄的照片，使用MicrosoftOfficePowerPoint打开PPT演示文稿等。值得注意的是，在某些情况下人们可以使用不同的软件来运行相同的文件。文本格式新建文本文档文本格式简介文件打开方式文件编辑方式使用Python读取Windows系统中的文本数据在Windows系统中的文本数据一般存储在记事本中，除了可以使用记事本直接打开运行外，还可以使用Word来打开。此外，使用编程软件Python也可以读取文本数据。withopen('8.26.txt')asfile_object:contents=file_object.read()print(contents)常见的文本格式目前常见的文本格式较多，主要分为在Windows下的文本格式和在Linux下的文本格式。txt格式JSON格oc格式xls格式pdf格式XML格式HTML格式tar格式dmg格式py格式常见的文本格式txt是微软在操作系统上附带的一种文本格式，是最常见的一种文件格式。该格式常用记事本等程序保存，并且大多数软件都可以方便的查看，如记事本、浏览器等。doc也叫作Word格式，通常用于微软的Windows系统中，该格式最早出现在20世纪90年的文字处理软件Word中。与txt格式不同，doc格式可以编辑图片等文本文档所不能处理的内容。txt格式doc格式txt、doc格式常见的文本格式xls格式的文件主要是指

MicrosoftExcel

工作表，它是一种常用的电子表格格式，可以进行各种数据的处理、统计分析和决策操作，以及可视化界面的实现。Excel

xls文件可以使用MicrosoftExcel打开，此外，微软为那些没有安装Excel的用户开发了专门的查看器ExcelViewer。值得注意的是使用MicrosoftExcel可以将xls格式的表格转换为多种格式，如XML表格、XML数据、网页、使用制表符分割的文本文件（*.txt）、使用逗号分隔的文本文件(*.csv)等。xls格式xls格式常见的文本格式pdf格式也叫作便携式文件格式，是由AdobeSystems在1993年用于文件交换所发展出的文件格式。pdf格式的优点主要是可以跨平台、能保留文件原有格式（Layout）、开放标准，能免版税（Royalty-free）自由开发PDF相容软体，是一个开放标准，2007年12月成为ISO32000国际标准。XML（可扩展标记语言），是一种数据存储语言，它使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立。因此XML可以在任何应用程序中读写数据。XML与其他数据表现形式最大的不同是这种语言极其简单，应用广泛，因而它常常用于在网络环境下的跨平台数据传输中。pdf格式XML格式Pdf、XML格式andJSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，它采用完全独立于语言的文本格式，这些特性使JSON成为理想的数据交换语言。它易于人的阅读和编写，同时也易于机器解析和生成。总体上讲，JSON实际上是JavaScript的一个子集，所以JSON的数据格式和JavaScript是对应的。与XML格式相比，JSON书写更简洁，在网络中传输速度也更快。JSON格式常见的文本格式JSON格式常见的文本格式HTML、tar、dmg、py格式py文件是Python脚本文件，Python在书中前面的章节中介绍过，它是一种面向对象、解释型计算机程序设计语言，常用于各种服务器的维护和自动化运行，并且有丰富和强大的库。py格式dmg是MacOS中的一种文件格式。dmg全称为diskimage，即磁盘影像。相当于在windows中的iso文件。打开一个dmg文件，系统会生成一个磁盘，其中包含此dmg文件的内容。因此，dmg文件在Mac中相当于一个软U盘。dmg格式HTML（超文本标记语言）是一种制作万维网页面的标准语言，是万维网浏览器使用的一种语言。它是目前网络上应用最为广泛的语言，也是构成网页文档的主要语言。HTML文件是由HTML命令组成的描述性文本。HTML格式tar是一种压缩文件，常用于Linux和MacOS下，与Windows下的WinRAR格式比较类似。在Linux中tar格式文件一般以tar.gz来声明，它是源代码的安装包，需要先解压再经过编译、安装才能执行。tar格式常见的图像文件格式BMP（位图格式）是DOS和Window兼容计算机系统的标准Windows图像格式。BMP格式支持RGB、索引颜色、灰度和位图颜色模式，但不支持Alpha通道。BMP格式支持1、4、24、32位的RGB位图。JPEG（联合图片专家组）是目前所有格式中压缩率最高的格式。大多数彩色和灰度图像都使用JPEG格式压缩图像，压缩比很大而且支持多种压缩级别的格式，当对图像的精度要求不高而存储空间又有限时，JPEG是一种理想的压缩方式。

GIF（图像交换格式）是一种LZw压缩格式，用来最小化文件大小和电子传递时间。在Window中GIF文件格式普遍用于现实索引颜色和图像，支持多图像文件和动画文件。PNG图片以任何颜色深度存储单个光栅图像，它是与平台无关的格式。与JPEG的有损耗压缩相比，PNG提供的压缩量较少。图像文件格式是记录和存储影像信息的格式，对数字图像进行存储、处理必须采用一定的图像格式，图像文件格式决定了应该在文件中存放何种类型的信息。BMP格式JPEG格式GIF格式PNG格式常见的音频与视频文件格式MP3、WAV、MP4、WMV格式MP3是一种音频压缩技术，它被设计用来大幅度地降低音频数据量。利用MPEGAudioLayer3的技术，将音乐以1:10甚至1:12的压缩率，压缩成容量较小的文件。在Windows系统中用MP3形式存储的音乐就叫作MP3音乐，能播放MP3音乐的机器就叫作MP3播放器。MP3格式MP4是一套用于音频、视频信息的压缩编码标准，由国际标准化组织（ISO）和国际电工委员会（IEC）下属的“动态图像专家组”制定。MP4格式的主要用于网上流、光盘、语音发送，以及电视广播等。MP4格式WMV（WindowsMediaVideo）是微软开发的一系列视频编解码和其相关的视频编码格式的统称，是微软Windows媒体框架的一部分。在同等视频质量下，WMV格式的文件可以边下载边播放，因此很适合在网上播放和传输。WMV格式WAV格式是微软开发的一种声音文件格式，用于保存Windows平台的音频信息资源，被Windows平台及其应用程序所广泛支持，该格式也支持MSADPCM，CCITTALAW等多种压缩运算法。WAV格式常见的音频与视频文件格式MOV、AVI、0gg格式MOV格式也即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型。MOV文件格式支持25位彩色，支持领先的集成压缩技术，是一种优良的视频编码格式。MOV格式AVI格式也叫作音频视频交错格式，它对视频文件采用了一种有损压缩方式，但压缩比较高，因此尽管面面质量不是太好，但其应用范围仍然非常广泛。AVI支持256色和RLE压缩。目前AVI格式主要应用在多媒体光盘上，用来保存电视、电影等各种影像信息。AVI格式Ogg是一种音频压缩格式，类似于MP3等的音乐格式。从商业推广上看，Ogg是完全免费、开放和没有专利限制的。在播放质量中，这种文件格式可以不断地进行大小和音质的改良，而不影响旧有的编码器或播放器。Ogg格式7.2数据类型与编码数据类型是指是一个值的集合和定义在这个值集上的一组操作的总称。它的出现是为了把数据分成所需内存大小不同的数据，以便于程序的运行。通常可以根据数据类型的特点将数据划分为不同的类型，如原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型等。在每种编程语言和数据库中都有不同的数据类型。常见的数据类型主要包含有：数值型、日期型、时间性、字符串型、逻辑型以及文本型。数据类型简介编程语言中的数据类型Java中的数据类型Python中的数据类型MySQL中的数据类型字符编码和数据转换在计算机中，所有的信息都是0/1组合的二进制序列，计算机是无法直接识别和存储字符的。因此，字符必须经过编码才能被计算机处理。字符编码是计算机技术的基础，也是大数据清洗需要的基本功之一。字符编码ASCII码Unicode编码空值乱码GB2312编码数据间的相互转换是大数据清洗工作中不可缺少的一部分。由于文件在不同的文件系统中有着不同的存储格式，因此人们希望能够文件类别上实现其自由的转换。基于SQL数据库文件的转换基于编程语言的转换基于文件的转换数据转换7.3Kettle数据清洗与转换工具的使用Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

该软件的中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle工程存储方式有两种：一种是以XML形式存储，一种是以资源库方式存储。此外，Kettle有常用的三大家族：Spoon、Pan、Kitchen。

Spoon：通过图形界面方式设计、运行、调试Job与Transformation。

Pan：通过脚本命令方式来运行Transformation。

Kitchen：通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。Kettle简介和存储方式Kettle简介Kettle存储方式KettleKettle的安装kettle是纯java开发，开源的etl工具。可以在Linux、windows、unix中运行。有图形界面，也有命令脚本还可以二次开发。(官方社区：/)。要安装kettle必须首先从网上下载，此外，由于kettle是基于java开发的，所以需要java环境。jdk网址：/technetwork/java/javase/downloads/index.html。下载，首先从官网上下载最新版的Kettle软件，同时，由于Kettle是绿色软件，因此下载后可以解压到任意目录。网址是。运行，安装完成之后，双击目录下面的spoon.bat批处理程序即可启动kettlejava环境下载安装KettleKettle的使用成功运行kettle后在菜单栏单击文件，可以看到有三个可选项：转换、作业和数据库连接，在此处单击“转换”选项，如图所示。在步骤中选择“输入”，在“输入”选项中选择“Excel输入”，并把该图标移动至屏幕中间选择“输出”，在此处选择“Access输出”，将“Access输出”图标移动至中间区域后，用鼠标同时选中这两个图标，并单击鼠标右键，选择新建节点连接。123Kettle的使用用鼠标双击“Excel输入”图标，打开输入选项界面，在文件和目录中选择一个本地的Excel文档。设置好了以后，单击菜单栏顶部的“执行”选项，即可在kettle中运行数据转换，在转换结束后，单击“日志”，即可在屏幕下方的执行结果中查看457.4CSV格式的数据转换CSV(逗号分隔值文件格式)，也叫作字符分隔值。CSV文件一般以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV是一种通用的，相对简单的文件格式，在商业上应用较为广泛。CSV格式的基本规则如下：纯文本格式，并通过单一的编码来表示字符。以行为单位，开头部留空行，行与行之间没有空行。每一行表示一个一维数据。主要以以半角逗号作为分隔符，列为空也要表达其存在。对于表格数据，可以包含列名，也可以不包含列名。CSV简介和规则介绍CSV简介CSV规则CSV格式的数据转换【例7-3】使用Python生成CSV文件，代码如下importcsvwithopen('test.csv','w')asf:writer=csv.writer(f)#写入表头，表头是单行数据writer.writerow(['name','age','sex'])data=[('huangyuan',20,'male'),('zhanglan',22,'female')]#写入这些多行数据writer.writerows(data)【例7-5】使用Python读取CSV文件，代码如下importcsvwithopen("20187-5.csv","r")ascsvfile:reader=csv.reader(csvfile)#这里不需要readlinesforlineinreader:print(line)其中20187-5.csv内容如下：姓名,性别,籍贯,系别张迪,男,重庆,计算机系兰博,男,重庆,机械系黄飞,男,重庆,电子系泰山,男,成都,外语系王强,男,成都,管理系周丽,女,天津,艺术系李云,女,重庆,路桥系CSV格式的数据转换【例7-6】将Python对象编码为JSON字符串，代码如下importjsonjsonData='{"a":1,"b":2,"c":3,"d":4,"e":5}';text=json.loads(jsonData)print(text)【例7-6】使用Python将CSV转为JSON，代码如下importjsonfo=open("20187-7.csv","r")ls=[]forlineinfo:line=line.replace("\n","")ls.append(line.split(','))fo.close()fw=open("20187-7.json","w")foriinrange(1,len(ls)):ls[i]=dict(zip(ls[0],ls[i]))json.dump(ls[1:],fw,sort_keys=True,indent=4,ensure_ascii=False)fw.close()本章小结CSV是一种通用的，相对简单的文件格式，在商业上应用较为广泛。可以通过Python实现从CSV到JSON格式的转换。文件格式是指在计算机中为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。如文本文件、视频文件、图像文件等。数据类型是指是一个值的集合和定义在这个值集上的一组操作的总称。它的出现是为了把数据分成所需内存大小不同的数据，以便于程序的运行。通常可以根据数据类型的特点将数据划分为不同的类型，如原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型等。在每种编程语言和数据库中都有不同的数据类型。字符编码也叫作字集码，把字符集中的字符编码为指定集合中某一对象，以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成摩斯电码和ASCII。数据转换常常用于数据库的存储和机器学习中，如将字符串类型的数据转换为数字类型，将MYSQL中的数据格式化为字符串，或是将JSON文件转换为纯文本等。Kettle是一款国外开源的ETL工具，用于数据清洗和转换，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。01文件格式02数据类型03字符编码04数据转换05Kettle06CSV7.6实训图7-37记事本文件内容=================RESTARTD:\教材案例\大数据分析第7章\第七章实训\读文本文件\3-2.py================1.郑明2.徐敏3.陈梦4.黄杰5.王剑峰6.张光耀7.梁澜>>>图7-38运行结果1、使用Python读取记事本中的内容。（1）新建记事本文件，命名为1.txt，并写入

内容如图7-37所示。（2）在Python3中书写如下代码来读取1.txt

文件中的内容，运行如图7-38所示。实训2、使用Python往记事本中写入内容。（1）打开Python3，写入如下代码：该代码表示往1.txtz中写入hellowelcome,运行该程序如图7-39、7-40所示。=================RESTARTD:\教材案例\大数据分析第7章\第七章实训\写入txt\写入txt.py================13>>>图7-39运行结果图7-40查看生成的文件实训3、使用Python将字典转换为JSON类型的字符串（1）打开Python3，写入如下代码：JSON在python中分别由list和dict组成，这是用于序列化的两个模块，在这里程序使用dumps把数据类型转换成字符串。（2）运行程序如图7-41所示。=================RESTARTD:\教材案例\大数据分析第7章\第七章实训\读取json\1.py================{’Phone’:[7600,{1:[[’iPhone’,6300].[’Bike’,5800],[’shirt’,4300]]}]}<class’dict’>{”Phone”:[7600,{”1”