数据清洗 第2章文件格式

第2章文件类型

2.1文件格式概述

文件格式是指在计算机中为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。

在Windows系统中需要使用不同的程序来打开不同的文件。每一种文件都要使用有特定的软件来打开，例如在Windows系统中想使用记事本来打开图像文件，就会出现乱码的现象。

目前常见的文本格式较多，主要分为在Windows下的文本格式和在Linux下的文本格式。txt是微软在操作系统上附带的一种文本格式，是最常见的一种文件格式。doc也叫作Word格式，通常用于微软的Windows系统中xls格式的文件主要是指

MicrosoftExcel

工作表，它是一种常用的电子表格格式pdf格式也叫作便携式文件格式，是由AdobeSystems在1993年用于文件交换所发展出的文件格式XML（可扩展标记语言），是一种数据存储语言，它使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立，因此XML可以在任何应用程序中读写数据JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，它采用完全独立于语言的文本格式，这些特性使JSON成为理想的数据交换语言HTML（超文本标记语言）是一种制作万维网页面的标准语言，是万维网浏览器使用的一种语言tar是一种压缩文件，常用于Linux和MacOS下，与Windows下的WinRAR格式比较类似dmg是MacOS中的一种文件格式，dmg全称为diskimage，即磁盘影像py文件是Python脚本文件

图像文件格式是记录和存储影像信息的格式，对数字图像进行存储、处理必须采用一定的图像格式。BMP（位图格式）是DOS和Window兼容计算机系统的标准Windows图像格式。JPEG（联合图片专家组）是目前所有格式中压缩率最高的格式。GIF（图像交换格式）是一种LZw压缩格式，用来最小化文件大小和电子传递时间。PNG图片以任何颜色深度存储单个光栅图像，它是与平台无关的格式。音频与视频格式主要用于存储计算机中的音频与视频文件。MP3是一种音频压缩技术，它被设计用来大幅度地降低音频数据量。WAV格式是微软开发的一种声音文件格式，用于保存Windows平台的音频信息资源MP4是一套用于音频、视频信息的压缩编码标准，由国际标准化组织（ISO）和国际电工委员会（IEC）下属的“动态图像专家组”制定。WMV（WindowsMediaVideo）是微软开发的一系列视频编解码和其相关的视频编码格式的统称，是微软Windows媒体框架的一部分。MOV格式也即QuickTime影片格式，它是Apple公司开发的一种音频、视频文件格式，用于存储常用数字媒体类型。AVI格式也叫作音频视频交错格式，它对视频文件采用了一种有损压缩方式，但压缩比较高。Ogg是一种音频压缩格式，类似于MP3等的音乐格式。2.2Kettle中文件类型的转换

使用Kettle可以对不同格式的文件进行相互的转换。在Kettle中“核心对象”下的“输入”选项和“输出”选项即可看到多种不同格式的文件。文本文件在Windows中一般是指记事本文件，在本节中主要讲述使用Kettle来将文本文件中的数据转换到Excel文档中。id;name;card;sex;age1;张三;0001;M;23;2;李四;0002;M;24;34;王五;0003;M;22;56;赵六;0004;M;21;将该文本文件保存为test.txt。CSV文件是一种常见的文本文件，一般含有表头和行项目。大多数数据处理型软件都含有对CSV格式的支持。【例2-2】Kettle抽取文本文件【例2-3】Kettle转换XML文件【例2-4】Kettle转换json文件准备一个名为test.js的json文件，并写入如下内容。{"buriedPointId":"80c0fda26921473f9d52754371964a5f79dGa4a9","cmd":"test","classRandom":2022131326,"osType":11,"version":"1.0.1","versionCode":10,"channel":"hzdracom","timestamp":2432741807073,"data":"\"type\":2,\"phone\":\"}","hashcode":"024CA42581BE63BA5B90CD588D455FC7","device":"{\"imei\":\"111111111111111\",\"manufacturer\":\"HUAWEI\",\"model\":\"C8600\"}","clientType":"server"}【例2-5】Kettle转换Excel文件双击“Excel输入”图标，在“文件”选项中添加trans.xsl文件；在“工作表”选项中选中要读取工作表名称为Sheet1；在“字段”选项中获取工作表字段。（4）双击“文本文件输出”图标，在“文件”选项中设置要保存的文件名称和路径；在“字段”选项中获取要输出的字段。2.2.6生成记录转换生成记录是Kettle中的一个组件，该组件可自定义字段的类型（若为时间类型还可设置格式）和数据值，并将其转换为其它格式输出。【例2-6】Kettle转换Excel文件2.3本章小结（1）文件格式是指在计算机中为了存储信息而使用的对信息的特殊编码方式，是用于识别内部储存的资料。如文本文件、视频文件、图像文件等。（2）文件格式转换常常用于数据库的存储、清洗和机器学习中。（3）Kettle是一款国外开源的ETL工具，用于数据清洗和转换，纯java编写，可以在Window、Linux、Unix上运行，绿色无须安装，数据抽取高效稳定，可以使用Kettle实现多种不同文件格式的相互转换。2.4实训

通过本章实训了解大数据存储中数据格式的特点，能进行简单的与大数据有关的数据转换与清洗操作。2．实训内容1)使用Kettle读取XML文档。（1）书写XML文档，并保存为2-4.xml，内容如下。<?xmlversion="1.0"encoding="utf-8"?><books><book><name>XML高级编程</name><description>讲述XML程序开发的高级知识</description></book><book><name>Java高级编程</name><description>讲述Java程序开发的高级知识</description></book></books>（2）成功运行kettle后在菜单栏单击“文件”，选择“转换”选项，在“输入”选项中中选择GetdataformXML并将其拖动到右侧工作区中（3）双击GetdataformXML选项，在文件选项中将刚才创建的XML文件添加到GetdataformXML对象中（4）在“内容”选项中，在“循环读取路径”中选择“获取XML文档的所有路径”，在弹出的对话框中选择第2项，/boos/book，设置好路径（5）在“内容”选项中，单击“确定”按钮，返回“内容”选项，在“编码”中选择UTF-8。（6）在“内容”选项中，选择“字段”选项，单击“获取字段”按钮（7）单击“预览”按钮，查看抽取结果2）将XML文档转换为JSON文档。（1）成功运行kettle后在菜单栏单击“文件”，选择“转换”选项，在“输入”选项中选择GetdataformXML，在“输出”选项中选择JSONoutput，并将其拖动到右侧工作区中建立连接（2）双击“XML文件输入”图标，在“文件”选项中添加2-4.xml；在“内容”选项中获取XML的路径，用语句：/books/book实现；在“字段”选项中获取XML的所有字段（3）双击“JSONoutput”图标，在“一般”选项中设置“操作”为写到文件，设置“一个数据条目的数据行”为“2”，并设置好输出文件的保存名称和路径。并在“字段”选项中双击“获取字段”按钮（4）保存该文件，选择“运行这个转换”选项，执行数据转换，运行结果如图2-68所示。3）将Excel文档转换为XML文档。（1）准备好Excel文档，内容如图2-70所示，并命令为file.xls。（2）成功运行kettle后在“输入”选项中选择“Excel输入”，在“输出”选项中选择XMLoutput，并拖至屏幕中间区