《大学计算机基础》课件第5章5.1 文本与文本处理

第5章数字媒体及应用5.1

文本与文本处理5.2

图像与图形5.3

数字音频及应用5.4数字视频及应用5.1文本与文本处理

5.1.1字符的编码5.1.2文字符号的输入5.1.3文本的分类5.1.4文本编辑、排版与处理5.1.5文本的展现文字处理是计算机应用的基础计算机应用＝使用计算机进行信息处理其中，文字处理是涉及面最广的一种计算机应用，几乎与任何领域任何人都有关。文字数值语言音乐图像···信息的形态有多种写作编辑排版印刷发行写作传统的文字处理过程计算机文字处理过程文字信息在计算机中称为“文本”（text），文本是计算机中最常用的一种数字媒体文本由一系列“字符”（character）组成，每个字符均使用二进制编码表示文本在计算机中的处理过程是：（文本编辑器）文本编辑与排版格式化的电子文本（2）文本展现（文本阅读器）（5）文本处理（文本处理）（3）文本准备电子文本（1）（文字与图表的输入）文本存储与传输（4）(存档/通信软件)5.1.1.

字符的编码字符、字符集及其编码表

文字的基本元素是字母和符号，统称为“字符”(character)，它包括：字母、数字、标点、符号等字符集：一组特定字符的集合不同的字符集包含的字符数目与内容不同，如：中文字符集、西文字符集、日文字符集等字符的编码：字符集中每个字符的二进位表示，称为该字符的编码或代码(code)不同的字符其编码各不相同复习：西文字符的编码——ASCII码西文是表音文字(拼音文字)，它由拉丁字母、数字、标点符号以及一些特殊符号所组成美国信息交换标准码(ASCII码)：ASCII字符集包含96个可打印字符和32个控制字符采用7个二进位进行编码计算机中使用1个字节存储1个ASCII字符存在问题：字符集太小（只有128个字符）不同国家和地区使用不同的字符集及其编码，互不兼容0XXXXXXX汉字如何编码？汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素，有多个国家和地区使用（中、日、韩、新、马······）汉字的特点数量大；字形复杂，同音字多，异体字多如何编码？确定收入多少字、哪些字？在字符集中如何排列？使用多少个二进位进行编码？常用的汉字编码字符集国家标准GB2312-1980汉字扩充规范GBK国家标准GB18030-2005港澳台使用的汉字编码字符集CNS11643(BIG5，俗称“大五码”)UCS/Unicode多文种大字符集Unicode的UTF-8Unicode的UTF-16一级汉字（3755个）二级汉字（3008个）（扩充使用）字母、数字和各种符号

………………19423位号

…………191655568794区号(按汉语拼音排列)(按偏旁部首排列)GB2312汉字编码字符集1980年颁布《信息交换用汉字编码字符集·基本集》——GB2312-1980GB2312字符集由三个部分构成：拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个共6763个汉字和682个符号，每个汉字和符号都有一个确定位置GB2312汉字的编码每一个GB2312汉字使用16位(2个字节)表示为了与ASCII字符相区别，每个字节的最高位均为“1”例如：“南”字的代码是1100010011001111（用十六进制表示为C4CF）

11第1字节第2字节XXXXXXXXXXXXXXGBK汉字内码扩充规范GB2312的不足：汉字字数太少，缺少繁体字,无法满足人名、地名、古籍整理、古典文献研究等应用的需要；与ASCII码不兼容GBK汉字内码扩充规范（1995）：在GB2312基础上，增加了1万多汉字(包括繁体字)和符号共有21003个汉字和883个图形符号，如“計算機”、冃、冄、円、冇等繁体字和生僻字与GB8312保持向下兼容，也使用双字节表示，第1字节最高位必须为“1”：1

X第1字节第2字节XXXXXXXXXXXXXXUCS/Unicode多文种大字符集背景：为了实现全球数以千计的不同语言文字的统一编码方案：ISO将全球所有文字字母和符号集中在一个字符集中进行统一编码(目前共收集了17x216＝1,114,112个)，称为UCS/UnicodeUCS/Unicode的编码方案：先实现部分字符的编码（近11万个字符）尽量与已有编码标准兼容包含有中、日、韩、越统一整理出来的约7万汉字（称CJKV汉字）允许有若干不同的编码方案,常用的两种是：单字节：ASCII字符双字节：拉丁、希腊、阿拉伯，···三字节：CJKV汉字四字节：其他Unicode:UTF-8单字节可变长编码应用：Linux，Web网页，电子邮件双字节：ASCII字符、拉丁、希腊、阿拉伯，常用CJKV汉字，···四字节：非常用CJKV汉字Unicode:UTF-16双字节可变长编码应用：Windows，Mac，Java，···GB18030汉字编码标准背景：无论是Unicode的UTF-8还是UTF-16，其CJK汉字字符集虽然覆盖了我国已使用多年的GB2312和GBK标准中的汉字，但它们的编码并不相同为了既能与UCS/Unicode编码标准接轨，又能保护我国已有的大量汉字信息资源，我国在2000年和2005年两次发布GB18030汉字编码国家标准。GB18030实质上是UCS/Unicode字符集的另一种编码方案：单字节编码（128个）表示ASCII字符双字节编码（23940个）表示汉字，与GBK（以及GB2312）保持向下兼容，GBK不再使用四字节编码（约158万个）用于表示UCS/Unicode中的其他字符GB18030目前已在我国信息处理产品中强制贯彻执行。4种支持汉字的编码标准的比较编码标准“南京Nanjing”的编码表示（16进制）特点GB2312/GBK(ANSI)C4CFBEA94E616E6A696E67(汉字使用双字节表示，ASCII字符用单字节表示)兼容已有的大量中文信息资源，但不支持多国文字，仅能支持我国使用的汉字UTF-8E58D97E4BAAC4E616E6A696E67(汉字使用3字节表示，ASCII字符用单字节表示)支持多国文字，有一定容错能力，适合网络传输，得到几乎所有互联网协议的支持。安卓系统使用UTF-8UTF-16LE5753AC4E4E0061006E006A0069006E006700(汉字用双字节或4字节表示，ASCII字符用双字节表示)支持多国文字，便于进行字符串的运算处理，适合计算机内部处理和存储。Windows操作系统使用UTF-16LE，iOS和MacOSX操作系统使用UTF-16BEUTF-16BE53574EAC004E0061006E006A0069006E0067(汉字用双字节或4字节表示，ASCII字符用双字节表示，但字节顺序与UTF-16LE相反)小结采用不同的编码标准，相同文字内容在计算机内部使用不同的二进制代码表示。PC和智能手机都能支持多国文字（包括汉字）的的输入、输出、显示、处理、存储和传输，由于有多种字符集及其编码标准，使用哪种标准，软件需予以说明不同操作系统、不同编程语言和不同APP默认采用的字符集及其编码标准并不一致，相互通信和处理时，若涉及字符和文本信息，往往需要进行编码转换，若出错，则屏幕/打印输出时会出现乱码5.1.2.文字符号的输入

——文稿如何输入计算机

文字符号输入计算机的方法键盘输入自动识别输入字符信息的输入人工输入(1)数字编码,如电报码、区位码等,(2)字音编码,如智能ABC等(3)字形编码，如五笔字形和表形码等,(4)形音编码发展趋势：基于统计和学习功能的以词语(短语)或句子作为输入单位的输入方法文字符号输入计算机的方法键盘输入联机手写输入自动识别输入字符信息的输入人工输入优点：自然，流畅小型化，适合移动计算不足：识别速度和正确性还需提高书写要求还要降低文字符号输入计算机的方法键盘输入联机手写输入语音输入自动识别输入字符信息的输入人工输入优点：自然，方便，适合移动计算不足：对说话人、说话方式、说话内容的适应能力要大大增强识别速度和正确性还需大大提高文字符号输入计算机的方法光学字符识别键盘输入联机手写输入语音输入自动识别输入字符信息的输入人工输入扫描仪OCR数字文本纸介质文本文本的映象(image)识别率已达到98%功能:简、繁体字混合识别中文、西文混合识别文字、表格混合识别智能校对功能文字符号输入计算机的方法光学字符识别条形码、磁卡、IC卡、RFID识别键盘输入联机手写输入语音输入自动识别输入字符信息的输入人工输入预先进行标识扫描识别输入汉字的键盘输入汉字与键盘上的键无法一一对应，因此必须使用几个键来表示一个汉字，这就称为汉字的“键盘输入编码”好的汉字键盘输入编码应具有的特点：易学习、易记忆效率高(平均击键次数较少)重码少容量大(可输入的汉字字数多)选讲：条形码定位标志数据区一维条形码将宽度不等的黑条和白条按一定的编码规则排列成平行线图案，用以对物品进行标识只在一个方向表达信息，信息量有限（几十个字符），只能包含字母、数字和一些特殊符号二维条形码在平面（二维方向）上以黑白相间的图形记录文字和符号信息，信息容量大QR条码可容纳2710个数字，或1850个字母，或者500多个汉字，也可以表示签字、指纹等信息检错和纠错功能较强，能360度全方位识读，可靠性高可引入加密技术，保密性、防伪性较好（QR条码）（商品条码）二维码读出的二维码内容（未解密）：260023681484413027974380791246646215467164436949994772279810109943200000000000000000000053897628805389762880538976288053897628805389762881428000选讲：常用自动识别输入技术的比较一维条形码二维条形码磁卡接触式IC卡非接触式IC卡/RFID信息量小较小较小大大读/写只读只读可读/可写可读/可写可读/可写标识成本很低低较低中等较低识读成本低低较低中等中等优点成本低，抗磁力抗静电成本低，抗磁力抗静电成本较低,可读写成本适中，可读写，安全信息量大，可读写，安全方便缺点信息量小信息量较小安全性一般需接触式识读成本较高5.1.4文本的编辑与排版复习：使用Word的操作流程创建新文档或打开老文档文稿输入编辑排版文档存盘、打印或发送输入中西文字、符号和图、表进行增、删、改操作，保证文本的正确性满足清晰、美观、便于使用等要求目的：确保文本内容正确无误操作：对字、词、句和段落进行添加、删除、修改等操作MSWord的功能：在文本的任何位置都可以插入新的文字从文本的任何位置都可以删除不需要的文字将一段文字从一处移动到另一处将一段文字从一处复制到另一处在文本中自动查找指定的词语用一个词语自动替换文本中指定的词语文本编辑(textediting)目的：使文本清晰、美观、便于阅读操作内容：对文本中的字符、段落乃至整篇文章的格式进行设计和调整，分成3个层次：对字符格式进行设置对段落格式进行设置对文档页面进行格式设置文本排版(Typesetting)设置字符的格式字号(八号→初号,

5磅→72磅以上)1磅相当于1/72英寸

字体(宋体、楷体、黑体、仿宋、隶书···)字符的修饰字符的形状(字形)：正常、加粗、倾斜、加粗倾斜字形的修饰：下划线、着重号、上下标、删除线···字符的颜色字符的宽度字符的间距字符的效果字符的排列方向什么是段落？用“回车”相互隔开的一组文字段落格式的设置：段落的对齐方式(两端对齐、分散对齐、居中对齐、左对齐、右对齐)段落的缩进方式(首行缩进、悬挂缩进、左缩进、右缩进)段间距和段内行距使用编号和项目符号段落添加边框和底纹首字下沉或悬挂段落与分页的关系设置段落的格式控制段落的缩进段落缩进是指段落中的文本到正文区左、右边界的距离，包括段落左缩进、右缩进和首行缩进。其缩进的距离可由水平标尺上对应的三个缩进标记来指示左缩进标记首行缩进标记右缩进标记右缩进左缩进首行缩进正文区右边界正文区左边界悬挂缩进标记页面格式的设置：设置纸张大小和页边距设置每页的行、列数目设置分栏数目与格式设置页码设置页眉和页脚设置页面的格式设置页面的分栏“所见即所得”（操作效果屏幕立即可见，打印结果与屏幕所见完全相同）撤销(undo)和恢复(redo)操作格式刷多种视图(大纲视图与大纲编辑)自动更正、自动套用格式、自动编号、自动图文集······自动保存功能和自动备份功能样式、模板和向导(wizard)功能宏操作（Macro）提高Word操作效率的若干措施文本处理初步使用计算机对文本中的字、词、短语、句子、篇章进行识别、转换、分析、理解、压缩、加密和检索等有关的处理文本处理举例：字数统计，词频统计，简/繁体相互转换，汉字/拼音相互转换词语排序，词语错误检测，文句语法检查自动分词，词性标注，词义辨识，大陆/台湾术语转换关键词提取，文摘自动生成，文本分类文本检索（关键词检索、全文检索），文本过滤文语转换（语音合成）文种转换（机器翻译）篇章理解，自动问答，自动写作等文本压缩，文本加密，文本著作权保护选讲：

什么是文本处理?复杂一些的文本处理功能，如机器翻译、文摘生成、文稿综合、自动写作等，涉及人工智能中自然语言理解的范畴，有些已初步实现，有些仍处于研究实验阶段例：MSWord的文本处理功能英文拼写检查和英语同义词检查字数统计自动编写摘要中文简繁体转换和术语转换中英词语翻译语法和格式检查语音识别（口授命令和听写）文档保护(防止打开或修改文档)5.1.3文本的分类简单文本(纯文本)

本书由南京大学出

版社(Publishing

HouseofNanjin

gUniversity)出版

文本

没有字体、字号的变化，无图片和表格，也不能建立超链接，其文件后缀名是.txt

在计算机中.txt文件由一串字符代码所组成，几乎不包含任何其他的格式信息和结构信息例：本书由南京大学出版社(PublishingHouseofNanjingUniversity)出版文本在计算机中的表示

B1BECAE9D3C9C4CFBEA9B4F3D1A7B3F6

B0E6C9E7285075626C697368696E67

20486F757365206F66204E616E6A696E

6720556E697665727369747929B3F6B0E6

丰富格式文本本书由南京大学出版社(PublishingHouseofNanjingUniversity)出版有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富格式文本”丰富格式文本中，除了正文内容之外，还使用了许多“标记”来描述字符的属性和格式的设置举例：下面标题的格式为：中文用黑体，西文用ArialBlack体，居中使用HTML语言描述为：<palign="center"><fontface="黑体">本书由南京大学出版社</font><fontface="ArialBlack">(PublishingHouseofNanjingUniversity)</font><fontface="黑体">出版</font></p>用一对<>指出的是标记，如<fontface=“黑体”>和</font>等，用于说明排版的格式和文字属性，它们不属于正文内容正文内容超文本（www网页）WWW网页按照其内容的关联性相互进行链接，网页就是典型的“超文本”超文本也属于丰富格式文本网页A网页B网页C网页D网页E网页F网页G网页Ha1a2b