文本与文本处理-文档资料

1、3/7/202213/7/20222n“媒体媒体”指的是信息的各种表示形式（如指的是信息的各种表示形式（如数值、文字、图像、声音、视频等）数值、文字、图像、声音、视频等）n数字媒体就是数值、文字、声音、图像数字媒体就是数值、文字、声音、图像等的二进制数字表示等的二进制数字表示3/7/20223n自然媒体自然媒体(使用数字化方法从现实世界获取的媒体使用数字化方法从现实世界获取的媒体) 合成媒体合成媒体(使用计算机制作的媒体使用计算机制作的媒体)Model(description)采用特定符号采用特定符号(语言语言) 表示的文表示的文本本,合成语音合成语音, MIDI , 图形图形, 动画动画Mo

2、deling(describing)人工交互方式命令语言方式rendering人可以感知的形式声波光波力温度检测与检测与转换器转换器电电信信号号数字化数字化数字自数字自然媒体然媒体取样声音 ,扫描图像 , 数字视频3/7/20224n数字媒体是各种计算机应用的处理对象，也是网数字媒体是各种计算机应用的处理对象，也是网络的传输对象。不了解络的传输对象。不了解“对象对象”，就不能透彻地，就不能透彻地理解计算机和网络的工作原理。理解计算机和网络的工作原理。进一步理解计算机的工作原理进一步理解计算机的工作原理更好地理解常用工具软件的操作原理更好地理解常用工具软件的操作原理扩大知识面，了解更多的计算机应

3、用扩大知识面，了解更多的计算机应用1为各个专业和学科进一步学习、使用计算机打为各个专业和学科进一步学习、使用计算机打下必要的基础下必要的基础3/7/202253/7/20226n文本（文本（texttext）：文字信息在计算机中的表示：文字信息在计算机中的表示形式形式是基于特定字符集的、具有上下文相关性的一是基于特定字符集的、具有上下文相关性的一个（二进制编码）字符流，个（二进制编码）字符流，。3/7/20227n文本在计算机中的处理过程：文本的文本在计算机中的处理过程：文本的准备准备（例如汉字的输入），文本（例如汉字的输入），文本编辑编辑，文本，文本处处理理，文本，文本存储与传输存储与传输、

4、文本、文本展现展现等，根据等，根据应用的不同，各个处理环节的内容和要求应用的不同，各个处理环节的内容和要求可能有很大的差别。可能有很大的差别。3/7/20228其他媒体文本展现文本展现（阅读器）（阅读器）文本准备文本准备文本处理文本处理文本处理软件文本处理软件电子电子文本文本文本编辑文本编辑（编辑器）（编辑器）格式化的格式化的电子文本电子文本网网络络传传输输3/7/20229 组成文本的基本元素是组成文本的基本元素是字符字符(character) ，字符与数值信息一，字符与数值信息一样，在计算机中也采用二进位编码样，在计算机中也采用二进位编码表示。表示。3/7/2022103/7/202211

5、n字汇字汇：编码字符集中有哪些字符：编码字符集中有哪些字符n编码规则编码规则：如何确定每个字符的代码：如何确定每个字符的代码n码长码长: 字符代码的长度。它决定了代码空间的大字符代码的长度。它决定了代码空间的大小小n定长码：定长码：7位，位，8位，双字节，位，双字节，4字节字节n可变长码：单双可变长码：单双4字节码字节码3/7/202212n西文是表音文字西文是表音文字(拼音文字拼音文字)，它由拉丁字母、数字、，它由拉丁字母、数字、标点符号以及一些特殊符号所组成标点符号以及一些特殊符号所组成n美国标准信息交换码美国标准信息交换码(ASCII码码)：nASCII字符集包含字符集包含96个可打印字

6、符和个可打印字符和32个控制字符个控制字符n采用采用7个二进位进行编码个二进位进行编码n计算机中使用计算机中使用1个字节存储个字节存储1个个ASCII 字符字符0X X X X X X X3/7/202213n空格（空格（3232）20H20Hn0 0（4848）30H 30H nA A（6565）41H41Hna a（9797）61H61Hn回车回车(13) 0DH(13) 0DH3/7/202214n汉字的特点：汉字的特点：n数量大数量大（我国汉字自古至今累计已超过（我国汉字自古至今累计已超过7万万字字,国家语委颁布的国家语委颁布的“现代汉语通用字表现代汉语通用字表”包包含含7000汉字）

7、汉字）n多个国家和地区使用多个国家和地区使用：港台地区，日、韩、：港台地区，日、韩、朝、新、马等朝、新、马等n字形复杂，同音字多，异体字多字形复杂，同音字多，异体字多。3/7/202215n国家标准国家标准GB2312-1980n汉字扩充规范汉字扩充规范 GBK-1995n国家标准国家标准GB18030-2000/2005n台湾地区的标准汉字字符集台湾地区的标准汉字字符集CNS 11643 (BIG 5，俗称，俗称“大五码大五码”)n日本工业标准汉字字符集日本工业标准汉字字符集JIS X 0208-90n韩国国家标准汉字字符集韩国国家标准汉字字符集KSC 5601-87nUCS/Unicode

8、多文种大字符集多文种大字符集3/7/202216一级汉字一级汉字（3755个）个）二级汉字二级汉字（3008个）个）（扩充使用）（扩充使用）字母、数字和各种符号字母、数字和各种符号 19423位号位号 191655568794区区 号号(按汉语拼音排列按汉语拼音排列)(按偏旁部首排列按偏旁部首排列)n1980年颁布年颁布信息交换用汉字编码字符集信息交换用汉字编码字符集基基本集本集GB2312-1980nGB2312字符集由三个部分构成：字符集由三个部分构成：拉丁字母、俄拉丁字母、俄文、日文平假文、日文平假名与片假名、名与片假名、希腊字母、汉希腊字母、汉语拼音等共语拼音等共682个个共共6763

9、个汉字个汉字3/7/202217n每一个每一个GB2312汉字使用汉字使用16位位(2个字节个字节)表示表示n为了与为了与ASCII字符相区别，每个字节的最高位均为字符相区别，每个字节的最高位均为“1”n例如：例如：“南南”字的代码是字的代码是11000100 11001111（用十六进制表示为（用十六进制表示为C4CF） 11第第1字节字节第第2字节字节X X X X X X XX X X X X X X3/7/202218练习 1MB的内存空间可以存放的内存空间可以存放 个个GB2312-80的汉字的汉字机内码。机内码。 A. 1024 B. 512 C. 1024 C. 1024512

10、D. 1024512 D. 102410241024设有一串字符的内码为：设有一串字符的内码为：B5C8BCB6BF3DF1E3，则这串字符中包含则这串字符中包含 个个GB2312-80汉字。汉字。3/7/202219nGB2312的不足：的不足：n汉字字数太少，缺少繁体字汉字字数太少，缺少繁体字,无法满足无法满足人名、地名、古籍整人名、地名、古籍整理、古典文献研究理、古典文献研究等应用的需要；与等应用的需要；与ASCII码不兼容码不兼容nGBK汉字内码扩充规范（汉字内码扩充规范（1995）：）：n在在GB2312基础上，增加了基础上，增加了1万多汉字万多汉字(包括繁体字包括繁体字)和符号和符

11、号n共有共有21003个汉字和个汉字和883个图形符号，如个图形符号，如“計計算算機機”、冃冃、冄冄、円円、冇冇等繁体字和生僻字等繁体字和生僻字 n与与GB8312保持向下兼容，也使用双字节表示，第保持向下兼容，也使用双字节表示，第1字节最高位必须字节最高位必须为为“1”：1 X第第1字节字节第第2字节字节X X X X X X XX X X X X X X3/7/202220台湾、香港地区使用。台湾、香港地区使用。注意：注意：GB2312(GBK)GB2312(GBK)与与Big5Big5并不兼容。并不兼容。3/7/202221n背景：为了实现全球数以千计的不同语言文字的统一编码背景：为了实

12、现全球数以千计的不同语言文字的统一编码n方案：方案：ISO将全球所有文字字母和符号集中在一个字符集中将全球所有文字字母和符号集中在一个字符集中进行统一编码进行统一编码(目前共收集了目前共收集了17x2161,114,112 个个) ，称，称为为UCS。nUCS：ISO/IEC 10646ISO/IEC 10646 Universal Multiple-Octet Coded Character Set Universal Multiple-Octet Coded Character Set，通用多，通用多8 8位编码字符集位编码字符集nUnicode：统一码或联合码，微软、：统一码或联合码，微

13、软、IBMIBM等联合制定、等联合制定、与与UCSUCS完全等同的工业标准完全等同的工业标准 nUCS/Unicode用用4 4个字节对全世界现代书面文字所使用的所个字节对全世界现代书面文字所使用的所有字符、符号进行编码（记作有字符、符号进行编码（记作 UCS-4UCS-4）3/7/202222单字节：单字节：ASCII字符字符双字节：拉丁、希腊、阿拉伯，双字节：拉丁、希腊、阿拉伯，三字节：三字节：CJK汉字汉字四字节：其他四字节：其他Unicode:UTF-8 单字节可变长编码单字节可变长编码应用：应用：Linux，Web网页，电子邮件网页，电子邮件双字节：双字节： ASCII字符、拉丁、希

14、腊、字符、拉丁、希腊、 阿阿 拉伯，常用拉伯，常用CJK汉字，汉字，四字节：非常用四字节：非常用CJK汉字汉字Unicode:UTF-16双字节可变长编码双字节可变长编码应用：应用：Windows，Mac，Java，n先实现部分字符的编码（共先实现部分字符的编码（共107,361个字符）个字符）n尽量与已有编码标准兼容尽量与已有编码标准兼容n其中包含有中、日、韩统一整理出来的近其中包含有中、日、韩统一整理出来的近3万汉字万汉字（称（称CJK汉字）汉字）n允许有若干不同的编码方案允许有若干不同的编码方案, 例如：例如：3/7/202223n优点：编码空间极大，能容纳足够多的各种字符优点：编码空间

15、极大，能容纳足够多的各种字符集（集（1313亿字符）亿字符）n缺点：缺点：4 4字节的字符编码使存储空间浪费严重字节的字符编码使存储空间浪费严重n克服：在克服：在UCS/UnicodeUCS/Unicode编码空间中，编码空间中，把第把第1 1和第和第2 2字字节均为节均为“0”0”的一个子空间的一个子空间，作为，作为UCS/UnicodeUCS/Unicode的的子集来使用，记作子集来使用，记作UCS-2UCS-2。3/7/202224n背景：无论是背景：无论是Unicode的的UTF-8还是还是UTF-16，其，其CJK汉字字符集虽然汉字字符集虽然覆盖了我国已使用多年的覆盖了我国已使用多年

16、的GB2312和和GBK标准中的汉字，但它们的标准中的汉字，但它们的编编码并不相同码并不相同n为了既能与为了既能与UCS/Unicode编码标准接轨，又能保护我国已有的大量汉编码标准接轨，又能保护我国已有的大量汉字信息资源，我国在字信息资源，我国在2000年和年和2005年两次发布年两次发布GB18030汉字编码国汉字编码国家标准家标准。nGB18030实质上是实质上是UCS/Unicode字符集的另一种编码方案：字符集的另一种编码方案：n单字节编码（单字节编码（128个）表示个）表示ASCII字符字符n双字节编码（双字节编码（23940个）表示汉字，与个）表示汉字，与GBK（以及（以及GB2

17、312）保持）保持向下兼容，向下兼容，GBK不再使用不再使用n四字节编码（约四字节编码（约158万个）用于表示万个）用于表示 UCS/Unicode中的其他字符中的其他字符nGB18030目前已在我国信息处理产品中强制贯彻执行。目前已在我国信息处理产品中强制贯彻执行。 3/7/202225标准名标准名称称GB2312GBKGB18030UCS-2(Unicode)字符集字符集6763个汉字个汉字(简体字简体字)21003个汉字个汉字（包括（包括GB2312汉字汉字在内）在内）近近3万汉字万汉字(包括包括GBK汉汉字和字和CJK及其及其扩充中的汉字扩充中的汉字)包含包含10万多字符，万多字符，其

18、中的汉字与其中的汉字与GB18030相同相同编码方编码方法法双字节存储和双字节存储和表示，每个字表示，每个字节的最高位均节的最高位均为为“1” 双字节存储和双字节存储和表示，第表示，第1个个字节的最高位字节的最高位必为必为“1”部分双字节、部分双字节、部分部分4字节表字节表示，双字节表示，双字节表示方案与示方案与GBK相同相同n UTF-8采用单字采用单字节可变长编码节可变长编码n UTF-16采用双字采用双字节可变长编码节可变长编码兼容性兼容性编码编码不兼容！不兼容！编码保持向下兼容编码保持向下兼容3/7/2022263/7/202227GB2312-80GB18030-2000/2005G

19、BK-95CJK汉汉字字汇字字汇兼兼 容容兼容UCS/UnicodeISO 646(ASCII码)兼兼 容容兼容映映射射3/7/2022283/7/202229键盘输入键盘输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入(1)数字编码数字编码, 如电报码、区位码等如电报码、区位码等, (2)字音编码字音编码, 如智能如智能ABC等等(3)字形编码，如五笔字形和表形码等字形编码，如五笔字形和表形码等, (4)形音编码形音编码发展趋势：基于统计和学习功能的以词语发展趋势：基于统计和学习功能的以词语(短语短语)或句子作为输入单或句子作为输入单位的输入方法位的输入方法3/7/2

20、02230键盘输入键盘输入联机手写输入联机手写输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入优点：优点：自然，流畅自然，流畅小型化，适合移动计算小型化，适合移动计算不足：不足：识别速度和正确性还需提高识别速度和正确性还需提高书写要求还要降低书写要求还要降低3/7/202231键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入优点：优点：自然，方便，适合移动计算自然，方便，适合移动计算不足：不足：对说话人、说话方式、说话内容的对说话人、说话方式、说话内容的适应能力要大适应能力要大大增强大增强识别速

21、度和正确性还需大大提高识别速度和正确性还需大大提高3/7/202232印刷体识别印刷体识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入扫描仪扫描仪OCR数字数字文本文本纸介质纸介质文本文本文本的文本的映象映象(image)识别率已达到识别率已达到98%功能功能: 简、繁体字混合识别简、繁体字混合识别 中文、西文混合识别中文、西文混合识别 文字、表格混合识别文字、表格混合识别 智能校对功能智能校对功能3/7/202233印刷体识别印刷体识别手写体识别手写体识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自

22、动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入 技术上非常困难，还无法实用技术上非常困难，还无法实用目前准备先突破工整的楷书手写体的识别目前准备先突破工整的楷书手写体的识别!3/7/2022343/7/202235 本本 书书 由由 南南 京京 大大 学学 出出 B1 BE CA E9 D3 C9 C4 CF BE A9 B4 F3 D1 A7 B3 F6 版版 社社 ( P u b l i s h i n g B0 E6 C9 E7 28 50 75 62 6C 69 73 68 69 6E 67 H o u s e o f N a n j i n 20 48 6F 75

23、 73 65 20 6F 66 20 4E 61 6E 6A 69 6E g U n i v e r s i t y ) 出出 版版 67 20 55 6E 69 76 65 72 73 69 74 79 29 B3 F6 B0 E6 文文本本的的内内容容文文本本在在计计算算机机中中的的表表示示 没有字体、字号的变化，不能插入图片、表格，也不能建立超没有字体、字号的变化，不能插入图片、表格，也不能建立超链接，链接，这种文本通常称为纯文本或这种文本通常称为纯文本或ASCII文本，在文本，在PC机中的机中的文文件后缀名是件后缀名是.txt 由一串用于表达正文内容的字符编码所组成，几乎不包含任何由一

24、串用于表达正文内容的字符编码所组成，几乎不包含任何其他的格式信息和结构信息其他的格式信息和结构信息 举例：举例：3/7/202236n有字体字号等属性变化、设置了段落和页面排版有字体字号等属性变化、设置了段落和页面排版格式的文本称为格式的文本称为“丰富格式文本丰富格式文本”n丰富格式文本（丰富格式文本（rich textrich text、fancy textfancy text、formatted textformatted text）ndocdoc、xlsxls、RTFRTF等等n多媒体文档（多媒体文档（Multimedia DocumentMultimedia Document） 3/7

25、/202237n超文本的结构超文本的结构ABCDEFGH3/7/202238n超文本超文本(hypertext)(hypertext)的阅读方式的阅读方式n线性文本是线性文本是顺序式阅读顺序式阅读n通过链接、跳转、导航、回溯等操作实现通过链接、跳转、导航、回溯等操作实现跳跃式阅读跳跃式阅读n超链（超链（hyperlinkhyperlink）：链源、链宿）：链源、链宿n超链的链宿有两种：超链的链宿有两种：n书签书签，指的是文本内部标记有书签的某个地方，指的是文本内部标记有书签的某个地方n互联网上的某个信息资源互联网上的某个信息资源（文件），它用统一资源定（文件），它用统一资源定位器（位器（URL

26、URL）指定指定3/7/202239n超文本中的节点不单是文本节点，还包含图形、图像、超文本中的节点不单是文本节点，还包含图形、图像、声音或动画节点，这种基于声音或动画节点，这种基于多媒体信息结点多媒体信息结点的超文本，的超文本，有时也称为有时也称为“超媒体超媒体” n超文本的应用超文本的应用nWindowsWindows等一些软件中的等一些软件中的“帮助帮助”文件文件n使用浏览器从使用浏览器从WebWeb服务器上下载的网页（服务器上下载的网页（htmlhtml或或htmhtm文件）文件）3/7/2022403/7/202241创建新文档或打开老文档创建新文档或打开老文档文稿输入文稿输入编辑编

27、辑排版排版文档存盘、打印或发送文档存盘、打印或发送输入中西文字、符号输入中西文字、符号和图表和图表进行增、删、改操作，保进行增、删、改操作，保证文本的正确性证文本的正确性满足清晰、美观、便满足清晰、美观、便于使用等要求于使用等要求3/7/202242n目的：确保文本内容正确无误目的：确保文本内容正确无误n操作：对字、词、句和段落进行添加、删除、修改等操作操作：对字、词、句和段落进行添加、删除、修改等操作nMS Word的功能：的功能：n在文本的任何位置都可以在文本的任何位置都可以插入插入新的文字新的文字n从文本的任何位置都可以从文本的任何位置都可以删除删除不需要的文字不需要的文字n将一段文字从

28、一处将一段文字从一处移动移动到另一处到另一处n将一段文字从一处将一段文字从一处复制复制到另一处到另一处n在文本中自动在文本中自动查找查找指定的词语指定的词语n用一个词语自动用一个词语自动替换替换文本中指定的词语文本中指定的词语3/7/202243n目的：使文本清晰、美观、便于阅读目的：使文本清晰、美观、便于阅读n操作内容：对文本中的字符、段落乃至操作内容：对文本中的字符、段落乃至整篇文章的格式进行设计和调整，分成整篇文章的格式进行设计和调整，分成3个层次：个层次：n对字符格式进行设置对字符格式进行设置n对段落格式进行设置对段落格式进行设置n对文档页面进行格式设置对文档页面进行格式设置3/7/2

29、02244n字号字号( (八号八号 初号初号, 5磅磅72磅以上磅以上) ) 1 1磅相当于磅相当于1/721/72英寸英寸 n字体字体( (宋体、楷体、黑体、仿宋、隶书宋体、楷体、黑体、仿宋、隶书) )n字符的修饰字符的修饰n字符的形状字符的形状( (字形字形) )：正常、加粗、：正常、加粗、倾斜倾斜、加粗倾斜加粗倾斜n字形的修饰：字形的修饰：下划线下划线、着重号、上下标、删除线、着重号、上下标、删除线n字符的颜色字符的颜色n字符的宽度字符的宽度n字符的间距字符的间距n字符的效果字符的效果n字符的排列方向字符的排列方向3/7/202245n什么是段落？用什么是段落？用“回车回车”相互隔开的一

30、组文字相互隔开的一组文字n段落格式的设置段落格式的设置：n段落的对齐方式段落的对齐方式( (两端对齐、分散对齐、居中对齐、左两端对齐、分散对齐、居中对齐、左对齐、右对齐对齐、右对齐)n段落的缩进方式段落的缩进方式( (首行缩进、悬挂缩进、左缩进、右缩进首行缩进、悬挂缩进、左缩进、右缩进)n段间距和段内行距段间距和段内行距n使用编号和项目符号使用编号和项目符号n段落段落添加边框和底纹添加边框和底纹n首字下沉或悬挂首字下沉或悬挂n段落与分页的关系段落与分页的关系3/7/202246n段落缩进是指段落中的文本到正文区左、右边界的距离，段落缩进是指段落中的文本到正文区左、右边界的距离，包括段落左缩进、

31、右缩进和首行缩进。其缩进的距离可包括段落左缩进、右缩进和首行缩进。其缩进的距离可由水平标尺上对应的三个缩进标记来指示由水平标尺上对应的三个缩进标记来指示左缩进标记左缩进标记首行缩进标记首行缩进标记右缩进标记右缩进标记右缩进右缩进左缩进左缩进首行缩进首行缩进正文区正文区右边界右边界正文区正文区左边界左边界悬挂缩进悬挂缩进标标记记3/7/202247n页面格式的设置：页面格式的设置：n设置纸张大小和页边距设置纸张大小和页边距n设置每页的行、列数目设置每页的行、列数目n设置分栏数目与格式设置分栏数目与格式n设置页码设置页码n设置页眉和页脚设置页眉和页脚3/7/2022483/7/202249n“所见

32、即所得所见即所得”（操作效果屏幕立即可见，打印结果（操作效果屏幕立即可见，打印结果与屏幕所见完全相同）与屏幕所见完全相同）n撤销撤销(undo)和恢复和恢复(redo)操作操作n格式刷格式刷n多种视图多种视图(大纲视图与大纲编辑大纲视图与大纲编辑)n自动更正、自动套用格式、自动编号、自动图文自动更正、自动套用格式、自动编号、自动图文集集 n自动保存功能和自动备份功能自动保存功能和自动备份功能n样式、模板和向导样式、模板和向导(wizard)功能功能n宏操作（宏操作（Macro）3/7/2022503/7/202251n使用计算机对文本中的字、词、短语、句子、篇章进行识别、转换、分析、使用计算机

33、对文本中的字、词、短语、句子、篇章进行识别、转换、分析、理解、压缩、加密和检索等有关的处理理解、压缩、加密和检索等有关的处理n文本处理内容：文本处理内容：n字数统计，词频统计，简字数统计，词频统计，简/ /繁体相互转换，汉字繁体相互转换，汉字/ /拼音相互转换拼音相互转换n词语排序，词语错误检测，文句语法检查词语排序，词语错误检测，文句语法检查n自动分词，词性标注，词义辨识，大陆自动分词，词性标注，词义辨识，大陆/ /台湾术语转换台湾术语转换n关键词提取，文摘自动生成，文本分类关键词提取，文摘自动生成，文本分类n文本检索（关键词检索、全文检索），文本过滤文本检索（关键词检索、全文检索），文本过

34、滤n文语转换（语音合成），文种转换（机器翻译）文语转换（语音合成），文种转换（机器翻译）n篇章理解，自动问答，自动写作等篇章理解，自动问答，自动写作等n文本压缩，文本加密，文本著作权保护文本压缩，文本加密，文本著作权保护3/7/202252n英文拼写检查和英文拼写检查和英语同义词检查英语同义词检查n字数统计字数统计n自动编写摘要自动编写摘要n中文简繁体转换和术语转换中文简繁体转换和术语转换n中英词语翻译中英词语翻译n语法和格式检查语法和格式检查n语音识别（口授命令和听写）语音识别（口授命令和听写）n文档保护文档保护(防止打开或修改文档防止打开或修改文档)3/7/202253（1）面向通信的文本处理软件）面向通信的文本处理软件 ： Outlo