汉字编码输入法

汉字编码输入法程序设计领域术语01简介汉字编码输入评测分类目录0302基本信息汉字编码输入法是采用汉字的音或形来组织编码，编码过程必须遵守国家有关汉字键盘输入规范要求及国家汉字相关规定，才能研制出具有实际使用价值的汉字输入法产品。简介简介1974年8月，我国开始了第一个大型汉字信息处理工程项目“748工程”，其主要成果之一是《汉字频度表》，首先为汉字信息处理提供了重要的基础数据。1980年前后，陈明远、盛谏等人分别公布汉语音节、声母、韵母、声调和字母频度统计。经过对《汉字频度表》和其它字表的统计分析，国家标准总局颁布了汉字信息处理领域的第一个国家标准《信息交换用汉字编码字符集·基本集》（GB2312-80）。这是一个在中国的汉字信息处理历史上划时代的、具有深远影响的标准。1981年，武汉大学、复旦大学等公布了在《新华字典》字集范围内的字根频度统计结果。1984年，国家文字改革委员会与武汉大学公布了《辞海》字集范围内汉字笔画、部件、结构的动态统计分析结果。1985年，国家文字改革委员会与山西大学公布了人名姓氏用字的抽样统计分析结果。1986年，北京航空学院、新华社利用计算机技术分别公布了基于大型语料库的新的汉字使用频度统计和流通频度统计。1985年后，北京师范大学、上海交通大学、北京语言学院等分别使用各具特色的自动分词技术公布了基于大型语料库的现代汉语词语使用频度统计。北京大学计算语言研究所还建立了以汉语语法为中心的“现代汉语语法信息词典”。字词属性库和内容全面、翔实、使用方便的汉语语料库对推动汉字编码键盘输入技术的发展起到了重大作用。九十年代后公布的与汉字键盘输入系统有关的国家标准有GB.1《信息技术多八位编码字符（UCS）》、GB《信息技术信息交换用汉字编码字符集基本集的扩充》、GB《信息技术数字键盘汉字输入通用要求》、GB《标点符号用法》和即将公布的有GB/T-2000《信息技术通用键盘汉字输入通用要求》。分类第一代第二代第三代数字键盘编码输入法通用输入法平台12345分类第一代电子工业部第六所于1983年正式公布了我国第一个中文磁盘操作系统CC-DOS，这在我国中文信息处理历史上具有划时代的意义。CC-DOS是在PC-DOS的基础上扩充、修改而成。在广泛使用的CC-DOS2.1版中，有简拼、首尾码、快速码和区位码输入法，已经涵盖了包括音码、形码、音形码和数字码这些主要类型的输入法，对我国计算机应用的普及起到了开路先锋的作用。当时使用得最广泛的输入法是简拼和首尾码。简拼是纯音码，使用的是介于全拼和双拼之间的一种拼音方法，对三个及三个字母以上的韵母进行了压缩。首尾码是一种纯形码，包含97个部件，分为52类；部件到键盘字母的映射没有太多的规律可循，记忆量很大；编码时只取字首和字尾各一个部件，对于未列出的变形部件需要输入者自己去猜测其应归属的键位。这两种方法都不支持联想，也不支持词组，都有很多重码。因此，在输入时选择、翻页操作很频繁，眼睛需要不断地扫描提示行以便在众多的重码中找寻所需的字，输得又累又慢，更不可能实现盲打。快速码是通过压缩拼音和加码方法实现的，可以在一定的程度上离散重码。由于快速码的加码方法没有规律可循，因此没有得到真正的应用。区位码完全要靠死记6763个汉字和符号的数字编码来输入，因此除了用于输入当时还没有其它办法输入的标点符号外，基本上没有人实际使用。另一个早期的汉字编码输入法是电报码。电报码为4位等长码方案，使用的码字从0000到9999，可以代表一万个字符（包括汉字、字母、符号）。电报码没有重码，但编码的规律性不强，十分难记。因此，它完全是为了邮电部门那些已经熟悉电报码的人的需要而移植进计算机的，对一般的汉字输入者没有什么意义。第二代1986年，四通公司与日本三井物业合作，推出了四通MS-2400中文电子打字机，宣告了中国专业电子打字时代的到来。随着四通打字机的广泛使用，首先捆绑在四通打字机上的五笔字型输入法流传开来，后来捆绑到四通打字机上的由刘卫民发明的双音输入法也在当时得到比较广泛的使用。五笔字型是最典型的纯形码部件类方案。在五笔字型中，一般将部件称为字根。五笔字型采用了130个基本字根。基本字根按起笔分为五类，对应通用键盘上的五个区。每类又细分为五组，每组对应一个键盘字母。在一个汉字中，字根间的关系被归纳为“单、散、连、交”四种。在汉字拆分时，遵循“取大优先，兼顾直观，能连不交，能散不连”的原则。五笔字型将汉字分为键名汉字、成字字根汉字和键外汉字三种，分别服从不同的编码规则。另外，字的编码还有一、二、三级简码，其形成方法是取相应全码的前一、二、三个字母。五笔字型将词组也分为二字词、三字词和多字词三种。二字词按顺序取各字的前两个字根来编码。三字词按顺序取头两个字的第一个字根和末字的前二个字根来编码。多字词按顺序取第一、二、三、末字的第一个字根来编码。五笔字型以非常复杂的编码规则换来了在GB2312-80字符集内较低的重码率。当采用强制简码时，还可进一步将低重码率。词组编码被放进全码字的剩余编码空间中，实现了字词混合编码。只要收录的词组量不大，发生重码的可能性是比较小的。一般的五笔字型不具备自造词的功能。五笔字型拥有的这些特点，正好适应了职业打字的需要，成为它在职业打字时代非常流行的重要原因之一。第三代到了九十年代末，随着微机价格的进一步降低、存储处理能力的进一步增强、Windows图形操作系统的流行和国际互联的兴起，用户界面变得非常友好，微机大面积地进入中国的普通百姓家庭，进入了中小学教育中，真正实现了微机在中国的大普及。微机的大普及使得打字成为每个人的基本技能，就像会写汉字一样；需要别人打字就像需要别人代笔一样，实际上是文盲的标志。这样便造就了一个庞大的非职业打字员用户群体。打字员作为一个职业正在快速消失。一般用户在打字时的操作方式是“想打”，与职业打字员的“盲打”方式完全不同。“盲打”要求操作者尽量少看屏幕，输入法提供的反馈信息只有在操作员不能“盲打”时才偶尔派上用场；而“想打”时操作者始终是看着屏幕的，输入法提供反馈的方式和反馈信息量的大小都会对操作者的输入活动产生巨大影响。Windows图形操作系统为人机界面的丰富化提供了前提条件，可以满足反馈信息多样化的需求。现代微机强大的存储处理能力为新型的存储密集型和处理密集型输入法的诞生提供了物质基础。输入法程序不再局限于DOS时代64KB的驻留内存中。千兆级的运算速度使得复杂的智能算法得以投入运行。硬盘容量不仅从兆级扩大到千兆级，访问硬盘的速度也比DOS时代大大提高。将巨型的词库存储在硬盘上并进行快速搜索已不成问题。计算机教育日益广泛地在中小学开展后，学生们从小就开始学习打字了。汉字编码与语言文字教育的关系问题被尖锐地提了出来。起码的要求是，汉字编码不能与语言文字知识相冲突。理想的情况是，把汉字编码输入与语言文字知识的学习结合起来，起到相互促进的作用。在上述背景下，第三代汉字编码输入法应运而生，其指导思想是：规范、易学、易用并且尽量保持输入速度。数字键盘编码输入法迄今为止，全国手机拥有量已超过3亿，手机短信息的产值超过50亿人民币。手机拥有量已经超过PC机用户，用手机输入汉字的人群远远超过用通用大键盘输入汉字的人群。目前，美国特捷公司的T9拼音和T9笔画输入法、加拿大字源公司的字能笔画输入法和Motorola公司的iTap输入法垄断了中国大陆和港台的手机输入法市场。但是，国外的手机数字键盘输入法不尽如人意。以笔画输入为例，iTap用9个笔画，字能用8个笔画，T9用5个笔画。相同的一个笔画，不同的手机可以放在不同的位置上，输入速度也不理想。为了打破外国手机输入法垄断中国手机市场和手机输入法不规范的尴尬局面。由中国中文信息学会等主办，由黄金码出版社(香港)有限公司等单位承办，于2004年11月21日，在人民大会堂举行了为期三天的中国首届手机中文输入大赛暨汉字数字码输入技术应用高峰论坛。在32支参赛队伍中，有23支参加模拟手机汉字数字码输入比赛，9支参加手机中文输入比赛。除了已参赛的数字编码方案外，比较引人注意的还有王永民先生的五笔数码、郑岩松先生的左右数码等。以下仅对当前使用得最为广泛的T9拼音、T9笔画和首届手机中文输入大赛中获得冠军的黄金码、大众数字码进行介绍。T9拼音本质上采用的是一种全拼单字加联想的早期通用键盘输入技术。其最重要的创新是可以根据手机键盘上按键的组合情况判断是否能组合成合法的普通话音节，从而避免了传统上通过多次按键来输入一个拼音字母的弊端。但是，当按键组合适合多个合法的普通话音节，而且默认选择的普通话音节又不是用户所需要的时，用户还是得进行手动选择。通用输入法平台发明和设计汉字编码的人很多，而真正能够编写汉字输入法软件的人是很少的，因此一个功能强大的通用汉字输入法平台会对汉字编码的研究、试验和制作产生巨大的促进作用。通用输入法平台来源于对各种输入法的共性的抽象，反过来又对输入法的制作有不可忽视的限制。早在DOS时代就有人从事通用输入法平台的研究了。但是，输入法平台的广泛使用还是在Windows操作系统普及以后的事。微软公司和北京中易电子公司合作开发的码表输入法生成器（Imegen.exe）是WINDOWS操作系统上最早的也是使用得最广泛的输入法平台。杜志民先生开发的极点中文通用输入平台是目前影响最大的输入法生成器，与Windows内置的输入法生成器相比输入功能上有了长足的进步，但是它没有考虑与应用程序的接口问题。在功能上与极点中文通用输入平台类似软件还有龙文输入平台和青月亮平台。虽然通用输入法平台取得了不小的进展，已能适应制作常规的基于字词的输入法的需要了，但是对于语句级输入法和许多有特殊要求的字词型输入法还是必须专门编程才能取得最好的效果。毕竟，搞输入法的人是极少数，而仅仅使用输入法的人是绝大多数，因此包括编码层次和软件层次在内的汉字输入法的总体性能才是最为重要的。通用输入法平台是在软件层面使输入法的制作自动化。但是，一个输入法的制作在编码层面也有大量的工作要做，如何利用计算机来辅助汉字编码也引起了一些研究者的兴趣，这方面的研究情况请参阅文献。汉字编码输入评测易学性易用性快速性规范性质量属性之间的关系12345汉字编码输入评测易学性易学性是指学会一种输入法所需的记忆量。有的输入法只需一、两天便能掌握，有的输入法则需要一、两周才能输入文稿，有的输入法甚至需要一、两个月的专门培训才能上岗工作。同时，有的输入法在一段时间没有使用后用户不易忘记，而有的输入法则回生很快。所以，易学性还有易记的含义在里面。人的背景知识也和易学性紧密相关。如果能够利用人的背景知识来对汉字编码，就可以使输入法的易学性增强，而且也能通过输入汉字巩固人的背景知识。当然，背景知识也是需要时间来学习的。但是，背景知识是在学习输入法以前就掌握了的，不能将学习背景知识的时间计算在学习输入法的时间里。由于每个人的知识水平和知识结构都是不同的，因此在考核易学性时应该设置一个起始标准。中小学教育是每个国民应受的基础教育，所以我国现行中小学语文教材中的内容可以作为汉字编码输入法的国民教育背景知识。这种背景知识包括：应当看到，对上述知识的掌握程度是因人而异、因地区而异的，而且上述知识用于汉字编码时所能发挥作用的大小也是不一样的。由于方言的原因，有些人虽然能认识3000左右的汉字，但却是用方音识读的，所以要以普通话的拼音方式输入仍然会有困难。有些人虽然会讲普通话，但是其普通话不一定很标准。易用性易用性与人们输入汉字时所承担的生理和心理负荷密切相关，而人的生理和心理负荷又与人们输入汉字时形成条件反射的容易程度密切相关。影响输入法易用性的主要因素如下：快速性快速性就是输入汉字的速度，一般以平均每分钟录入多少个汉字计算。自从汉字编码键盘输入法问世之日起，汉字输入速度就一直是输入法研制者和使用的共同关心的问题，从而也是输入法评测的重要指标。影响输入法快速性的因素很多，而且各因素之间关系错综复杂。机器和软件不是影响输入法的瓶颈，但是编码性质和人参与的所有输入活动都会影响输入速度，如下所述。规范性规范性是以国家标准机构出台的有关输入法的标准以及国家语言文字管理部门出台的有关规范为尺度来衡量的。质量属性之间的关系以上汉字编码输入法的各种质量属性之间有着复杂的关系，有交叉的、包含的，也有相互对立的、矛盾的。因此，要使各个质量属性都达最优是根本不可能的，只能分清主次并寻求一个最好的平衡点。易学性与易用性及快速性之间往往是矛盾的。如果仅仅考虑易学性指标，那么完全可以设计一种不需任何学习的输入法。例如，在屏幕开设一个窗口，逐页将汉字列出来，每