（计算机应用技术专业论文）汉字字形形式化描述方法及应用研究.pdf

摘要詈! 曼曼曼! 1 1 1 1 一； ! 鼍! 皇皇曼! ! 曼蔓曼曼! ! ! ! 曼蔓曼! 曼鼍曼! ! ! ! 曼! 曼曼! ! 曼! 曼! ! ! ! ! 曼曼皇摘要在汉字信息处理领域，现有的各种汉字字形形式化描述方法主要以文字研究和汉语教学研究中描写汉字形体结构的结构分析法为基础，采用人认知的结构类型、部件、笔画等构形单位对汉字字形进行分层描述。这些方法在字形拆分规则、结构类型划分、描述基元选取等方面存在着歧义和描述缺失，无法满足统一描述各种汉字( 包括错字、吉籍异体字、民俗拼合字) 字形的需要，也无法支持字形自动比对计算处理，不能满足以字形比对计算分析为基础的各种应用需要，如教学研究中错字描述及偏误定量分析、古籍字形描述及比对分析、数字图书中生僻字形检索等。基于统计机器学习的汉字识别模型，对事先无法收集样本的错字、异体字、拼合字等特殊汉字，由于没有训练样本可学习，无法支持这类汉字的分类计算。对于可收集训练样本的一般汉字，识别模型中采用的字形统计特征难以逻辑解析来与人认知的字形结构类型、部件、笔画建立对应关系，是一种“黑盒”字形描述模型，无法支持面向人的各种字形比对分析应用需要。上述问题归结为汉字缺少统一有效的字形形式化描述和字形比对计算方法。本文工作围绕这一核心问题展开，面向字形比对分析应用建立了一种汉字字形描述方法及一组相关的字形比对算法和实用工具。主要创新性工作包括：1 ) 提出一种笔段网格汉字字形形式化描述方法，用预先定义好长度、方向的直线段笔段作为描述字形的基元，基元颗粒度适当、规范、无歧义，能统一描述切可能今文字( 包括错字、异体字、拼合字) 字形骨架的异同。论证实验表明，这种方法与相同基元量点阵字形相比，描述同一汉字所需的有效基元更少，字形比对计算效率更高；描述不同汉字的字形问区分度大，有利于提高字形比对计算的准确性和可靠性，具有较高的性能代价比。2 ) 基于笔段网格字形描述方法，本文进一步提出一组字形比对算法。其中，笔段上下文字形比对算法，以笔段为比对单位，在g b 2 3 1 2 字符集汉字和部分错字、异体字上的测试实验表明，算法无需进行训练就能比对字形相似性，字形相似性比对结果受汉字结构类型、笔画划分影响小，在输入字形和比对字形网格大小一致时比对准确率可达1 0 0 ；基于笔段组合的字形比对算法，在笔段网格字形描述基础上，能自动提取简单笔画、复合笔画，既能按简单笔画为单位进行字形比对，也能按复合笔画、简单笔画自适应进行字形比对。在同样测试汉字集上实验表明，基于简单笔画和复合笔画的字形比对算法无需训练就能进行字形相似度比对计算，比对结果对输入字形整体大小变化、斜笔画不同变形的敏感性降低，对依照约束描画的结构规范字形，比对准确率很高，可达到1 0 0 ；比对单位大，比对效率高，可以适应大规模汉字字形的比对、查找；比对单位容易与人认知的构字单位建立对应关系，是一种“白盒”字形相似度比对计算方法，既适用整体北京工业大掌工学博士学位论文字形比对，也适用局部字形比对，对结构比例失调较大的不规范字形能发现与结构规范字形的差异性，适合面向字形分析的应用需要。此外，建立了基于笔画关系矩阵的汉字结构关系描述和计算方法，可用于支持汉字结构类型的自动判别。3 ) 由于汉字部件在汉字形体结构研究中的重要性，本文提出了在笔段网格描述的简单笔画上，附加组合关系标注的部件描述方法及部件自动发现算法，实验表明，该算法能很准确发现包含特定部件的汉字，而不受部件在字形中位置和大小的影响。4 ) 本文还改进了汉字信息字典的汉字结构描述体系，提出了基于结构描述的字形相似度比对算法，实验表明，该法找到的相似字结构类型一致性好，与人认知的相似字吻合度较高( 9 6 以上) ，适合结构类型划分无歧义汉字的相似性计算。5 ) 本文最后设计实现了一个实用软件系统汉字字形描述和自动比对分析工具，采用大众化手写描画方法来建立笔段网格字形描述，可以输入各种可以想见的汉字，包括错字、异体字和拼合字及其它相关信息，能自动将笔段网格字形转换成对应t r u e t y p e 字模，与标准字符集内汉字一样被处理。对笔段刚格字形可以自动进行整字、局部的字形比对，找出按相似度大小排序的相似字。采用这一工具完成了g b k 字符集2 0 9 0 2 个汉字及北京语言大学留学生错字的描述，字形库应用于汉字教学错字偏误分析。这些工作有益于汉字字形描述的标准化，在基于汉字字形计算的各种应用领域：如标准字符集外汉字的输入、我国数字图书馆建设、汉语教学研究和国际推广、汉字文化历史研究、社会管理信息化等具有应用前景。关键词汉字字形；形式化描述；笔段网格；比对计算：部件a b s t r a e ta b s t r a c ti nt h ef i e l do fc h i n e s ec h a r a c t e r si n f o r m a t i o np r o c e s s i n g ，t h ep r e s e n ta p p r o a c h e st ot h ef o r m a ld e s c r i p t i o no fc h i n e s ec h a r a c t e rg l y p ha r em o s t l yb a s eo ns t r u c t u r ea n a l y s i sm e t h o du s e df o rd e s c r i b i n gt h et o p o g r a p h yo fc h i n e s ec h a r a c t e r si nt h er e s e a r c ho nc ：h i n e s ec h a r a c t e r sa n dt e a c h i n go fc h i n e s e ，w h e r es t r a t e g i cd e s c r i p t i o n sa r ea d o p t e db ya p p l y i n gt h eh u m a np e r c e p t i v eu n i t s ，v i z g l y p hf o r m a t i o nu n i t ss u c ha st y p e so fs t r u c t u r e c o m p o n e n t sa n ds t r o k e s t h e s em e t h o d sr e s u l ti na m b i g u i t i e sa n dd e s c r i p t i o nd e f i c i e n c yw i t hr e g a r dt og l y p hr e s o l u t i o n ，s t r u c t u r ec l a s s i f i c a t i o n ，a n ds e l e c t i o no fd e s c r i p t i v ee l e m e n t s ，t h e r e f o r et h e yc a nn o tm e e tt h en e e dt od e s c r i b ea n yp o s s i b l eg l y p hs k e l e t o n s ( i n c l u d i n gw r o n g l yw r i t t e nc h a r a c t e r s ，v a r i a n tf o r m so fc h a r a c t e r si na n c i e n tl i t e r a t u r e s ，a n dc o m b i n e d c h a r a c t e r s ) ，n o rc a nt h e ys u p p o r ta u t o m a t i cc o m p u t a t i o no fg l y p hc o m p a r i s o n ，l e ta l o n et om e e tt h ep r a c t i c a ln e e db a s e do ng l y p hc o m p a r i s o na n da n a l y s i s ，s u c ha st h ed e s c r i p t i o no fw r o n g l yw r i t t e nc h a r a c t e r so rt h eq u a n t i t a t i v e a n a l y s i so fm i s u s e dc h a r a c t e r si nt h et e a c h i n ga n dr e s e a r c ho fc h i n e s ec h a r a c t e r s ，t h ed e s c r i p t i o na n da n a l y s i so fv a r i a n tf o r m so fc h a r a c t e r si na n c i e n tl i t e r a t u r e s ，o rt h er e t r i e v a lo fr a r ec h a r a c t e rg l y p h si nt h ee l e c t r o n i cb o o k sa n ds oo n f o rs p e c i a lc h i n e s ec h a r a c t e r st h eg l y p hs a m p l e so fw h i c hc a nn o tb ec o l l e c t e di na d v a n c e ，s u c ha sw r o n g l yw r i t t e no n e s ，v a r i a n tf o r m si na n c i e n tl i t e r a t u r e s ，a n dc o m b i n e d c h a r a c t e r s ，s i n c en os a m p l et r a i n i n gc a nb ed o n e ，c o m p a r a t i v ec o m p u t a t i o no ft h eg l y p hc a n n o tb es u p p o r t e da n dt h er e c o g n i t i o na n di d e n t i f i c a t i o no f t h e mc a n n o tb eg u a r a n t e e d i tw o u l da l s ob ed i f f i c u l tf o rt h eg l y p hf e a t u r e sg e n e r a t e db ys t a t i s t i c s ，w h i c ha r ea d o p t e db yr e c o g n i t i o nm o d e l s ，t ol o g i c a l l yr e s o l v ea n dm a pt ot h es t r u c t u r et y p e so fc h a r a c t e r s ，c o m p o n e n t sa n ds t r o k e sd e r i v e df r o mh u m a nc o g ni t i o n t h e ya r er a t h e rb l a c k b o x li k e ，a n dt h e yd on o tm e e tt h ed e m a n dt oh u m a n o r i e n t e dc o m p a r i s o na n da n a l y s i so fd i f f e r e n tt y p e so fg l y p h w i t hr e g a r dt ot h ec o r ei s s u eo ft h el a c ko fu n i v e r s a l l ya c c e p t e de f f e c t i v em e a n so ft h ef o r m a ld e s c r i p t i o na n da u t o m a t i cg l y p hc o m p a r i s o nc o m p u t a t i o no fc h i n e s ec h a r a c t e rg l y p h ，t h i sp a p e r , o r i e n t e df r o mt h ea p p l i c a t i o no fc o m p a r i s o na n da n a l y s i so fc h i n e s ec h a r a c t e rg l y p h s ，o f f e r san e wa p p r o a c ht od e s c r i b i n gt h e ma n dp r o v i d e sas e to fa l g o r i t h m so fr e l a t e dc h a r a c t e rg l y p h sc o m p a r i s o na n ds o m ep r a c t i c a lt o o l s t h em a i ni n n o v a t i v ei n c l u d e s ：11am e t h o di so f f e r e df o r m a l l yd e s c r i b ec h i n e s ec h a r a c t e r sb yas t r o k e s e g m e n t m e s h w h i c hu s e sal i n e s e g m e n to fp r e d e f i n e dl e n g t ha n dd i r e c t i o na sag l y p hd e s c r i p t i o ne l e m e n t ( s t r o k es e g m e n t ) s i n c ei ti se q u i p p e dw i t hs u i t a b l eg r a n u l a rd e g r e e ，f r e eo fa m b i g u i t y , a n ds t a n d a r d i z e d ，i tc a l ld e s c r i b et h eg l y p hs k e l e t o n o fa l lc h i n e s ec h a r a c t e r s ( i n c l u d i n gw r o n g l yw r i t t e nc h a r a c t e r s ，v a r i a n tf o r m so fc h a r a c t e r si na n c i e n tl i t e r a t u r e s a n dc o m b i n e d c h a r a c t e r s ) e x p e r i m e n t ss h o wt h a t ，c o m p a r e dw i t hd o t - m a t r i xg l y p h ，w h i c hh a v et h es a m ea m o u n to fe l e m e n t ，t h en u m b e ro fe f f e c t i v ee l e m e n t sr e d u c e sag r e a td e a li nt h es t r o k e - s e g m e n t - m e s hg l y p hd e s c r i p t i o n ，a n dy e tah i g h e re f f i c i e n c yi sa c h i e v e d w h a t sm o r e ，t h ea c c u r a c yi i i北京工业大学工学博士学位论文a n dr e l i a b i l i t yo fc o m p u t a t i o na r ei m p r o v e dt h a n k st oah i g h e rd i s c r e p a n c yd e g r e eb e t w e e nd i f f e r e n tc h i n e s ec h a r a c t e rs t r o k e s e g m e n t m e s hg l y p h s 2 ) b a s e do ns t r o k e s e g m e n t m e s hc h i n e s ec h a r a c t e r sf o r m a ld e s c r i p t i o nm e t h o d ，as e to fg l y p hc o m p a r i n ga l g o r i t h mi sp r e s e n t e d t h ea l g o r i t h mo fg l y p hc o m p a r i n gb ys t r o k e s e g m e n ta n di t sc o n t e x tu s e ss t r o k e - s e g m e n ta sc o m p a r i n gu n i t t h ee x p e r i m e n t so nt h eg b 2 3l2c h a r a c t e rs e ta n ds o m ew r o n g l yw r i t t e nc h a r a c t e r s v a r i a n tf o r m so fc h a r a c t e r s ，a n dc o m b i n e d - c h a r a c t e r ss h o wt h a tt h er e s u l t so fg l y p hs i m i l a r i t yc o m p a r i n ga r el e s sa f f e c t e db yt h ef a c t o r ss u c ha sc h a r a c t e rs t r u c t u r et y p e sa n ds t r o k e sd i v i s i o n f r e eo ft r a i n i n g ，t h ea l g o r i t h mc a l lc o m p a r ec h a r a c t e rg l y p h s ，a n dh a sah i g hr a t eo fa c c u r a c yw h e nt h ei n p u tc h a r a c t e ri sb a s i c a ll yt h es a m es i z ea st h ec o m p a r e do n e t h ea l g o r i t h mo fg l y p hc o m p a r i n gb yt h ec o m b i n a t i o no fs t r o k e s e g m e n t s ，b a s e do nt h es t r o k e - s e g m e n t m e s h ，c a na u t o m a t i c a l l ye x t r a c ts i m p l es p o k e s ，c o m p o u n ds t r o k e s i tu s e ss i m p l es t r o k e s ，o rc o m p o u n ds t r o k e sa n ds i m p l es t r o k e sa d a p t i v e l ya sc o m p a r i n gu n i t e x p e r i m e n t so nt h es a m ec h a r a c t e rs e to fc h i n e s es h o wt h a tt h ea l g o r i t h m sb a s e do ns i m p l es t r o k ea n dc o m p o u n ds t r o k e sc a na l s oc o m p u t et h es i m i l a r i t yb e t w e e nc h a r a c t e rg l y p hw i t h o u tt r a i n i n g ，a n dt h er e s u l ti sl e s ss u b j e c tt ot h es i z ea n dd i f f e r e n td e f o r m a t i o no fi n c l i n e ds t r o k e s t h ea l g o r i t h m se n j o yah i g ha c c u r a c yr a t e ( n e a r l ylo o ) w h e nc h o o s i n gt h ef i r s tc a n d i d a t ef r o mi n p u tg l y p h so fn o r m a ls t r u c t u r e t h ea l g o r i t h m su s eb i g g e rg l y p hc o m p a r i n gu n i ta n dc a nb ea p p li e df o rl a r g e s c a l ec h i n e s ec h a r a c t e r sg l y p hs e a r c h i n gw i t hh i g he f f i c i e n c y t h ec o m p a r i n gu n i ta d o p t e dc a nb ee a s i l ym a p p e dt ot h eu n i t si nh u m a nc o g n i t i o n ，a n di ti sa ”w h i t e b o x ”a p p r o a c ht og l y p hs i m i l a r i t yc o m p u t a t i o n t h em e t h o dc a nb ea p p l i e dt ot h ec o m p a r i s o no fa ne n t i r ec h i n e s ec h a r a c t e ro rp a r to fi t i tc a nf i n dt h ed i f f e r e n c e sb e t w e e nc h a r a c t e r so fn o n s t a n d a r ds t r u c t u r ew i t hs t a n d a r d i z e ds t r u c t u r ec h a r a c t e r s a n dt h e r e f o r ei tc a nm e e tt h en e e d so fg l y p h a n a l y s i s o r i e n t e da p p l i c a t i o n t h ed e s c r i p t i o na n dc o m p u t a t i o nm e t h o do ft h es t r u c t u r er e l a t i o n s h i p 。b a s e do nt h er e l a t i o n s h i pm a t r i x o fs t r o k e s ，a r ea l s op r o v i d e d ，w h i c hc a nb eu s e df o rt h ea u t o m a t i ci d e n t i f i c a t i o no fs t r u c t u r et y p e so fc h i n e s ec h a r a c t e r s 3 1w i t hr e g a r dt ot h ei m p o r t a n c eo fc o m p o n e n t so fc ：h i n e s ec h a r a c t e r si nt h er e s e a r c ho fp h y s i c a ls t r u c t u r eo ft h e m ，ac o m p o n e n td e s c r i p t i o nm e t h o da n dt h ea l g o r i t h mo fa u t o m a t i c a l l yd e t e c t i n gc o m p o n e n t sa r ea t t a c h e dt os i m p l es t r o k e so fs p o k e - s e g m e n t m e s hg l y p h e x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mc a na c c u r a t e l yd e t e c tt h ec h i n e s ec h a r a c t e r st h a th a v es p e c i f i cc o m p o n e n t s ，f r e ef r o mt h ei n f l u e n c eo f t h el o c a t i o na n dt h es i z eo f t h ec o m p o n e n t si nt h eg l y p h 4 、t h i sp a p e ra l s oi m p r o v e st h ed e s c r i p t i o ns y s t e mo fc h i n e s ec h a r a c t e rs t r u c t u r eo fc h i n e s ec h a r a c t e ri n f o r m a t i o nd i c t i o n a r y ”o f f e r i n ga na l g o r i t h mf o r t h ec a l c u l a t i n gg l y p hs i m i l a r i t yo fc h i n e s ec h a r a c t e r sb a s e do ns t r u c t u r ed e s c r i p t i o n t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h es i m i l a rc h a r a c t e rl i s t sf o u n db yt h i sa l g o r i t h mh a v eah i g hd e g r e eo fc o n s i s t e n c eo ns t r u c t u r ea n dc o i l f o r mt oh u m a nc o g n i t i o n t h e r e f o r e t h ea l g o r i t h mi ss u i t a b l ef o rs i m i l a r i t yc a l c u l a t i o no fc h i n e s ec h a r a c t e r so fd e f i n i t es t r u c t u r ec l a s s e s 5 1i n t h i sp a p e r , a na p p l i c a t i o ns o f t w a r es y s t e m t o o l k i to fc h i n e s ec h a r a c t e rg l y p hd e s c r i p t i o na n da u t o m a t i cc o m p a r i s o na n da n a l y s i si sd e s i g n e da n di m p l e m e n t e d ，t h et o o lc r e a t e sas p o k e s e g m e n t - m e s hg l y p hd e s c r i p t i o nb yp o p u l a ri va b s t r a c th a n d w r i t t e na n dd r a w i n gm e t h o d a n yi m a g i n a b l ec h i n e s ec h a r a c t e r sc a nb ep u ti n ，i n c l u d i n gw r o n g l yw r i t t e nc h a r a c t e r s ，v a r i a n tf o r m so fc h a r a c t e r si na n c i e n tl i t e r a t u r e s ，c o m b i n e d - c h a r a c t e r s ，a n do t h e rr e l a t e di n f o r m a t i o n t h es t r o k e - s e g m e n t m e s hg l y p hc a nb ea u t o m a t i c a l l yt r a n s f o r m e dt oc o r r e s p o n d i n gt r u e t y p ef o n t , a n dp r o c e s s e dj u s tl i k et h o s ei nt h es e to fs t a n d a r dc h i n e s ec h a r a c t e r t h et o o lc a l lm a k eac o m p a r i s o na m o n gs t r o k e s e g m e n t m e s hg l y p h sa n df i n dt h e i rs i m i l a r i t i e sa n dd i f f e r e n c e sa saw h o l eo ra sp a r t a n dc a nf i n das i m i l a rc h a r a c t e rl i s t ss o r t e db ys i m i l a r i t y t h ew o r ko fc r e a t i n g2 0 ，9 0 2c h i n e s ec h a r a c t e r ss t r o k e s e g m e n t - m e s hg l y p hd e s c r i p t i o ni ng b kc h a r a c t e rs e t sa n dw r o n g l yw r i t t e nc h a r a c t e r sw r i t t e nb yf o r e i g ns t u d e n t ss t u d y i n gi nb e i j i n gl a n g u a g ea n dc u l t u r eu n i v e r s i t yh a sb e e nc o m p l e t e db yt h i st 0 0 1 t h ec h i n e s ec h a r a c t e r sg l y p hd a t a b a s eh a sb e e na p p l i e dt ot h ea n a l y s i so fs p e l l i n ge r r o r sm a d eb yf o r e i g ns t u d e n t s t h ew o r kw i l lb e n e f i tt h es t a n d a r d i z a t i o no fc h i n e s ec h a r a c t e rg l y p hd e s c r i p t i o na n dw i l lf o u n dw i d ea p p l i c a t i o ni nv a r i o u sf i e l d sb a s e do nc h i n e s ec h a r a c t e rg l y p hc o m p u t i n g ，s u c ha st h ei n p u to fc h i n e s ec h a r a c t e r so u t s i d eo ft h es t a n d a r dc h a r a c t e rs e t 。t h ec o n s t r u c t i o no fd i g i t a ll i b r a r i e s i nc h i n a , t h er e s e a r c h ，t h et e a c h i n g ，a n di n t e r n a t i o n a lp r o m o t i o no fc h i n e s e t h er e s e a r c hi n t ot h eh i s t o r yo fc h i n e s ec h a r a c t e r sa n dc u l t u r e ，t h ei n f o r m a t i o n a l i z e ds o c i a lm a n a g e m e n t ，e t c k e y w o r d sc h i n e s ec h a r a c t e r sg l y p h ；f o r m a ld e s c r i p t i o n ；s t r o k e s e g m e n t - m e s h ；g l y p hc o m p a r i s o n ；c o m p o n e n t sv独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：盔盘医日期：竺1 2 ：!关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。( 保密的论文在解密后应遵守此规定)签名：茎奎医导师签名：第1 章绪论第1 章绪论1 1 问题的缘起汉语是世界上使用人数最多的两种语言之一，汉语的文字载体是汉字。汉字是世界上唯一未曾中断使用而延续至今的表意文字系统。汉字在长期演变的过程中，经历了从甲骨文到金文、篆书、隶书和楷书的发展过程，逐渐形成了现代汉字。汉字演变的总体趋势是由繁到简，字形字体逐渐规范化、稳定化。时至2 1 世纪，有关汉字的问题( 包括汉字研究与教学、汉文化历史研究、汉语言研究等) 已经成为中国文化建设极为重要的问题，并得到了世界各国的普遍关注。但是，汉字发展的脉络仍然没有梳理得很清楚，特别是汉字发展到今文字阶段的很多问题，比如，发展到隶楷阶段的汉字还是不是表意文字? 它的发展趋势是不是纯粹的简化? 是否需要保护汉字的构形理据，如何保护汉字的理据才能既符合汉字的发展要求而又不复古? 对这些问题的研究需要对汉字本体进行全面系统地考察，而不能仅凭个别例子来下结论，而汉字本体的研究必须以字形为中心，在个体的考证基础上探究其总体规律，在相互联系中认识每一个汉字，才能弄清汉字符号的实质。而汉字的描写是解释的前提，汉字字形的比较又是探讨演变的必要条件。如何运用现代信息处理技术，将汉字输入计算机进行识别、认同和比较，通过信息加工、信息重组达到方便使用、挖掘知识的目的，实现数字时代对中华传统文化的继承与弘扬的目标。汉字信息处理的研究任务任重而道远，不仅包括研究汉字的计算机输入、输出处理，还包括如何利用计算机对汉字字形进行刻画描写、进而对字形进行比较、分析等重要的基础性研究内容。隶书的出现是古今汉字的分水岭。隶书使汉字字形由圆变方，笔画由曲变直。楷书的出现和汉字多行书写整齐的要求，进一步使汉字的方块化定型，笔顺固定，笔形得到规范。一千多年来楷书一直是汉字的标准字体，是汉字字体演变的主流。辅助性字体草书和行书的发展过程是汉字字体演变的支流。本文的工作主要针对以楷体为代表的今文字的字形描述和比较处理研究，不涉及甲骨文、金文、篆体字，也不涉及草书等无法分析笔画的字形。近几十年，计算机汉字处理领域取得了长足发展，涌现出多项重大成果，如汉字激光照排、汉字标准字符集、汉字的编码输入、整句输入、印刷体识别输入、手写识别输入等，计算机汉字处理技术的成功带来了我国出版业和办公事务处理的革命，极大地促进了我国中文信息产业的发展和社会信息化水平的提高。但是，在汉字字形处理方面目前仍存在许多问题没有很好解决。集外汉字的输入与字形处理目前，计算机国际标准字符集越做越大，但仍然不能满足人名用字、地名用北京工业大学工学博十学位论文置一m ! 曼! 舅曼曼曼曼曼皇詈曼詈皇詈皇量置皇曼皇! ! 曼雹曼皇曼! 曼皇曼曼曼鼍曼曼曼! 曼皇曼曼曼! 皇皇鼍! 曼皇字、方言用字、古籍用字输入的需要。所有的键盘输入法和手写识别输入法只支持标准字符集内的汉字，对于集外汉字则无法输入。虽然有造字工具能辅助输入集外汉字，但输入的字既无有效的管理方法，也无法被公众共同使用。如此造成了多方面的困难：表1 - 1 n 出主要计算机标准字符集的收字数量情况。尽管标准字符集的收字数量已经很大，但据有关资料显示，正在全国各地发放的第二代身份证，就遭遇冷僻字“阻击”。仅北京地区就有数万个身份证因人名、地名字是计算机字库中没有的冷僻字而无法发放。表1 - 2 列出了北京龙戴特信息技术有限公司龙语瀚堂字源数据库幢1 中楷体“寿”字的各种异体字形，从表中可以看出，有很多历史文献中出现的汉字异体字形，计算机标准字符集中只收入了很少部分( 表中红色宋体字形) ，大部分( 表中手写体字形) 没有收入。在利用计算机录入古籍文本时，遇到这些计算机字库中没有的异体字，往往找同义的简、繁体正字或其它已收入的异体字来替代输入，这样就丢失了很多字形的原貌信息，难以满足古籍整理、文字研究中针对汉字字形的各种研究需要，如对汉字字形历史演变规律的相关研究就非常不利。民俗文化中有一些拼合字，如“招财进宝”：某些少数民族也有一些类汉字的字，如最近重庆市酉阳县发现的“天书”文字等。这些特殊字形都无法进入计算机，从而无法利用现代信息技术手段进行深入研究。表卜1 主要计算机汉字标准字符集( 字库) 收字概况t a b l e1 - 1t h em a i nc o m p u t e rs t a n d a r dc h i n e s ec h a r a c t e rs e t字符集名称包含字符数量g b 一2 3 1 2 字符集6 7 6 3 个汉字( 涵盖简体字) ，7 1 5 个符号，总计7 4 7 8 个字符b i g 一5 字符集收入1 3 0 6 0 个汉字( 涵盖繁体字) ，8 0 8 个符号，总计1 3 8 6 8个字符( 普遍用于台湾、香港等地区)g b k 字符集包括了f t 口韩( c j k ) 统一汉7 - 2 0 9 0 2 个、扩展a 集( c j ke x t - a ) 中的汉字5 2 个，共收入2 1 0 0 3 个简、繁体汉字、8 8 2个符号，共计2 1 8 8 5 个字符( 其中包含g b 一2 3 1 2 字符集和b i g - 5 字符集的全部汉字和符号)g b l 8 0 3 0 字符集g b k 字符集+ c j ke x t - a6 5 8 2 个汉字= 2 7 5 3 3 个汉字( c j ke x t - a 中有5 2 字与g b k 中的汉字重复，但内码不同，在计总数时不算在内)i s o i e c1 0 6 4 6c j k ：2 0 9 0 2 个汉字( 包含在g b k 字符集中)u n ic o d e 字符集c j ke x t a ：6 5 8 2 个汉字( 包含在g b l 8 0 3 0 字符集中)c j ke x t b ：4 2 7 1 1 个汉字共计7 0 1 9 5 个汉字宋体一方正超人字符包含g b l 8 0 3 0 字符集、c j ke x t - b 中的3 6 8 6 2 个汉字，共集计6 4 3 9 5 个汉字。第1 章绪论表1 - 2 龙语翰堂字源数据库中楷体“寿”字在计算机标准字符集中已收字形和未收字形对照表t a b l e1 - 2 ”寿”i nt h es t a n d a r dc o m p u t e rc h a r a c t e rf o n th a sb e e nr e c e i v e da n dr e c e i v a b l e - s h a p e dt a b l ei n 龙语翰堂c h a r a c t e rs o u r c ed a t a b a s e正字异体字寿儒( 俺) 爵奔疆杀毒爵窨毒孽寄每毒害喜害窨毒毒毒毒毒害毒导萼毒丽寄毒寄毒鲁音野- t - 离晋毒音氰毒毒枣寺每奇鲁辱争奇寄曹毒啬毒啬寄季喜毒毒害霹喜喜寻音毒害骞氟耋雀雀壹李霭( 翥) 鬻遂建立大型语料库以及基于语料库进行专题研究，是近年来语言文字研究的潮流之一。语料库所收集的大量真实语料，可以确保研究的系统性、完整性和真实性。在汉字