基于动态流通语料库的现代汉语基本词汇自动识别与提取策略探讨

基于动态流通语料库的现代汉语基本词汇自动识别与提取策略探讨

内容导读：从一个民族的语言系统来说，词汇是承载语言信息的基本载体，它是语言系统中最活跃、最具生命力的元素。假若没有了词汇，语音发挥不了作用，语法也无法建构起来，三要素中词汇占有十分重要的地位。然而，语言不是静止的，它在运用中不断地产生变化，语言是具有生命力的“活”的语言，是一个“语言生态系统”。在语言系统中，社会生活的变化总是最先反映到日常的词汇使用中。因此，三要素中又以词汇的发展变化范畴最大、速度最快。基本词汇的词是一个民族的人民日常都在使用的、不轻易变化，比较稳固的词语，它们一般都具有较强的构词能力，是语言中派生新词的基础。基本词汇是语言词汇系统的核心，基本词汇的研究对语言教学、词典编纂以及语言信息处理等领域应用都具有重要的意义。然而由于基本词汇所具有的“全民常用性、历史稳固性及构词能力强”三大特性概念宽泛、评判标准模糊，而且其量化标准受限于计算语言学的发展程度，因而以往对基本词汇的研究及认定大都限制在语言学家例证性的范畴内，极少进行定量的分析与考察研究。因此，本论文首先对基于动态流通语料库上进行研究的基本词汇、通用词汇给出了概念界定，并在此基础上确立了本文的研究目标，那就是：在现代汉语动态流通语料库上实现现代汉语基本词汇的自动识别及提取方法研究。本论文研究将以北京语言大学“国家语言资源监测与研究中心”(平面媒体)的动态流通语料库中的2002～2006年大陆地区发行的六份主流报纸(《人民日报》、《北京青年报》、《北京晚报》、《法制日报》、《环球时报》、《羊城晚报》)作为考察对象，动态跟踪和考察词汇在大众媒体中的真实使用情况。本论文首先提出了词语通用度的计算公式，据此计算并提取“语言工程用现代汉语通用词”CCWE，然后在CCWE词汇范畴内进一步考察语言学家例证所获得的CBVE先验集词汇所具有的统计特征类型，确立基本词汇的特征描述向量，采用遗传算法构造基于动态流通语料库的“语言工程用现代汉语基本词汇”CBVE自动识别及提取模型，实现CBVE的自动提取，为现代汉语基本词汇的研究提供了一种量化考察途径。本论文的研究内容主要包括：

词语预处理：词语的预处理主要是将网页格式语料文本转化为纯文本格式语料。

文本领域分类、词语切分：为了计算词语在不同领域的通用程度，需要将语料进行领域分类。本研究将语料分为“政治”、“经济”、“教育”等十个领域类。

CCWE通用词汇特征描述及自动提取：根据本文对CCWE通用词汇的界定，描述词语通用度特征，提出词语通用度计算公式，进而实现CCWE的自动提取。

构建CBVE基本词汇先验集：研究语言学家用举例法所获得的基本词汇先验集，根据其特征表现，获取CBVE自动识别及提取模型的构建标准。

选择CBVE基本词汇特征向量：依据CBVE基本词汇所具有“常用性、稳定性和能产性”的统计特征属性，选择CBVE自动识别及提取模型的特征向量。

构造CBVE基本词汇练习初始集：对CBVE先验集通过聚类方式进行分类，根据不同的CBVE先验集种别辅助人工标注CBVE练习初始集，为练习和构造CBVE自动提取模型提供保证。

采用遗传算法练习CBVE自动识别及提取模型：在练习集上，采用遗传算法练习CBVE自动识别及提取模型参数，直到CBVE集合趋向稳定为止。

CBVE自动识别提取模型对比实验分析：为验证本研究所构造的CBVE的自动识别和提取模型的性能，设计实验进行相关的对比分析。

CCWE通用词汇和CBVE基本词汇专项考察分析：进行与CCWE通用词汇和CBVE基本词汇研究相关的一些专项考察分析。本论文的研究创新点及主要贡献体现在如下几个方面：

在大规模的动态流通语料库中，考察了大众媒体报纸的词汇真实使用情况。处理考察的语料规模庞大，覆盖文本数632，255个，词次总数247，257，749，不同词数8，750，105。

首次提出了在动态流通语料库中定量分析和考察CBVE基本词汇特征的一种方法，为今后基本词汇从定性研究过渡到定量研究提供了一种途径。

提出了一种词汇通用程度的计算方法，为词汇统计特征考察提供了一种新的计量指标。

鉴戒了模式识别领域的研究方法，依据遗传算法搜寻特征向量空间范围广、收敛速度快、鲁棒性强等特点，将其应用到对CBVE自动识别及提取模型的参数练习上，获得了令人满足的结果。【关键词】：语言工程用现代汉语基本词汇(CBVE)语言工程用现代汉语通用词(CCWE)动态流通语料库(DCC)遗传算法定量研究模式识别

【论文提纲】：摘要6-8ABSTRACT8-17第一章绪论17-361.1基本词汇的来源及争论18-211.2基于动态流通语料库的现代汉语基本词汇概念的界定21-221.3基本词汇的研究意义22-241.4基本词汇研究及相关文献综述24-311.5本文的研究31-341.6论文的组织34-36第二章CBVE及其自动识别与提取方法理论探讨36-472.1现代汉语词汇的层级关系36-392.2动态流通语料库与词汇的稳态研究39-40知识更新理论与动态流通语料库392.3从“相对时间观”看基本词汇的稳固性特征40-422.4关于模式识别的概念及其方法理论42-462.5小结46-47第三章CBVE自动识别与提取的研究方法论47-583.1CBVE自动识别与提取研究的技术路线47-483.2研究语料的选择48-513.3CBVE自动提取的基本词汇先验集研究51-533.4词汇统计的预处理53-573.5小结57-58第四章CCWE的自动识别与提取方法研究58-824.1关于词汇通用度的定量分析方法探讨58-704.2词汇通用度的计算70-744.3CCWE的提取步骤74-784.4CCWE的自动提取实验结果分析78-814.5小结81-82第五章狭义CBVE自动识别与提取方法研究82-1015.1CBVE的特征向量描述82-835.2CBVE特征向量的选取83-865.3CBVE的自动识别与提取模型构造86-875.4基本词汇先验集聚类87-885.5标注CBVE的初始练习集88-895.2自动标注CBVE初始集895.6遗传算法练习狭义CBVE的自动提取模型89-1005.7小结100-101第六章广义CBVE自动识别及提取方法研究101-1206.1广义CBVE的特征向量描述101-1036.2广义CBVE特征向量的选取103-1046.3构造广义CBVE自动识别与提取模型104-1056.4遗传算法练习CBVE的自动提取模型105-1196.5小结119-120第七章CCWE与CBVE词汇专项考察与分析120-1297.1CBVE与CCWE特性统计分析120-1227.2CCWE语素分析122-1237.3CBVE的