中文信息處理現代漢語詞彙研究第五章詞的概率語法屬性描述研究及其成果_第1页
中文信息處理現代漢語詞彙研究第五章詞的概率語法屬性描述研究及其成果_第2页
中文信息處理現代漢語詞彙研究第五章詞的概率語法屬性描述研究及其成果_第3页
中文信息處理現代漢語詞彙研究第五章詞的概率語法屬性描述研究及其成果_第4页
中文信息處理現代漢語詞彙研究第五章詞的概率語法屬性描述研究及其成果_第5页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

中文信息處理現代漢語詞彙研究 第五章 詞的概率語法屬性描述研究及其成果,D94922007 許珮薰May 17, 2007,漢語語法特點,語言單位詞的形態變化虛詞句法結構時態、語態和語氣形式和意義的對應,自動分析上的困難,詞語分類,研究目標,帶詞性的詞頻統計兼類詞的分佈概率詞的語法屬性的概率值描述分析資料來源19952000年共計1.5億字人民日報語料語法信息辭典,帶詞性的詞頻統計,詞頻統計詞語拼音詞類 = primary key全年頻度,1998年人民日報語料,觀察頻度在各月分佈,判別重要性、通用性,1998年人民日報語料,摘要,前40個高頻詞中，虛詞有11個，廣義虛詞有20個名詞在一定程度上能反映文章內容，這裡出現：中國、經濟、國家。反應做為中國主流平面媒體的特點。總次數不足以判定詞的通用程度，頻次高且分佈均勻的詞才是更通用、更重要的詞。,分佈均勻度 (Distributed Consistency),將語料庫的詞語集合S劃分為n個大小相同的子集： 詞語 在這些子集中的頻度為,0DC1表示詞語W在各子集中分佈的均勻性!,分佈均勻度,均勻度只依賴於一個詞在語料庫的各子集中的頻次，與詞彙全集的確定以及其他詞的頻次無關。,兼類詞的分佈概率,同一詞有不同詞性例如：在兼屬介詞、動詞和副詞。,頓、和、將 p(頓,量詞)=0.8 p(頓,副語素)=0.19 p(頓,動詞)=0.01,語法信息詞典,詞的語法屬性的概率值描述,屬於同一類的詞也有很多不同的屬性例如：部分的動詞可以受副詞”很”修飾詞語語法屬性二選一型多選一型複合型釋義型 13可採用不同方式替換為概率值,二選一-可否值統計表,P(很,想)=38/4,340 0.0088P(閥值)，則訂為”可”;若P，則訂為”否”,多選一型,體賓動詞是只能帶體詞性賓語的動詞 例如：買 坐 乘 讀 寫謂賓動詞是只能帶謂詞性賓語的動詞 例如：送 給 賣 遞 交體謂賓動詞是既可以帶體詞賓語、又可以帶謂詞賓語的動詞 例如：喜歡 證明 代替 描寫可計算動詞出現這三種屬性出現的機率值,資料來源：奧華中學網頁.mo/studies/ITDesignCompetition/0304Chinese/2/myweb10/new_page_8.htm,複合型,從字符(元)型的字段可分解成若干子字符串的類型，例如量詞。白菜出現m次，其中的數量短語修飾棵: n1次個: n2次斤: n3次 Pi=ni/m (i=1,2,3,)公斤: n4次 整體考察名詞受數量短語修飾的情況，可觀察 P=n/m, n=n1+n2+,進一步的研究,提高語言數據資源的質量基於語言數據資源的知識挖掘識別漢語句子中的並列結構可簡化句法分析的複雜度，”v1+v2”如唱歌 跳舞。音節數、動詞類別綜合型語言知識庫的
人人文库> 全部分类> 应用文书 > 项目管理

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论