7科学信息的词频分布规律.ppt

信息计量学 主讲老师 王倩飞 济宁医学院 信息工程学院 第七章科学信息的词频分布规律 信息计量学 第一节齐普夫定律的形成背景第二节齐普夫定律的基本表达第三节齐普夫定律的修正与发展第四节齐普夫定律的应用领域 词频 nr 自然语言中某一个单词在文献中或讲话中出现的次数 频次 不同的词汇在同一篇文献中出现频次的分布是不均匀的 词汇数 N 文献中出现的不同词的数量 即 文献中作者使用了多少个不同的词 词次数 N 文献的长度 总词量 包括同一词重复出现的次数 几个基本概念 科学信息是由符号尤其是文字有规则排列而形成的 这种规则来自思维逻辑与语言逻辑两方面 信息计量学 第一节齐普夫定律的形成背景 一 词频统计的产生和发展 1898年 德国学者凯丁编写了世界上第一部频率词典 德语频率词典 美国教育学家桑代克编写了 教师两万词词书 1921 和 教师三万词词书 1944 对英语词汇做了大量的频率统计工作 我国近代教育家陈鹤琴 1892 1982 主持编辑了第一部汉语频率字典 语体文应用字汇 1928 从554478个汉字中析出4261个单字 第七章科学信息的词频分布规律 频率词典 frequencydictionaries 按词出现频率的高低而编排的词典 北京语言学院语言教学研究所采用人工与计算机相结合的办法 对近200万字的汉语语料进行词频统计 编制了 现代汉语频率词典 收词31159条 这是中国正式出版的第一部汉语频率词典 第一节齐普夫定律的形成背景 一 词频统计的产生和发展 第七章科学信息的词频分布规律 信息计量学 二 语言学研究及启示 1916年 法国速记专家艾思杜在其从事的速记文字体系的改善研究工作中 观察到如下事实 假定有一个包括N个词汇的文献集 N充分大 按照这些词汇在文献集中出现的频次高低递减地加以排列 以频次最高的词 其顺序定为自然数1 频次第二的词 其顺序定为2 依次类推 频次最低的词为 这样就得到一个词频表 艾思杜发现词频与词序之积大致为一常数k 即nr r k 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 信息计量学 1928年 美国贝尔电话公司的物理学家贡东发现如下公式 他根据前人关于词频的统计资料 以横坐标表示词的序号的对数lgr 纵坐标表示词的绝对频率的对数lgn 描绘了下图 贡东发现 lgr和lgn的分布关系接近于一条直线AB C是否为一个常数 直线AB与横坐标的夹角为 经多次试验 45度 二 语言学研究及启示 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 信息计量学 三 词频分布的机制 验证了贡东公式的正确性C的取值 人类行为与最省力法则 人类生态学引论 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 信息计量学 每一个人的运动 不管属于哪种类型 都是在一定道路上进行的 而且都将受一个简单的基本法则的制约 千方百计地选择一条最省力的途径 在各种运动中 人们也都有意无意地按照这个法则行事 齐普夫把这样一个他认为普遍存在的法则称为 最省力法则 thePrincipleofleasteffort 三 词频分布的机制 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 最省力法则 信息计量学 在语言词汇的选取上 表现为选择他最熟悉最能表达意思的词汇 齐普夫把词汇的选择过程 归结为 力 的作用结果 即选择词汇时 由于 单一化的力 的作用 使我们总希望用熟悉的词汇去表达所有的概念 但是事物概念的多样性 产生 多样化的力 总要求词义的专指性 单一化的力 使词频增加 多样化的力 使词种增加 这两种力的平衡 使词频等级呈双曲线关系 三 词频分布的机制 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 最省力法则 信息计量学 任何一种语言 词汇出现的频率是有规律的 其总词汇量可能很大 但通常使用的词汇却占其中较少一部分 即 常用词 这些词出现频繁 表意能力强 相应的 一些很少被利用的词成为 冷僻词 齐普夫定律就是研究文献词频规律的最重要的成果 三 词频分布的机制 第一节齐普夫定律的形成背景 第七章科学信息的词频分布规律 最省力法则 信息计量学 一 齐普夫定律的早期研究成果 第二节齐普夫定律的基本表达 第七章科学信息的词频分布规律 C不是一个常数 而是一个参变数 在区间 0 0 1 间变动 其取值的大小与语种 样本量大小 词频水平均有关 信息计量学 如果把一篇较长文献 5000字以上 中每个词出现的频次进行统计 按照高频词在前 低频词在后的递减顺序 并用自然数给这些词编上序号即编秩 频次最高的词秩为1 其次的秩为2 频次最小的词秩为 若用Fr表示秩为r的词出现的频次 r表示词汇的秩即序号 则有 Fr r C 另一种表达 fr r c 二 齐普夫定律的文字描述及数学模型 第二节齐普夫定律的基本表达 第七章科学信息的词频分布规律 Pr r c 式中C为参变数 0 C 0 1 信息计量学 三 齐普夫定律的图像描述 横坐标表示词的等级序号r 纵坐标表示相应的频次Fr 第二节齐普夫定律的基本表达 第七章科学信息的词频分布规律 齐普夫分布曲线 信息计量学 对等级序号r取对数lgr作为横坐标对频次Fr取对数lgFr作为纵坐标 第二节齐普夫定律的基本表达 第七章科学信息的词频分布规律 三 齐普夫定律的图像描述 齐普夫分布对数曲线 信息计量学 四 齐普夫定律的适用性和局限性 比较符合西文文献中词频分布的实际情况对于出现频次特别高的词和特别低的词 并不能准确地反映其分布规律 第七章科学信息的词频分布规律 第二节齐普夫定律的基本表达 信息计量学 以RondldE Wyllys EmpiricalandTheoreticalBasesofZipf sLaw 齐夫定律的经验根据与理论基础 前两段作为词频分布的统计对象 该文如下 IntroductionOneofthemostpuzzlingphenomenainbibliometricsand morebroadly inquantitativelinguisticsisZipf slaw Asonecommentator thestatisticianGustavHerdan hasputit Mathematiciansbelieveinit Zipf slaw becausetheythinkthatlinguistshaveestablishedittobealinguisticlaw andlinguistsbelieveinitbecausethey ontheirpart thinkthatmathematicianshaveestablishedittobeamathematicallaw LetusstartbyconsideringabasicformofZipf slaw Supposeonehasanaturallanguagecorpus e g abookwritteninEnglish Next supposeonemakesafrequencycountofthewordsinthecorpus i e countsthenumberofoccurrencesofthe and of etc Finally supposeonearrangesthewordsindecreasingorderoffrequencysothatthemostfrequentwordhasrank1 thenextmostfrequency rank2 andsoon 四 齐普夫定律的适用性和局限性 第七章科学信息的词频分布规律 第二节齐普夫定律的基本表达 四 齐普夫定律的适用性和局限性 第七章科学信息的词频分布规律 第二节齐普夫定律的基本表达 信息计量学 第七章科学信息的词频分布规律 朱斯修正式曼德尔布罗特修正式 第三节齐普夫定律的修正与发展 修正和增加参数 低频词分布的重新考查 齐普夫第二定律 信息计量学 不仅C是一个参数 而且r的指数也是一个参数 第七章科学信息的词频分布规律 一 朱斯修正式 第三节齐普夫定律的修正与发展 为直线斜率 是一个变化参数 0 1 信息计量学 二 曼德尔布罗特修正式 提出了三参数频率分布规律 第七章科学信息的词频分布规律 第三节齐普夫定律的修正与发展 m 对高频词段的修正 0 m 1 对低频词段的修正 0 1 信息计量学 三 齐普夫第二定律 布什低频词分布定律 齐普夫第二定律是阐述低频词频次与词数关系的一个定律 具体描述为 设IF表示出现频次为F的词的个数 则IF I1的大小与文献的长度无关 仅取决于频次F即 高频词与低频词的分界点F为 第七章科学信息的词频分布规律 第三节齐普夫定律的修正与发展 信息计量学 第四节齐普夫定律的应用领域 一 词表编制与词汇控制 第七章科学信息的词频分布规律 二 情报检索的文档组织 三 自动标引技术 四 在科学评价中的应用 信息计量学 第四节齐普夫定律的应用领域 一 词表编制与词汇控制 20世纪60年代出现了功能强大的标引方法 即叙词标引 叙词标引质量的优劣 查全率 查准率的高低 很大程度取决于叙词的选取 因此在叙词表的构造中 编制多大规模的词表 选用多少词 如何选词都是急需解决的问题 齐普夫定律为叙词的选择提供了依据 研究者通过齐普夫定律的词频分布方法 通过标引试验 找到被标引文献与叙词使用频率的分布特征 确定合乎需要的参数值 挑选符合标准的词编入词表 然后通过标引实践 再不断反复修改 使词表真正趋于规范和实用 第七章科学信息的词频分布规律 信息计量学 二 自动标引技术 美国IBM公司的卢恩于1958年提出了自动抽词标引的思想 即一篇文章中一个词的出现频率是这个词的重要性的有效测度 将词按出现频率等级排列 以一定标准排除高频词和低频次 剩下的就是最能代表文献内容的词 有效词在句中的相对位置提供了一种决定句子效果的优良的测定方法 基本步骤为 首先标识出组成文献的各个单词 利用停用词表排除文献中的非实义词 统计剩余各词的出现频率 采用一定的加权方法给每个词加权 权值超过一定阈值的词选作标引词 计算机编制文摘 首先决定出文献中的有效词 有效词在句子中的相对位置以及句子中所含的有效词数可被用来确定句子的重要性 符合一定标准的句子皆可选入摘要之中 第四节齐普夫定律的应用领域 第七章科学信息的词频分布规律 信息计量学 三 情报检索的文档组织 计算机检索首先要建立文献数据库 数据库中每一条记录代表一篇文献 每一条记录又分成几个描述文献特征的不同字段 它们所需的存储单元 必须事先估算出来 如主题字段 就应事先统计每篇文献的平均主题数 在具体检索中 又要建立关于某一特征的倒排