信息计量第七章

1、信息计量第七章2022-4-182教学要求教学要求w 了解词频统计的产生和发展了解词频统计的产生和发展w 了解了解 Booth定律定律w 掌握掌握Zipf定律的表述、数学模型及图像定律的表述、数学模型及图像特征特征w 熟悉词频分布原理熟悉词频分布原理w 熟悉熟悉Zipf定律应用中的基本技术和方法定律应用中的基本技术和方法 2022-4-183主要教学内容主要教学内容w 1 1 词频统计的产生和发展词频统计的产生和发展w 2 Zipf2 Zipf定律的表示定律的表示w 3 Zipf3 Zipf第二定律第二定律w 4 4 词频分布原理词频分布原理w 5 Zipf5 Zipf定律的应用定律的应用 2

2、022-4-184第一节第一节 词频统计的产生和发展词频统计的产生和发展 w 一、几个基本概念一、几个基本概念n1、词频（、词频（nr ）：自然语言中某一个单词在文献中或讲话）：自然语言中某一个单词在文献中或讲话中出现的次数（频次）。不同的词汇在同一篇文献中出现中出现的次数（频次）。不同的词汇在同一篇文献中出现频次的分布是不均匀的。频次的分布是不均匀的。 n2、词汇数（、词汇数（N）：文献中出现的不同词的数量。即：文）：文献中出现的不同词的数量。即：文献中作者使用了多少个不同的词。献中作者使用了多少个不同的词。n3、词次数（、词次数（N）：文献的长度，总词量，包括同一词）：文献的长度，总词量，

3、包括同一词重复出现的次数。重复出现的次数。2022-4-185二、字二、字(词词)典的收录和选择典的收录和选择w 中国最早的词典中国最早的词典尔雅尔雅(汉代汉代)，按词的性质和意义排列，按词的性质和意义排列，词目词目91706条、条、134万多字。万多字。 w 第一部英语词典是第一部英语词典是R.考德莱编的字顺英语难词表。考德莱编的字顺英语难词表。w 1928年成书的年成书的Oxford English Dictionary目前最新版本为目前最新版本为20卷本卷本第二版，收词超过第二版，收词超过50万条，引证例句万条，引证例句250万条，几乎囊括了万条，几乎囊括了1150年以来见于文献的所有语

4、词。年以来见于文献的所有语词。2022-4-186w 汉语大词典（上海辞书出版汉语大词典（上海辞书出版社，社，1986年）共年）共12卷，收词卷，收词37万万以上。以上。（一）文献中对词的利用（一）文献中对词的利用n汉语大字典（四川辞书汉语大字典（四川辞书出版社，出版社，1986年）全四卷，年）全四卷，收录单字约收录单字约56000多个。多个。2022-4-187w 毛泽东选集（四卷合订本，毛泽东选集（四卷合订本，1967年）总词量约年）总词量约66万，收录万，收录2775个汉字。个汉字。（一）文献中对词的利用（一）文献中对词的利用2022-4-188w 汉字中，目前人们使用的汉字约有汉字中，

5、目前人们使用的汉字约有15000个。个。（一）文献中对词的利用（一）文献中对词的利用100 30004000800045000高频字 常用字 次常用字 罕见字 死字 2022-4-189w 国 家 文 字 改 革 委 员 会国 家 文 字 改 革 委 员 会（语言文字工作委员会）（语言文字工作委员会）统计：统计：n掌握掌握2851个汉字可以满足个汉字可以满足99%的阅读需要；的阅读需要；n掌握掌握5018个汉字可以满足个汉字可以满足99.9%的阅读需要。的阅读需要。（一）文献中对词的利用（一）文献中对词的利用2022-4-1810w 1981年的通讯用汉字字符集（基本年的通讯用汉字字符集（基本

6、集）及其交换码标准（集）及其交换码标准（GB2312-80）中确认中确认“汉字基本字符汉字基本字符”为为6763个。个。其中，一级汉字其中，一级汉字3755个，二级汉字个，二级汉字3008个。个。（一）文献中对词的利用（一）文献中对词的利用2022-4-1811（二）词频统计工具（二）词频统计工具w 英国语言学家奥格登（英国语言学家奥格登（Charles K.Ogden）于）于1930年编撰了年编撰了Basic English: A General Introduction with Rules and GrammarIf one were to take the 25,000 word Ox

7、ford Pocket English Dictionary and take away the redundancies of our rich language and eliminate the words that can be made by putting together simpler words, we find that 90% of the concepts in that dictionary can be achieved with 850 words. 2022-4-1812OGDENs BASIC ENGLISH Word ListwOPERATIONS - 10

8、0 words（100个动作的词）个动作的词）ncome, get, give, go, keep, let, make, put, wTHINGS - 400 General words（400 个普通名词）个普通名词）naccount, act, addition, adjustment, wTHINGS - 200 Picturable words （ 200 个可画图的名词）个可画图的名词）nangle, ant, apple, arch, arm, army, wQUALITIES - 100 General （ 100 个普通形容词）个普通形容词）nable, acid, angr

9、y, automatic, beautiful, black, wQUALITIES - 50 Opposites （ 50 个有反义词的形容词）个有反义词的形容词）nawake, bad, bent, bitter, blue, certain, cold,2022-4-1813OGDENs BASIC ENGLISHw优点：简化语法、精简词汇，受到美国优点：简化语法、精简词汇，受到美国总统罗斯福、英国首相丘吉尔的支持与总统罗斯福、英国首相丘吉尔的支持与提倡，在一定范围内使用，但并未得到提倡，在一定范围内使用，但并未得到推广。推广。w问题：欲简（用词简单）则繁（表达冗问题：欲简（用词简单）则

10、繁（表达冗长）。长）。I heard It came to my ears 2022-4-1814w 频率词典（频率词典（frequency dictionaries）按词出现频率的按词出现频率的高低而编排的词典。高低而编排的词典。 w 世 界 上 第 一 部 频 率 词 典世 界 上 第 一 部 频 率 词 典 德 国 语 言 学 家 凯 丁德 国 语 言 学 家 凯 丁(F.W.Keading)德语频率词典德语频率词典 (1898年年)，110万个词的万个词的语言素材。语言素材。w 美国教育学家美国教育学家E.L.桑代克桑代克(18741949)编写了编写了教师两万教师两万词词书词词书(

11、(1921)和和教师三万词词书教师三万词词书( (1944)。做了大量。做了大量的英语词汇的频率统计工作。的英语词汇的频率统计工作。 （二）词频统计工具（二）词频统计工具2022-4-1815w 南京高等师范到南京大学教授，杰南京高等师范到南京大学教授，杰 出的现代儿童教育家出的现代儿童教育家 w 我国近代教育家我国近代教育家陈鹤琴陈鹤琴(18921982)第一部汉语频率第一部汉语频率字字典语体文应用字汇典语体文应用字汇(1928) ，从，从554478个汉字中个汉字中析出析出4261个单字。个单字。w江泽民为陈鹤琴先生雕像墓碑落成题词：江泽民为陈鹤琴先生雕像墓碑落成题词：“学习爱国老教育家陈

12、鹤琴先学习爱国老教育家陈鹤琴先生的献身精神和创业精神，深化教育改革，为培育四有新人，振兴生的献身精神和创业精神，深化教育改革，为培育四有新人，振兴中华的大业而奋斗中华的大业而奋斗! !”（二）词频统计工具（二）词频统计工具2022-4-1816w 北京语言学院语言教学研究所北京语言学院语言教学研究所采用人工与计算机相结合的办采用人工与计算机相结合的办法，对近法，对近200万字的汉语语料万字的汉语语料进行词频统计，编制了现代进行词频统计，编制了现代汉语频率词典，收词汉语频率词典，收词31159条，这是中国正式出版的第一条，这是中国正式出版的第一部汉语频率词典。部汉语频率词典。（二）词频统计工具（

13、二）词频统计工具2022-4-18172022-4-1818nrr=k 或或 nr=kr-1 w 一、齐普夫的前期研究工作一、齐普夫的前期研究工作nJ.Estoup(艾思杜艾思杜)的研究（的研究（1916） 若将文献（文集）中出现的词汇（若将文献（文集）中出现的词汇（N）按其出现的频次）按其出现的频次（n）的高低做递减排序，并依次给予相应的等级序号（）的高低做递减排序，并依次给予相应的等级序号（r），），（r=1，2，3.，D），则等级序号（），则等级序号（r）与相应的频次）与相应的频次（nr）的乘积（）的乘积（nrr）大体上为一常数（）大体上为一常数（k）。）。 第二节第二节 齐普夫定律的表

14、示齐普夫定律的表示 2022-4-1819w E.Condon(贡东贡东)的研究（的研究（1928） 取等级序号的对数（取等级序号的对数（lnr）以及每个词出现频次的对数）以及每个词出现频次的对数（lnnr）做图，发现存在线性关系。直线与横轴的夹）做图，发现存在线性关系。直线与横轴的夹角约为角约为/4，即直线的斜率为，即直线的斜率为-1。其数。其数 学关系可表示为：学关系可表示为： lnnr=tg(-/4)lnr+lnk 一、齐普夫的前期研究工作一、齐普夫的前期研究工作rknr2022-4-1820w (一一)齐普夫定律的表述齐普夫定律的表述 n设有一包含设有一包含N个词个词(词汇数词汇数)的

15、文献的文献(N5000)，统计其中每个，统计其中每个词出现的频次词出现的频次(n)，按频次递减的顺序等级降序排列，并用自，按频次递减的顺序等级降序排列，并用自然数给予相应的等级序号（然数给予相应的等级序号（r），则每个词的等级序号（），则每个词的等级序号（r）与）与相应的频次（相应的频次（nr ）之积为一常数。）之积为一常数。二、二、 的验证与的验证与Zipf定律定律rknkrnrr或词频统计表词频统计表词的等级序号（词的等级序号（r）词出现的频次（词出现的频次（nr）1n12n23n3rnrDnD2022-4-1822以以Rondld E. Wyllys: Empirical and The

16、oretical Bases of Zipfs Law（齐普夫定律的经验根据与理论基础）前两段作为词频（齐普夫定律的经验根据与理论基础）前两段作为词频分布的统计对象，该文如下：分布的统计对象，该文如下：Introduction One of the most puzzling phenomena in bibliometrics and, more broadly, in quantitative linguistics is Zipfs law. As one commentator, the statistician Gustav Herdan, has put it:“Mathemati

17、cians believe in it (Zipfs law) because they think that linguists have established it to be a linguistic law, and linguists believe in it because they, on their part, think that mathematicians have established it to be a mathematical law.” Let us start by considering a basic form of Zipfs law. Suppo

18、se one has a natural language corpus, e.g., a book written in English. Next, suppose one makes a frequency count of the words in the corpus, i.e., counts the number of occurrences of the, and, of, etc. Finally, suppose one arranges the words in decreasing order of frequency so that the most frequent

19、 word has rank 1; the next most frequency, rank 2; and so on. 2022-4-1823对对75个单词的出现频次的统计个单词的出现频次的统计单词单词频次频次the9in，of7a，one6Law 5and，it4Zipfs，suppose，that321个词个词243个词个词1单词单词频次频次( nr)等级等级( r )乘积乘积( nrr )the919in，of72-3，平均，平均2.517.5a，one64-5，平均，平均4.527.0law5630.0and，it47-8平均平均7.530.0suppose，that，Zipfs3

20、9-11，平均，平均10.030.021个单词个单词212-32，平均，平均22.044.043个单词个单词133-75，平均，平均54.054.0高频词低语义词nrrlnnrlnrnr=k/r如果以等级序号如果以等级序号 r 为横轴，词频为横轴，词频 nr 为为纵轴，其分布图形为一等轴双曲线。纵轴，其分布图形为一等轴双曲线。 如果以等级序号如果以等级序号 r 的对数为横轴，词频的对数为横轴，词频 nr 的对数为纵轴，其分布图形为一直的对数为纵轴，其分布图形为一直线。直线的斜率约为线。直线的斜率约为-1。齐普夫定律的图像描述齐普夫定律的图像描述Linear scales on both axe

21、s Logarithmic scales on both axes2022-4-1827 设设 N 为总词次数，为总词次数，fr为等级为为等级为 r 的词出现的频率，则有如下的词出现的频率，则有如下关系关系 fr=nr/N 对于对于 fr=cr-1， (二二) 参数参数 c 值的推论值的推论DrDrDrrrcrcf1111111)5772. 0(ln13121111为欧拉常数，DDrDrw 对于上式，当对于上式，当 D （最末一级词的等级序号）比较大时，（最末一级词的等级序号）比较大时，w 当取当取 D 为一定数值时，计算其对应的为一定数值时，计算其对应的 c 值：值： D c 5000 0.

22、11 10000 0.10 50000 0.09 100000 0.08 w 可以认为可以认为 c0.1。但后经大量的研究证实，在词的中频区，。但后经大量的研究证实，在词的中频区，c0.1（即等（即等级序号为级序号为1的出现频词最高的词的词频）。的出现频词最高的词的词频）。 Dcln12022-4-1829(三三)对对 Zipf 定律的几点讨论定律的几点讨论w 1. 高频词作用的局限性高频词作用的局限性高频词区低频词区中频词区英语、拉丁语的词频分布英语、拉丁语的词频分布w 2. 同频词的排序同频词的排序单词单词频次频次随机排序随机排序nrr均值排序均值排序nrr最大排序最大排序nrrthe91

23、91919in，of72-314，212.517.5321a，one64-524，304.527.0530law5630630.0630and，it47-828，327.530.0832suppose，that，Zipfs39-1127，30，3310.030.0113321个单词个单词212-32246422.044.0326443个单词个单词133-75337554.054.07575单词单词频次频次随机排序随机排序nrrthe919Inof77231414Aone66452424law5630Andit44782832SupposeThatZipfs3339101127303321个单词

24、个单词212-32246443个单词个单词133-753375 在随机排序中，同频词的出现将随词频的降低而增多在随机排序中，同频词的出现将随词频的降低而增多，产生，产生“阶梯阶梯”状图形。试验证明：当状图形。试验证明：当15r1500时，大量的同频词出现。时，大量的同频词出现。因同频词存在，低频词区呈阶梯状分布。而采用其他排序方法则不存在阶梯状分布。词频相同（lnnr）序号递增（lnr）lnnrlnr2022-4-1833第三节第三节 齐普夫定律的修正和发展齐普夫定律的修正和发展2022-4-1834一、一、齐普夫定律的修正齐普夫定律的修正双参数模型双参数模型w1936年美国语言学家朱斯（年美

25、国语言学家朱斯（M.Joos）提出的双参数模型）提出的双参数模型“通用齐夫定通用齐夫定律律”（Generalized Zipfs Law） nr=k/rb 或或 fr=c/rb 式中，式中， b0, c0, r=1,2,3.,D）且满足）且满足 对上式取对数对上式取对数, 图像显示为一斜率为图像显示为一斜率为 -b 的直线。的直线。w怀利斯（怀利斯（R.E.Wyllys）对）对8个不同样本的研究结果：个不同样本的研究结果： -0.89b-1.04。 11Drrf2022-4-1835二、二、齐普夫定律的修正齐普夫定律的修正三参数模型三参数模型w1952年美籍法国数学家曼代尔布罗特（年美籍法国数

26、学家曼代尔布罗特（B.Mandelbrot）提出三参数模型：）提出三参数模型： 式中，式中，0a0, c0 , r=1,2,3.,D 且满足且满足 brarcf)( 11Drrfw 对于齐夫定律的表述对于齐夫定律的表述, 许多工具书大都采用类似观点许多工具书大都采用类似观点和说法和说法 。如英国著名的语言学著作语言与语言词。如英国著名的语言学著作语言与语言词典中对词频分布定律的释义是：典中对词频分布定律的释义是： “指谈话者或写作者使用的词的分布和频次指谈话者或写作者使用的词的分布和频次的总描述。的总描述。fr=c，方程式中，方程式中f=频次，频次，r=序号，即频序号，即频率表上的位置；率表上

27、的位置；c=常数。方程式表示词使用的总次数常数。方程式表示词使用的总次数和词频表上的位置之间有一个固定比率。和词频表上的位置之间有一个固定比率。”w 但是齐普夫的表达仅适宜于但是齐普夫的表达仅适宜于中频词中频词的情况，高频与的情况，高频与低频词与该表述偏差较大。于是对词频分布规律又低频词与该表述偏差较大。于是对词频分布规律又有许多补充和深化的研究。有许多补充和深化的研究。2022-4-1837三、三、 齐夫第二定律齐夫第二定律 （一）（一）A.D.Booth对高序低频词的研究对高序低频词的研究 Booth,A.D.:Information and Control, 1967(10):386-3

28、93w 设文献中同频词（出现频次为设文献中同频词（出现频次为 n 的词）的个数为的词）的个数为 In，则，则 In 与与 I1 比值的大小仅仅取决于频次比值的大小仅仅取决于频次 n 的高低的高低,，与文献的长度（总词次数，与文献的长度（总词次数N）以及常数值）以及常数值 c 无关，无关， 即：即：) 1(21nnIIn美国西保留地凯西大学（美国西保留地凯西大学（Western Reserve University）文献交）文献交流中心和埃德基（流中心和埃德基（Eldridge）对）对4篇英语文献词频分布的统计篇英语文献词频分布的统计结果。结果。文章文章W.R.U.1W.R.U.2W.R.U.3

29、Eldridge总词次数总词次数N43254409873443989单词总数单词总数N1001121116986002I15417108872971I21522272731097I39491151516I4564190294I5363262212In/ I1 的理论值与实测值的比较的理论值与实测值的比较I2/ I1I3/ I1I4/ I1I5/ I1I6/ I1I7/ I1I8/ I1I9/ I1I10/ I1计算值计算值0.330.170.100.0670.0480.0360.0280.0220.018实测值实测值0.370.170.100.0700.0510.0350.0280.0290.

30、015 0.04 0.00 0.00 0.003 0.003 0.001 0.000 0.007 0.003) 1(21nnIIn2022-4-1840w 高频词（高频词（common）与低频词（）与低频词（rare words）出现的）出现的 “唯一性唯一性”将随着词的出将随着词的出现的频次的降低逐渐遭到破坏，即出现同现的频次的降低逐渐遭到破坏，即出现同频词的可能性逐渐加大，因此，我们可以频词的可能性逐渐加大，因此，我们可以把同频词是否出现作为判定高频词和低频把同频词是否出现作为判定高频词和低频词界限的词界限的“尺度尺度”。（二）低频词临界值的确定（二）低频词临界值的确定2022-4-184

31、1w 即：在按词频等级降序排列中，所有出现即：在按词频等级降序排列中，所有出现频次小于频次小于 nT 的词均为低频词。的词均为低频词。w 高夫曼（高夫曼（W.Goffman）给出的）给出的 nT 转换值转换值（transition value）公式：）公式：）（181121InT（二）低频词临界值的确定（二）低频词临界值的确定2022-4-1842 即：某一等级序号所对应的低频词的数量与其在文献中出现频即：某一等级序号所对应的低频词的数量与其在文献中出现频次的平方成反比。次的平方成反比。 2211rrnnnnIIrr（三）低频词的数量与其在文献（三）低频词的数量与其在文献中出现的频次之间的关系

32、中出现的频次之间的关系2022-4-1843第四节第四节 词频分布原理词频分布原理w 一、一、“省力法则省力法则”假说假说 n人类行为与最省力法则人类行为与最省力法则人类生态学引人类生态学引论论(G. K. Zipf. Human Behaviour and the Principle of Least Effort: an Introduction to Human Ecology. Addison-Wesley,1949)2022-4-1844A地Human Behaviour and the Principle of Least EffortB地2022-4-1845双重力平衡的结果双重

33、力平衡的结果双曲线分布双曲线分布w在语言交流过程中，在语言交流过程中，“省力法则省力法则”同时体现在说话人和听话人身上。同时体现在说话人和听话人身上。w多样化的力多样化的力说话人希望组成语说话人希望组成语言的词少，而且一词多义言的词少，而且一词多义, ,节省其节省其精力。精力。w单一化的力单一化的力听话人认为最听话人认为最好是一词一义，使听到的词与好是一词一义，使听到的词与其确切涵义容易匹配其确切涵义容易匹配, ,便于理解。便于理解。多样化的力多样化的力单一化的力单一化的力2022-4-1846the Principle of Least Effortw 一个词的长度的演变并非随机分布，而是一

34、个词的长度的演变并非随机分布，而是与人们对其使用频次有密切的关系。与人们对其使用频次有密切的关系。w “寡用冗长寡用冗长”w “用尽废退用尽废退”w 事多而寡用之，事多而寡用之，意多而约出之。意多而约出之。 汉语中双音节词词长适度、经济灵活，成为最合理汉语中双音节词词长适度、经济灵活，成为最合理的构词方式，促使许多新产生的多音节词及专有名词的构词方式，促使许多新产生的多音节词及专有名词等都回缩到双音节或三音节的模式中，向双音节、三等都回缩到双音节或三音节的模式中，向双音节、三音节形式靠拢。音节形式靠拢。w 妇女联合会妇女联合会妇联妇联w 邮政编码邮政编码 w 肺原性心脏病肺原性心脏病肺肺心病心

35、病w 超级市场超级市场超市超市w 劳动改造劳动改造劳改劳改w 外商投资外商投资外资外资w 扶助贫困扶助贫困扶贫扶贫w 电影电视电影电视影视影视 w 国内需求国内需求内需内需w 农业户口转为非农业农业户口转为非农业户口户口农转非农转非w UNESCOnUnited Nations Educational, Scientific and Cultural Organizationw APECn1. =Asia Pacific Economic Cooperation 亚太经济合作会议n2. =All Purpose Electronic Computer 通用电子计算机w MEDLINE MEDL

36、ARS ONLINEnMedical Literature Analysis and Retrieval Systemw PETSnPublic English Test System w *ya youw *whaddaya what do you, what are youw *gonna going to*Whaddaya *wanna do?I *wanna eat out.*Whaddaya *gonna do?Im *gonna a movie.Whaddaya *gonna see?I *wanna see a comedy, but Im *gonna see a horror

37、 movie.w *donno dont knoww *ta tow *gotta got tow 2022-4-1850the Principle of Least Effortw 对对“最小省力原则最小省力原则”应辨证地看：应辨证地看：n自然语言中词的自然语言中词的“短化短化”不是绝对的，而是不是绝对的，而是有人的自然的惰性与语言熵相互矛盾作用的有人的自然的惰性与语言熵相互矛盾作用的结果。结果。n“最小省力原则最小省力原则”的实现因人而异。常常是的实现因人而异。常常是意欲省力，实则不然。意欲省力，实则不然。n语言的使用将遵循语言的使用将遵循“适度省力适度省力”的原则，以的原则，以“可懂度可

38、懂度”为前提，否则将影响语言的交流为前提，否则将影响语言的交流和思想的表达。和思想的表达。2022-4-1851第四节第四节 词频分布原理词频分布原理w 二、二、“成功产生成功成功产生成功”假说假说nH.A.西蒙的概率模型：在文献中，一词使用西蒙的概率模型：在文献中，一词使用的次数越多，则再次使用的可能性越大。该的次数越多，则再次使用的可能性越大。该模型最后导出的分布与齐普夫分布相当接近。模型最后导出的分布与齐普夫分布相当接近。nD.J.de S. 普赖斯后来建立了一个相类似的模普赖斯后来建立了一个相类似的模型，又明确地提出了型，又明确地提出了“成功产生成功成功产生成功”的假的假说。说。202

39、2-4-1852第五节第五节 齐夫定律的应用齐夫定律的应用一、汉语词频分布的研究（一、汉语词频分布的研究（p.158-163）二、词表的编制二、词表的编制检索词的选择检索词的选择三、自动标引实践三、自动标引实践有效词的选择有效词的选择四、文件档的组织四、文件档的组织数据库存储容量的判定数据库存储容量的判定五、英语单词的选择五、英语单词的选择对语言学习的指导对语言学习的指导 2022-4-1853自动标引原理：自动标引原理：统计标引法、句法分析法、语义分析法统计标引法、句法分析法、语义分析法统计标引法（统计标引法（statistical method of indexing）的理论根据：）的理论

40、根据：各种词出现在原始文献中的频率和其区分文献内容功能之间存在着各种词出现在原始文献中的频率和其区分文献内容功能之间存在着某种数量上的关系。某种数量上的关系。H.P.Luhn认为：文献中每一个词都有一定的认为：文献中每一个词都有一定的“分辨能分辨能”(discrimination power)，而这种能力与词出现的频次有着密切的关系。，而这种能力与词出现的频次有着密切的关系。事实上，只有那些词频适中的词的区分能力较强，它们被称为事实上，只有那些词频适中的词的区分能力较强，它们被称为“有效有效词词”（significant words）。）。M.L.Pao认为：所谓词频适中的词是由在认为：所谓词

41、频适中的词是由在词频有序分布组织中靠近某一区域的若干词组成的。词频有序分布组织中靠近某一区域的若干词组成的。齐夫定律在主题词表编制与标引理论和齐夫定律在主题词表编制与标引理论和实践中的应用实践中的应用有效词的分辨力下限上限有效词2022-4-1855齐普夫定律齐普夫定律在信息管理工作中的应用在信息管理工作中的应用w 最佳地理位置选择，使得使用者能以最省最佳地理位置选择，使得使用者能以最省力的途径方便到达。力的途径方便到达。w 设计图书馆、信息中心资料库的排架。设计图书馆、信息中心资料库的排架。北京大学北京大学2022-4-1857香港中文大学香港中文大学2022-4-1858滨州医学院图书馆齐

42、普夫定律的应用齐普夫定律的应用英语单词的选择英语单词的选择w 教师二万词词书教师二万词词书词频法统计词汇的最重要的一部文献词频法统计词汇的最重要的一部文献美国教育学美国教育学家桑戴克家桑戴克(E L. Thorndike) ：Teachers Word Book of 20,000 Wordsw 选择出常用的词汇选择出常用的词汇20,000个，依照每个词在这些文献中出个，依照每个词在这些文献中出现出现的频率分成现出现的频率分成20级，每级级，每级1000个词，用个词，用1，2，3.20来来标记。标记。n6.25万字的儿童文学读物万字的儿童文学读物n300万字左右的圣经和英国古典文学作品，万字左

43、右的圣经和英国古典文学作品，n30万字左右的小学课本，万字左右的小学课本，n5万字左右的有关烹饪，缝纫，农艺，商业之类的著作万字左右的有关烹饪，缝纫，农艺，商业之类的著作n9万字左右的新闻报纸万字左右的新闻报纸n5万字左右的书信，共万字左右的书信，共41种不同的文献种不同的文献w 根据根据Ogden在在1967年版的年版的Encyclopaedia Britanica中对中对Basic English的定义，对于的定义，对于一个英语国家的成年人，应认识一个英语国家的成年人，应认识20000个个单词，除语言专家外，普通人遇到的单词单词，除语言专家外，普通人遇到的单词量一般不超过量一般不超过600

44、00个。个。w 问题：假定这问题：假定这60000个单词在文献中出现个单词在文献中出现的频次服从的频次服从Zipf定律，那么一个人如果认定律，那么一个人如果认识上述识上述20000个常用单词，即当个常用单词，即当m=20000时时(1/3)，对英文读物的词汇覆盖率有多大？，对英文读物的词汇覆盖率有多大？2022-4-1862齐夫定律的启示齐夫定律的启示英语单词的选择英语单词的选择w 由由nr=k/r可知，排列在前可知，排列在前m个等级词出现的总频次为：个等级词出现的总频次为：mrmrrrknmR111)()5772. 0(ln11mrmr)(ln)(mkmRNmNRmRlnln)()(w 由调

45、和级数求和公式（欧由调和级数求和公式（欧拉公式）可知：拉公式）可知：w 所以近似有：所以近似有：w 单词覆盖率：单词覆盖率：2022-4-1863英语单词的选择问题英语单词的选择问题w 设设 为覆盖率，则为覆盖率，则w 从理论上讲，只要熟练掌握从理论上讲，只要熟练掌握1/3的高频词，就可以的高频词，就可以“读懂读懂”含有含有6万个不同词（词组）的文献内容的万个不同词（词组）的文献内容的90%。905. 05772. 060000ln5772. 020000lnlnln)()(NmNRmR“四级四级”考试考试：4500 77.63%“六级六级”考试：考试：5500 79.36%PETS5需要需要

46、 6000 80.12%TOEFL词汇词汇8000 82.3%2022-4-1864第六节第六节布布-齐齐-洛定律分布一致性洛定律分布一致性 2022-4-1865w 信息计量学的三大基本定律信息计量学的三大基本定律研究和发展的两个方面研究和发展的两个方面:一一,对每一定律的内涵及经验公式的深入研对每一定律的内涵及经验公式的深入研究究,从而获得更一般、更精确的定律表达从而获得更一般、更精确的定律表达式式二，发现并深入研究三定律之间内在分布的二，发现并深入研究三定律之间内在分布的一致性及其理论基础问题一致性及其理论基础问题2022-4-1866一、一、 三定律的形式及特点三定律的形式及特点（一）

47、布拉德福定律及其特点（一）布拉德福定律及其特点基本思想：将科学期刊按其刊载某学科论文基本思想：将科学期刊按其刊载某学科论文数量多少，以渐减的次序进行排列，分为数量多少，以渐减的次序进行排列，分为三个区，每一区中期刊所载相关论文数量三个区，每一区中期刊所载相关论文数量基本相等的条件下，得出各区期刊数量比基本相等的条件下，得出各区期刊数量比例为例为1:a:a2(a 为比例系数）为比例系数）基本内容描述：文字表达与图象表达基本内容描述：文字表达与图象表达2022-4-1867w 基本内容蕴涵三个基本特征：基本内容蕴涵三个基本特征：w 1，期刊是按刊载专业论文数量的多少进行等级排列，期刊是按刊载专业论

48、文数量的多少进行等级排列w 2，期刊分三个区，核心区、相关和外围区（为，期刊分三个区，核心区、相关和外围区（为了突出核心区而强调相关论文在期刊上的集中与了突出核心区而强调相关论文在期刊上的集中与分散）分散）w 3，设定每一区中的相关论文数量基本相等，目的是通，设定每一区中的相关论文数量基本相等，目的是通过同一标准来比较各区在期刊数量上呈现出的规律性过同一标准来比较各区在期刊数量上呈现出的规律性w 等级排序是最基本的特征等级排序是最基本的特征2022-4-1868布拉德福定律数学表达式布拉德福定律数学表达式w 布鲁克斯布鲁克斯(B.C.Brooks) R(n)=kln(n/s)w 莱姆库勒莱姆库

49、勒(F.F.Leimkuhler)w R(r)=alog(1+br)w F(x)=ln(1+bx)/ln(1+b) 相关论文相关论文累积数累积数等级排序的等级排序的期刊级位期刊级位X为全部期刊中载文率最为全部期刊中载文率最高的部分期刊的比率高的部分期刊的比率X部分期刊中包含的相关论文部分期刊中包含的相关论文对全部相关论文的比率对全部相关论文的比率2022-4-1869（二）齐普夫定律及其特点（二）齐普夫定律及其特点w 基本思想：按一特定文本中词出现的次数基本思想：按一特定文本中词出现的次数（词频）的多少，以渐减的次序排列起来，（词频）的多少，以渐减的次序排列起来，那么，词的序号那么，词的序号r

50、(词级词级)与词频与词频fr的乘积具的乘积具有近似恒等的关系有近似恒等的关系w fr=c/r (r=1,2,3.)2022-4-1870w 基本特点（是与其它定律比较的基础）：基本特点（是与其它定律比较的基础）：w 1，词汇是按词出现的次数（词频）大小，词汇是按词出现的次数（词频）大小进行等级排列进行等级排列w 2，齐普夫定律的图象表达在利用对数变，齐普夫定律的图象表达在利用对数变换处理后得到的是一条斜率为换处理后得到的是一条斜率为-1的直线的直线2022-4-1871推广齐普夫定律的有：推广齐普夫定律的有：w 朱斯（朱斯（M.Joos）w Pr=cr-b 或或 Pr=c/rb (词频大小由词

51、频大小由b决定）决定）w 芒代尔布罗特（芒代尔布罗特（B.Mandelbrot）w Pr=c/(r+a)b第第r级词之频率级词之频率级位级位r2022-4-1872 （三）洛特卡定律及其特点三）洛特卡定律及其特点w 基本思想：某一学科领域中，写若干篇论基本思想：某一学科领域中，写若干篇论文的作者在整个学科著者群中占有一个固文的作者在整个学科著者群中占有一个固定的比例定的比例w 公式表达式：公式表达式： f(x)=c/x2w 反映科学论文在论文作者上集中与分散的反映科学论文在论文作者上集中与分散的分布现象分布现象2022-4-1873w 基本特点：基本特点：w 一，洛特卡采用频次排序的方法，即按

52、某一，洛特卡采用频次排序的方法，即按某类作者出现的频次大小排位，而非按作者类作者出现的频次大小排位，而非按作者所写的论文多少来对作者进行等级排位所写的论文多少来对作者进行等级排位w 二，论文在作者上的集中与分散程度只限二，论文在作者上的集中与分散程度只限于平方反比关系，即只给出了这种集中与于平方反比关系，即只给出了这种集中与分散程度的单一描述分散程度的单一描述2022-4-1874洛特卡定律的推广洛特卡定律的推广w 鲍（鲍（M.L.Pao）wf(x)=c/xaw 不同的不同的a值能够反映出某学科领域中论文值能够反映出某学科领域中论文在作者集中与分散的确切程度，在作者集中与分散的确切程度，a 值

53、越大，值越大，集中与分散程度越高集中与分散程度越高2022-4-1875四、其它的分布形式及特点四、其它的分布形式及特点w 特征值特征值 主体类别主体类别 作者（发现人）作者（发现人）w 文献数文献数 期刊期刊 布拉德福布拉德福w 论文数论文数 作者作者 洛特卡洛特卡w 词频词频 词汇词汇 齐普夫齐普夫w 检出频率检出频率 图书图书 巴克兰德巴克兰德w 财富财富 人人 巴泽尔巴泽尔w 姓氏姓氏 人人 福克斯福克斯w 得分得分 球员球员 戴维斯戴维斯w 种种 属属 威利斯威利斯2022-4-1876二、二、 布布-齐齐-洛分布的一致性洛分布的一致性w 描述文献中情报现象分布的三个定律，它们共同的

54、基本描述文献中情报现象分布的三个定律，它们共同的基本特征有：特征有：w 1，每个定律都是在一个简单的函数范围内一个变，每个定律都是在一个简单的函数范围内一个变量与另一个变量相关联量与另一个变量相关联w 2，三个定律都是采取将观察值以及所涉及的主体进行特，三个定律都是采取将观察值以及所涉及的主体进行特殊排列而得到一相关模型殊排列而得到一相关模型w 3，三个定律都可以归结为反映某种主体与其所表，三个定律都可以归结为反映某种主体与其所表现的特征之间的数量对应关系现的特征之间的数量对应关系2022-4-1877（一）布拉德福分布与齐普夫分布的（一）布拉德福分布与齐普夫分布的一致性一致性1、同时具有上述

55、三个共同的基本特征，同同时具有上述三个共同的基本特征，同时都采用了等级排列技术时都采用了等级排列技术2、它们的排序对象性质相同，都是对研究它们的排序对象性质相同，都是对研究主体的排序，布拉德福分布以刊载论文多主体的排序，布拉德福分布以刊载论文多少对期刊进行排位，齐普夫分布以词频高少对期刊进行排位，齐普夫分布以词频高低对词汇进行排队低对词汇进行排队2022-4-1878w 但是它们有不同的结论表达形式，原因如下：但是它们有不同的结论表达形式，原因如下：w （一）（一）布拉德福分布对排序好的主体（期刊）位次布拉德福分布对排序好的主体（期刊）位次r进行进行了取对数转换处理了取对数转换处理w （二）布

56、拉德福分布对排序好主体的特征值（论文数）取累积和（二）布拉德福分布对排序好主体的特征值（论文数）取累积和R(r)w 布拉德福分布反映的是特征值（论文）在主体（期刊）上的累积分布拉德福分布反映的是特征值（论文）在主体（期刊）上的累积分布，而齐普夫分布所反映的则是特征值（词频）在主体（词汇）上布，而齐普夫分布所反映的则是特征值（词频）在主体（词汇）上的密度分布，他们之间的关系实际是一分布的积分表达形式和微分的密度分布，他们之间的关系实际是一分布的积分表达形式和微分表达形式的转化表达形式的转化2022-4-1879w 数学过程表达数学过程表达w R（r）=frdr w 将将fr=c/r (r=1,2

57、,3.)代入得代入得w R(r)= c/rdr=clnr w 则上式与则上式与 R（r）=Kln(n/s)具有等价性具有等价性w Fr=R (r) w 则有则有fr=(Klnr) =K/rw 其与其与fr=c/r等价等价w 所以布拉德福分布与齐普夫分布具有一致性所以布拉德福分布与齐普夫分布具有一致性2022-4-1880（二）齐普夫分布与洛特卡分布的（二）齐普夫分布与洛特卡分布的一致性一致性w 齐普夫分布与洛特卡分布的表达形式不同，原因：齐普夫分布与洛特卡分布的表达形式不同，原因：w 1、排序对象性质不同，齐普夫分布以主体（词汇）、排序对象性质不同，齐普夫分布以主体（词汇）为排序对象，而洛特卡

58、分布以特征值（论文数）为为排序对象，而洛特卡分布以特征值（论文数）为排位对象排位对象w 2、排序的方法不同，齐普夫分布以主体（词汇）、排序的方法不同，齐普夫分布以主体（词汇）的特征值（词频）由大至小对主体进行排列，而洛的特征值（词频）由大至小对主体进行排列，而洛特卡分布则以特征值（论文数）数量由小到大加以特卡分布则以特征值（论文数）数量由小到大加以排列排列2022-4-1881w 主题级位主题级位r与主体频率与主体频率f(x)关系的函数式表达如下：关系的函数式表达如下：w r= f(x)dx （r是是f(x)的累积形式）的累积形式）w 将将f(x)=c/x2 代入得代入得w R= c/x2 dx=c/xw X= c/r 其与齐普夫分布等价其与齐普夫分布等价w 同样，同样，fr=c/r 可转化为可转化为r=c/fr ,求其微分得求其微分得w r =(c/fr)dfr=c /fr2w 则其与则其与f(x)=c/x2等价等价w 所以齐普夫分布与洛特卡分布具有一致性所以齐普夫分布与洛特卡分布具有一致性2022-4-1882（三）布拉德福分布与洛特卡分布的（三）布拉德福分布与洛特卡分布的一致性一致性w 布拉德福分布与洛特卡分布的一致性不明显布拉德福分布与洛特卡分布的一致性不明显w 其对研究主体