（应用数学专业论文）基于相依样本序列熵函数估计渐近性质的研究.pdf

基于相依样本序列熵函数估计渐近性质的研究 摘要 设 x i ，f 1 为随机变量序列，( x ) 为公共未知的概率密度函数，基于样本 五，x ：，以估计熵函数日( 厂) = 一e 。厂g ) l o g 厂g 皿，其中x r 4 。因此，如何构造熵 函数的非参数估计并研究其统计性质，一直是众多学者感兴趣的问题之一。本文 首先介绍了在独立情形和一混合相依下的熵函数估计及其渐近性质。并在此基 础上，运用几何口一混合相依下的b e r n s t e i n 不等式，构造了基于口一混合相依样 本五，x 2 ，以的熵函数n ( ) 的直方图估计h 。= 一曼g h 无b ) 1 0 9 无g ，在一 定的条件下获得了估计量强相合性，推广了现有文献中的相应结果。 关键词：口混合样本，熵函数，直方图估计，强相合性 t h er e s e a r c ho na s y m p t o t i cp r o p e r t yo ft h ee n t r o p y f u n c t i o n a le s t i m a t i o nu n d e r d e p e n d e n ts a m p l e s a b s t r a c t l e t x i ，i 1 ) b e as t o c h a s t i c s e q u e n c e t h ee n t r o p yf u n c t i o ni sd e f i n e d a s 矾厂) = 一量。( x ) l 。g 几 ，x r db a s e do ns a m p l e sx i ，x 2 f 一。x aw i t hac o m i a o n u n k n o w np r o b a b i l i t yd e n s i t yf u n c t i o nf ( x ) s om a n ye x p e r t sa l w a y sa r ei n t e r e s t e d i nh o wt oc o n s t r u c tt h ee s t i m a t i o no fe n t r o p yf u n c t i o na n ds t u d yi t ss t a t i s t i c a l p r o p e r t y t h i sp a p e ri n t r o d u c e st h ee s t i m a t i o no fe n t r o p yf u n c t i o na n da s y m p t o t i c p r o p e r t yu n d e ri i d a n d 一m i x i n gs a m p l e s a n do nt h i sb a s i s ，c o n s t r u c t st h e e n t r o p yf u n c t i o n 日( 厂) 。f h i s t 。g r a me s t i m a t i o n h 。= 一b hx n ( x ) l 。g 以g u n d e r 仅- m i x i n gs a m p l e sx i ，x 2 一，x ，u s i n gt h eb e r n s t e i ni n e q u a l i t y , o b t a i n st h es t r o n g c o n s i s t e n c yo fe s t i m a t i o nu n d e rc e r t a i nc o n d i t i o n s ，e x t e n d st h er e s u l t so ft h e p r e s e n tl i t e r a t u r e k e y w o r d s ：口一m i x i n gs a m p l e s ，e n t r o p yf u n c t i o n ，h i s t o g r a md e n s i t ye s t i m a t i o n ， t h es t r o n gc o n s i s t e n c y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得金月巴王些盔堂或其他教育机构的学位或证书而使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 靴敝储戤：字穆， ? 签字日期：哆年么月日 学位论文版权使用授权书 本学位论文作者完全了解金匿至些太堂有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金月垦王些太堂可 以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 一躲当中圣， 名： 签字日期：d 7 年钐月，日 学位论文作者毕业后去向： 工作单位： 通讯地址： 签字日期：c 可年吨月f f 日 电话： 邮编： 致谢 在此，首先向我尊敬的导师凌能祥教授表示深深的谢意。两年半的学习生 活，导师渊博的知识、灵活的思路、严谨的治学态度、深厚的学术造诣以及忘 我的工作精神深深地感染着我，给了我深刻的启发和教诲，使我受益终生。在 论文的写作过程中，他不仅在专业知识上对我们进行谆谆教诲，而且细心指导 我们展开研究，鼓励我们更深更全面地思考问题，使论文在研究内容、攥写方 式上更加完备。 同时还要感谢我的家人给予我的关心、鼓励和支持。他们无微不至的照顾 使我能够顺利完成学业，实现自己的理想。 再次衷心感谢所有关心和帮助我的老师、同学和朋友们! 作者：李中函 2 0 0 9 年3 月 1 1 背景介绍 第一章绪论 本文中的熵来源于信息论中的信息熵。所谓信息熵，是一个数学上颇为抽象 的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。熵函数是 s h a n n o n 信息论中的一个很重要的概念之一，在统计通信理论( g a l l a g e r ，见参考文 献【1 2 】) ，量子化理论( r 6 n y i ，见参考文献 3 】) ，统计判定理论( k u l l b a c k ，见参考文献 【1 3 ) ，相依表分析( g o k h a l e ，k u l l b a e k ，见参考文献【1 4 1 ) ，谱分析( b u r g ，见参考文献 【1 5 】) 及计量经济学( t h e i l ，t h e i l 和f e i b i g ，见参考文献【1 6 】【1 7 】) 中也有相当广泛的 应用。 1 9 4 9 年，控制论的创始人维纳也研究了度量信息的问题，还把它引向了热力 学第二定律。但是就讯号( 信息) 传输给出基本数学模型的核心人物是年仅3 2 岁 的c e s h a n n o n 。1 9 4 8 年，他的“通讯的数学理论”( t h em a t h e m a t i c a lt h e o r yo f c o m m u n i c a t i o n ) ，长达数十页的论文，成了信息论正式诞生的里程碑。事实 上，s h a n n o n 最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结 论首先用在电话上，后来用到光纤，现在又用在无线通信上。通信系统一般由信 源、信道和信宿三部分组成。我们今天能够清晰地打越洋电话或卫星电话，都与 通信信道质量的改善密切相关。显然，能作为信源总体信息测度的确定的量，应 是信源x 可能发出的各种不同符号。五o = 1 , 2 ，z ) 含有的自信息量 ，g ，) ( f - 1 , 2 ，甩) 在信源的概率空间扫g 。) ，p ( x ：卜，p g 。) ) 中的统计平均值。为了 指明是信源x 的信息测度我们把这个统计平均值记为日驴x 也即日杪) 是信源 x 的“信息熵 ，记为日扩) = 一p g ) l o g p g ) ，它表示的是信源每发一个符号所 工 提供的平均信息量。在实际中，有些信源输出的消息是时间和取值都是连续的随 机函数，例如语音信号、电视信号等。这样的信源我们称之为连续信源。一般地， 连续信源可由一随机过程扛( f ) 表示。连续信源输出的消息是随机过程缸o ) ) 中一 个样本函数。在某一固定时刻t 。，信源的输出就成为一个取值连续的随机变量 x 。由一个连续随机变量x 表示的连续信源，我们称之为单维连续信源。我们知 道，连续变量可以用离散变量来逼近，把连续变量当作离散变量的极限来处理。 于是，s h a n n o n 建议用概率密度f ( x ) 来定义连续信源的熵函数为 日杪) = 一i 。厂g ) l o g b 协；对多维连续信源x ，定义熵函数 日( 厂) = 一【。f ( x ) l o g i ( x ) d x ，其中厂g ) 为公共未知的概率密度函数。熵虽然仍具有 可加性等熵的主要性质，但已不具有非负性质，因此也不再代表连续信源的信息 量。但由于在大量实际问题中需要的仅是两个熵的差值，这时它仍具有信息量特 征的非负性。因此，连续熵h ( 厂) ，具有相对性，又称为相对熵。它与力学中的势能 概念相仿。 如今，国内外诸多学者已把非参数的方法运用到估计一维或多维连续信源 的信息熵。设 芦。，j 1 ) 为随机变量序列，基于样本五，砭，以估计熵函数日驴) 。 然而，由于样本 z ) 三的分布密度函数厂( z ) 常常是未知的，从而熵函数也是未知 的。因此，如何构造熵函数的估计并研究其统计性质，一直是众多学者感兴趣的 问题之一。实际上，核密度估计和直方图估计是较常见的两种估计，两者各有优 缺点：核估计的本身性质要比直方图估计好，而直方图估计比核估计容易计算。 例如，e g g e r m o n t 和l a r i c c i a ，h a l l 和m o r t o n ，j o e ，p r a k a s ar a o 在其文章中就使用了 核估计，见文献 2 2 2 3 2 4 】。而g y 6 r f i 和v a nd e rm e u l e n 在其文章中使用了直方 图估计，见文献【5 】。h a l l ( 1 9 9 0 ) 在厂为正则条件下，讨论了基于熵估计h ，。分别在 核方法和直方图方法下的乃的收敛性，见文献【2 5 】。 在现有文献中，如：g y 6 r f i ，l ，v a nd e rm e u l e n ，e ( 1 9 8 7 ) ( 见文献 5 】) 构造了熵函 数的两种直方图估计，并基于独立同分布样本，获得了两种直方图估计的强相合 性；如：文献【4 】中利用双下标指数核，构造了熵函数的核密度估计，在独立同分布 样本下，获得了估计量的渐近正态性；但是，在很多实际的场合中，样本并不常常 是独立同分布的，而是会有一定的相依关系。如：文献【7 】研究了平稳遍历性过程 熵率的非参数估计，在一定的条件下获得了估计量的逐点相合性及平均相合性， 并给出了应用的例子；最近，j o h a nl i m ( 2 0 0 7 ) ( 见文献【2 】) 基于同分布的混合样 本，在一定的条件下证明了熵函数的两种直方图估计的强相合性，并给出了数据 模拟。另外，在工程中也列出一些有代表性的例子，d u d e w i e z 和v a nd e r m e u l e n ，v a s i e e k ( 见文献【1 8 1 1 1 9 ) 使用正态分布下的最大熵性质检验所观测信息 的正态性；在二元决策问题中，c o v e r 和t h o m a s ( 见文献 2 0 】) 给出了误差指数就是 熵源函数；b e r c h e r 和v i g n a t ( 2 0 0 0 ) ( 见文献【2 l 】) 利用熵来获得从单个信息观测值 的几个独立熵源。除此之外，g a b r i e l ac i u p e r e a 和v a l e r i eg i r a r d i n 基于过渡矩阵， 利用极大似然估计讨论了有限空间上的齐次马尔可夫链的熵率估计及其渐进性 质，见文献 2 6 】。g a b r i e l ac i u p e r c a 和v a l e r i eg i r a r d i n 又在参数和非参数两种情 形下进一步讨论了可数空间上的齐次马尔可夫链的熵率估计及其渐进性质，见 文献 2 7 】。我们知道，与其它混合条件( 如- m 相依、混合、p 混合、绝对正则 等) 相比，口混合的条件是最弱的。例如：一般的线性时间序列( 在一定假设条件 2 下) 是强混合，而自回归滑动平均( a r m a ) 时间序列和双线性时间序列则是口混 合序列。因此，口一混合序列有其更广泛的应用领域，从而研究基于t ；t 混合样本的 熵函数估计既有重要的理论意义，也有广泛的应用价值。受上述研究思想的启发， 本文在 z 瑶。是同分布口一混合的情况下，讨论了熵函数的直方图估计( 风) 的强 相合性，推广了现有文献中的相应结果。 1 2 直方图估计法 直方图估计法作为一种非参数估计方法，广泛被应用，直方图方法的特点是 方法简单直观，但直方图在处理多维数据时计算十分复杂，数据的大小范围必须 事先知道，其作法如下：它是先用点 a l a 0 口l 把全直线分为若干连续 的小区间k ，a 川) 。在每个这样的小区间内，总体概率的估计值为 # 似：1 门，a t - x s a i + l ) - 此处# ( a ) 表集a 所包含的元素个数。然后以 # 【l ，：1 j f 以，a j 叉0 ，玎1 ，且对所有的，z 和 j ，彳，! ，是r d 上的b o r e l 集，允( 4 1 ，) ( o ，o o ) ，五g ) 表示基于分割以 以，4 ：，) 上的直 方图密度估计，则厂g ) 基于样本z = 亿) 的直方图估计： z g ，z ) = 以0 州) 名0 町) ，如果x 4 ， ( 2 4 ) 于是，密度估计变为z ( x ) = 上( x ，z l ，z ( 川) ，2 ) ， 而由定理l 。的( 2 1 7 ) y f f i ( 2 2 0 ) ，可得( 见文献【5 】) 舰l l z ( 矿m ) 卜= 。a s 。 ( 2 - 5 ) 因此。我们常义如下的熵函数估计： 4 风= 一南铷翩协巩， 仁6 ， 这里0 口。 0 和集合a ，有 尸( i l o g 躺i 占 2 e x ( 一三掣m 2 吖) ， ( 2 1 4 ) ( 2 - 1 5 ) 其中t 。0 ) 为基于独立样本磊，已，磊上的集合a 的经验测度，且 0 ) = 说明 1 1 0 9 p 曦彳) 先考察 占) _ 喘坩) u 铹盯0 = 踹小2 一) u1 一锱小2 1 ) 一 c 以0 ) 一0 ) l 0 一2 吖) ( 2 1 6 ) 冉利用命趣3 及( 2 。1 6 ) 式，即| j 让明命题4 定理l l 若l i r a a n = 0 ，且“_ 为一整数，使得 一 l i m h = 0 ， n 对v c 0 满足条件： ( i ) 晶e x f ，, l o c g 玎h , , 、) o o ， ，喜唧l 毒卜 ，、 m t ，喜赤c x p h d ) 则当日( 厂) ( 气厂m g 厂g 皿卜瓤i i 。g 几) i 伍) = j u 厶i l o gf ( x 牡( d x ) 当h ( 厂) o ，有 尸艟卟 s 净e x p - - a , + a 2 n c 】，这里c = 6 缈+ 4 廊 p 5 。， c = 2 e x p e 玎。? j ，口足+ ，m z ，且口胛，所刀，满足仁肌b ) 5 丢，其中 口，m ，b ，三，y 与刀有关。 命题6 若日c 厂) ，! 现吃= o 以= 元，l 则 熙一0 町) l o g o , o ) 兄“。) ) = 日( 厂) ( 2 5 1 ) 命题7 设口，) ：。为一混合，n = a n ，歹= 1 ，2 ，kj ，刀1 是r d 上的一列分割，并且 仃0 。) 是由p 。生成的盯一代数，令a 是一可测集，0 占) e x p ( - y 纷吃2 ) ( 2 5 2 ) 说明 设s 是r d 上的一固定紧子集，s 。= f l a ( 4 ，) ( 1 + 占溉) ，且晶g ) 与五g ) 的定义与独立样本情形相同，则我们有 j 1 ：，g ) 一厂g ) l 出j 1 9 。g ) 一g ) f 出+ 卫五g ) 一g 。g ) | 出， 由控制收敛定理，得 f l g 。g ) 一厂g ) l 出一o ，0 一o d ) ( 2 5 3 ) 令g = u a ，! ，于是由文献【6 】中的定理3 2 ，知 e o 。 j 1 五g ) 一g 。g ) l 出陋。0 聊) 一0 彬l + 2 ( c ，) + l u 。( c 。) 一( c 。) l ， 电3 。 由命题5 、假设( i i ) ，得到命题7 。 下面运用上述相关命题证明下面的定理l ，。 l o 定理l ，设阮乜为一混合序列，且满足( 2 7 ) 、( 2 1 7 ) 式和 妻e x p ( - 刀k 2 2 ) ，v 刀， n = l 则当日( 厂) 占以0 ，! ，) ) 好卧e x p ( 啪卿以k ) 2 ) ， o ( i = 0 , 1 ，2 ，3 ) 表示与挖无关的常数，且在不同的地方表示不同的 值；以g ) 表示基于分割岛 4 。，4 ，：，) 上的直方图密度估计，具体分割如下： 设d 维空间r d 上的一列分割见= 厶，= 1 2 ，屯) ，力1 ，且对所有的疗和 ，厶是r d 上的b o r e l 集，z ( 白) ( o ，o o ) ，当ac r d 时，令 以0 ) = 窆，彳) 刀，从而有钒o ) = 日阮么) = 厂g 皿= p ( x 彳) 些乜) 于是，厂g ) 基于分割岛的直方图估计： g ) = 以“，) 允，) ，因此，甄( x ) = l 厂( x ) 出允( 4 ，) 鲺( x ) ，如果x 厶 磁( x ) = l 厂( x ) 出：k a ，熔。( x ) ，如果x 4 。 借助于文献【2 】，我们定义熵函数日( x ) 的直方图估计： 珥= _ b h 五g ) 1 。g 工g 皿 现把无g ) 代入上式，可得 矾= 二荟以小。g ( 爿，培3 ”、。， 如果s 。= f ：儿( 厶) ) ，p 。) 山一。伪_ 。) 。 3 1 定义及相关引理 定义称随机变量序列 置) ：。为口一混合( 或强混合) ，若存在非增的正数列 匆g ) ，。l i m 。a ( 捍) 2 0 ，对v n n ，i p ( a b ) 一p ( a ) p ( b ) l 口( 以) ，其中a 墨，b 彳鼻乙，巧脚为 x j ：lsf m ) 所产生的仃一域。又若存在0 p o ，口( ，1 ) a 矿，则称 x ，) ：t 为几 何口混合的。 引理3 1n 】( 口混合序列b e r n s t e i n 不等式) 设 x i 为几何& 一混合 的，e ( 鼍) = o ，ix , l - i ，记，= 勉9 ，盯= s u p ( e ix , 1 7 ，i n ) , n s c r _ l ，则存在仅依赖于 混合系数的常数c l ，c2 ，使得对v o 占) c j 秒。1e x p ( 一c 2 c y 2 n y o y q ( 3 - ) 引理3 21 2 1 嘉：日( 厂) o o ，并且l i m h = 0 ，其中= 力( 4 l ，) ，则 l i m 一a ( 6 ，) l o g 缸( 4 - ，) 见( 4 ，) ) = 日( 门 ( 3 - 2 ) h 一 引理3 3 设 五 墨，为几何口一混合，见= 如，= l ，2 ，吒) ，力l ，是r d 上的一列分割， 并且盯慨) 是由磊生成的盯- 代数，令a 是一可测集，0 s 。i ) + 尸仳心) 一乜) i ) + p 旺乜卜) 记专= ，( 五岛) 一( 如) ，i = l 一2 ，玎，则 当 为同分布几何口- 混合序列，且 言喜当= 以( 岛) 一( 厶) 由引理3 1 取秒= ，= 4 ，石= 钐，易见， u pe , 7 肛) = s u p ( e i 鼢拈) = 吉s 叩( e 4 , i e n ) 吾 从而，当甩充分大时，刀盯疗2 2 1 ，因此，我们有： 幢秒刁_ 割蛳x 卜爵赤 刚斛删硎蛳托甩) 羹l 专e x i 一槲 由假设( 2 1 9 ) 式，类似于文献【2 】中的证明，我们有： i3 。i q 见i , i 见i 吃 1 ，乃 掣( 乞) ) e 3 。 味i e 十獬 呻i e x 哪x ( 卿明 c 3e x p ( - 7 3 n 瓴卢、1 ， 、 由b o r e l - c a n t e l l i 引理及( 3 - 8 ) 式，得一0 a s ( 3 11 ) 又孱= 届。+ 屐。，其中 肛荟地杠矧l ，k 3 ip v f ，i 1 7 肛荟地杠矧 旭3 1“v ，l 从而，我们有 届。= 圪，屐。日( 厂) ，a s ( 3 1 2 ) 而证明圪的关键是使用下面的对数和不等式，即 粤。 咖 ( 3 - 1 3 ) 因此，要证明( 3 - 1 3 ) 式的右端a s 趋于o ，只要证明。) - - , 1 a s ；相应的只 要证明“，) - - , o a s 把3 _ 。 ，委“，) 2 ( ，吕。4 t j 2 ：五g ) ) 2l 扛h 厂( z ) 出 点作m 厂 ) 出+ l 似s ；m ) 八工) 矗 量似) s 厂( x ) 出+ 2 舅厂( x ) 一工g ) i 出， 由引理3 3 及( 2 7 ) 式，得l i m v = 0a s ， 一 ( 3 - 1 4 ) 又由( 3 - 11 ) ，( 3 - 1 2 ) ，( 3 13 ) 及( 3 1 4 ) 式，得l i m 玑= 0a s ，( 3 - 1 5 ) i 形i = 睦( 以m 。g 矧l ( 抽厂g ) 1 。g 厂g 协卜l 陬 i l 。g 厂g 牡陋) ( 3 - 1 6 ) 记y ( 已) = 【l l o g g 牡( 凶) ，并且是一致连续的， 故由( 2 7 ) ，( 3 - 1 6 ) 式，得l i m 呢= 0 a s ( 3 - 1 7 ) 综上所述，定理3 1 得证。 1 8 第四章总结 在第一章里，我们分别介绍了熵函数的相关概念、背景以及从开始研究熵函 数问题以来的国内外研究现状和文献综述，同时简要介绍了熵函数理论在各种 领域中的应用。， 然后，在第二章里，我们首先介绍了在独立情形下和一混合下的熵函数估 计的两种直方图 估 计 日t 。= 一b h 六g ) 1 0 9 无g ：) 出 与 h ：。= 一圭l o g 工阢) ，“。 0 _ ) 的强相合性，得到了相关的命题和结论，主要 “l = l 是一些国外的文献。在第二章的基础上，我们在第三章里研究了在几何口混合 相依数据下熵函数日( 厂) 的直方图估计。= 一b h 正g ) l 。g f ( x ) d x 的强相合性， 推广了现有文献中的相应结果。 总之，作为一个较新的研究领域，熵函数的非参数估计问题有很大的研究价 值和应用价值。本文仅研究了独立样本和相依样本( 包括混合和口混合) 下的 熵函数估计的强相合性，并未给出口混合情形下的数据模拟及收敛速度，而在 更一般的弱相依p ，9 ，y ) 下，我们也可拟研究熵函数日驴) 的直方图估 计：日t 。= 一( ，冷无g ) l 。g 六g ) 出与日：刀= 一去喜l 。g 兀似，) ，似。4 o o o ) 的强相合 性。更进一步，拟研究上述两种场合下直方图估计的渐近分布问题。 1 9 参考文献 【1 】 b o e n t eg ，f r a i m a nr c o n s i s t e n c yo fan o n p a r a m e t r i ce s t i m a t eo fad e n s i t y f u n c t i o nf o rd e p e n d e n tv a r i a b l e 【j 】jm u l t i v a r i a t ea n a l ，19 8 8 ，2 5 ：9 0 9 9 【2 】 j o h a nl i m e s t i m a t i o no ft h e e n t r o p y f u n c t i o n a lf r o md e p e n d e n t s a m p l e s j c o m m u n i c a t i o n s i n s t a t i s t i c t h e o r y a n dm e t h o d s ，2 0 0 7 ， ：3 6 ：1 5 7 7 1 5 8 9 【3 】a r 6 n y i ，o nt h ed i m e n s i o na n de n t r o p yo fp r o b a b i l i t yd i s t r i b u t i o n s 【j 】a c t a m a t h a c a d s e i h u n g ，1 9 5 9 ，1 0 ：1 9 3 - 2 1 5 【4 】e g g e r m o n t ，p b ，l a r i c c i a ，v n b e s ta s y m p t o t i cn o r m a l i t y o ft h ek e r n e l d e n s i t ye n t r o p ye s t i m a t o rf o rs m o o t hd e n s i t i e s 【j 】i e e et r a n s i n f o r m a t t h e o r ，1 9 9 9 ，4 5 ：1 3 2 1 1 3 2 6 5 】g y 6 r f i ，l ，v a nd e rm e u l e n ，e d e n s i t y - f l e ec o n v e r g e n c ep r o p e r t i e sv a r i o u s e s t i m a t o r so fe n t r o p y 【j 】c o m p u t a t s t a t i s t d a t aa n a l ，19 8 7 ，5 ：4 2 5 4 3 6 【6 】d e v r o y e ，l ，g y 6 r f i ，l n o n p a r a m e t r i cd e n s i t ye s t i m a t i o n ：t h e 厶 v i e w 【m 】n e wy o r k ：j o h nw i l e y & s o n s ，1 9 8 5 ：1 8 - 2 3 【7 】k o n t o y i a n n i s ，i ，a l g o e t ，p h ，s u h o v ，y m ，e c t n o n p a r a m e t r i ce n t r o p y e s t i m a t i o nf o rs t m i o n a r yp r o c e s s e sa n dr a n d o mf i e l d sw i t ha p p l i c a t i o nt o e n g l i s ht e x t j i e e et r a n s i n f o r m a t t h e o r ，1 9 9 8 ，4 4 ：1 3 1 9 1 3 2 7 【8 】i c s i s z d r o ng e n e r a l i z e de n t r o p y 【j 】s t u d i as c i m a t h h u n g a r ，1 9 6 9 ，4 ： 4 0 1 4 1 9 【9 】i c s i s z d r g e n e r a l i z e de n t r o p ya n dq u a n t i z a t i o np r o b l e m s ，t r a n s a c t i o n so ft h e s i x t hp r a g u ec o n f e r e n c eo ni n f o r m a t i o nt h e o r y ，s t a t i s t i c a ld e c i s i o n f u n c t i o n s ，r a n d o mp r o c e s s e s ( a c a d e m i a ，p r a g u e ) 19 7 3 【10 】i c s i s z d r i n f o r m a t i o n a lq u a n t i t i e si na b s t r a c ts p a c e s ，t e c h n i c a lr e p o r t ，m a t h i n s t h u n g a e a d s c i ( i nh u n g a r i a n ) ，19 7 0 【11 】l d e v r o y ea n dl g y 6r f i ，n o n p a r a m e t r i ed e n s i t ye s t i m a t i o n ：t h el 1v i e w ( w i l e y ，n e wy o r k ) ，19 8 5 ，p 16 0 【12 】r gg a l l a r e r i n f o r m a t i o nt h e o r ya n dr e l i a b l ec o m m u n i c a t i o n ( j o h nw i l e y ， n e w y o r k ) ，19 6 8 【13 】s k u l l b a c k i n f o r m a t i o nt h e o r ya n ds t a t i s t i c s ( d o v e rp u b l i c a t i o n s ，n e w y o r k ) ，1 9 5 9 【14 】d v g o k h a l ea n ds k u l l b a c k t h ei n f o r m a t i o n i nc o n t i n g e n c yt a b l e s ( m a r c e ld e k k e r ，n e wy o r k ) ，19 7 8 15 】j p b u r g m a x i m u me n t r o p ys p e c t r a la n a l y s i s ，p r o c e e d i n g s o ft h e37 t h 2 0 m e e t i n go fs o c o fe x p l o r g e o p h y s ，o k l a h o m ac i t y ，o k r e p r i n t e di nd g c h i l d s ( e d ) ，m o d e r ns p e c t r u ma n a l y s i s ( i e e ep r e s s ，n e wy o r k ，) 1 9 6 7 ：3 4 4 1 【17 】h t h e i la n dd gf e i b i g e x p l o i t i n gc o n t i n i i t y ：m a x i m u me s t i m a t i o no f c o n t i n u o u sd i s t r i b u t i o n s ( b a l l i i n g e r ，c a m b r i d g e ，m a ) ，l9 8 4 【18 1d u d e w i c z ，e j ， v a n d e r m e u l e n ， e c e n t r o p y b a s e d t e s t sf o r j u n i f o r m i t y j a m e r s t a t i s t a s s o c 19 8l ，7 6 ：9 6 7 - 9 7 4 【19 】v a s i c e k ，o at e s tf o rn o r m a l i t yb a s e do ns a m p l ee n t r o p y j r o y s t a t i s t s o c ， s e r b ，1 9 7 6 ，3 8 ：5 4 - 5 9 2 0 】c o v e r ，t m ，t h o m a s ，j a e l e m e n t so fi n f o r m a t i o nt h e o r y n e wy o r k ：j o h n w i l e y & s o n s ，1 9 9 1 21 】b e r e h e r ，j ，v i g n a t ，c e s t i m a t i n gt h ee n t r o p yo fas i g n a lw i t ha p p l i c a t i o n s i e e et r a n s s i g n a lp r o c e s s ，2 0 0 0 ，4 8 ：16 8 7 - 16 9 4 1 2 2 】e g g e r m o n t ，p b ，l a r i c c i a ，、，n b e s ta s y m p t o t i cn o r m a l i t yo ft h ek e r n e l d e n s i t ye n t r o p y e s t i m a t o rf o r s m o o t hd e n s i t i e s i e e et r a n s i n f o r m a t t h e o r ，1 9 9 9 ，4 5 ：1 3 2 1 1 3 2 6 【2 3 】j o e ，h e s t i m a t i o no fe n t r o p ya n do t h e rf u n c t i o n a l so fam u l t i v a r i a t ed e n s i t y a n n i n s t i t s t a t i s t m a t h ，1 9 8 9 ，4 1 ：6 8 3 - 6 9 7 2 4 】v a s i c e k ，o at e s tf o rn o r m a l i t yb a s e do ns a m p l ee n t r o p y j r o y s t a t i s t s o c ， s e r b ，1 9 7 6 ，3 8 ：5 4 - 5 9 2 5 】h a l l ，p a k a i k e si n f o r m a t i o nc r i t e r i o na n dk u l l b a c k - l e i b l e r l o s sf o rh i s t o g r a m d e n s i t ye s t i m a t i o n p r o b a b t h e o r r e l a t e df i e l d s ，19 9 0 ，8 5 ：4 4 9 4 6 7 2 6 】g a b r i e l ac i u p e r c a ，v a l e r i eg i r a r d i n o nt h ee s t i m a t i o no