原创用冯向军知觉模型实现HARTLEY信息

1、原创用用冯向军知知觉模型实实现HARRTLEYY信息、香香侬信息、复杂度信信息、本质质信息、KKULLBBACK相相对信息、鱼罩子广广义信息、观控隶属属度、观控控隶属域的的超大统一一(待续)冯向军2006/01/229 于 美国(甲)信息最终要要被信息接接受者所反反映。这就就是为什么么冯向军要要在WEBBER-FFECHNNER的基基础上建立起更一一般的知觉觉模型deltaaS = a(deeltaOOS/ OOS) + b(ddeltaaOS) (1)这其中a、b为待待定常数。OS为某种种客观的刺刺激；deltaaS 为因因客观刺激激的变化而而引发的感感官变化；a(delltaOSS/ OS

2、S) 是因因客观刺激激的相对变变化而引发发的感官变变化；deltaaOS是因因客观刺激激的绝对变变化(或相对于于某种不变变的客观标标准的变化化)而引发的的感官变化化；通过这些日日子的讨论论，我已逐逐步展示确确实可以用用上述模型型来实现HHARTLLEY信息息、香侬信信息、复杂杂度信息、本质信息息、KULLLBACCK相对信信息、鱼罩罩子广义信信息、观控控隶属度、观控隶属属域的超大大统一。(乙)(一)我们从WEEBER-FECHHNER对对数律推导导出广义的的相对信息息的一种一一般形式，从从冯向军的的知觉模型得到到了更一般般的形式.现在再把视视野稍微扩扩展一点。把U视为刻划划与信息有有关的不确定

3、性性，复杂性性，可区分性的某种种参数.我们诚恳地地认为，几几乎所有比比较流行的的信息测度度模式均可可归于如下下方程、定定律、模型(A)RI = log22 (U/Ub) (1-11)(广义相对对信息的一一种一般形形式)(B)REs = p1* logg2(U11/Ub) + pp2* llog2(U2/UUb) +.+ pn* logg2(Unn/Ub) (2-1)(具有单独独可变门槛槛Ub的广义义相对熵。)REm = p1* logg2(U11/Ub11) + p2* log22(U2/Ub2) + ppn* llog2(Un/UUbn) (3-11)(具有多种种可变门槛槛的广义相相对熵。)

4、(C)WEBERR-FECCHNERR对数律deltaa S = a(ddeltaaU/U) (4-1)(D)冯向军的知知觉模型deltaa S = a(ddeltaaU/U) + bb(delltaU) (5-1)这其中 UU为描述与与信息密切切相关的不确定性性，复杂性性，可区分分性的某种参参数，Ub, Ub11,Ub22,Ubn为为这种参数数的可控达达门槛。p1, pp2, pnn是一概率率分布，p1 + p2 +.+pn =1(二)现举例说明明。当 U 为为 1/pp, 而p为符号的的概率， Ub = 1/mmax(pp) =11，按(1-1)我们们就有RI = log22 (1/p)

5、(1-2)这RI就是是汉明先生生给出的信信息的工程程定义。当 U 为为 张学文玻玻尔兹曼状状态数W，而Ub = miin(W) =1， 按(1-11)我们就就有RI = log22 (W) (2-2)这RI就是是张学文广广义集合的的一种很好好的复杂度度。当 U = 1/NN， 而N为N种可能性性， Ubb = 11/minn(N) = 1，按按(1-11)我们就有有RI = log22 (N) (3-2)这RI就是是HARTTLEY信信息。当 Ui = 1/pi, pi 为为符号i的概率， i = 1，2， , nUb = 1/maax(p) = 11, 按 (2-1)式就就有REs = -p

6、11log22 (p11) -pp2logg2(p22) -ppnlogg2(pnn) (44-2)这REs就就是SHAANNONN信息熵。当 Ui = pii, pii 为符号号i的概率， i = 1，2， , nUb = 1/n, 按 (2-1)式就就有REs = logg2 (nn) - p11log22 (p11) -pp2logg2(p22) -ppnlogg2(pnn) (5-2)这REs就就是于宏义义先生的风风险熵，我我称之为聚聚集熵。(表面两者者矛盾，实实际上在不不同条件下下两者在某某种程度上上相通。)当 Ubii = 11/pi, 而Ui =1/qii，qi是另一一概率分布布

7、，i = 1，2，.,n，按 (33-1)式式就有REm = p1llog(pp1/q11) +pp2logg(p2/q2) + pkklog(pk/qqk) (6-2)这REm就就是Kulllbacck-Leeibleer 相对对熵。当 U = 混淆概概率 Q(Aj/xxi), Ub= Q(Ajj), 按按(1-11)就有鱼鱼罩子广义义互信息RI = I(xii, Ajj) = log22(Q(AAj/xii) /QQ(Aj) (77-2)当 U = 观控隶隶属域f(I)，Ub = 任意指指定的门槛槛隶属域ffb，按 (11-1)就就有观控互互信息GKI(xxi,I) = llog2( f(

8、II/xi)/fb ) (88-2)当pi = p(xxi/zkk), UUi =QQk(xii/zk), Ubbi =QQ(xi), 按 (3-1)就有有鱼罩子广广义Kulllbacck公式REm = p(xx1/zkk)logg2 (QQ(x1/zk)/Q(x11) +p(x22/zk)log22 (Q(x2/zzk)/QQ(x2) +p(xn/zk)llog2 (Q(xxn/zkk)/Q(xn) (9-2)互信息不过过是对广义义相对信息息RI求2次数学期期望而已。于宏义先生生的观控隶隶属度和我我的观控隶隶属域新公公式都能从从WEBEER-FCCHNERR感觉模型型和冯向军的知觉觉模型推出

9、出. 我的本本质信息也也可以从冯冯向军的知知觉模型推推导出来。 HYPERLINK /forum/ftopic3272-0-asc-60.html http:/wwww.qiiji.ccn/foorum/ftoppic32272-00-ascc-60.htmll附录 信息息熵的基本本数学性质质 HYPERLINK /forum/ftopic3392.html httpp:/fforumm/ftoopic33392.htmll信息熵的基基本数学性性质的简单单数学证明明 定理1.22.1 当当 正数 p 0, pp*logg(p) 00 证明： 将p*loog(p)写成 loog(p)/(1/p)

10、, 当p0用 罗必塔法法则求导，即即有 log(p)/(1/p) ( 11/p)/(-1/p2) p00. 证毕毕。 定理1.22.2 对对于两个事事件组成的的分布，若若其中一个个事件(符号)的概率为为p, 那么么信息熵 H = -pLOOG(p) -(11-p)LLOG(11-p), H取最最大值1比特，当当且仅当 p = 0.5。 当p0或1，H取最小值值0。其中LOOG表以2为底的对对数。 证明： 对于两个个事件组成成的分布，当当其中一事事件的概率率为p, 则另一事事件的概率率为1-pp. 于 是按信息息熵H的定义 H = -p*LLOG (p)-(1-p)*LOGG (1-p) 考考虑

11、到不等等式 looge (x) 0均成成立，且等等号只在xx = 11成立，有有 H -11=H - LOGG(2) = p*LOG(1/p) + (1-p)*LOGG(1/(1-p) +(p +11-p)LLOG(11/2) =p*LLOG(11/(2pp) + (1-p)*LLOG(11/(2(1-p) =lOGG(e) p*( 1/(2p) -1) +(1-p)*(1/(22(1-pp) -1) =LOGG(e) 1/22 -p + 1/2 -(1-p) = lOG(e)11- p-1+p =0 所以 H 0, 按定理理1.2.1, HH=0; 当 p1,按定理1.2.1, H=00.

12、证毕 定理1.22.3 对对于任何 x 0, 恒恒有 looge (x) 0, 定义函数数 f = logee(x) -x +1 则有有 df /dx = 1/xx -1 令 df /dx = 0 则则有极值点点 x = 1 但是是，当 xx = 11时 二阶导数数 d2 f / d2 x = -1/xx2 0 所所以 x = 1 是极大值值点。 有 f = logee(x) -x +1 = logge(1) -1 + 1 = 0 或 loge(x) = x - 1 且 等号仅在在 x = 1 时时成立。 证毕 定理 1.2.4 对于 满足 x1+xx2+xqq =1; y1+y2+yyq=

13、11 的两组组概率分布布 xi, i=1,2,q 以及 yi, i = 1,2,.,q 恒有有 x1*LLOG(yy1/x11) + x2*LLOG(yy2/x22) +xxq*LOOG(yqq/xq) =00 且等号号只在 yi = xi ( i = 1, 2, .,q)时成成立。 证明： 根据定理理1.2.3有 x1*LOOG(y11/x1) + xx2*LOOG(y22/x2) +xqq*LOGG(yq/xq) =00 且等号号只在 pi = qi ( i = 1, 2, .,k)时成成立。 证明： 根据定理理1.2.3有 p1*LLOG(pp1/q11) + p2*LLOG(pp2/q

14、22) +ppk*LOOG(pkk/qk) =-p1*LLOG(qq1/p11) + p2*LLOG(qq2/p22) +ppk*LOOG(qkk/pk) =- LLOG(ee) (q1+qq2+qkk) - ( p11+p2+.+pk) = -LOGG(e) 1 - 1 = 00 且 等号仅在在 pi = qi 时成立， i = 1, 22, , kk. 证毕毕。 定理1.22.6 对对于q个符号的的以比特为为单位的信信息熵H，恒有 H = LOGG(q) 其中等号号只能在qq个符号具具有等概率率分布才成成立。此时时 p1 = p2 = = 11/q, 其中pi为第i个符号的的信息，ii =

15、 11, 2, q。 证明 H -LOG(q) = -p11LOG(p1) -p2LLOG(pp2) -.-pqLOOG(pqq) - (p1 + p22 + +ppq)LOOG(q) =p11LOG(1/(pp1*q) +pp2LOGG(1/(p2*qq) +.+pqLOOG(1/(pq* q) = lOG(e)pp1( 11/(p11*q) -1) + p22(1/(p2*qq) -11) +ppq(1/(pq*q) -1) =lOGG(e)(1 -pp1-p22 -pqq) = (1-11) = 0 等号号当且仅当当 p1 = p2 = = ppq = 1/q 时成立。 证毕。 定理1.

16、22.7 信信息熵H给出了唯唯一可译码码的平均码码长(L)的下限，或或 H = L。这这里等号只只有在二元元情况才成成立。 证明：要要证明上述述定理，就就要证明很很有意思的的Krafft不等式式： 一个具有有q个符号sii(i = 1, 2, q)，码字长长为 L1 = L22 = . = LLq的即时时码存在的的必要和充充分的条件件是 1/rL1 + 1/rrL2 + + 11/rLLq =1. 对对于最大码码长为1的即时码码，可以用用最大长度度为1的即时树树来描述。我们有11条或两条条 长度为1的支路。所以 对于1个符号的的情况有： 1/2 =1 而对于2个符号的的情况有： 1/2 +1/

17、22 =11。 所以对于于最大码长长为1的即时码码Krafft不等式式成立。 假定Kraaft不等等式不等式式对所有长长度小于nn的树皆成成立。 那么当树树的最大长长度为n时，第一一个节点引引出一对长长度不超过过n-1的子子树，对于于子树 我们有不不等式 K1 = 1 K2 = 1 但是当子子树接入主主树时所有有长度Lii均增加1。 所以在不不等式中就就增添了系系数1/22。 于是有 1/2(K1+KK2) = 1。 Krafft不等式式证毕。经典信息论论的一种关关于信息的的理解和信信息的工程程定义式 我一直认认同并采用用汉明码发发明人汉明明(R. W. HHammiing) 对信息的的工程定

18、义义式。 汉明先生生说： 假定我们们有一个含含有q个符号 ss1, ss2,sqq的信源字字母表，每每个符号的的概率各为为 p(s11) = p1, p(s22) = p2, ., p(ssq) = pq. 当我们们接受其中中一个符号号时，我们们得到多少少信息呢？ 例如，若若p1=1(当然此时时所有其它它的pi = 0), 那么么收到它就就毫不“意外”。 所以没有有信息，因因为我们知知道消息必必定是什么么。反之，若若这些概率率差异很大大，那么 在小概率率事件发生生时我们会会感到比较较意外，因因而我们获获得的信息息比大概率率事件发生生时获得的的信息要多多。 所以信息息与事件发发生的概率率有点象反

19、反比例关系系。 我们还直直观地感到到：“意外”是可加的的由两两个独立符符号得到的的信息是分分别从各个个符号所得得信息和。由于复合合事件的概概率是两个个独立事件件概率的乘乘积，所以以很自然地地把信息量量定义为 I(sii) = log22(1/ppi) 这这样就得到到如下的结结果： I(s11) + I(s22) = log22(1/(p1p22) =I(s11, s22) 此式式清楚地表表明如果概概率取积那那么信息量量就取和。所以这一一定义和我我们头脑中中关于信息息应该是什什么的概念念大致吻合合。 这是根据据符号的概概率来建立立的一个工工程定义,而不是根根据这个符符号对人的的实际意义义来建立的

20、的定义。对对信息论一一知半解的的人在这一一点上认识识往往非常常模糊。他他们根本不不明确这是是一个纯技技术定义。这一定义义仅抓住了了信息一词词在通常的的概念中所所包含的丰丰富内容的的一小部分分。 熵Hr就是这这个信息的的技术定义义下的平均均信息。 Hr = p1llogr(1/p11) +pp2loggr(1/p2) + + ppqloggr(1/pq) 其中r为对数的的底。 尽管我对对信息的本本质有自己己的看法，但但真正做信信息的科学学计算时，从从来就是用用汉明这一一套。 参考文文献 1 R.WW. 汉明明，编码和和信息理论论，朱雪龙龙译，科学学出版社。19844 2 HYPERLINK /n

21、on/Forum2/HTML/003303.html htttp:/www.systtemscciencce.orrg/noon/Foorum22/HTMML/00033033.htmml3 张张学文. 组成论MM合肥：中国科技技大学出版版社，20003年12月第1版，第1次印刷.4 冯冯向军, 1比特本本质信息论论 - 一种种定性-定量兼顾顾融合各家家的原创信信息论 (特邀论文文), 世界界华人一般般性科学论论坛EBB ( ISBNN 0-997550039-22-8 )，第1卷第3期，20005年9月。5 CC. E. Shaannonn, “A maathemmaticcal ttheo

22、rry off commmuniicatiion,”Belll Sysstem Techhnicaal Joournaal, vvol. 27, pp. 379-423 and 623-656, Jully annd Occtobeer, 11948.6 鲁鲁晨光. 广义信息息论M 合肥：中国科技技大学出版版社，19983年10月第1版，第1次印刷.7 YYu Hoong Yi; Leonn (Xiiangjjun) Fengg; Yuu Rann. Pannsysttems GuannKongg tecchnollogy and infoormattion quanntizaationn.

23、Kybberneetes: Thee Intternaationnal JJournnal oof Syystemms & Cybeernettics. Yeaar: 22003 Voluume: 32 PPage: 9055 9911.8 于于宏义, HYPERLINK /YHY20060126.doc 信息量化化测度, 世界华华人一般性性科学论坛坛EB(ISBBN 0-97555039-0-)，第第2卷第1期，20006年1月。附录命题： “广义Kuullbaack信息息”0，ii =1,2,n 假设QQ1+Q22+Qn = 11, 就恒恒有P1llog(QQ1/U11) + P2loog

24、(Q22/U2) + PPnlogg(Qn/Un) =P11log(P1/UU1) + P2llog(PP2/U22)+ PPnlogg(Pn/Un) (1)这这是因为1P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) -( P1llog(PP1/U11) + P2loog(P22/U2)+ Pnnlog(Pn/UUn) )= P11log(Q1/PP1) +P2loog(Q22/P2) +Pnnlog(Q2/PPn)= k *( P1nn(Q1/P1) +P2lln(Q22/P2) +Pnnln(QQ2/Pnn) )=k*( Q1+Q2+QQ

25、n - P1-PP2-Pn) =k* (Q11+Q2+.+Qn -1) 0, i =1,2,.,n假设QQ1/U11+Q2/U2+QQn/Unn = 1, 就就恒有P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) =PP1logg(P1) + PP2logg(P2) +Pnnlog(Pn) (1)这这是因为1P11log(Q1/UU1) + P2llog(QQ2/U22) + Pnloog(Qnn/Un) -( P1llog(PP1) + P2llog(PP2) +.+ Pnllog(PPn) )= P11log(Q1/U1)/P1) +P2l

26、log(Q2/UU2)/PP2) +.+Pnloog(QQn/Unn)/Pnn)= kk *( P1n(Q1/U1)/P1) +P2lln(QQ2/U22)/P22) +PPnln(Q2/Un)PPn) )=k*( Q11/U1+Q2/UU2+Qn/Un - P1-P2-Pnn) =kk* (QQ1/U11+Q2/U2+QQn/Unn -1) 0i =1,22,n假设设Q1(VV1/U11)+Q22(V2/U2)+.+Qn(VVn/Unn) = 1, 就恒有PP1logg(Q1/U1) + P22log(Q2/UU2) +.+ Pnllog(QQn/Unn) =P1loog(P11/V1) +

27、 PP2logg(P2/V2)+.+ Pnllog(PPn/Vnn) (11)这是因因为1P1loog(Q11/U1) + PP2logg(Q2/U2) + Pnnlog(Qn/UUn) -( PP1logg(P1/V1) + P22log(P2/VV2)+ Pnloog(Pnn/Vn) )= P1loog(QQ1V1/U1)/P1) +P2llog(Q2V22/U2)/P2) +Pnnlog(QnVVn/Unn)/Pnn)= kk *( P1n(Q1VV1/U11)/P11) +PP2ln(Q2VV2/U22)/P22) +PPnln(Q2VVN/Unn)Pn) )=k*( Q1V11/U1+Q2V22/U2+QQnVn/Un - P1-P2-Pnn) =kk* (QQ1V1/U1+QQ2V2/U2+QQn