混合偏熵与关联熵

混合偏熵与关联熵 第19卷第4期 2005年12月 模糊系统与数学 FuzzySystemsandMathematics Vo1.19.No.4 Dec.,2005 文章编号:1001—7402(20O5)04—0O6O—O6 混合偏熵与关联熵 王维琼,辛小龙. (1.长安大学理学院,陕西西安710064 西北大学数学系,陕西西安710069) 2. 摘要:定义联系模糊性和随机性的混合集,混合偏熵与关联熵以及混合关联系数,研究了其性质,并举 例说明混合关联系数在现实生活中的应用. 关键词:混合集;混合偏熵;混合关联熵;混合关联系数 中图分类号:0236文献标识码:A 1引言 在很多系统中,随机性与模糊性是同时存在的.系统有两种不确定性:一种与事件发生的概率 有关,另一种则与判断事件具有某种特性的程度有关.将两种不确定性综合起来是很有吸引力的, 这样可以用一个测度对它们进行统一处理.将系统中两种不确定性统一起来的一种测度称为混合 熵,不少专家对这种测度进行了深入研究:DeLucaXie.;N.R.Pal和S.K.PalE33分别给出了不 同形式的混合熵;尚修刚,蒋蔚孙对Eli中定义的混合熵的合理性进行了分析并提 出一种新形式 的混合熵;作为事物不确定性度量——熵的概念之拓广,吴敏金,白治江引入了随机变量的偏熵, 关联熵及关联系数.本文将偏熵,关联熵及关联系数的概念推广到更一般的情形,定义了混合偏熵, 混合关联熵及混合关联系数,讨论了其性质,并举例说明混合关联系数在现实生活中的应用. 2预备知识 定义2.1设随机变量x与Y的分布为x:,…, y:,…, ,那么随机变量X关于 【p1,…,PrJ(ql,…,qKJ 随机变量y的偏熵定义为 Hy(x)一一?logp~ 定义2.2随机变量X与y之间的关联熵定义为它们的偏熵之和,即 H(X;y)一Hy(X)+Hx(y) 定义2.3随机变量的偏关联系数与关联系数分别定义为 x)一 收稿日期:2004—04—16 基金项目:陕西省教育厅自然科学专项基金资助项目(O3JKO58) 作者简介:王维琼(1979一),女,重庆人,长安大学理学院,研究方向:信息论与编码理论;辛小龙(1955一),男,陕西西安人,西 北大学数学系教授,研究方向:信息论和编码理论. 第4期王维琼,辛小龙:混合偏熵与关联熵 y)一 似一最 3混合集的偏熵与关联熵 设A是论域x的一个模糊子集, 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示为A一?/x,vz?X.这里是z的隶属函数,值1 域为[0,1]. 设M一(,,…,),称为模糊集A的可能性分布.又设论域x上有概率分布尸一(户,p, … ,p),这里p代表z发生的概率.为统一考虑由随机性和模糊性引起的总的不确定性,需要建立 尸和M的共同空间,即积空间P×M,混合偏熵与混合偏关联熵将在这个空间里表述.联系随机性 和模糊性的总分布函数可以定义为如下一个映射:尸×M一[0,1],其基本表达式定义为f(x) 一P.这个表达式是合理的,因为它反映了模糊性和随机性的共同存在.为方便起见,仿照模糊集 的定义,我们可以定义下面的混合集(M,尸)一?P/z,V五?X(X为论域). 其中表示西对A的隶属度,P为z发生的概率,以后简记(M,P)一. 定义3.1混合集与雷的并与交定义为 u雷一?max{pfn,qifit2}/z,z?X n雷一?min{pn,qil-t2}/,32?Xi 其中一?P/32,豆一?g,./32,?. 定义3.2混合集的补集定义为 A一?P(1一1)/32,32i?X 显然,交与并的定义满足幂等律,交换律,结合律,分配率,吸收律,0—1律,补集的定义满足复 原律()一,但不满足德?摩根律,我们称其为的伪补. 在本文中()表示离散论域一{I一1,2,…,)上的全体混合集,()中的任意混合集 记为 一 ?PZJx,32?xl=1 其中表示z对A的隶属度,P为z发生的概率. 在本文中,混合熵公式采用文献Eli中给出的形式 F()一一?{plp,.1ogp,.p,.+(1一/-ti)logp,.(1一/-'i))=1 定义3.3设,百是论域(x)中的任意两个混合集,则混合集关于雷的偏熵定义为 F口()一一?{g2logp,ui1+qi(1一/1i2)logp(1一1)}f=1 其中,雷分别为一户肛1/32,B=q/12/32,32?X. 此时混合集秀称为基准混合集,且规定0?log0=0,log0=一... 易知,混合偏熵也是混合集的不确定性的一种度量,且可以 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 此偏熵具有如下性 质: 性质3.1FB()?0,V—A,雷?(X). 62模糊系统与数学2005定 性质3.2F(A)一F(),VAEF(X). 性质3.3FB()?F(豆),V—A,B,E(X). 证明FB()--F(B) 一一 ?[g2logp1+qi(1一Pi2)logp(1一[AiI)] +?Eq2logq2+qi(1一/-ti2)logq(1一Pi2)] 一.g-1-qic一.)log] ?(一Pi~il)c一z(一)] 一 ?Eqz—n+qi(1一l-ti2)一Pi(1一['gil)] 一 ?(一pi) ==0 其中的不等式用到logx?1—1/x,x>O. 性质3?4一maxmax{logpfl,logp,(1一1)}?FB()?一minmin{log户 fl,logp(1--JAil)}. 性质3.5F()一F(),V?(X). 证明F()一一?[户,(1一JAil)logp1+PiP"1logp(1一1)]=1 F()一一?[A1logp(1一[Iil)+Pl(1一JAil)logPiPil)]I=1 显然命题成立. 性质3.6FB,(-A)=FB(),V—A,豆?(X).由定义可证. 定义3.4定义X一{xEX:pip?:},X一一{xEX:P1.t<gl.t:}, 』Pi,z?xUi'一, Iq,z?X— z?X zEX一 性质3.7Fc(AU雷)-]-Fe(-Af-]吾)一F()+F(吾),V—A,B一,C,E(X). 证明Fe(U豆)+Fe(n豆) 一一 ?{logmax(pqi2)+ri(1一l-tla)1o一max(Ag:)]} 一 ?{3logmin(A?qi2)+(1一l-tia)1ot—min(户ll,2)]} 一一 ?{rlogp1+(1一)1ogP(1一1)}EX+ 一 ?{logq2+r,(1一日)1ogg(1一2)} ?X十 一 ?{logq2+rI(1一1.tia)1ogg(1一2)} ?X- 一 ?{logp1+r,(1一3)1ogP(1一1)} ?X- 一一 ?{rnlogp1+(1一l-tia)1ogP(1一1)} ,, A ,?l— r 第4期王维琼,辛小龙:混合偏熵与关联熵63 一 ?{rnlogq2+(1一,ui3)logq(1一,uiz)) 一 Fe()+Fe(雷) 定义3.5混合集与百之间的关联熵定义为F(;百)一F置()+F_(百),V—A,B—E(X). 即 F(;雷)一一?Eq,ui2log(p1)+qi(1一,uiz)logp(1一,ul1)] 一 ?[户f1log(qf2)+Pi(1一,ui1)logq(1一,ui2)] 称为与百的混合关联熵,其具有如下性质: 性质3.8F(一A;百)=F(百;),F(一A;B一)一F(;百),V—A,B—E(X). 性质3.9F(一A;雷)?F(-A)+F(百)当且仅当一百时等式成立. 性质3.10F(U百;n百)一F(;百),V—A,B—E(X). 证明F(-AUB一;一An秀) 一u(n百)+n(-AU雷) 一一 ?{户,ui1logq2+(1一,uil)logq(1一,ui2)) ?X十 一 ?{gf2logp1+ql(1一,uiz)logp(1一,ui1))?X+ 一 ?{2logpn+qi(1一,uiz)logp(1一,uil)) ?X- 一 ?{A1logq2+Pl(1一,ul1)logq(1一,uiz)) ?X- 一一 ?{户1logqi~i2+Pi(1一1)logqi(1一所2)) 一 ?{g,ui2logpfn+ql(1一,ulz)logp(1一,uil)) 一 FB()+F(秀)一F(一A;雷) 定义3.6混合集与百的混合偏关联系数与混合关联系数分别定义为 ()一 )一 Pc;百一与一丢 V—A,百?(X) 其具有如下性质: 性质3.11p(一A;百)一l0(百;)p(一A;)=l0(;百),V—A,B—E(X). 显然. 性质3.12p(U雷;n百)一p(一A;B一),V—A,B一?F一(X). 证明p(-~UB;n百)一F(A—UB一)+F(A—n秀)F(一AU秀)+F(A—n秀) F_uB(nB)+FxnB(AUB)F(A;B) 又因为F(U百)+F(n百) 一一 ?{户1logp1+Pi(1一1)logpl(1一,uil)) {qi,u2logq2+q(1一2)logqf(1一2)) ? 一 64模糊系统与数学 一 ?X {qi,ui2logq,ui2一qi(1一2)logq(1一,ui2)) 一 ?{户nlogp,uil—Pi(1一,uil)logp(1一,uil)) ?X一 一 F()+F() 所以 ID(u百;n雷)一一p(一A;雷) 性质3.130?(),(百),ID(;雷)?1,V—A,?().当且仅当一百时()一(吾) 一|D(;莒)一l;又当且仅当,吾都为确定分布,且模糊性都消失时p(A一;百)一0. 从相关系数的性质可知,它在某种程度上可以作为相似性的一种度量,在聚类分析, 图像处理, 模式识别等多个领域会发挥一定的作用,下面就举例说明其在现实生活中的应用. 4应用实例 例为了给一辆未上市的I汽车定价,找了四辆车C,D,S,B作为参照,通过市场调研, 得到 了五辆车的外观,内设,空间,耗油,排量,舒适度,流线型,灵敏度,质地,视野十项参数 的隶属函数 以及顾客对各个参数进行选择的概率,如下表: \参数 \外观内设空间耗油排量舒适度流线型灵敏度质地视野 型\ L车O.6O.80.7O.8O.6O.60.70.40.70.9O.6O.80.50.8O.8O.60.50.90.7O.8 C空O.9O.8O.60.7O.8O.8O.6O.8O.8O.60.90.5O.6O.6O.80.70.80.70.7O.6 D车0.5O.6O.60.40.70.7O.60.50.4O.60.5O.3O.80.70.7O.60.70.40.8O.2 S空0.70.70.7O.6O.6O.60.70.5O.60.80.6O.80.7O.80.70.70.5O.80.70.8 B空O.6O.4O.40.50.50.50.30.40.30.7O.60.40.40.30.50.40.6O.60.30.5 将每个车的概率进行归一化,并设五辆车的数据构成五个混合集Z,,,,百,经计算有 F(L)一2.91938 F(C)一2.82195 F(D)一2.87018 F(5)一2.93068 F(B)一2.9316 Fc(L)一2.95995 民(C)一3.08091 FD(L)一3.0414 Fz(D)一3.09899 Fs(L)一2.95568 F(5)一2.9442 F(L)一3.12266 FE(B)一3.08852 第4期王维琼,辛小龙:混合偏熵与关联熵65 p(L一,):0.950416 p(L一,):==0.942865 p(L,S)=0.991556 p(L一,豆)=0.942007 由计算结果可知,L车的总性能应与S车更接近,所以定价可与S车的价位相当,这 与实际一 致. 上例是混合关联系数在聚类分析中的应用.除此之外,其在模式识别,图像处理方 面都有应用. 混合关联系数法是一种非线性分析方法,克服了传统分析法只能解决线性问题的 缺点,有着广阔的 应用前景. 参考文献: [1] [2] [3] E4] [5] [6] DeLucaA,TerminiS.Adeftnitionofnonprobablisticentropyinthesettingoffuzzysetstheory [J]? Informationandcontrol,1972,20(4):3O1,312. XeWX,BedrosianSD.Aninformationmeasureforfuzzysets[J].IEEETrans-Syst?,Man'andCybern?, 1984.14(1):151,156. PalNR,PalSK.Higherorderfuzzyentropyandhybridentropyofaset[J]?InformationScience,1992, 61(3):211,231. 尚修刚,蒋蔚孙.DeLuca-Termini混合熵的合理性分析及推广[J].华东理工大 学,1996,23(5):59O, 595. 吴敏金,自治江.关联熵及其应用[J].华东师范大学,1998,2:28~35? BhandariD,PalNR.SomenewinformationmeasureoffuzzYsets[J].Inform?Sci,1993,67:209,228? HybridPartialEntropyandRelativeEntropy WANGWei—Qiong,XINXiao—long (1.CoilegeofScience,Chang'anUniversity,Xi'an710064,China; 2.DepartmentofMathematics,NorthwestUniversity,Xi'an710069'China) Abstract:Thehybridsetsthatrelatesthefuzzinessandprobablicitieswasdefined?Thenotionof hvbridpartialentropy,hybridrelativeentropyandhybridrelativecoefficientweeintroduced,and theirpropertieswerestudied.Further,anexamplewasproposedtoproVetheusefulnessofhybrid relativecoefficientinourdailylife. Keywords:HybridSets;HybridPartia1Entropy;HybridRelatiVeEntropy;HybridRlatie CnPfficient