混合偏熵与关联熵

混合偏熵与关联熵 Ξ 混合偏熵与关联熵 1 2王维琼, 辛小龙 (1. 长安大学 理学院, 陕西 西安 710064; )2. 西北大学 数学系, 陕西 西安 710069 摘 要: 定义联系模糊性和随机性的混合集、混合偏熵与关联熵以及混合关联系数, 研究了其性质, 并举 例说明混合关联系数在现实生活中的应用。 关键词: 混合集; 混合偏熵; 混合关联熵; 混合关联系数 中图分类号: 236 文献标识码: O A 1 引言 在很多系统中, 随机性与模糊性是同时存在的。 系统有两种不确定性: 一种与事件发生的概率 有关, 另一种则与判断事件具有某种特性的程度有关。 将两种不确定性综合起来是很有吸引力的, 这样可以用一个测度对它们进行统一处理。 将系统中两种不确定性统一起来的一种测度称为混合 1 2 3 熵, 不少专家对这种测度进行了深入研究: ; ; . . 和 分别给出了不. . D e L u ca X ie NRP a l SKP a l 4 同形式的混合熵; 尚修刚、蒋蔚孙对 1 中定义的混合熵的合理性进行了 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 并提出一种新形式 5 的混合熵; 作为事物不确定性度量—— 熵的概念之拓广, 吴敏金、白治江引入了随机变量的偏熵、 关联熵及关联系数。本文将偏熵、关联熵及关联系数的概念推广到更一般的情形, 定义了混合偏熵、 混合关联熵及混合关联系数, 讨论了其性质, 并举例说明混合关联系数在现实生活中的应用。 2 预备知识 a , , a b, b , 1 K1 K那么随机变量关于随, , : 定义2. 1 设随机变量X 与Y 的分布为X : X Y p , , p q,, q1 K 1 K 机变量 的偏熵定义为Y K () H X = - qlo gp Y k k? k = 1 2. 2定义 随机变量X 与 Y 之间的关联熵定义为它们的偏熵之和, 即 () () (); = + H X Y H Y X H X Y 定义 2. 3 随机变量的偏关联系数与关联系数分别定义为 () H Y () rY X =( ) Y H X Ξ 2 2 第 4 期王维琼, 辛小龙: 混合偏熵与关联熵 61 () H X () rX Y =( ) H Y X () () H X + H Y () r X ; Y = () () H Y X + H X Y 3 混合集的偏熵与关联熵 n 设 A 是论域 X 的一个模糊子集, 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示为A =这里 Λi 是 x i 的隶属函数, 值 Λx , Π x ? X .ƒ i i i ? i= 1 域为0, 1 。 ) (( 设M = Λ, Λ,, Λ, 称为模糊集 A 的可能性分布。又设论域 X 上有概率分布 P = p , p , 1 2 n 1 2 ) , p , 这里 p 代表 x 发生的概率。为统一考虑由随机性和模糊性引起的总的不确定性, 需要建立 n i i P 和M 的共同空间, 即积空间 P ×M , 混合偏熵与混合偏关联熵将在这个空间里表述。联系随机性 () 和模糊性的总分布函数可以定义为如下一个映射 f : P ×M ? 0, 1 , 其基本表达式定义为 fx i = p Λ1 这个表达式是合理的, 因为它反映了模糊性和随机性的共同存在。为方便起见, 仿照模糊 i i n ϖ () ()集的定义, 我们可以定义下面的混合集 AM , P = p Λƒx , Π x ? X X 为论域。i i i i ? i= 1 ϖ ϖ() 其中 Λi 表示 x i 对A 的隶属度, p i 为 x i 发生的概率, 以后简记AM , P = A. ϖ ϖ 定义 3. 1混合集与的并与交定义为 AB ϖ ϖ A? B= m ax {p Λ, q Λ}ƒx , x ? Xi i1 i i2 i i ? i ϖ ϖ A? B=m in {p Λ, q Λ}x ,ƒi i1 i i2 i x i ? X ? i ϖ ϖ 其中 A=p Λƒx , B= q Λƒx , x ? X .i i1 i i i2 i i ??i iϖ 混合集 A的补集定义为定义 3. 2 n ϖc () p 1 - Λƒx ,x ? XA=i i1 i i ? i= 1 显然, 交与并的定义满足幂等律、交换律、结合律、分配率、吸收律、021 律, 补集的定义满足复 c c ϖϖϖ () 原律 = , 但不满足德〃摩根律, 我们称其为的伪补。AAA ϖ ϖ () () 在本文中表示离散论域= {| = 1, 2,, }上的全体混合集, 中的任意混合集记FX X x i in FX 为 n ϖ A=p Λx , x ? Xƒi i i i ? i= 1 其中 表示 对的隶属度, 为 发生的概率。 Λi x i A p i x i 在本文中, 混合熵公式采用文献 1 中给出的形式 n ϖ() () () F A= - {p Λlo gp Λ+ p 1 - Λlo gp 1 - Λ}i i i i i i i i ? i= 1 ϖϖ ϖ ϖ ϖ 定义 3. 3() 设, 是论域 中的任意两个混合集, 则混合集关于的偏熵定义ABFX AB 为ϖϖ () () () F A= - {q Λlo gp Λ+ q 1 - Λlo gp 1 - Λ}Bi i2 i i1 i i2 i i1 n ? i= 1 ϖϖ ϖϖ 其中A, B分别为A= p i Λi1 ƒx i , B= q i Λi2 ƒx i , x i ?X . ϖ 此时混合集称为基准混合集, 且规定 0〃?.0= 0, 0= - Blo glo g ϖ 易知, 混合偏熵也是混合集的不确定性的一种度量, 且可以证明此偏熵具有如下性质:A 模 糊 系 统 与 数 学2005 年62 ϖϖϖϖ ϖ () 性质 311 ?0, Π , ?F BAABF ϖϖϖϖ ϖ ()() () () 。312 = , Π ?。性质 X F AAF AAFX ϖϖϖϖϖ ϖ () () 性质 313?, Π , ?F BAF BABFϖϖϖ () () 证明() F BA-。F BX () () = - [ q Λlo gp Λ+ q 1 - Λlo gp 1 - Λ]i i2 i i1 i i2 i i1 ? i () () + [ q i Λi2 lo gq i Λi2 + q i 1 - Λi2 lo gq i 1 - Λi2 ] ?i () q Λ i i2q i 1 - Λi2 () = q Λlo g + q 1 - Λlo gi i2 i i2 ? ()p 1 - Λp i Λ i1 i i1 i ()p Λ p i i1i 1 - Λi1 ()q Λq 1 - + 1 - i i2i 1 - Λi2 ? ? ()q i i2 i 1 - Λi2 q Λ i () () = [ q Λ- p Λ+ q 1 - Λ- p 1 - Λ]i i2 i i1 i i2 i i1 ? i ()= q - p i i ? i = 0 其中的不等式用到 ?1- 1, > 0。ƒlo gx x x ϖϖ ) () () ( , 1- }??- { , 1-{ 性质 314 - Λi1 }。 m axm ax lo gp i Λi1 lo gp i Λi1 F BAm inm in lo gp i Λi1 lo gp i i i ϖϖc ϖϖ c ϖϖ 3. 5() () 性质 = , Π ?F AAF AAAF n () 。X ϖc ϖ证明() () () F A= - [ p 1 - Λlo gp Λ+ p Λlo gp 1 - Λ]Ai i1 i i1 i i1 i i1 ? i= 1 n c ϖϖ () () () ) F A= - [ p Λlo gp 1 - Λ+ p 1 - Λlo gp Λ]Ai i1 i i1 i i1 i i1 ? i= 1 显然命 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 成立。 c ϖϖϖϖϖ c ϖϖ 3. 6() () ()性质 = , Π , ?。 由定义可F BAF BAABFX + - 证。定义 3. 4 定义= {?: ?}, = {?: < }, X x X p i Λi1 q i Λi2 X x X p i Λi1 q i Λi2 + p , x ?X i =?i -q , x ?X i +q , x ?X i =Σi - x ?X p ,i ϖϖϖϖϖϖϖϖθ ϖ θ θ θ θ () () () () 性质 317 ?+ ?= + , Π , , ?F CABF CABF CAF CBABCF ϖ ϖϖ θ θ () (证明() F ? B? 。 CA+ F CAX ϖ) B() () () = - { rΛlo gm ax p Λ, q Λ+ r1 - Λlo g [ ?- m ax p Λ, q Λ}i i3 i i1 i i2 i i3 i i i1 i i2 ? i ) () ) ((- { ri Λi3 lo gm in p i Λi1 , q i Λi2 + ri 1 - Λi3 lo g [ Σi - m in p i Λi1 , q i Λi2 } ?i () () = - { rΛlo gp Λ+ o gp i i3 i i1 ri 1 -Λi3 li 1 -Λi1 }? + x ?X () () Λlo gq 1 - Λ} - { rΛlo gq Λ+ri 1 -i3 i i2 i i3 i i2 ? + x ?X () () Λlo gq 1 - Λ} - { rΛlo gq Λ+ri 1 -i3 i i2 i i3 i i2 ? - x ?X () () - { rΛlo gp Λ+ i i3 i i1 ri 1 -Λi3 lo gp i 1 -Λi1 }? - x ?X 第 4 期王维琼, 辛小龙: 混合偏熵与关联熵 63 () () = - { rΛlo gp Λ+ r1 - Λlo gp 1 - Λ}i i3 i i1 i i3 i i1 ? i () () - { rΛlo gq Λ+ r1 - Λlo gq 1 - Λ}i i3 i i2 i i3 i i2 ? iϖϖθ θ () () = F CA+ F CB ϖ ϖ ϖϖϖϖϖϖϖ ϖ ϖ () () () ()定义3. 5 混合集与之间的关联熵定义为; = + , , ?。ΠABF ABF BAF ABABFX 即ϖϖ) () ) () (( F A; B= - [ q Λlo g p Λ+ q 1 - Λlo gp 1 -Λi1 ]i i2 i i1 i i2 i ?n i= 1 n ) () (() - [ p Λlo g q Λ+ p 1 - Λlo gq 1 - i i1 i i2 i i1 i Λi2 ]? i= 1ϖ ϖ 称为A与B的混合关联熵, 其具有如下性质: cc ϖϖϖϖϖϖϖϖϖϖϖ () () () () 318 ; = ; , ; = ; , Π , ?性质 F ABF BAF ABF ABABF 性质 319() 。X ϖϖϖϖϖϖϖϖϖ ϖϖϖϖϖϖ () () 性质 3110 (?) ; ?() = () ; , Π , ? F A; B?AB+ F A当且仅B当AB= F时等式成立。F ABF AF BAB () 。X ϖ ϖϖ ϖ() 证明 F A? B; A? B ϖ ϖϖ ϖϖϖ ϖϖ () () = F A? B+ F A? BA?BA?B() () = - {p Λlo gq Λ+ p 1 - i i1 i i2 i Λi1 lo gq i 1 -Λi2 }? + x ?X () () {q Λlo gp Λ+ - i i2 i i1 q i 1 -Λi2 lo gp i 1 -Λi1 }? + x ?X () () - {q Λlo gp Λ+ i i2 i i1 q i 1 -Λi2 lo gp i 1 -Λi1 }? - x ?X () () - {p Λlo gq Λ+ i i1 i i2 p i 1 -Λi1 lo gq i 1 -Λi2 }? - x ?X () () = - {p Λlo gq Λ+ p 1 - Λlo gq 1 - Λ}i i1 i i2 i i1 i i2 ? i () () - {q Λlo gp Λ+ q 1 - Λlo gp 1 - Λ}i i2 i i1 i i2 i i1 ? iϖϖϖϖϖ ϖ () () () = F BA+ F AB= F A; B ϖ ϖ 与的混合偏关联系数与混合关联系数分别定义为定义 3. 6 混合集AB ϖ ()F Bϖϖ () =ΘBAϖϖ )( F AB ϖ ()F Aϖϖ () = ΘABϖϖ () F B A ϖϖϖϖ )(()() ()F A + F BF A+ F Bϖϖ() = ; =ΘABϖϖϖ ϖ ϖ ϖ () () ()F A; BF A + F B BA ϖϖϖ () Π , ?ABFX 其具有如下性质: cc ϖϖϖϖϖϖϖϖϖϖϖ () () () () 性质 3111 ; = ; ; = ; , Π , ?ΘABΘBAABΘABABFΘ 显然。() 。X ϖϖϖϖϖϖϖϖϖ () () 3112 ?; ?= ; , Π , ?性质 ΘABABΘABABF ϖ ϖ ϖ ϖϖ ϖϖ ϖ )( )( () ()() F ?B ?BF ?B ?B 。A + F A A + F A X ϖϖϖϖ证明() ?; ?= ΘABABϖϖϖϖϖϖ ϖϖ ϖϖ () (()F A; BF A?BA?B+ F A?BA?ϖ ϖϖ ϖ =() () 又因为 F A? B+ F A? B) B () () = - {p Λlo gp Λ+ p 1 - Λlo gp 1 - Λ}i i1 i i1 i i1 i i1 ? + x ?X 模 糊系 统 与 数 学2005 年64 () () - {q Λlo gq Λ+q i 1 -Λi2 lo gq i 1 - Λi2 }i i2 i i2 ? + x ?X () () - {q Λlo gq Λ- q i 1 -i i2 i i2 Λi2 lo gq i 1 - Λi2 }? - x ?X () () - {p Λlo gp Λ-p i 1 -Λi1 lo gp i 1 - Λi1 }i i1 i i1 ? - x ?X ϖϖ() () = F A+ F B 所以 ϖϖ )()(F BF A + ϖ ϖϖ ϖϖ ϖ () ()ΘA? B; A? B= ΘA ; B ϖϖ ()F A; B =ϖϖϖϖϖϖϖ ϖϖ ϖϖ ϖ ϖ ϖ () () () ()() 0?, , ; ?1, Π , ?。 当且仅当= 时 = 性质 3113 ΘBAΘABΘABABFX ABΘBAΘAϖϖϖϖ ϖϖϖ() () = ; = 1; 又当且仅当, 都为确定分布, 且模糊性都消失时 ; = () ΘABABΘABB , 它在某种程度上可以作为相似性的一种度量, 在聚类分析、图像处理、 从相关系数的性质可知0。 模式识别等多个领域会发挥一定的作用, 下面就举例说明其在现实生活中的应用。 4 应用实例 例 为了给一辆未上市的汽车定价, 找了四辆车、、、作为参照, 通过市场调研, 得到了L CDSB 五辆车的外观、内设、空间、耗油、排量、舒适度、流线型、灵敏度、质地、视野十项参数的隶属函数以 及顾客对各个参数进行选择的概率, 如下表: 参 数 外观 内设 空间 耗油 排量 舒适度 流线型 灵敏度 质地 视野 车 型 车L 0. 6 0. 8 0. 7 0. 8 0. 6 0. 6 0. 7 0. 4 0. 7 0. 9 0. 6 0. 8 0. 5 0. 8 0. 8 0. 6 0. 5 0. 9 0. 7 0. 8 车C 0. 9 0. 8 0. 6 0. 7 0. 8 0. 8 0. 6 0. 8 0. 8 0. 6 0. 9 0. 5 0. 6 0. 6 0. 8 0. 7 0. 8 0. 7 0. 7 0. 6 车D 0. 5 0. 6 0. 6 0. 4 0. 7 0. 7 0. 6 0. 5 0. 4 0. 6 0. 5 0. 3 0. 8 0. 7 0. 7 0. 6 0. 7 0. 4 0. 8 0. 2 车S 0. 7 0. 7 0. 7 0. 6 0. 6 0. 6 0. 7 0. 5 0. 6 0. 8 0. 6 0. 8 0. 7 0. 8 0. 7 0. 7 0. 5 0. 8 0. 7 0. 8 车B 0. 6 0. 4 0. 4 0. 5 0. 5 0. 5 0. 3 0. 4 0. 3 0. 7 0. 6 0. 4 0. 4 0. 3 0. 5 0. 4 0. 6 0. 6 0. 3 0. 5 θ θ { θ ϖ 将每个车的概率进行归一化, 并设五辆车的数据构成五个混合集, , , , , 经计算有LCDSB θ () 191938 2F L= θ 2182195 () F C= { 2187018 () F D= θ 2193068 () F S= ϖ219316 () F B= θ 2195995 θ () F L=C θ θ 3108091 () F C= L θ { 310414 () F L= D { θ 3109899 () F D= L θ θ 2195568 () F L=S θ θ 219442 () F S=L θ ϖ 3112266 () F BL= 第 4 期王维琼, 辛小龙: 混合偏熵与关联熵 65 ϖθ () F B= 108852 3L θ θ () 01950416 ΘL, C= θ { () 01942865 ΘL, D= θ θ 01991556 () ΘL, S= θ ϖ01942007 () ΘL, B= 由计算结果可知, 车的总性能应与 车更接近, 所以定价可与 车的价位相当, 这与实际一L S S 致。 上例是混合关联系数在聚类分析中的应用. 除此之外, 其在模式识别、图像处理方面都有应用。 混合关联系数法是一种非线性分析方法, 克服了传统分析法只能解决线性问题的缺点, 有着广阔的 应用前景。 参考文献: 1 , . [ . D e L uca A T e rm in i SA def in it io n o f no np ro bab list ic en t rop y in th e se t t ing o f fuzzy se t s th eo ry J () , 1972, 20 4: 301, 312.Info rm a t io n and co n t ro l , . [. . . ,, . ,X ie W X B ed ro sian S DA n info rm a t io n m ea su re fo r fuzzy se t s J IE E E T ran sSy stM an and C ybe rn 2 () 1984, 14 1: 151, 156. , . [. , 1992,P a l N R P a l S KH igh e r o rde r fuzzy en t rop y and h yb r id en t rop y o f a se t J Info rm a t io n Sc ience s 3 () 61 3: 211, 231. ( ) 4 尚修刚, 蒋蔚孙. 2混合熵的合理性分析及推广 [. 华东理工大学学报, 1996, 23 5: 590, D e L ucaT e rm in i J 595. 5 吴敏金, 白治江. 关联熵及其应用 [J . 华东师范大学学报, 1998, 2: 28, 35. , . [. . , 1993, 67: 209, 228.6 B h anda r i D P a l N RSom e new info rm a t io n m ea su re o f fuzzy se t sJ Info rmSc i Hybr id Pa r t ia l En tropy an d Re la t ive En tropy 1 22, 2W A N G W e iQ io n gX IN X iao lo n g ( 1. , ’’, 710064, ;Co llege o f Sc ienceC h angan U n ive r sityX ian C h ina ) 2. , , ’710069, D ep a r tm en t o f M a th em a t ic sN o r thw e st U n ive r sityX ian C h inaA bstra c t: T h e h yb r id se t s th a t re la te s th e fu zzin e ss an d p ro b ab lic it ie s w a s def in ed. T h e no t io n o f , , h yb r id p a r t ia l en t rop yh yb r id re la t ive en t rop y an d h yb r id re la t ive co eff ic ien t w e re in t ro du ced . , an d th e ir p rop e r t ie s w e re stu d iedF u r th e ran ex am p le w a s p ropo sed to p ro ve th e u sefu ln e ss o f .h yb r id re la t ive co eff ic ien t in o u r da ily life : ; ; ; Key word sH yb r id Se t sH yb r id P a r t ia l E n t rop yH yb r id R e la t ive E n t rop yH yb r id R e la t ive Co eff ic ien t