《信息论》—基础理论与应用课后答案

《信息论》—基础理论与应用课后 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 第二章课后习 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次,解:从信息论的角度看， 1 “12 枚硬币中，某一枚为假币”该事件发生的概率为 P ; 12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P ; 2 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有 I log 12 log 2 log 24 比特 1 而用天平称时，有三种可能性:重、轻、相等，三者是等概率的，均为 P ，因此天 3平每一次消除的不确定性为 I log 3 比特 因此，必须称的次数为 I 1 log 24 ? 2.9 次 I2 log 3因此，至少需称 3 次。 【延伸】如何测量,分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量,解: “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 1 1 1因此该种情况发生的概率为 P × ，该事件的信息量为: 6 6 36 本页已使用福昕阅读器进行编辑。 福昕软件(,),,,,,,,,,，版权所有， 仅供试用。 I log 36 ? 5.17 比特 “两骰子总点数之和为 8”共有如下可能:2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概 1 1 5率为 P × ×5 ，因此该事件的信息量为: 6 6 36 36 I log ? 2.85 比特 5 1 1 1 “两骰子面朝上点数是 3 和 4”的可能性有两种: 和 4、 和 3， P × ×2 ， 6 6 18因此该事件的信息量为: I log 18 ? 4.17 比特【2.3】3 4 概率为 如果你在不知道今天是星期几的情况下问你的朋友“明天星期几,”则答案中含有多少信息量,如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量(假设已知星期一至星期日的顺序),解: 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 1P ，因此此时从答案中获得的信息量为 7 I log 7 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。【2.4】居住某地区的女孩中有 25是大学生，在女大学生中有 75是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量,解: 设 A 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示女孩是大学生， P A 0.25 ; B 表示女孩身高 1.6 米以上， P B A 0.75 ， P B 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为 本页已使用福昕阅读器进行编辑。 福昕软件(,),,,,,,,,,，版权所有， 仅供试用。 P AB P A P B A 0.25 × 0.75 P A B 0.375 P B P B 0.5已知该事件所能获得的信息量为 1 I log ? 1.415 比特 0.375 X a1 0 a 2 1 a 3 2 a 4 3【 2.5】 设 离散 无 记 忆 信源 1/ 8 ， 其 发 出 的消 息 为 P x 3 / 8 1/ 4 1/ 4(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息是多少,(2) 在此消息中平均每个符号携带的信息量是多少,解: 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为: 8 I a 0 0 log 1.415 比特 3 I a1 1 log 4 2 比特 I a 2 2 log 4 2 比特 I a3 3 log 8 3 比特 在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为: I 14 × 1.415 13 × 2 12 × 2 6 × 3 ? 87.81 比特 45 个符号共携带 87.81 比特的信息量，平均每个符号携带 的信息量为 87.81 I 1.95 比特/符号 45注意:消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得 H X ? P x log P x 1.91 比特/符号【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，且它们的坐标分别为(XAYA)和 (XBYB)，但 A 和 B 不能落入同一方格内。(1) 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少,(2) 若已知 A 已落入，求 B 落入的平均自信息量。(3) 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。解: (1)求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一格的概率空间为: X 1 a a2 a3 L a 48 P 1 1 1 1 48 48 48 L 48平均自信息量为 H A log 48 5.58 比特/符号 (2)已知质点 A 已落入，求 B 落入的平均自信息量，即求 H B A 。 1 A 已落入，B 落入的格可能有 47 个，条件概率 Pb j ai 均为 。平均自信息量为 47 48 47 H B A ?? Pai Pb j ai log Pb j ai log 47 5.55 比特/符号 i 1 j 1 (3)质点 A 和 B 同时落入的平均自信息量为 H AB H /符号【2.7】从大量统计资料知道，男性中红绿色盲的发A H B A 11.13 比特 病率为 7，女性发病率为 0.5，如果你问一位男同志:“你是否是红绿色盲,”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量,平均每个回答中含有多少信息量,如果你问一位女同志，则答案中含有的平均自信息量是多少,解: 男同志红绿色盲的概率空间为: X a1 a2 P 0.07 0.93 问男同志回答“是” ”所获得的所获昨的信息量为: 1 I log ? 3.836 比特/符号 0.07 问男同志回答“否 信息量为: 1 I log ? 0.105 比特/符号 0.93 男同志平均每个回答中含有的信息量为 H X ? P x log P x 0.366 比特/符号 同样，女同志红绿色盲的概率空间为 Y b1 b2 P 0.005 0.995 问女同志回答“是”所获昨的信息量为: 1 I log ? 7.64 比特/符号 0.005 问女同志回答“否”所获昨的信息量为: 1 I log ? 7.23 × 10 3 比特/符号 0.995 女同志平均每个回答中含有的信息量为 H Y ? P x log P x 0.045 比特/符号 X a1 a2 a3 a4 a5 a6【2.8】设信源 0.2 0.19 0.18 0.17 0.16 0.17 ，求此信源的熵，并解释为什 P x么 H X gt log 6 ，不满足信源熵的极值性。解: H X ? P x log P x 2.65 gt log 6 原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【 2.9 】 设 离 散 无 记 忆 信 源 S 其 符 号 集 A a1 a 2 ... a q ， 知 其 相 应 的 概 率 分 别 为 P1 P2 ... Pq 。 设 另 一 离 散 无 记 忆 信 源 S ′ ， 其 符 号 集 为 S 信 源 符 号 集 的 两 倍 ，A′ ai i 1 2...2q ，并且各符号的概率分布满足 Pi′ 1 ε Pi i 12... q Pi′ εPi i q 1 q 2...2q试写出信源 S ′ 的信息熵与信源 S 的信息熵的关系。解: H S ′ ? P x log P x ? 1 ε Pi log1 ε Pi ? εPi log εPi 1 ε ? Pi log1 ε 1 ε ? Pi log Pi ε ? Pi log ε ε ? Pi log Pi 1 ε log1 ε ε log ε H S H S H ε 1 ε ′【2.10】设有一概率空间，其概率分布为 p1 p 2 ... p q ，并有 p1 gt p 2 。若取 p1 p1 ε ，p ′ p 2 ε ，其中 0 lt 2ε ? p1 p 2 ，而其他概率值不变。试证明由此所得新的概率空间的 2熵是增加的，并用熵的物理意义加以解释。解: 设新的信源为 X ′ ，新信源的熵为: H X ′ ? pi log p i p1 ε log p1 ε p 2 ε log p 2 ε L p q log p q 原信源的熵 H X ? p i log pi p1 log p1 p 2 log p 2 L p q log p q因此有， H X H X ′ p1 ε log p1 ε p 2 ε log p 2 ε p1 log p1 p 2 log p 2 p p2令 f x p1 x log p1 x p 2 x log p 2 x ， x ? 0 1 ，则 2 p2 x f ′ x log ?0 p1 x 本页已使 用福昕阅读器进行编辑。 福昕软件(,),,,,,,,,,，版权所有， 仅供 试用。即函数 f x 为减函数，因此有 f 0 ? f ε ，即 p1 ε log p1 ε p 2 ε log p 2 ε ? p1 log p1 p 2 log p 2因此 H X ? H X ′ 成立。【解释】 当信源符号 的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。 L m【2.11】试证 明:若 ? pi 1 ， ? q j p L ，则 i 1 j 1 q1 q 2 q H p1 p 2 K p L 1 q1 q 2 K q m H p1 p 2 K p L 1 p L p L H K m pL pL pL并说明等式的物理 意义。解: H p1 p 2 K p L 1 q1 q 2 K q m p1 log p1 p 2 log p 2 K p L 1 log p L 1 q1 log q1 q 2 log q 2 K q m log q m p1 log p1 p 2 log p 2 K p L 1 log p L 1 p L log p L p L log p L q1 log q1 q 2 log q 2 K q m log q m p1 log p1 p 2 log p 2 K p L 1 log p L 1 p L log p L q1 q 2 q 3 L q m log p L q1 log q1 q 2 log q 2 K q m log q m p1 log p1 p 2 log p 2 K p L 1 log p L 1 p L log p L q1 q q q1 log q 2 log 2 K q m log m pL pL pL p1 log p1 p 2 log p 2 K p L 1 log p L 1 p L log p L q1 q q q q q p L log 1 2 log 2 K m log m pL pL pL pL pL pL q1 q 2 q H p1 p 2 K p L 1 p L p L H m K m pL pL pL【意义】 将原信源中某一信源符号进行分割，而分割 后的符号概率之和等于被分割的原符号的概率，则新信源的信息熵增加，熵所增加 的一项就是由于分割而产生的不确定性量。【2.12】(1)为了使电视图像获得良好 的清晰度和规定的适当的对比度，需要用 5×105 个 本页已使用福昕阅读器进行编 辑。 福昕软件(,),,,,,,,,,，版权所有， 仅供试用。像素和 10 个 不同亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。(2)设某彩电系统，除 了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色彩度，试证明传 输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。解: 每个像素的电平 取自 10 个不同的电平，每一个像素形成的概率空间为: X a1 a 2 L a10 P 1 1 1 10 10 L 10这样，平均每个像素携带的信息量为: H X log 10 3.32 比特/像素现 在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为: H X N NH X 5 × 10 5 × log 10 1.66 × 10 6 比特/帧按每秒传输 30 帧计算，每秒需要传输的 比特数，即信息传输率为: 30 × H X N 4.98 × 10 7 比特/秒 除满足黑白电视系 统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出现，则其概率 空间为: Y b1 b2 L b30 P 1 1 1 30 30 L 30其熵为 log 30 比特/符号，由于电平与 色彩是互相独立的，因此有 H XY H X H Y log 300这样，彩色电视系统 的信息率与黑白电视系统信息率的比值为 H XY log 300 ? 2.5 HX log 10 本 页已使用福昕阅读器进行编辑。 福昕软件(,),,,,,,,,,，版权所有， 仅供试用。【2.13】每帧电视图像可以认为是由 3×105 个像素组成，所以像素均是 独立变化，且每一像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问 每帧图像含有多少信息量,若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字是 等概率分布，并且彼此无依赖),若要恰当地描述此图像，广播员在口述中至少需 用多少汉字,解: 每个像素的电平亮度形成了一个概率空间，如下: X a1 a 2 L a128 P 1 1 1 128 128 L 128 .