作业参考答案-信息论Word版

2.3一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为可得，该排列发生所给出的信息量为bitdit（2）设事件B为从中抽取13张牌，所给出的点数互不相同。扑克牌52张中抽取13张，不考虑排列顺序，共有种可能的组合。13张牌点数互不相同意味着点数包括A，2，…，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为。因为每种组合都是等概率发生的，所以则发生事件B所得到的信息量为bitdit2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：(1)红色球和白色球各50只；(2)红色球99只，白色球1只；(3)红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R——“取到的是红球”，W——“取到的是白球”，Y——“取到的是黄球”，B——“取到的是蓝球”。（1）若布袋中有红色球和白色球各50只，即则bit（2）若布袋中红色球99只，白色球1只，即则bitbit（3）若布袋中有红，黄，蓝，白色各25只，即则bit2.7设信源为求，井解释为什么，不满足信源熵的极值性。解：bit/symbol不满足极值性的原因是，不满足概率的完备性。2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作，不是红绿色盲的概率记作，这两种情况各含的信息量为bitbit平均每个回答中含有的信息量为bit/回答对于女性，是红绿色盲的概率记作，不是红绿色盲的记作，则平均每个回答中含有的信息量为bit/回答联合熵和条件熵2.9任意三个离散随机变量、和，求证：。证明：方法一：要证明不等式成立，等价证明下式成立：根据熵函数的定义得证方法二：因为所以，求证不等式等价于因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11设随机变量和的联合概率空间为定义一个新随机变量（普通乘积）。（1）计算熵、、、、以及；（2）计算条件熵、、、、、、、以及；（3）计算互信息量、、、、以及；解（1）bit/symbolbit/symbol可得的概率空间如下由得由对称性可得（2）H-H=H-H根据对称性，H=HH=H-HH=H-H根据对称性，H=HH=HH=H-H根据对称性，把X和Y互换得H=HH=H-H(3)根据对称性，得根据对称性得2.17设信源发出二次扩展消息,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率和如下：　ABC1/21/31/6　D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6求二次扩展信源的联合熵。解：联合概率为可得X,Y的联合概率分布如下：ABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以2.19设某离散平稳信源，概率空间为并设信源发出的符号只与前一个相邻符号有关，其联合概率为如下表所示：01201/41/18011/181/31/18201/187/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：边缘分布为条件概率如下表：　01209/111/8012/113/42/9201/87/9所以信源熵为条件熵：可知因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：说明：（1）符号之间的相互依赖性造成了信源的条件熵比信源熵少。（2）联合熵表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为原因在于考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20黑白气象传真图的消息只有黑色（B）和白色（W）两种，即信源，设黑色出现的概率为，白色的出现概率为。（1）假设图上黑白消息出现前后没有关联，求熵（2）假设图上黑白消息出现前后有关联，其依赖关系为，，，，求此一阶马尔可夫信源的熵。（3）分别求上述两种信源的剩余度，并比较和的大小，试说明其物理意义。解：（1）假设传真图上黑白消息没有关联，则等效于一个DMS，则信源概率空间为信源熵为（2）该一阶马尔可夫信源的状态空间集为根据题意可得状态的一步转移矩阵状态极限概率满足即可以解得，该一阶马尔可夫信源的熵为​001100111-ε1-ε1-ε1-εεεεε​（3）黑白消息信源的剩余度为一阶马尔可夫信源的剩余度为由前两小题中计算的和比较可知该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。2.23设信源为试求：（1）信源的熵、信息含量效率以及冗余度；（2）求二次和三次扩展信源的概率空间和熵。解：（1）（2）假设X为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.18设有一个信源，它产生0，1符号的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。（1）试问这个信源是否是平稳的？（2）试计算,及；（3）试计算并写出信源中可能有的所有符号。解：（1）该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起点无关，因此这个信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。（2）（信源无记忆）（3）（信源无记忆）的所有符号：2.23设信源为试求：（1）信源的熵、信息含量效率以及冗余度；（1）求二次和三次扩展信源的概率空间和熵。解：（1）（2）假设X为DMS，则可得二次扩展信源的概率空间2次扩展信源的熵为三次扩展信源的概率空间及熵为2.25设连续随机变量X的概率密度函数为（1）求X的熵；（1）求的熵；（1）求的熵。解：（1）因为所以故（2）首先求得Y的分布函数Y的概率密度为Y的微分熵为（令）因为已知X，关于Y没有不确定，常数A不会增加不确定度，所以从熵的概念上也可判断此时（3）首先求得Y的分布函数Y的概率密度为Y的微分熵为（令）3.2信道线图如下，试确定该信道的转移概率矩阵解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号3.3的转移矩阵如下（1）画出信道线图；（2）若输入概率为，求联合概率、输出概率以及后验概率。解：（1）（2）乘以的第1行，乘以的第2行，得联合概率矩阵：的各列元素相加得对应的输出概率，写成矩阵形式：的各列元素除以对应的输出概率，得后验概率矩阵：3.4设离散无记忆信源通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为试求：（1）信源的符号和分别含有的自信息；（2）从输出符号所获得的关于输入符号的信息量；（3）信源和信道输出的熵；（4）信道疑义度和噪声熵；（5）从信道输出中获得的平均互信息量。解：(1)/符号/符号(2)==/符号=/符号=/符号=/符号(3)/符号/符号(4)、(5)/符号/符号/符号/符号又根据=/符号3.6举出下列信道的实例，给出线图和转移矩阵。（1）无损的，但不是确定的，也不是对称的；（2）准对称且无损，但不是确定的；（3）无损的确定信道。解：(1)满足（无损），(不确定)，不具有行列排列性，线图和转移矩阵如下(2)无损 要求 对教师党员的评价套管和固井爆破片与爆破装置仓库管理基本要求三甲医院都需要复审吗 ；不确定要求，具有行排列性，线图和转移矩阵如下：(3)无损、确定信道的线图和转移矩阵如下3.7求下列两个信道的信道容量和最佳输入分布，并加以比较。其中。解：(1)方法一：利用一般DMC信道容量解的充要条件，计算各偏互信息，并使之均等于信道容量C，再结合输出概率的完备性，可以解出信道容量，最后利用全概率公式得出最佳输入分布。该方法通用，但过程繁琐。方法二：观察发现此信道是准对称信道。信道矩阵中可划分为二个互不相交的子集，如下：，而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。其中n=2,，，，，,，所以输入等概率分布时达到信道容量。（2）此信道也是准对称信道，现采用准对称信道的信道容量公式进行计算。此信道矩阵中可划分成两个互不相交的子集为，这两矩阵为对称矩阵。其中n=2，，，，，所以输入等概率分布（）时达到此信道容量。两个信道的噪声熵相等但第二个信道的输出符号个数较多，输出熵较大，故信道容量也较大。3.8求下列二个信道的信道容量及其最佳的输入概率分布。解：图中2个信道的信道矩阵为矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得比特/符号特/符号最佳输入分布是输入为等概率分布。3.9设信道转移矩阵为（1）求信道容量和最佳输入分布的一般表达式；（2）当和时，信道容量分别为多少？并针对计算结果作一些说明。解：（1）该信道属一般信道，设最佳输入分布为，三个输入概率外加信道容量，共4个参数，需列4个方程。由定理3.6，有化简得解得转移概率已知，输出分布已求出，根据可求出。解得（2）当p=0,此信道为一一对应信道，得bit/信道符号，最佳输入分布为当时，=1bit/信道符号，最佳输入分布为，p=0时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信道容量。但时，信道存在干扰，信道容量小于前者。3.10信道及它的输入、输出如图题3.1所示图题3.1(1)求最佳输入分布；(2)求时信道容量；(3)求当和时的最佳输入分布值。解：参考教材-例3.12那么最佳输入分布为（2）时，代入p的表达式，可得所以（3）记，则所以时信道线图趋于一个无噪无损信道，当输入等概时达到信道容量，等效信道如下：当时，原信道趋近于信道此时，那么，无所谓最佳输入分布，任意输入分布均可使信道达到该信道容量。3.14设两个DMC的转移矩阵分别为求2次扩展信道的转移矩阵。解：因为信道无记忆，所以，利用可得扩展信道的转移矩阵如下：(1)3.15若有二个串接的离散信道，它们的信道矩阵都是并设第一个信道的输入符号是等概率分布，求和并加以比较。解：由第一信道的传递矩阵，以及可计算得，，所以=1.5比特/符号串联信道矩阵为对于串联信道，其信道传输矩阵为，当设输入符号为等概率分布时，由可计算得，，所以=1.5比特/符号可见第一个信道串联上第二个信道后，所得的信息没有损失。这是因为在中，将第三列和第四列互换，然后将第三行与第四行互换后，所得矩阵​��������������i�W������1�x�2�x�3�x�4�x�1�/�3�1�/�12�1�/�4�1�/�3�1�3�3�2�101�100�11�0������i�l�0�1�0�1�1.0�1�1�/�3�1�/�3�2/3�0�​与完全一样。这样，不论输入是何种概率分布，而与的概率分布总是相等，进一步可得各后验概率对应相等，即(下标对应或的行列号)因此，从信道输出端得到的信息量自然是相等的。3.17设二元对称信道的输入概率分布为，转移矩阵为（1）求信道输入熵、输出熵、损失熵、噪声熵以及平均互信息量；（2）求信道容量和最佳输入分布；（3）求信道剩余度。解：(1)利用输入概率矩阵和转移概率矩阵可得输出概率矩阵：bit/符号损失熵bit/符号噪声熵=≈0.390+0.528≈0.918bit/符号平均互信息≈0.811-0.749=0.062bit/符号输出熵=0.4536+0.5363=0.9899bit/符号(2)该信道为二元对称信道bit/符号（3）信道剩余度bit/符号3.18设一时间离散、幅度连续的无记忆信道的输入是一个零均值、方差为E的高斯随机变量，信道噪声为加性高斯噪声，方差为，信道的符号传输速率为=8000符号/秒。如令一路电话通过该信道，电话机产生的信息率为64kbps,求输入信号功率的最小值。解：由加性高斯噪声信道容量公式，该信道的信道容量为为使电话机产生的64kbps数据正确通过信道，必须64×bps≤即得≥=65535W所以输入信号功率应不小于65.5mW。3.19设某连续信道，其特性如下而信道输入变量的概率密度函数为试计算：（1）信源的微分熵。（2）平均互信息。解：（1）将的分布稍作变形如下可见，信源是均值为零，方差为的正态分布，所以(2)输出概率密度函数为可见，输出随机变量Y服从均值为零，方差为的正态分布，输出熵为又噪声熵为所以0.208bit4.1设DMS的概率空间为对其单个符号进行二进制编码，即码元集合为。定义编码为试计算（1）该信源的熵；（2）由码字构成的新信源的熵；（3）由码元构成的新信源的熵；（4）信息率；（5）编码效率；（6）码的冗余度解：（1）（2）（3）码元码元；比特/码元（4）（5）（6）4.3对信源编出了六种不同的码，如下表所示。0000000000101101010100010011110110110010101101111110111011011101000111111110101111001111010111111111101101111011（1）这六种码分别是什么码？哪些码是UDC？（2）分别求出各码的平均码长。解：（1）定码长，非奇异码，是UDC变码长，非奇异吗，最短码字为”0”，是其他码字的前缀但是这些尾随后缀都不是码字。同理，对于其他码字，其尾随后缀都不是码字，所以是UDC变码长，非奇异吗，无码字是其他码字的前缀，它们都不存在尾随后缀，所以是UDC变长，奇异码，最短码字“0”，不是其他码字前缀，而码字“10”是码字“1011”的前缀，其尾随后缀11是码字“110”的前缀，得尾随后缀为0，它是最短码字，不是UDC有相同码字，是奇异码计算，所以不是UDC（2）平均码长计算公式为​可达速率域​码元／信源符号码元／信源符号码元／信源符号=1.875码元／信源符号=2码元／信源符号=2码元／信源符号4.7设DMS为用二元符号表对其进行定长编码。（1）求无失真定长编码的最小码长和编码效率；（2）将编码器输出视为新信源，求；（3）若所编的码为，求编码器输出码元的一维概率分布和；（4）吗？为什么？解：（1）​11(bit/symbol)(bit/symbol)​取定长码长码元个数为(2)无失真编码是保熵编码因为所以bit/码元（3）设平均每个码字所含码元“0”和“1”的个数为；bit/码元（4）因为前者为算术平均，后者为统计平均4.9信源同4.7题。（1）进行二进制霍夫曼编码，求平均码长和编码效率；（2）将编码器输出视为新信源，求；（3）求编码器输出码元的一维概率分布和；（4）吗？为什么？（5）从编码方法的角度考虑，怎么才能使？解：（1）编码结果：（2）（3）设平均每个码字所含码元“0”“1”的个数为和（4）但是比较接近左边是对码长的算术平均，右边是对码长做了统计平均。（5） 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 合适的编码方法，使得压缩效率达到100%，可以使二者相等4.10设信源为（1）进行二进制霍夫曼编码，求平均码长和编码效率；（2）进行三进制霍夫曼编码，求平均码长和编码效率。解：（1）（2）4.14信源同题4.13，进行二进制费诺编码，求平均码长和编码效率，并 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 编码的冗余压缩效果。信源符号概率　码字码长u10.2500　002u20.251012u30.210102u40.1510　1103u50.11011104u60.051111144.15信源同题4.13，进行二进制香农编码，求平均码长和编码效率，并分析编码的冗余压缩效果。解：信源符号概率码长累积概率码字u10.252000u20.2520.2501u30.230.5100u40.1530.7101u50.140.851101u60.0550.95111104.18某一页传真文件的一扫描行的像素分布如下:|←85白→∣←7黑→∣←33白→∣←728黑→∣←875白→∣试确定:(1)该扫描行的MH码；(2)本行编码的压缩比。解：（1）110110010111000110001001000000010010110000001011101101001000101100000000000001（2）压缩比=原始数据量/压缩后数据量=1728比特/78比特=22.155.1已知信道矩阵P和两种不同的译码函数F1和F2，求相应于F1和F2的平均错误概率。，F1：，F2：解：设输入符号为等概率分布对于F1有=0.567对于F2有可见，即得以下结论：（1）平均错误概率与译码规则有关；（2）极大似然译码准则F1优于F2。5.2设码为，用2元对称信道传送（错误概率）。如果码字概率为，试找出一种译码规则，使平均差错率最小。解：对于3次2元扩展信道的转移矩阵为用0.5乘以的第1行；用0.125乘以第2、3行；用0.25乘以第4行得到联合概率矩阵为比较联合概率矩阵的各列概率，得出使平均差错概率最低的译码函数为：两种典型的译码规则5.3设有DMC其转移矩阵如下若信道输入概率为，试确定最佳译码规则和极大似然译码规则并计算出相应的平均差错率。解：，用1/2乘以转移矩阵的第1行；用1/4乘以转移矩阵的第2、3行得到信道的联合概率矩阵为根据最佳译码准则，在联合概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为平均错误概率若根据最大似然概率译码准则，在矩阵每列中选一最大值，译为平均错误概率5.7码为。（1）求该码的最小汉明距离；（2）假设码字等概率分布，该码的码率；（3）若采用最小距离译码规则，那么，当接收到“10000”、“01100”以及“00100”时，别译为什么码字。（4）该码能检出几位错误？能纠正几位错误？解：（1）D(11100,01001)=3;D(11100,10010)=3;D(11100,00111)=4;D(01001,10010)=4;D(01001,00111)=3;D(10010,00111)=3，所以(2)此二元码的码字个数，码长，所以，码率bit/码元（3）采用最小距离译码准则（即将接收序列译成与其码距为最小的码字），接收序列10000与码字10010距离为1，与其码字的距离都大于1，所以10000译成10010同理01100译成1110000100译成11100或00111任一个（4）该码，，所以，此码能纠正1位错误；能检出2位错误。5.9若有一信源每秒钟发出3个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传递两个二元符号，试问信源能否在此信道中进行无差错的传输。解：信源熵为bit/symbol信源输出的信息速率=3=3bit/s将此信源输出符号送入二元无噪无损信道进行传输，此信道每秒钟只传送两个二元符号。此信道的最大信息传输速率=2log2=2bit/s因为根据信道编码定理，不论如何编码，此信源都不可能在此信道中实现无错误地传输，所以信源在此信道中传输将会引起错误和失真。5.11下面是某（N,K)线性二元码的全部码字：(1)求N，K为何值；(2)构造这码的生成矩阵；(3)构造这码的一致校验矩阵。解：（1）因为码字长度为6，故N=6；而码字数，说明信息组有8个，所以，该码为(6,3)线性分组码。（2）生成矩阵G为K=3,N=6列的矩阵，由K=3个线性独立的码（非全零）组成。故(3)设信息组，则码字所以所以6.1设输入符号集为，输出符号集为。定义失真函数为试求失真矩阵。解：6.2若某无记忆信源为，接收符号，其失真矩阵为。求信源的最大平均失真度和最小平均失真度，并求选择何种信道可达到该和的失真。解：根据最大平均失真度的定义，有而最小平均失真达到的条件是信道输入与输出是互相统计独立，即因为，所以满足的信道为达到的信道为保证在输入符号确定时，各列对应的中最小者以概率1出现，故这时的信道为或（注：可编辑下载，若有不当之处，请指正，谢谢!）推荐精选推荐精选推荐精选