第3章 离散信道及其信道容量

null第3章 离散信道及其信道容量第3章 离散信道及其信道容量赵 越 2011.9.null信道的任务是以信号方式传输信息和存储信息。 研究信道中能够传送或存储的最大信息量，即信道容量。数字通信系统的一般模型3.1 信道的数学模型及分类3.1 信道的数学模型及分类 我们认为噪声或干扰主要从信道中引入，它使信号通过信道传输后产生错误和失真。 所以，信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。null3.1.1 信道的分类 根据载荷消息的媒体不同根据信息传输的方式null根据信道的用户多少： （1）两端(单用户)信道---只有一个输入端和一个输出端的单向通信的信道； （2）多端(多用户)信道---输入端和输出端中至少有两个以上的用户，并且可以双向通信的信道。null根据信道输入端和输出端的关联： （1）无反馈信道---信道输出端无信号反馈到输入端，即输出端信号对输入端信号无影响、无作用； （2）反馈信道---输出端的信号反馈到输入端，对输入端信号起作用。根据信道的参数与时间的关系： （1）固定参数信道---信道参数不随时间变化而变化 （2）时变参数信道---信道参数随时间变化而变化 null根据输入和输出信号的特点： （1）离散信道---输入输出的随机序列的取值都是离散的信道； （2）连续信道---输入输出的随机序列的取值都是连续的信道； （3）半离散或半连续信道---输入序列是离散型的，但相应的输出序列是连续的信道，或相反。 （4）波形信道---输入和输出都是一些时间上连续的随机信号。（又称模拟信道） null条件概率 P(y/x) 描述了输入信号和输出信号之间统计依赖关系。反映了信道的统计特性。3.1.2 离散信道的数学模型null根据信道的统计特性即条件概率 P(y/x)的不同，离散信道又可分成三种情况： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道 null (1) 无干扰(无噪)信道 信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号 x 之间有确定的、一 一对应的关系。即： y ＝ f (x)null(2)有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。充要条件为：null (3) 有干扰(噪声)有记忆信道 实际信道往往是既有干扰(噪声)又有记忆的这种类型，这是更一般的情况。 在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。3.1.3 单符号离散信道3.1.3 单符号离散信道 单符号离散信道： 输入符号为X，取值于{a1,a2, …,ar}。 输出符号为Y，取值于{b1,b2, …,bs}。 条件概率：P(y/x)＝P(y=bj/x=ai)＝P(bj/ai) 这一组条件概率称为信道的传递概率或转移概率，可以用来描述信道干扰影响的大小。null信道中有干扰(噪声)存在，可以用传递概率 P(bj/ai) 来描述干扰影响的大小。 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描述。 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。也可用下图来描述：例3.1 二元对称信道，[BSC，Binary Symmetrical Channel]例3.1 二元对称信道，[BSC，Binary Symmetrical Channel] 一很重要的特殊信道，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。 传递概率: p是单个符号传输发生错误的概率。 （1-p）表示是无错误传输的概率。 转移矩阵:例3.2 二元删除信道。[BEC，Binary Eliminated Channel]例3.2 二元删除信道。[BEC，Binary Eliminated Channel]解：X:{0，1} Y:{0，1，2} 此时，r ＝2，s ＝3， 传递矩阵为：符号“2”表示接收到了“0”、“1”以外的特殊符号null一般离散单符号信道的传递概率可用矩阵形式表示，即 矩阵P完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型的形式。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 3.2 平均互信息及平均条件互信息3.2 平均互信息及平均条件互信息 本节进一步研究离散单符号信道的数学模型下的信息传输问题。3.2.1 信道疑义度3.2.1 信道疑义度信道输入信源X的熵 H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为先验熵。 如果信道中无干扰，信道输出符号与输入符号一一对应，接收到传送过来的符号就消除了对发送符号的先验不确定性。接受到bj后，关于X的不确定性为 接受到bj后，关于X的不确定性为 这是接收到输出符号bj后关于X的后验熵。 但一般信道中有干扰存在，接收到输Y后，对发送的是什么符号仍有不确定性。 怎样度量接收到Y后关于X的不确定性呢？ null 后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵--信道疑义度： 后验熵是当信道接收端接收到输出符号bj后，关于输入符号的信息测度。null 信道疑义度表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的平均不确定性。 这个对X尚存的不确定性是由于干扰引起的。 如果是一一对应信道，接收到输出Y后，对X的不确定性将完全消除，则信道疑义度为零。 已知， 代表接收到输出符号以前关于输入量X的平均不确定性，而 代表接收到输出符号后关于输入变量X的平均不确定性。 通过信道传输消除了一些不确定性，获得了一定的信息。所以定义 已知， 代表接收到输出符号以前关于输入量X的平均不确定性，而 代表接收到输出符号后关于输入变量X的平均不确定性。 通过信道传输消除了一些不确定性，获得了一定的信息。所以定义3.2.2 平均互信息 它代表接收到输出符号后平均每个符号获得的关于X的信息量。也表明，输入与输出两个随机变量之间的统计约束程度。null 平均互信息就是互信息 在两个概率空间X和Y中求统计平均的结果。互信息量 I(xi ; yj)：收到消息y 后获得关于x的信息量即：互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量对于无干扰信道，I(xi ; yj) = I(xi)；对于全损信道，I(xi ; yj) = 0；互信息量 I(xi ; yj)：收到消息y 后获得关于x的信息量 互信息可取正值，也可取负值。取负值说明在为收到消息y之前对消息x是否出现的猜测的难易程度较小。由于噪声的存在，接收到消息y后，反而是收信者对消息x是否出现的猜测难疑度增加。平均互信息I(X; Y)： I(xi ; yj)的统计平均平均互信息I(X; Y)： I(xi ; yj)的统计平均 所以，平均互信息I(X; Y)永远不会取负值。 最差的情况是平均互信息为零，即信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。null关于平均互信息I(X;Y) 互信息 I(x ; y) 代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。 若互信息I(x ; y)<0，说明在未收到信息量y以前对消息x是否出现的不确定性较小，但由于噪声的存在，接收到消息y后，反而对x是否出现的不确定程度增加了 I(X;Y)是I (x ; y)的统计平均，所以I(X;Y) >= 0。 若I(X;Y) = 0，表示在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量----全损信道。平均互信息与各类熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) 其中：平均互信息与各类熵的关系null平均互信息与各类熵之间关系的集合图（维拉图）表示： H(X|Y) = H(X) - I(X;Y) H(Y|X) = H(Y) - I(X;Y) H(XY) = H(X)+H(Y)- I(X;Y) H(X)H(Y)H(X/Y)H(Y/X)图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。I(X;Y)表示信源符号通过有噪信道传输后引起的信息量的损失—损失熵由信道中噪声引起的—噪声熵null 两种特殊信道（1）离散无干扰信道 ( 无损信道 ) 信道的输入和输出一一对应，信息无损失地传输，称为无损信道。 H(X|Y) = H(Y|X) = 0 [损失熵和噪声熵都为“0” ] 由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息: I(X;Y) = H(X) = H(Y) null（2）输入输出独立信道 ( 全损信道 ) 信道输入端X与输出端Y完全统计独立 H(X|Y) = H(X) , H(Y|X) = H(Y) 所以 I(X;Y) = 0 [I(X;Y) = H(X) - H(X|Y)] 信道的输入和输出没有依赖关系，信息无法传输，称为全损信道。 接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。 平均互信息I(X;Y)等于零，表明了信道两端随机变量的统计约束程度等于零。null二种极限信道各类熵与平均互信息之间的关系 H(X|Y) = H(X) H(Y|X) = H(Y) I(X;Y) = 0H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)无损信道：完全重迭全损信道：完全独立无损信道：全损信道：3.3 平均互信息的特性3.3 平均互信息的特性平均互信息 I(X;Y) 具有以下特性： （1）非负性 即 I(X;Y) >= 0 当X、Y统计独立时等式成立。 （2）极值性 即 I(X;Y) <= H(X) 当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。从一个事件提取另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。null（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰，一一对应时 I(X;Y) = I(Y;X)=H(X)=H(Y)null（4）凸状性 所以，平均互信息I(X;Y)只是信源X的概率分布P(x)和信道的传递概率P(y/x)的函数，即： I(X;Y) = f [P(x), P(y|x)]null定理3.1 平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。定理3.1 平均互信息I(X;Y)是输入信源的概率分布P(x)的∩型凸函数。 （1）对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。 （2）对于每一个固定信道，一定存在有一种信源(某一种概率分布P(x))，使输出端获得的平均信息量为最大。定理3.2 平均互信息I(X;Y)是信道传递的概率P(y/x)的∪型凸函数。定理3.2 平均互信息I(X;Y)是信道传递的概率P(y/x)的∪型凸函数。当信源固定后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。 对每一种信源都存在一种最差的信道，此时干扰 (噪声) 最大，而输出端获得的信息量最小。null小结：各种熵之间的关系3.4 信道容量及其一般计算方法信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量。3.4 信道容量及其一般计算方法 信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。null什么是信道？ 信道是传送信息的载体——信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 研究信道目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。null研究信道是要讨论信道中平均每个符号所能传送的信息量-----信息传输率R 平均互信息I(X;Y)就是接收到符号Y后平均每个符号获得的关于X的信息量。 所以： R = I(X;Y) = H(X) – H(X|Y) (比特/符号)信道中每秒平均传输的信息量----信息传输速率RtRt ＝ R/t = I(X;Y)/t = H(X)/t – H(X|Y)/t （比特/秒）null由于平均互信息I(X;Y)是输入随机变量的∩型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。 即存在一个最大的信息传输率 ------定义为信道容量CCt仍称为信道容量 若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为Ct：null即：例3.5 信道容量的计算因此，二元对称信道的信道容量为：(比特／符号)3.4.1 离散无噪信道的信道容量1. 无噪无损信道3.4.1 离散无噪信道的信道容量例如：其信道矩阵是单位矩阵：满足： I(X;Y)=H(X)=H(Y)null2.有噪无损信道： 接收到符号Y后，对X符号是完全确定的。 损失熵H(X/Y)=0， 但噪声熵H(Y/X)≠0其信道矩阵：所以 ： I(X;Y)=H(X)