第3章 离散信道及其信道容量（ok）

nullnull第3章 离散信道及其信道容量 3.1 信道的数学模型及分类3.2 平均互信息3.3 平均互信息的特性3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量3.6 信源与信道的匹配null3.1 信道的数学模型及分类1、信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道（2）有反馈信道null根据信道参数与时间的关系：固定参数信道（恒参信道）与时变参数信道（随参信道）根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道我们只研究无反馈、固定参数的单用户离散信道。3.1 信道的数学模型及分类null设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={x1，x2，…， } 输出符号集：Y={y1，y2，…， } 信道转移概率： P(y/X)2、离散信道的数学模型3.1 信道的数学模型及分类离散信道的数学模型null（1）无干扰信道：输入信号与输出信号 有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关； （3）有干扰有记忆信道：这是最一般的信道。3.1 信道的数学模型及分类根据信道模型，可对信道分类如下：null3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 X Y3.1 信道的数学模型及分类null表示成矩阵形式：3.1 信道的数学模型及分类 为方便可以写成null[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; 3.1 信道的数学模型及分类传递矩阵：二元对称信道模型：null[例2] 二元删除信道：X={0,1}; Y={0,2,1} 3.1 信道的数学模型及分类null（1）联合概率其中称为前向概率，描述信道的噪声特性；称为后向概率，有时也把 称为先验概率；把 称为后验概率。（2）输出符号的概率：（3）后验概率：表明输出端收到任一符号，必定是输入端某一符号输入所致。3.1 信道的数学模型及分类（公式 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf ）null3.2 平均互信息1、信道疑义度 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情况下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。 H(Y/X)---噪声熵。 H(X/Y)----损失熵null3.2 平均互信息 H(Y/X)---噪声熵。 H(X/Y)----损失熵 H(X/Y) ，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。null2、互信息及平均互信息3.2 平均互信息互信息表示收到y后获得关于某事件x的信息量。对互信息在联合概率基础上求统计平均即为平均互信息。null3、平均互信息的物理意义： 表示接收端接收到输出符号后平均每个符号获得的关于X的信息量。3.2 平均互信息互信息与各类熵之间的关系可以用下图表示：null（1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合。(2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)3.2 平均互信息null3.3 平均互信息的特性1、平均互信息的非负性I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。 2、平均互信息的极值性 I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。null3、平均互信息量的对称性 I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式 4、平均互信息的凸状性3.3 平均互信息的特性null 定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数 这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。3.3 平均互信息的特性null 定理3.2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数 这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均互信息量的最小值是由体现了信源本身的特性。3.3 平均互信息的特性null例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X={w,1-w}，则 3.3 平均互信息的特性nullI(X;Y)w1/21-H(P)而：所以： 当信道固定时，平均互信息时信源分布的 型凸函数，最大只为1-H(P)3.3 平均互信息的特性null例：对于二元对称信道 0 1-p 0 pp 1 1-p 1如果信源分布X={w,1-w}，则 由此可得I(X;Y)p1/23.3 平均互信息的特性null3.4 信道容量及其一般计算方法定义信息传输率： R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号 由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。 信道容量与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。null1、离散无噪无损信道的信道容量（1）具有一一对应关系的无噪无损信道x1 y1 x2 y2 x3 y3此时由于信道的损失熵和噪声熵都等于0，所以3.4 信道容量及其一般计算方法null(2)有噪无损信道 可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道.3.4 信道容量及其一般计算方法(b)有噪无损信道（a）有噪无损信道传递矩阵null(3)无噪有损信道3.4 信道容量及其一般计算方法null 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素集的不同组合构成的，并且每一列也是由这一组元素集组成的，则称为对称信道。 如： 和2、对称离散信道的信道容量3.4 信道容量及其一般计算方法null如果离散信道的转移矩阵如下 则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的行数等于列数。3.4 信道容量及其一般计算方法null通过公式推导得对称离散信道的信道容量计算公式：此时，信道的输入输出均是等概分布。即最佳输入分布为等概分布。S表示输出符号的个数。3.4 信道容量及其一般计算方法 表示转移矩阵中某一行的熵（某一行的元素作为一个信源，求此信源的熵）null例：对于二元对称信道这个式子很重要。3.4 信道容量及其一般计算方法null例：对于强对称信道，其信道容量为：3.4 信道容量及其一般计算方法null3、准对称信道的信道容量： 若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：可划分为：3.4 信道容量及其一般计算方法又如：可分成：null准对称信道的信道容量计算为：其中r是输入符号集的个数， 为原矩阵中的行元素， 是第k个子矩阵中的行元素之和， 是第k个子矩阵的列元素之和。 3.4 信道容量及其一般计算方法 可以证明准对称信道达到信道容量的输入分布是等概分布。null例：可分成：3.4 信道容量及其一般计算方法null4、一般离散信道的信道容量3.4 信道容量及其一般计算方法null例：可列方程组：3.4 信道容量及其一般计算方法null解之得：3.4 信道容量及其一般计算方法null3.5 离散无记忆扩展信道及其信道容量离散无记忆信道为：则它的N次扩展信道的数学模型为：null3.5 离散无记忆扩展信道及其信道容量则它的N次扩展信道的信道矩阵为：null 如果信源、信道都是无记忆的，则离散无记忆扩展信道的信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi达到最佳分布时达到。（推导过程略）3.5 离散无记忆扩展信道及其信道容量null3.6 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该信道传输，信息传输率达到了信道容量，认为信源与信道达到匹配，否则，我们认为有剩余。 定义：信道剩余度＝C-I(X;Y) 信道的相对剩余度＝对于无损信道，相对剩余度＝