第3章信道与信道容量（新）

null主要内容主要内容信道分类与表示方法 信道容量的计算 第3章信道与信道容量第3章信道与信道容量信道分类和表示参数 离散单个符号信道及其容量 3.1信道分类和表示参数3.1信道分类和表示参数信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道3.1信道分类和表示参数3.1信道分类和表示参数信道参数 3.1信道分类和表示参数3.1信道分类和表示参数信道种类 1、无干扰（无噪声）信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间又确定的关系。信道的输出信号Y与输入信号X之间没有确定关系3.1信道分类和表示参数3.1信道分类和表示参数1）二进制对称信道（BSC）由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的3.1信道分类和表示参数3.1信道分类和表示参数2)离散无记忆信道3.1信道分类和表示参数3.1信道分类和表示参数设计和分析离散信道编码、解码器的性能 DMC信道模型 分析性能的理论极限，则多用离散输入、连续输出 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量信道容量比特/符号（bits/symbol或bits/channel use） 对于某特定信道，若转移概率已经确定，则互信息就是关于输入符号分布函数型凸函数如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时Bit/s、nat/s注：对于特定的信道，信道容量是个定值，但在传输信息 时信道能否提供最大传输能力，则取决于输入端的概率分布。3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量3.2.1无干扰离散信道的信道容量 X、Y一一对应 C＝maxI(X;Y)＝log n多个输入变成一个输出 C＝maxI(X;Y)＝maxH(Y)一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X)3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量对称DMC信道定义 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量对称DMC信道例子 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量输入对称 输出对称 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量对称信道容量 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量Eg. 求信道容量第六讲第六讲复习 离散单个符号的信道及其容量 信道的描述 对称DMC信道及其信道容量的计算 本节内容 准对称DMC信道 一般DMC信道 离散序列信道及其容量 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量Eg. 求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量二进制对称信道容量 C＝1－H（）3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)… 3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)]3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量Eg. 求信道容量方法一： 信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号方法二 将转移概率矩阵划分成若干个互不相交的对称的子集n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量方法二3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量Eg. 求信道容量3.2离散单个符号信道及其容量3.2离散单个符号信道及其容量一般DMC信道 1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I I(ai;Y)  C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外3.3离散序列信道及其容量 3.3离散序列信道及其容量 离散序列信道 3.3离散序列信道及其容量 3.3离散序列信道及其容量 离散无记忆序列信道 11111进一步信道是平稳的 3.3离散序列信道及其容量 3.3离散序列信道及其容量 离散无记忆序列信道 11111如果信道无记忆 如果输入矢量X中的各个分量相互独立 当信道平稳时CL=LC1，一般情况下，I(X;Y)  LC13.3离散序列信道及其容量 3.3离散序列信道及其容量 11111BSC的二次扩展信道 X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 3.3离散序列信道及其容量 3.3离散序列信道及其容量 扩展信道 1111若p＝0.1，则C2＝2－0.938＝1.062比特/序列