第3章 信道及信道容量

null一、单符号离散信道及信道容量一、单符号离散信道及信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道为单符号离散信道表示信源符号X取值于集合第3章 信道及信道容量null信宿符号Y取值于集合nullnull例1例2null例32、互信息量信源发出消息xi而信宿接收到消息yj，信宿消息yj所含信源消息xi的信息量转移概率P(yj /xi )对数的负值为信道关于发出消息xi和接收消息yj的条件信息量，用I(yj/xi) 表示null定义信宿消息yj的自信息量I(yj)减去信道关于发出消息xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj所含信源消息xi的互信息量，用I(xi; yj)表示表示null例4信宿消息0所含各信源消息的互信息量null3、平均互信息量各互信息量的数学期望为平均互信息量，也叫交互熵，用I(X;Y)表示定义表示null4、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量，称为噪声熵，也称为信道散布度null条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量，称为损失熵，也称为信道疑义度nullI(X;Y)以信源为参考，利用信源的熵和信道的损失熵来度量信道中流通的平均信息量以信宿为参考，利用信宿的熵和信道的噪声熵来度量信道中流通的平均信息量null5、平均互信息量的主要性质①对称性null②非负性③极值性nullX与Y相互独立时，X与Y一一对应关系时，④严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数null例5平均互信息量nullnull平均互信息量及p-I(X;Y)和q-I(X;Y) 曲线例6null信道固定时q为常数，作p-I(X;Y)曲线null信源固定时p为常数，作q-I(X;Y)曲线nullnull平均互信息量的链接准则两级级联信道链接准则可以推广到多级级联信道nullnullnull6、数据处理定理级联信道中X、Y、Z构成一阶马尔科夫链，则X、Y、Z构成一阶马尔科夫链null该结论可以推广到多级级联信道。数据处理不能将信息量增大！null7、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使通过信道的平均互信息量达到最大定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值为该信道的信道容量，用C表示null表示8、信道容量的计算 步骤 新产品开发流程的步骤课题研究的五个步骤成本核算步骤微型课题研究步骤数控铣床操作步骤 nullnullnullnullnullnull信道容量的计算步骤nullnull例7null习题：(P99) 3.1、3.2习题：(P99) 3.1、3.2二、对称信道及信道容量二、对称信道及信道容量1、对称信道信道矩阵既行可排列，又列可排列，该矩阵所表示的单符号离散信道为对称信道定义null对称信道中，当m>n时，P是Q的子集；当m=n时，P =Q例1判断下列信道矩阵所表示的信道是否为对称信道？null行可排列列可排列null行可排列不存在P，列不可排列×null2、对称信道的信道容量m=n=2时的对称信道为二进制对称信道BSC，一般记为对称信道行可排列null信宿等概时最大最大值可达条件对称信道列可排列，不失一般性，设对称信道的信道矩阵nullnullnull对称信道的信道容量BSC的信道容量null例2信道矩阵既行可排列，又列可排列，该矩阵所表示的信道为对称信道信源概率分布null信道容量为三、准对称信道及信道容量三、准对称信道及信道容量信道矩阵行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的各子信道矩阵都列可排列，该矩阵所表示的单符号离散信道为准对称信道信道矩阵定义1、准对称信道null行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，该信道为准对称信道null二进制删除信道是准对称信道，二进制删除信道一般记为准对称信道行可排列2、准对称信道的信道容量null信宿等概的最大值是否可达？如果信宿等概null矛盾！无解，不可达null按列分为s个不相交的子集，各子集构成的各子信道矩阵都列可排列对应于子信道的各子信宿等概时最大最大值可达条件子信道矩阵列可排列，不失一般性，设第k个子信道矩阵nullnullnull准对称信道的信道容量二进制擦除信道的信道容量null的信道容量及达到信道容量时的信源概率分布例1行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵null都列可排列，该信道为准对称信道当信源概率分布null信道容量null的信道容量及达到信道容量时的信源概率分布例2行可排列不存在P，列不可排列null按列分成两个不相交的子集后，两个子集构成的子信道矩阵都列可排列，该信道为准对称信道null当信源概率分布信道容量null四、 N次扩展信道及信道容量四、 N次扩展信道及信道容量1、多符号离散信道与N维离散无记忆信道对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，其信道矩阵null当信源和信宿均N维平稳无记忆时，信道矩阵中的转移概率null信道矩阵表示的多符号离散信道为N维离散无记忆信道DMC。N维离散无记忆信道相当于单符号离散信道扩展N次，也称为N次扩展信道。2、N次扩展信道的信道容量nullnullnullnullBSC的信道矩阵二次扩展信道的信道矩阵二次扩展信道的信道矩阵和信道容量。例1习题：(P99-101) 3.7、3.15二次扩展信道的信道容量习题：(P99-101) 3.7、3.15五、连续信道及信道容量五、连续信道及信道容量1、时不变连续信道定义对应于时不变连续信源和时不变连续信宿的信道为时不变连续信道表示信源符号X取值于集合[a , b]信宿符号Y取值于集合[c , d]null2、时不变连续信道的噪声熵p(y/x)为信道转移概率密度函数①绝对噪声熵nullnull②相对噪声熵表示3、平均互信息量null虽然相对熵不能作为信息度量，但平均互信息量是熵差，具有信息度量的意义① 非负性4、平均互信息量的主要性质null② 对称性null③ 严格凸函数性5、信道容量与最大信息传输速率信道固定时，平均互信息量是信源概率密度函数p(x)的严格上凸函数，总能找到一种信源概率密度函数p(x) ，使通过信道的平均互信息量达到最大信道固定时，I(X;Y)是信源概率密度函数p(x)的严格上凸函数 信源固定时，I(X;Y)是信道转移概率密度函数p(y/x)的严格下凸函数null定义信道转移概率密度函数p(y/x)不变时平均互信息量的最大值为该信道的信道容量，用C表示表示连续信道一般考虑信道在单位时间内平均互信息量的最大值null其中T为平均传输一条消息所需的时间最大信息传输速率的单位为bit/sec(bps)表示定义单位时间的信道容量为最大信息传输速率，用Ct表示null6、加性信道信道中噪声对信号的作用表现为线性叠加的称为加性噪声，相应的信道为加性信道其中，X的概率密度函数为p(x)，Y的概率密度函数为p(y)，N的概率密度函数为p(n)nullX和N相互独立时，加性信道的转移概率密度函数p(y/x)=p(n)设坐标变换相应的雅可比行列式null7、高斯加性信道的信道容量如果噪声N是均值m=0、方差σ2=PN的(白色)高斯加性噪声WGAN，信道为高斯加性信道nullnull高斯加性信道的信道容量null8、高斯加性信道的最大信息传输速率当所传输信号的有效带宽为B时，根据采样定理，只要采样频率取为2B，符号序列即可保留时间连续消息的全部信息平均不失真传输一条消息(符号)所需时间为T=1/2B，相应最大信息传输速率该式称为香农公式null香农公式的意义：最大信息传输速率与所传输信号的有效带宽成正比 最大信息传输速率与信噪功率比基本呈对数关系，且信噪功率比小于1时最大信息传输速率仍大于0null最大信息传输速率一定时，增大所传输信号的有效带宽，可以降低对信噪功率比的要求，反之亦然 当所传输信号的有效带宽趋于无穷时，最大信息传输速率趋于有限值null高斯加性信道所传输信号的带宽B=3kHz，最大信息传输速率Ct=1.5×104bps，求信噪功率比；如果将信噪功率比降低到-3dB，求保持同样最大信息传输速率所需的带宽例1null习题：(P102)3.19、3.20习题：(P102)3.19、3.20