3 信道容量

null第三章　信道容量第三章　信道容量3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.3　多符号离散信道 3.4　多用户信道 3.5　连续信道信道概述信道概述什么是信道？ 信道是以信号形式传输和存储信息的通道。 信息是抽象的，信道则是具体的。例如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 空间传输：这是人们常见的情形，如电缆、光缆、空间等 时间传输：将信息保存，以后再读取出来 信道的研究内容 信道建模( 信道的统计特性描述) 信道传输信息的最大能力(信道容量) 在有噪信道中能否实现有效、可靠的传输？怎样实现？信道的数学模型信道的数学模型信道实际上是从输入 X 到输出 Y 一个概率映射函数，该函数描述了输入/输出间的统计依赖关系 一般用信道转移概率 P ( Y | X ) 描述输入/输出间的统计依赖关系信道的分类信道的分类其中对于传输时间离散的信号，根据输入输出信号的幅值： 离散信道：输入、输出信号的幅值均取离散值 连续信道：输入、输出信号的幅值均取连续值 半离散(半连续)信道：输入、输出信号的幅值一个取连续值，另一个取离散值根据信号在时间和空间的取值划分信道的分类（续）信道的分类（续）按输入/输出之间的记忆性来划分 无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其它时刻的输入、输出无关 有记忆信道：信道在某时刻的输出与其它时刻的输入、输出有关 根据信道的统计特性是否随时间改变可分为: 平稳信道：信道的统计特性不随时间改变，又称为恒参信道、时不变信道，如卫星通信 非平稳信道：信道的统计特性随时间改变，又称为变参信道、时变信道，如移动通信信道的分类(续)信道的分类(续)根据输入/输出的个数可分为： 单用户信道：一个输入一个输出的单向通信 多用户信道：双向通信或三个或更多个用户之间相互通信的情况，例如多元接入信道、广播信道、网络通信信道等 根据信道的输入端与输出端的关系: 无反馈信道：信道输出端无信号反馈到输入端 有反馈信道：信道输出端有信号反馈到输入端 根据信道的输入/输出是否是确定关系可分为: 有噪声信道 无噪声信道3.2 单符号离散信道的信道容量3.2 单符号离散信道的信道容量3.2.1　信道容量的定义 3.2.2　几种特殊离散信道的信道容量 离散无噪/无损信道 强对称离散信道 对称离散信道 准对称离散信道 3.2.3　离散信道容量的一般计算方法信道转移概率矩阵信道转移概率矩阵为研究方便，信道特性一般用信道转移概率矩阵(信道矩阵) 来 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示离散无记忆信道举例离散无记忆信道举例二元对称信道二元删除信道概率计算概率计算信道疑义度 H ( X | Y )信道疑义度 H ( X | Y )当接收端收到信道输出的一个符号之后，对信道输入的符号仍然存在的平均不确定性(存在疑义)，又称为损失熵信道散布度 H ( Y | X )信道散布度 H ( Y | X )由于噪声干扰而在输出端产生的无用信息，又称为噪声熵平均互信息 I ( X ; Y )平均互信息 I ( X ; Y )平均互信息表示接收到 Y 以后，平均每个符号所获得的关于输入变量 X 的信息量，是信道实际传输信息的数量，也是真正被接收者收到的信息量信道容量信道容量信息传输率 R：信道中平均每个符号传递的信息量信道容量(续)信道容量(续)信道容量是信道的信息传输率 R 的上限，描述了信道通过信息的最大能力，它是假定信源理想的情况下信道传输信息能力的极值 信息传输率与输入概率和转移概率两者有关；但信道容量是信道的固有特性，只与信道的统计特性有关，因此它只与信道转移概率有关，与输入信源的概率分布无关 信道单位时间内平均传输的最大信息量：离散无噪/无损信道离散无噪/无损信道具有一一对应关系的无噪无损信道信道矩阵中任意行或列只有一个元素为1其它元素均为 0 X 与 Y 具有确定的一一对应关系，收到 Y 后，X 也就确定了，不再具有不确定性无损无噪信道的信道容量仅与输入符号数 n 有关离散无噪/无损信道(续)离散无噪/无损信道(续)具有扩展性能的无损信道(损失熵为 0)一个输入对应多个输出，不同的输入对应的输出不相重叠 信道的输出符号集可划分为多个子集(与输入符号个数相等)，每个子集与唯一的输入符号对应 信道矩阵的每一列只有一个非零元素，其余元素均为 0 收到 Y 后，X 也就确定了，不再具有不确定性离散无噪/无损信道(续)离散无噪/无损信道(续)具有归并性能的无噪信道(噪声熵为 0)多个输入对应一个输出，不同的输出对应的输入不相重叠 信道的输入符号集可划分为多个子集(与输出符号个数相等)，每个子集与唯一的输出符号对应 信道矩阵的每一行只有一个元素为 1，其余元素均为 0 发出 X 后，Y 也就确定了，但收到 Y，X 仍具有不确定性无噪或无损信道的信道容量仅与输入符号数 n 或输出符号数 m 有关，与信源无关离散对称信道离散对称信道离散输入对称信道(行对称信道)离散对称信道(续)离散对称信道(续)离散对称信道 信道矩阵既是行可排列的，又是列可排列的离散输出对称信道(列对称信道)离散准对称信道离散强对称信道离散强对称信道放松对信道的约束，仅满足条件(1)，就构成一般的离散对称信道 再进一步放松条件，信道矩阵按列分成若干子阵，如果子阵是对称的，则构成离散准对称信道离散对称信道的信道容量离散对称信道的信道容量对于离散对称信道，当信道输入概率分布为等概率分布时，输出概率分布必为等概率分布证：当输入为等概率分布时则输出又由于离散对称信道的每一列均是同一组元素的不同排列 因此：信道矩阵第 j 列元素之和离散对称信道的信道容量(续)离散对称信道的信道容量(续)对于离散对称信道，当信道输出为等概率分布时，信道达到最大的信息传输率，其信道容量为：证：由于离散对称信道的信道矩阵的行是可排列的，因此：输入等概率分布可以使得使输出等概率分布，但其它的输入概率分布也可能使得输出等概率分布只要输入等概率分布，即可达到信道容量离散强对称信道的信道容量离散强对称信道的信道容量对于离散强对称信道，当信道输出为等概率分布时，信道达到最大的信息传输率，其信道容量为：证：由于离散强对称信道是离散对称信道的特例，因此：对于离散强对称信道 m = n 且离散强对称信道的信道矩阵的每一行均是中诸元素的不同排列组成，因此：null离散强对称信道的信道容量仅与信道输入(出)所有可能的符号数及正确(错误)传输概率有关p = 0.5 时，C = 0，此时不管输入概率如何分布，均能达到信道容量，因为任何输入概率分布均使得输出等概率分布；此种信道没有任何实际意义，这也说明信道的最佳输入分布不是唯一的当 n = 2 时，离散强对称信道就是 2 进制均匀信道，其信道容量为：离散准对称信道的信道容量离散准对称信道的信道容量对于离散准对称信道，当信道输入为等概率分布时，信道达到最大的信息传输率，其信道容量为：null由于离散准对称信道的信道矩阵的行是可排列的，因此：另一方面，信道矩阵的列不是可排列的，若要输出是等概率分布，则可能需要输入概率分布的某些概率出现负值，这是不可能的。可以将各输出概率划分成若干互不相交的子集，使每个输出概率子集均是等概率分布，从而输出 Y 的熵 H ( Y ) 达到最大。可以证明，当输入 X 是等概率分布时，能保证互不相交的各输出概率子集均是等概率分布null子矩阵的行/列均是可排列的null方法一： 由输入 X 等概率分布求输出 Y 的分布，然后计算null方法二：将信道矩阵划分成子矩阵进行计算离散信道容量的一般计算方法离散信道容量的一般计算方法可以采用拉格朗日乘子法求 I ( X ; Y ) 的条件极值离散信道容量的一般计算方法(续)离散信道容量的一般计算方法(续)构造辅助函数nullnull以上求解出的　I ( X ; Y )　　为平均互信息的最大值因此：null以上是含有 m 个未知数，由 n 个方程组成的非齐次线性方程组，如果 m = n 且信道矩阵可逆(是非奇异矩阵)，则方程组有唯一解最佳输入分布null如果 n < m，非齐次线性方程组将有无穷多组解，一一比较所计算的 C 的大小同时检查是否满足概率条件是不现实的，此时往往采用迭代算法，用计算机编程计算null多符号离散信道的数学模型多符号离散信道的数学模型如果 N 长的随机序列通过一个单符号离散信道，则信道的输出也是 N 长的随机序列 如果将 N 长的随机序列作为一个新信道(多符号离散信道)的输入与输出，则这个新信道就是原来单符号离散信道的 N 次扩展信道 N 次扩展信道的输入符号集共有 n N 个元素，输出符号集共有 m N 个元素，其信道矩阵如下所示多符号离散信道的数学模型(续)多符号离散信道的数学模型(续)离散无记忆信道的 N 次扩展信道离散无记忆信道的 N 次扩展信道多符号离散信道视作单符号离散信道在每一单位时间传递一个随机变量同时还具有无预感性离散无记忆信道的 N 次扩展信道的平均互信息离散无记忆信道的 N 次扩展信道的平均互信息当信道输入也是无记忆时等号成立若信道的输入和输出分别是 N 长序列 X 和 Y，且信道是无记忆的，则：离散无记忆信道的 N 次扩展信道的平均互信息(续)离散无记忆信道的 N 次扩展信道的平均互信息(续)nullN 个输入/输出变量间的平均互信息之和为：若信道输入及信道本身均无记忆，则：nullnull求二次扩展信道数学模型独立并联信道独立并联信道信道的输入、输出随机变量序列中各随机变量分别取值于不同的符号集，且各符号集的元素个数也不相同 N 维输入 X 的各分量分别送入 N 个独立信道，各独立信道的输出组成 N 维输出 Y 每个单元信道的输出 Y k 只与输入 X k 有关， 等效信道无记忆 独立并联信道的信道容量为各单元信道的信道容量之和3.4 多用户信道3.4 多用户信道实际的信道大部分是多用户信道，如计算机通信、卫星通信、广播通信、有线电视，这些信道有多个输入端或输出端 多用户信道容量不能用一个数来描述，信道上传送消息的信息率用多维空间的一个区域来表示，这个区域的界限就是多用户信道的信道容量 多址接入信道：多个用户的信息用多个编码器分别编码后，送入同一信道传输，在接收端用一个译码器译码，然后分送给不同的用户(多输入端—单输出端) 广播信道：将多个信源信息进行统一编码，送入信道，而输出端接到多个译码器，分别译出所需的信息分送给不同的用户(单输入端—多输出端) 相关信源多用户信道：由多个单用户信道组成并联信道，传送相互有关联的多路信息(多相互关联的输入端—多输出端)3.4.1 多址接入信道3.4.1 多址接入信道以下分析以二址接入信道为例nullnull3.4.2 广播信道3.4.2 广播信道对于一般广播信道，很难确定信息率可达区域，只有在某些特殊情况下，可以证明广播信道容量是可以达到的，其中之一称为退化情况(可视为两个信道的串联)，即：null3.4.3 相关信源的多用户信道问题3.4.3 相关信源的多用户信道问题若干个相互之间存在统计依赖关系的信源，各自分别用一个信道来传输信息，而且这些信道之间相互统计独立 能否利用信源的相关性来压缩信道容量？null由无条件熵必不小于条件熵以及信源具有相关性可得：16 种联线组合中具有实际意义的是实线连接，若要无差错传送 X1, X2，必须： null3.5 连续信道3.5 连续信道加性连续信道是一种较简单的连续信道 噪声为连续随机变量 N，且与信道输入 X 相互统计独立 信道输出为输入与噪声的线性叠加： Y = X + Nnull连续信源如果没有任何约束条件，连续信源的熵将没有最大值；施加不同的约束条件下，连续信源具有不同的最大熵 加性连续信道的信道容量取决于噪声 N 的 统计特性(信道特性)和输入随机变量 X 所受的约束条件高斯加性连续信道高斯加性连续信道一般来说，输入信源 X 的平均功率不可能无限大，总是有一定的限制；假设输入信源 X 的平均功率限定为 PX 噪声 N 是均值为零、方差为 PN 的高斯随机变量，即其平均功率限定为 PN；由于高斯加性连续信道的输出 Y 是输入和噪声的线性叠加，即 Y = X + N ，所以输出随机变量 Y 应该也是一个平均功率受限的随机变量，假定输出的平均功率限定为PY 限平均功率的最大连续熵定理： 一个平均功率受限于 PY 的连续信源，当其输出服从均值为 0，方差为 PY 的正态分布时，信源具有最大熵null高斯加性连续信道的信道容量只取决于信噪功率比一般加性连续信道的信道容量在同样平均功率受限情况下，非高斯噪声信道的信道容量大于噪声信道的信道容量，所以，在处理实际问题时，通常采用计算高斯噪声信道容量的方法保守地计算信道容量高斯加性波形信道高斯加性波形信道若信道的频带上限为 F，根据时域采样定理，只要采样频率不小于 2F，被采样的模拟信号就能完全重现 对于幅度与时间均连续的可加波形信道，可以通过采样将其转变为多维无记忆高斯加性连续信道 经过 N 次采样，高斯加性白噪声过程分解成 N 维统计独立的随机序列，其中每个分量均为高斯随机变量，且：等效的多维无记忆高斯加性连续信道的平均互信息null在 [ 0, T ] 时间内，高斯加性波形信道的信道容量为：高斯加性波形信道的单位时间信道容量为：香农MATCH_ word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 _1715672500142_0当信道输入信号是均值为 0，平均功率受限的高斯信号时，信息传输率才能达到上述单位时间信道容量null当频带很宽或者信噪功率比很低时，信道容量近似正比于信噪功率比 当频带不受限制时，若要传送一比特的信息，信噪功率比最低需要 0.6931null若传输时间 T 固定，则扩展信道的带宽 F 就可以降低信噪比的要求；反之带宽变窄，就要增加信噪功率比；也就是说，可以通过带宽和信噪比的互换而保持信息传输率不变。 如果信噪功率比固定不变，则增加信道的带宽 F 就可以缩短传送时间了，换取传输时间的节省；或者花较长的传输时间来换取频带的节省；也就是实现频带和通信时间的互换。 如果保持频带不变，可以采用增加时间 T 来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。该方法是将重复多次收到的信号叠加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。3.6　信道编码定理 (香农第二定理)3.6　信道编码定理 (香农第二定理)