查看完整版本: 【读书报告】信息论之信道容量

【读书报告】信息论之信道容量

大凡做无线规划设计的朋友，多数都觉得信息论这种课程与工作无关。我是学数学出生的，虽然觉得工作上的东西也不难，但是也时常感到知识面太过狭隘，经常找点东西看看。1X3i8jo3W;D3J7Ou
/U"@r~sl!M
    这几天趁着项目不忙，拿了本以前看过的《通信原理》，结合工程实际，重新温习一遍。发现有些基本的概念都理不清楚，比如信道部分，一个信道容量的概念就把我搞糊涂了。n"[+okj7S
Mq#E^MxW
    书本上的介绍比较简单，信道分为离散信道和连续信道，离散信道利用转移概率，结合信息熵的概念给出信息传输速率，也就是离散信道容量。连续信道利用Shannon公式，结合带宽、噪声功率谱密度和信号功率，给出连续信道容量的计算方式。
5U KTI#P @E n ~:\C
#?!p(]bJ S     因为以前没有学过《信息论》，所以对于熵的概念和Shannon公式不是很理解，旁问一些同事，却不知所云。于是找了一本《信息论与编码理论（第二版）》，应该还是比较经典的书籍，一个美国佬编的，中国人翻译。^$\cnt-[
Z7_`XX}@
    中午看了前面2章，真是突然茅舍顿开。简单的表述一下，与给为路过的朋友分享，如果不对，也请指教:
]r&s/?6kH]9u 现实当中的符号序列往往不是平稳随机序列，而且相关性也往往是不可完全得知的。但是对于不同类型的数据，我们总结它们的特点，可以将其转化为容易处理的模型。比如马尔可夫信息源、平稳随机信息源等等。这里面的运算不难，主要也就是概率论的一些基本运用推倒。
-xFKh7Rr9} H[3dzQ i k5S,o@UyL
所谓的熵，其实就是统计意义上的每符号的期望信息量。
CvR3l4s c!R%[3xL SH!`bTas\
熵主要主取决于两个因素，一个是信息源符号的分布概率，也就是源信息量，一个是符号之间的相互关系，其实就是传输过程的信息量丢失部分，关系越是强，信息量的丢失就越大。至于这个怎么理解呢？？所谓的信息就是未知的东西，不确定的部分。利用数学上的比喻，对于一个线性空间，熵就相当于空间的一组基（或者是正交基），而符号之间的关系就相当于是向量之间的关联性，跟基的线性无关性是相反的，所以应该去掉。这也就是《通信原理》种离散信道容量的计算公式的又来，H(X)-H(X/Y)【源信息量－丢失信息量】。
'q ~6o Zyj -p
J"|3eg/FS.M
那么如何对信源符号传输提高有效性呢？其关键就在于提高信息源符号的熵，途径就是信源编码。大多信源编码，主要是抓住符号之间的关系，去除一部分多余符号，降低符号速率；或者对源符号序列进行多元扩展编码，目的在于对源符号序列进行编码映射，调整符号的概率分布，提高信息熵，降低符号速率。
3w%wXz"]5E
;Dj"x#V7b+v;C\ 举例：对于语音信源抽样后，进行信源编码，不同编码方法效果都不一样，一般可以在4kbps～16kbps之间，这个过程就是提高信息熵的过程，可以降低速率，便于后续的信道编码。'c/IHO_X[ sc+R
*BHh9}p2V
连续信道的Shannon公式还在继续研读之中，完了再续.......

首先我对你的自学态度表示敬佩！
4`0bS1kf!HQ G/`0aM6j3a_
你的理解有些部分正确，有些地方还有待加强。
3L8RP&k?(O@Pq q;x-h`v'p],d
foh
信源的熵是什麽？9B?$P:M o/sT2q!V9q
其实就是统计意义上的每符号的期望信息量。 \g_,yg-^
*x Zb1}'oB;v6Z/v&p
这样的回答在数值上是对的。因为信源熵在数值上等于信源信息量。
3M}m(e7S i 但信源的熵本质上是表征信源的不确定度，在信源各个符号出现前信源
8R6Z][3K-s 是不确定的，出现之后，信源符号的不确定度就消除了，我们从而获得了
T~,}1U:iu/D4r 关于信源的信息。记住，信息的获取是要在信源符号出现后的，而不确定_9Mq%`-V#ev
度是在信源符号出现前的。
)X2F)n]G[5L `-jKNx
a
熵主要主取决于两个因素，一个是信息源符号的分布概率，也就是源信息量，_3@-_C/VP%F
一个是符号之间的相互关系。
,MBb7o7C9da j_.k b5]4J
对于各个时刻独立同分布的无记忆信源，熵主要取决于符号的分布概率；
nrJ*R6w 对于有记忆信源，还取决于不同时刻信源符号之间的相关性，这时，z
L*\Vb
书上刻画这类信源时引入了熵率这一概念。)z,f{v0PjP
FM&i.{#L
那么如何对信源符号传输提高有效性呢？其关键就在于提高信息源符号的熵。0Q uj#z+id4Q
这个回答是不对的。信源一旦给定，它的熵即它的信息量就是一定的了。p.mC jTpd;?$L&p9t,{
'k,^m9fNG+Q
而在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵，P&Ezsh*P(U
即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵，即在*s0j$E)b6\-Uw(}G
接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们
b2sc)qLn 也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了
yi b${u)Gr!b~+p x 发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
}~ D*C6^$h
cj
U7aN.p;rT 给定一个信道（即给定信道可能采用的几种输入信号模式，给定可能的几种输出
4Ghv
|)V[*v 信号模式，给定转移概率矩阵）时，任意设定输入信号模式的概率分布，就能够
jZ!TyV&i7{ 得到对应的一种信息获取量，也即你写的H(X)-H(X/Y)，在这所有可能的输入信号
L~)c2HS 模式的概率分布中，使得信息获取量最大的就是最佳输入信号模式概率分布，对应的
dJ%f;~j4d 最大信息量就是该信道的信道容量。而香农信道编码定理是说，只要信源信息量2~ w'V^7W
（信源熵）不大于信道容量，都有办法进行可靠传输。而这个办法香农没有具体给出，
x)z~E;dy 留给我们的工作就是在给定信源的条件下（即信源符号分布概率给定的情况下），2^4] DTNca5B%C
怎样对各个符号或者各个符号串选择对应的输入信号模式。Q;j2P8c5X]
i
B"Y2r5@-G0t
连续信道其实就是离散信道的推广，关键是连续情况怎样用离散情况来表示。

LVKE;E:@"]&SO+l 想想看，抽样定理就可以对连续时间带限信号进行离散化表示的。

而在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵，即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵，即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。
E{-s]2LD:fm D e nt6~{T0y
非常感谢精辟的见解，看了以后，受益匪浅。
Y\%V7E#]1g-Y 以后一定多发自己的理解，多听高人的教诲！

通信的目的是为了获得信息，如果在通信的过程中熵不能够减小（不确定度
l;o4|{ jTF Q ^^ 减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下['~!M3_z
信源熵变为0（不确定度完全消失），这时，发端信息完全得到。

通信信道，发端 X，收端 Y。
p5R[dAWH
从信息传输的角度看，通过信道传输了  I(X;Y)=H(X)-H(X|Y)  ,( 接收Y前后对于X的不确定度的变化)。
3^'GPz;S F'b
C,de)b0b7?:GU 该值与两个概率有关， p(x),p(y|x),特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是该信道
:ju
w\J-g.Qp/V&n 的信道容量C,(互信息的上凸性）。
#o$R1| f%e V
Zsbidl8nl 另一方面，如果想无失真传输，则要求 传输速率 H(X)<=R<=C。
^0?}6[!?
]C ~?;l\{0XF 相对的，率失真函数R(D)倒是不太好理解。