若X、Y和Z是三個隨機變量，試證明：
（1）I（X；YZ）=I（X；Y）+I（X；Z|Y）=I（X；Z）+I（X；Y|Z）
（2）I（X；Y|Z）=I（Y；X|Z）=H（X|Z）−H（X|YZ）
（3）I（X；Y|Z）≥0當且僅當（X，Z，Y）是馬氏鏈時等式成立。

設(shè)二元對稱信道的傳遞矩陣為

（1）若P（0）=3/4，P（1）=1/4，求H（X），H（X|Y），H（Y|X）和I（X；Y）；
（2）求該信道的信道容量及其達到信道容量時的輸入概率分布。

設(shè)8個等概率分布的消息通過傳遞概率為p的BSC進行傳送，8個消息相應(yīng)編成下述碼字：

試問：
（1）接收到第一個數(shù)字0與M1之間的互信息；
（2）接收到第二個數(shù)字也是0時，得到多少關(guān)于M1的附加互信息；
（3）接收到第三個數(shù)字仍為0時，又增加了多少關(guān)于M1的互信息；
（4）接收到第四個數(shù)字還是0時，再增加了多少關(guān)于M1的互信息。

黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}，設(shè)黑色出現(xiàn)的概率為P（黑）=0.3，白色出現(xiàn)的概率為P（白）=0.7。
（1）假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H（X）；
（2）假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一階馬爾克夫信源的熵H2。
（3）分別求上述兩種信源的冗余度，并比較H（X）和H2的大小，并說明其物理意義。