設(shè)信源通過一干擾信道，接收符號為Y={b₁，b₂}，信道傳遞矩陣為，求
（1）信源X中事件a₁和a₂分別含有的自信息量。
（2）收到消息b_j（j=1，2）后，獲得的關(guān)于a_i（i=1，2）的信息量。
（3）信源X和信宿Y的信息熵。
（4）信道疑義度H（X/Y）和噪聲熵H（Y/X）。
（5）接收到信息Y后獲得的平均互信息量。

黑白氣象傳真圖的消息只有黑色和白色兩種，即信源X={黑，白}。設(shè)黑色出現(xiàn)的概率為p（黑）=0.3，白色的出現(xiàn)概率p（白）=0.7。
（1）假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵H（X）；
（2）假設(shè)消息前后有關(guān)聯(lián)，其依賴關(guān)系為p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一階馬爾可夫信源的熵H₂（X）；
（3）分別求上述兩種信源的剩余度，比較H（X）和H₂（X）的大小，并說明其物理意義。

一階馬爾可夫信源的狀態(tài)圖如圖所示。信源X的符號集為{0，1，2}。
（1）求平穩(wěn)后信源的概率分布；
（2）求信源的熵H_∞。

設(shè)是X=X₁，X₂，...，X_N平穩(wěn)離散有記憶信源，試證明：

設(shè)有一個(gè)信源，它產(chǎn)生0，1序列的信息。它在任意時(shí)間而且不論以前發(fā)生過什么符號，均按p（0）=0.4，p（1）=0.6的概率發(fā)出符號。
（1）試問這個(gè)信源是否是平穩(wěn)的？
（2）試計(jì)算及；
（3）試計(jì)算H（X⁴）并寫出X⁴信源中可能有的所有符號。