率失真函數(shù)和失真率函數(shù)（即率失真函數(shù)的反函數(shù)）是通過互信息的概念加以定義的。將編譯碼器看成是一種信道，稱為試驗信道有條件概率P（y|x）。這一信道的輸入x和輸出y分別對應(yīng)編碼的輸入和譯碼的輸出。試驗信道輸入輸出間的互信息相當(dāng)于信源通過編譯碼器給信宿的信息量。這樣，率失真函數(shù)R（D）被定義為試驗信道輸入輸出間的平均失真量度，失真量度不超過D的條件下，試驗信道輸入輸出間互信息量的最小值，即如圖1 。
公司主營業(yè)務(wù)：成都做網(wǎng)站、成都網(wǎng)站制作、移動網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴(yán)謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)推出鹽山免費做網(wǎng)站回饋大家。
而D=Ed（x，y），失真率函數(shù)D（R）則相反，它是指互信息的值不超過R的條件下，失真度D可能達到的最小值。這兩個函數(shù)的計算在原則上都可以用拉格朗日乘子法或變分法來解決，但除了一些簡單的情況，如獨立二元信源，平穩(wěn)高斯信源以外，一般很難得到解析解。R．E．勃拉赫特提出的迭代算法為獲得數(shù)值解提供了一種通用的算法。此外，在某些情況下利用求出上下界的辦法對函數(shù)進行估計。例如，在非可加性失真量度和擬范數(shù)失真量度下，求解高階率失真函數(shù)的仙農(nóng)下界。
盡管這兩個函數(shù)的求解有一定難度，但這兩個函數(shù)變化的一般趨勢都很簡單。其中率失真函數(shù)R（D）是一個在（0，Dmax）區(qū)間上嚴(yán)格遞減、下凸的函數(shù)，D大于Dmax以后均取零。而在D=0時，對離散信源等于信源的熵，對連續(xù)信源則趨于無限大，如圖所示。失真率函數(shù)D（R）同樣是R的單調(diào)下降的下凸函數(shù)。
第1章 緒論 1
1.1 信息的基本概念 1
1.1.1 信息論的產(chǎn)生 1
1.1.2 信息的基本概念 2
1.2 香農(nóng)信息論研究的內(nèi)容 3
1.2.1 通信系統(tǒng)模型 4
1.2.2 香農(nóng)信息論的主要內(nèi)容 6
1.3 香農(nóng)信息論研究的進展與應(yīng)用 8
1.3.1 香農(nóng)信息論創(chuàng)立的背景 8
1.3.2 香農(nóng)的主要貢獻 9
1.3.3 香農(nóng)信息論的研究進展 9
1.3.4 香農(nóng)信息論的應(yīng)用 12
思考題 12
第2章 離散信息的度量 14
2.1 自信息和互信息 14
2.1.1 自信息 14
2.1.2 互信息 17
2.2 信息熵 18
2.2.1 信息熵的定義與計算 18
2.2.2 條件熵與聯(lián)合熵 21
2.2.3 熵的基本性質(zhì) 22
2.3 平均互信息 27
2.3.1 平均互信息的定義 27
2.3.2 平均互信息的性質(zhì) 28
2.3.3 平均條件互信息 30
本章小結(jié) 33
思考題 34
習(xí)題 34
第3章 離散信源 37
3.1 離散信源的分類與數(shù)學(xué)模型 37
3.1.1 離散信源的分類 37
3.1.2 離散無記憶信源的數(shù)學(xué)模型 38
3.1.3 離散有記憶信源的數(shù)學(xué)模型 39
3.2 離散無記憶信源的熵 39
3.2.1 單符號離散無記憶信源的熵 39
3.2.2 離散無記憶信源N次擴展源的熵 40
3.3 離散平穩(wěn)信源的熵 40
3.3.1 離散平穩(wěn)信源 40
3.3.2 離散平穩(wěn)有記憶信源的熵 41
3.4 有限狀態(tài)馬爾可夫鏈 42
3.4.1 馬氏鏈基本概念 43
3.4.2 齊次馬氏鏈 43
3.4.3 馬氏鏈狀態(tài)分類 46
3.4.4 馬氏鏈的平穩(wěn)分布 47
3.5 馬爾可夫信源 48
3.5.1 馬氏源的基本概念 48
3.5.2 馬氏源的產(chǎn)生模型 50
3.5.3 馬氏鏈N次擴展源的熵的計算 51
3.5.4 馬氏源符號熵的計算 53
3.6 信源的相關(guān)性與剩余度 55
3.6.1 信源的相關(guān)性 55
3.6.2 信源剩余度(冗余度) 55
3.6.3 自然語言的相關(guān)性和剩余度 56
本章小結(jié) 59
思考題 59
習(xí)題 60
第4章 連續(xù)信息與連續(xù)信源 64
4.1 連續(xù)隨機變量集合的熵 64
4.1.1 連續(xù)隨機變量的離散化 65
4.1.2 連續(xù)隨機變量集的熵 65
4.1.3 連續(xù)隨機變量集的條件熵 65
4.1.4 連續(xù)隨機變量集的聯(lián)合熵 66
4.1.5 連續(xù)隨機變量集合差熵的性質(zhì) 66
4.1.6 連續(xù)隨機變量集合的信息散度 68
4.2 離散時間高斯信源的熵 69
4.2.1 一維高斯隨機變量集的熵 69
4.2.2 多維獨立高斯隨機變量集的熵 69
4.2.3 多維相關(guān)高斯隨機變量集的熵 69
4.3 連續(xù)最大熵定理 70
4.3.1 限峰值最大熵定理 71
4.3.2 限功率最大熵定理 71
4.3.3 熵功率和剩余度 72
4.4 連續(xù)隨機變量集的平均互信息 72
4.4.1 連續(xù)隨機變量集的平均互信息 72
4.4.2 連續(xù)隨機變量集平均互信息的性質(zhì) 73
4.5 離散集與連續(xù)集之間的互信息 75
4.5.1 離散事件與連續(xù)事件之間的互信息 76
4.5.2 離散集合與連續(xù)集合的平均互信息 76
本章小結(jié) 77
思考題 77
習(xí)題 77
第5章 無失真信源編碼 80
5.1 概述 80
5.1.1 信源編碼器 80
5.1.2 信源編碼的分類 81
5.1.3 分組碼 82
5.2 定長碼 83
5.2.1 無失真編碼條件 83
5.2.2 信源序列分組定理 84
5.2.3 定長碼信源編碼定理 86
5.3 變長碼 88
5.3.1 異前置碼的性質(zhì) 88
5.3.2 變長碼信源編碼定理 90
5.4 哈夫曼編碼 93
5.4.1 二元哈夫曼編碼 93
5.4.2 多元哈夫曼編碼 96
5.4.3 馬氏源的編碼 97
*5.5 幾種實用的編碼方法 99
5.5.1 算術(shù)編碼 99
5.5.2 游程編碼 100
5.5.3 L-Z編碼 101
本章小結(jié) 101
思考題 102
習(xí)題 102
第6章 離散信道及其容量 105
6.1 概述 105
6.1.1 信道的分類 105
6.1.2 離散信道的數(shù)學(xué)模型 106
6.1.3 信道容量的定義 109
6.2 單符號離散信道及其容量 109
6.2.1 離散無噪信道的容量 109
6.2.2 離散對稱信道的容量 110
6.2.3 一般離散信道的容量 112
6.3 級聯(lián)信道及其容量 116
6.4 多維矢量信道及其容量 118
6.4.1 多維矢量信道輸入與輸出的性質(zhì) 118
6.4.2 離散無記憶擴展信道及其容量 120
6.4.3 并聯(lián)信道及其容量 122
6.4.4 和信道及其容量 122
6.5 信道容量的迭代計算 123
本章小結(jié) 125
思考題 126
習(xí)題 126
第7章 有噪信道編碼 129
7.1 概述 129
7.1.1 信道編碼的基本概念 129
7.1.2 判決與譯碼規(guī)則 130
7.1.3 譯碼錯誤概率 131
7.2 最佳判決與譯碼準(zhǔn)則 132
7.2.1 最大后驗概率準(zhǔn)則 132
7.2.2 最大似然準(zhǔn)則 133
7.3 信道編碼與最佳譯碼 134
7.3.1 線性分組碼 134
7.3.2 序列最大似然譯碼 135
7.3.3 幾種簡單的分組碼 136
7.4 費諾(Fano)不等式 137
7.4.1 信道疑義度 137
7.4.2 費諾(Fano)不等式 138
7.5 有噪信道編碼定理 139
7.5.1 聯(lián)合典型序列 140
7.5.2 有噪信道編碼定理 141
7.5.3 無失真信源信道編碼定理 143
7.6 糾錯編碼技術(shù)簡介 144
7.6.1 線性分組碼的編譯碼 144
7.6.2 幾種重要的分組碼 148
7.6.3 卷積碼簡介 149
*7.7 信道編碼性能界限 150
7.7.1 漢明球包界 150
7.7.2 VarsharmovGilbert界 151
7.7.3 Plotkin界 152
本章小結(jié) 153
思考題 153
習(xí)題 154
第8章 波形信道 159
8.1 離散時間連續(xù)信道 159
8.1.1 時間離散連續(xù)信道模型 159
8.1.2 平穩(wěn)無記憶連續(xù)信道 160
8.1.3 多維矢量連續(xù)信道的性質(zhì) 160
8.1.4 離散時間連續(xù)信道的容量 160
8.2 加性噪聲信道與容量 161
8.2.1 加性噪聲信道的容量 161
8.2.2 加性高斯噪聲信道的容量 162
8.2.3 一般加性噪聲信道容量界 163
8.2.4 并聯(lián)加性高斯噪聲信道的容量 164
8.3 AWGN信道的容量 166
8.3.1 加性高斯噪聲波形信道 166
8.3.2 波形信道的互信息與容量 167
8.3.3 AWGN信道的容量 168
8.3.4 高斯噪聲信道編碼定理 170
8.3.5 功率利用率和頻譜利用率的關(guān)系 171
8.4 有色高斯噪聲信道 173
8.4.1 有色高斯噪聲信道容量 173
8.4.2 AWGN信道容量的進一步討論 175
*8.5 數(shù)字調(diào)制系統(tǒng)的信道容量 176
本章小結(jié) 179
思考題 180
習(xí)題 180
第9章 信息率失真函數(shù) 183
9.1 概述 183
9.1.1 系統(tǒng)模型 184
9.1.2 失真測度 184
9.2 離散信源信息率失真函數(shù) 185
9.2.1 信息率失真函數(shù) 185
9.2.2 R(D)函數(shù)的性質(zhì) 185
9.3 限失真信源編碼定理 188
9.3.1 碼率的壓縮 188
9.3.2 限失真信源編碼定理 189
9.3.3 限失真信源信道編碼定理 190
9.4 離散信源信息率失真函數(shù)的計算 190
9.4.1 R(D)參量表示法求解 191
9.4.2 R(D)求解過程歸納 192
9.4.3 參量s的意義 193
9.5 連續(xù)信源信息率失真函數(shù) 195
9.5.1 信息率失真函數(shù)與性質(zhì) 195
9.5.2 R(D)函數(shù)的計算 195
9.5.3 差值失真測度 196
9.6 高斯信源的R(D)函數(shù) 197
9.6.1 離散時間無記憶高斯信源 197
9.6.2 獨立并聯(lián)高斯信源 199
9.7 一般連續(xù)信源R(D)函數(shù) 201
*9.8 有損數(shù)據(jù)壓縮技術(shù)簡介 201
9.8.1 量化 202
9.8.2 預(yù)測編碼 202
9.8.3 子帶編碼 203
9.8.4 變換編碼 203
本章小結(jié) 204
思考題 205
習(xí)題 205
第10章 有約束信道及其編碼 208
10.1 標(biāo)號圖的性質(zhì) 208
10.1.1 標(biāo)號圖的基本概念 208
10.1.2 標(biāo)號圖的變換 210
10.2 有約束信道容量 211
10.2.1 有約束信道容量的定義 211
10.2.2 等時長符號有約束信道的容量 212
10.2.3 不等時長符號無約束信道的容量 213
10.2.4 不等時長符號有約束信道的容量 214
10.3 有約束序列的性質(zhì) 215
10.3.1 信道對傳輸序列的約束 215
10.3.2 游程長度受限序列(RLL) 215
10.3.3 部分響應(yīng)最大似然(PRML)序列 217
10.3.4 直流平衡序列 218
10.3.5 其他頻域受限序列 220
10.4 有約束信道編碼定理 220
10.4.1 編碼器的描述 220
10.4.2 有約束信道編碼定理 221
10.4.3 有限狀態(tài)編碼定理 221
10.4.4 編碼器性能指標(biāo) 222
*10.5 有約束序列編碼與應(yīng)用 222
10.5.1 塊編碼器 222
10.5.2 實用直流平衡序列 223
10.5.3 常用有約束序列編碼及應(yīng)用 225
本章小結(jié) 227
思考題 227
習(xí)題 227
第11章 網(wǎng)絡(luò)信息論初步 230
11.1 概述 230
11.2 多址接入信道 231
11.2.1 二址接入信道的容量 232
11.2.2 不同多址方式下的接入信道容量分析 236
11.2.3 多址接入信道的容量 238
11.3 廣播信道 238
11.3.1 退化廣播信道 239
11.3.2 退化廣播信道的容量區(qū)域 240
11.4 相關(guān)信源編碼 242
11.4.1 典型的相關(guān)信源編碼模型 243
11.4.2 Slepian-Wolf相關(guān)信源編碼定理 244
本章小結(jié) 247
思考題 248
習(xí)題 249
*第12章 信息理論方法及其應(yīng)用 250
12.1 信源熵的估計 250
12.1.1 離散信源序列熵的估計 251
12.1.2 連續(xù)信源熵的估計 254
12.2 最大熵原理 255
12.2.1 最大熵原理的描述 255
12.2.2 熵集中定理 258
12.2.3 幾種重要的最大熵分布 259
12.3 最小交叉熵原理 261
12.3.1 最小交叉熵原理 261
12.3.2 交叉熵的性質(zhì) 263
12.3.3 最小交叉熵推斷的性質(zhì) 264
12.3.4 交叉熵法 265
12.4 信息理論方法的應(yīng)用 265
12.4.1 DNA序列的熵估計和壓縮 265
12.4.2 最大熵譜估計和最小交叉熵譜估計 267
12.4.3 最大熵建模及其在自然語言處理中的應(yīng)用 269
12.4.4 最大熵原理在經(jīng)濟學(xué)中的應(yīng)用 271
12.4.5 信息理論方法應(yīng)用展望 273
本章小結(jié) 273
思考題 274
習(xí)題 274
參考文獻 276
香農(nóng)定理
香農(nóng)定理：香農(nóng)定理則描述了有限帶寬;有隨機熱噪聲信道的最大傳輸速率與信道帶寬;信號噪聲功率比之間的關(guān)系.
在有隨機熱噪聲的信道上傳輸數(shù)據(jù)信號時,數(shù)據(jù)傳輸率Rmax與信道帶寬B,信噪比S/N關(guān)系為：Rmax=B*LOG⒉（1+S/N）
在信號處理和信息理論的相關(guān)領(lǐng)域中,通過研究信號在經(jīng)過一段距離后如何衰減以及一個給定信號能加載多少數(shù)據(jù)后得到了一個著名的公式,叫做香農(nóng)（Shannon）定理.它以比特每秒（bps）的形式給出一個鏈路速度的上限,表示為鏈路信噪比的一個函數(shù),鏈路信噪比用分貝（dB）衡量.因此我們可以用香農(nóng)定理來檢測電話線的數(shù)據(jù)速率.
香農(nóng)定理由如下的公式給出:C=Blog2(1＋S/N) 其中C是可得到的鏈路速度,B是鏈路的帶寬,S是平均信號功率,N是平均噪聲功率,信噪比（S/N）通常用分貝（dB）表示,分貝數(shù)=10×log10（S/N
在信源給定時，總希望在滿足一定失真的情況下信息傳輸率R盡可能小。即滿足D毛D‘時，尋找信息傳輸率R的下限值。從接收端看，即在D=D‘情況下，尋找平均互信息量I (U,V)的最小值。
設(shè)在D’失真許可試驗信道中某一信道P Cz}; } u;)在萬鎮(zhèn)D‘條件下有R(D")=min {1(U,V ) ,P(v;}u)E Bo"}，稱該函數(shù)為信息率失真函數(shù)。
對于長度為K的信源符號序列，信息率失真函數(shù)為kxCD‘）＝min {1(U，VK)，P(鳳｝a;)E Bo"(、）｝.R(D')反映了在滿足D鎮(zhèn)D‘情況下信源可壓縮的程度。
全體可達率失真對于（R,D）所成的集合閉包稱為率失真空間。
對于給定的失真D，滿足（R,D）包含于信源的率失真區(qū)域內(nèi)的所有碼率R的下確界稱為率失真函數(shù)R(D)；對于給定的碼率R，滿足（R,D）包含于信源的率失真區(qū)域的所有失真D的下確界稱為失真率函數(shù)D（R）。
R(D)就是在滿足保真度準(zhǔn)則下，實驗信道輸入與輸出之間的最小平均互信息。
其實就是說是通過這個來確定信道的。
重慶分公司
重慶分公司
