《信息理論基礎(chǔ)》是由周蔭清編寫，北京航空航天大學(xué)出版社出版的一本書籍。本書是著重介紹信息理論的基本概念和基本方法，如有關(guān)信息及其度量，信源及其編碼，信道及其編碼的基本概念和基本理論。其次，作為應(yīng)用例子，介紹了數(shù)據(jù)的傳輸碼、壓縮碼、檢錯(cuò)及糾錯(cuò)碼，多端信息網(wǎng)絡(luò)，估計(jì)理論，試驗(yàn)假設(shè)及條形碼等專題。本書可作高等院校的信息理論基礎(chǔ)課程的教材或參考書，也可供在各種應(yīng)用領(lǐng)域中對(duì)信息理論感興趣的工程技術(shù)人員參考。
內(nèi)容簡(jiǎn)介
信息理論是應(yīng)用十分廣泛的基礎(chǔ)學(xué)科。它隨著通訊技術(shù)的發(fā)展而成熟起來，其影響幾乎遍及所有的應(yīng)用領(lǐng)域。
本書重點(diǎn)介紹經(jīng)典信息論的基本理論，力圖將信息論及其工程應(yīng)用聯(lián)系起來。全書共分11章。內(nèi)容包括信息的統(tǒng)計(jì)度量；離散信源和連續(xù)信源；信道與信道容量；信源與信宿之間的平均失真度以及信息率失真函數(shù)；信源編碼與信道編碼；網(wǎng)絡(luò)信息論基礎(chǔ)；信息論方法在信號(hào)處理中的應(yīng)用。
本書深入淺出，概念清晰，系統(tǒng)性強(qiáng)；可作為理工科高等院校電子類相關(guān)專業(yè)的教材，亦可供從事通信、雷達(dá)、導(dǎo)航、生物工程、系統(tǒng)工程、管理工程等有關(guān)專業(yè)的科技人員參考。
目錄
第1章 緒論
1.1 信息
1.2 通信系統(tǒng)模型
1.3 信息論的形成和發(fā)展
第2章 信息的統(tǒng)計(jì)度量
2.1 自信息量和條件自信息量
2.1.1 自信息量
2.1.2 條件自信息量
2.2 互信息量和條件互信息量
2.2.1 互信息量
2.2.2 互信息量的性質(zhì)
2.2.3 條件互信息量
2.3 離散集的平均自信息量
2.3.1 平均自信息量（）
2.3.2 熵函數(shù)的數(shù)學(xué)特性
2.3.3 條件熵
2.3.4 聯(lián)合熵
2.3.5 各種熵的性質(zhì)
2.3.6 加權(quán)熵
2.4 離散集的平均互信息量
2.4.1 平均條件互信息量
2.4.2 平均互信息量
2.4.3 平均互信息量的性質(zhì)
2.5 連續(xù)隨機(jī)變量的互信息和相對(duì)熵
2.5.1 連續(xù)隨機(jī)變量的互信息
2.5.2 連續(xù)隨機(jī)變量的熵
第3章 離散信源
3.1 信源的數(shù)學(xué)模型及其分類
3.1.1 信源的數(shù)學(xué)模型
3.1.2 信源的分類
3.2 離散無記憶信源
3.3 離散無記憶信源的擴(kuò)展信源
3.3.1 最簡(jiǎn)單的離散信源
3.3.2 N次擴(kuò)展信源
3.3.3 N次擴(kuò)展信源的熵
3.4 離散平穩(wěn)信源
3.4.1 平穩(wěn)信源
3.4.2 平穩(wěn)信源的熵
3.4.3 極限熵
3.5 馬爾可夫信源
3.5.1 有限狀態(tài)馬爾可夫鏈
3.5.2 馬爾可夫信源
3.6 信源的相關(guān)性和剩余度
第4章 離散信道及其容量
4.1 信道的數(shù)學(xué)模型及其分類
4.2 離散無記憶信道
4.2.1 離散信道的數(shù)學(xué)模型
4.2.2 單符號(hào)離散信道
4.2.3 信道疑義度
4.2.4 平均互信息
4.2.5 各種熵、信道疑義度及平均互信息量之間的相互關(guān)系
4.3 離散無記憶擴(kuò)展信道
4.3.1 N次擴(kuò)展信道
4.3.2 定理
4.4 信道的組合
4.5 信道容量
4.5.1 信道容量的定義
4.5.2 離散無噪信道
4.5.3 離散對(duì)稱信道
4.5.4 一般離散信道
4.5.5 離散無記憶N次擴(kuò)展信道
4.5.6 獨(dú)立并聯(lián)信道
4.5.7 信源和信道匹配
第5章 無失真信源編碼
5.1 編碼器
5.2 分組碼
5.3 定長(zhǎng)碼
5.4 變長(zhǎng)碼
5.4.1 碼的分類和主要編碼方法
5.4.2 克拉夫特不等式和麥克米倫不等式
5.4.3 惟一可譯碼判別準(zhǔn)則
5.4.4 變長(zhǎng)編碼定理
5.4.5 變長(zhǎng)碼的編碼方法
習(xí)題5
第6章 有噪信道編碼
6.1 噪聲信道的編碼問題
6.1.1 錯(cuò)誤概率和譯碼規(guī)則
6.1.2 譯碼規(guī)則
6.2 錯(cuò)誤概率與編碼方法
6.2.1 簡(jiǎn)單重復(fù)編碼
6.2.2 消息符號(hào)個(gè)數(shù)
6.2.3 (5.2)線性碼
6.2.4 漢明距離
6.3 有噪信道編碼定理
6.4 錯(cuò)誤概率的上界
第7章 限失真信源編碼
7.1 失真測(cè)度
7.1.1 失真函數(shù)
7.1.2 平均失真
7.2 信息率失真函數(shù)
7.2.1 D允許信道（試驗(yàn)信道）
7.2.2 信息率失真函數(shù)的定義
7.2.3 信息率失真函數(shù)R（D）的性質(zhì)
7.3 限失真信源編碼定理和逆定理
7.3.1 限失真信源編碼定理
7.3.2 限失真信源編碼逆定理
7.4 信息率失真函數(shù)的計(jì)算
7.4.1 R（D）參量表示法求解
7.4.2應(yīng)用參量表示式計(jì)算R（D）的例題
7.4.3 R（D）的迭代計(jì)算方法
第8章 連續(xù)信源和波形信道
8.1 連續(xù)信源的特征
8.1.1 連續(xù)信源
8.1.2 連續(xù)信源的熵
8.1.3 連續(xù)信源的最大熵
8.1.4 聯(lián)合熵、條件熵和平均交互信息量
8.1.5 連續(xù)信源的熵速率和熵功率
8.2 連續(xù)信道的信道容量
8.2.1 時(shí)間離散信道的容量
8.2.2 時(shí)間連續(xù)信道的容量
8.4 連續(xù)信源的信息率失真函數(shù)
習(xí)題8
第9章 糾錯(cuò)編碼
9.1 糾錯(cuò)碼的基本概念
9.2 糾錯(cuò)碼分類
9.3 線性分組碼
9.3.1 校驗(yàn)矩陣與生成矩陣
9.3.2 線性分組碼的糾、檢錯(cuò)能力
9.3.3 校驗(yàn)矩陣與最小距離的關(guān)系
9.3.4 線性分組碼的伴隨式
9.3.5 線性分組碼的譯碼
9.3.6 漢明碼
9.4 幾種重要的糾錯(cuò)碼
9.4.1 循環(huán)碼
9.4.2 卷積碼
第10章 網(wǎng)絡(luò)信息論基礎(chǔ)
10.1 概述
10.2 網(wǎng)絡(luò)信道分類
10.2.1 雙向信道
10.2.2 反饋信道
10.2.3 多源接入信道
10.2.4 廣播信道
10.2.5 中繼信道
10.2.6 串?dāng)_信道
10.2.7 多用戶通信網(wǎng)信道
10.3 網(wǎng)絡(luò)信息論中的編碼問題
10.3.1 基本概念
10.3.2 相關(guān)信源獨(dú)立編碼
10.3.3 相關(guān)信源協(xié)同編碼
10.4 幾種典型的網(wǎng)絡(luò)信道
10.4.1 多源接入信道
10.4.2 高斯多源接入信道
10.4.3 中繼信道
10.4.4 廣播信道
10.4.5 反饋信道
習(xí)題10
第11章 信息論方法在信號(hào)處理中的應(yīng)用
11.1 最大熵譜估計(jì)
11.1.1 最大熵譜估計(jì)及伯格遞推算法
11.1.2 最大熵譜估計(jì)
11.2 最小誤差熵估計(jì)與卡爾曼濾波
11.2.1 最小均方誤差準(zhǔn)則與最小誤差熵準(zhǔn)則
11.2.2 最小誤差熵準(zhǔn)則推導(dǎo)卡爾曼濾波方程
習(xí)題11
參考文獻(xiàn)
參考資料 >