后驗概率是信息理論的基本概念之一,指在一個通信系統中,在收到某個消息之后,接收端所了解到的該消息發送的概率稱為后驗概率。
后驗概率的計算要以先驗概率為基礎。后驗概率可以根據通過貝葉斯定理,用先驗概率和似然函數計算出來。
簡介
后驗概率是指在得到“結果”的信息后重新修正的概率,是“執果尋因”問題中的"果"。先驗概率與后驗概率有不可分割的聯系,后驗概率的計算要以先驗概率為基礎。
事情還沒有發生,要求這件事情發生的可能性的大小,是先驗概率。事情已經發生,要求這件事情發生的原因是由某個因素引起的可能性的大小,是后驗概率。
先驗概率不是根據有關自然狀態的全部資料測定的,而只是利用現有的材料(主要是歷史資料)計算的;后驗概率使用了有關自然狀態更加全面的資料,既有先驗概率資料,也有補充資料;
先驗概率的計算比較簡單,沒有使用貝葉斯定理;而后驗概率的計算,要使用貝葉斯公式,而且在利用樣本資料計算邏輯概率時,還要使用理論概率分布,需要更多的數理統計學知識。
實例
假設一個學校里有60%男生和40%女生。女生穿褲子的人數和穿裙子的人數相等,所有男生穿褲子。一個人在遠處隨機看到了一個穿褲子的學生。那么這個學生是女生的概率是多少?
使用貝葉斯定理,事件A是看到女生,事件B是看到一個穿褲子的學生。我們所要計算的是P(A|B)。
P(A)是忽略其它因素,看到女生的概率,在這里是40%
P(A')是忽略其它因素,看到不是女生(即看到男生)的概率,在這里是60%
P(B|A)是女生穿褲子的概率,在這里是50%
P(B|A')是男生穿褲子的概率,在這里是100%
P(B)是忽略其它因素,學生穿褲子的概率,P(B)=P(B|A)P(A)+P(B|A')P(A'),在這里是0.5×0.4+1×0.6=0.8。
根據貝葉斯定理,我們計算出后驗概率P(A|B)
P(A|B)=P(B|A)*P(A)/P(B)=0.25
可見,后驗概率實際上就是條件概率。
抽樣方法
在統計學和金融經濟學中,隨機變量X的概率分布為f(x|θ),先驗概率分布為f(θ),根據貝葉斯定理,后驗概率分布為f(θ|x):
式中,歸一化常數c的積分是高維積分,是很難進行數值計算的,因此歸一化常數c可以認為是未知的,所以后驗概率分布是不完全已知概率分布。對于不完全已知概率分布,直接抽樣方法不適用,應采用間接抽樣方法,如馬爾科夫鏈蒙特卡洛方法。
解釋
1、當根據經驗及有關材料推測出主觀概率后,對其是否準確沒有充分把握時,可采用概率論中的貝葉斯定理進行修正,修正前的概率稱為先驗概率,修正后的概率稱為后驗概率,利用后驗概率再進行風險分析。
2、信息技術革命加快了人類邁向信息社會實際情況的進程,世界信息服務業正在成為最強勁的實質上,它是以新的信息做為條件的條件概經濟增長點。
3、P{H0|x}是給定觀測值x條件下H0出現的概率,統稱為后驗概率。根據貝葉斯公式,后驗概率可表示為P{H0|x}=P(H0)P{x|H0}/P(x),P{H1|x}=P(H1)P{x|H1}/P(x)(2)式中,P(x)為x的概率密度。
4、也就是獲得條件概率P(ωωt-k),這個概率常常稱為后驗概率。利用后驗概率進行系統的狀態決策無疑是更加合理的方法,因為它充分利用了先驗知識和觀測到歷史時間變量的信息。
5、這個概率稱為后驗概率。根據貝葉斯規則計算如下:P[^ωΦ(t)]=maxωP[Φ(t)ω]P(ω)P[Φ(t)](5)這里的條件概率P[Φ(t)ω]是比較故障模型和輸入模式之間符合程度的結果。
例子
舉一個簡單的例子:一口袋里有3只紅球、2只白球,采用不放回方式摸取,求:
(1)第一次摸到紅球(記作A)的概率;
(2)第二次摸到紅球(記作B)的概率;
(3)已知第二次摸到了紅球,求第一次摸到的是紅球的概率。
解:
(1)P(A)=3/5,這就是驗前概率;
(2)P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
(3)P(A|B)=P(A)P(B|A)/P(B)=1/2,這就是驗后概率。
參考資料 >