5、x)=P(x
6、cj)P(cj)P(x)先驗概率P(cj)聯(lián)合概率P(x
7、cj)后
8、驗概率P(cj
9、x)先驗概率P(cj)P(cj)代表還沒有訓(xùn)練數(shù)據(jù)前，cj擁有的初始概率。P(cj)常被稱為cj的先驗概率(priorprobability)，它反映了我們所擁有的關(guān)于cj是正確分類機會的背景知識,它應(yīng)該是獨立于樣本的。如果沒有這一先驗知識，那么可以簡單地將每一候選類別賦予相同的先驗概率。不過通常我們可以用樣例中屬于cj的樣例數(shù)
10、cj
11、比上總樣例數(shù)
12、D
13、來近似，即聯(lián)合概率P(x
14、cj)聯(lián)合概率是指當(dāng)已知類別為cj的條件下，看到樣本x出現(xiàn)的概率。若設(shè)x=則P(x
15、cj)=P(a1,a2…am
16、cj)
17、后驗概率P(cj
18、x)即給定數(shù)據(jù)樣本x時cj成立的概率,而這正是我們所感興趣的P(cj
19、x)被稱為C的后驗概率（posteriorprobability），因為它反映了在看到數(shù)據(jù)樣本x后cj成立的置信度2.幾種常用的決策準(zhǔn)則不同的決策規(guī)則反映了分類器設(shè)計者的不同考慮，對決策結(jié)果有不同的影響。其中最有代表性的是:基于最小錯誤率的貝葉斯決策基于最小風(fēng)險的貝葉斯決策額2.1基于最小錯誤率的貝葉斯決策分類器中為什么會有錯分類，在何種情況下會出現(xiàn)錯分類？錯分類的可能性會有多大？當(dāng)某一特征向量X只為某一類物體所特有，即對其作出決策是容易的，也不
20、會出什么差錯。問題在于出現(xiàn)模凌兩可的情況。此時，任何決策都存在判錯的可能性。條件概率：P(*
21、#)是條件概率的通用符號，P(wk
22、X)是表示在X出現(xiàn)條件下，樣本為wk類的概率。基于最小錯誤率的貝葉斯決策基于最小錯誤概率的貝葉斯決策理論就是按后驗概率的大小作判決的（1）后驗概率:如果則(2)如果則(3)似然比：如果則否則如果則否則(4)似然比寫成相應(yīng)的負(fù)對數(shù)形式例題1假設(shè)在某地區(qū)切片細(xì)胞中正常（w1）和異常（w2）兩類的先驗概率分別為p(w1)=0.9,p(w2)=0.1?，F(xiàn)有一待識別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類條件概率密度分布曲線查的p
23、(x
24、w1)=0.2,p(x
25、w2)=0.4,試對細(xì)胞x進行分類。例題1解答利用貝葉斯公式，分別計算出狀態(tài)為x時w1與w2的后驗概率基于最小錯誤率的貝葉斯決策的證明平均錯誤率:在觀測值可能取值的整個范圍內(nèi)錯誤率的均值兩類判別情況當(dāng)p(w2
26、x)>p(w1
27、x)時決策為w2，對觀測值x有p(w1
28、x)概率的錯誤率R1:做出w1決策的所有觀測值區(qū)域，條件錯誤概率為p(w2
29、x)R2:條件錯誤概率為p(w1
30、x)。因此平均錯誤率p(e)可表示成在R1內(nèi)任一個x值都有p(w2
31、x)32、x)，在R2區(qū)內(nèi)任一個x值都有p(w1
33、x)34、(w2
35、x)錯誤率在每個x值處都取小者，因而平均錯誤率p(e)也必然達到最小，這就證明了按(2-2)式作出的決策，其平均錯誤率為最小。p(e)也可以(2-8)式寫成錯誤率為圖中兩個劃線部分之和，對應(yīng)的錯誤率區(qū)域面積為最小。2.2基于最小風(fēng)險的貝葉斯決策是錯誤率最小并不一定是一個普遍適用的最佳選擇一個與損失有關(guān)聯(lián)的，更為廣泛的概念—風(fēng)險觀測樣本x實屬類別j，而被判為狀態(tài)i時所造成的損失，Ri則表示了觀測值x被判為i類時損失的均值分類則依據(jù)Ri,(i=1,...,c)中的最小值，即最小風(fēng)險來定。例：病理切片w1表示病理切片正常w2表示病
36、例切片異常p(w1
37、x)與p(w2
38、x)分別表示了兩種可能性的大小定義：自然狀態(tài)：指待識別對象的類別狀態(tài)空間：由所有自然狀態(tài)所組成的空間決策：不僅包括根據(jù)觀測值將樣本劃歸為哪一類別（狀態(tài)），還可包括其他決策，如"拒絕"等決策空間：有所
