《武漢大學(xué)電子信息學(xué)院》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、武漢大學(xué)電子信息學(xué)院IPL第四章線性判別函數(shù)模式識(shí)別理論及應(yīng)用PatternRecognition-MethodsandApplication內(nèi)容目錄IPL第四章線性判別函數(shù)674.2Fisher線性判別34.3感知器準(zhǔn)則4.5多類問(wèn)題4.6分段線性判別函數(shù)54.1引言144.4最小平方誤差準(zhǔn)則模式識(shí)別與神經(jīng)網(wǎng)絡(luò)4.7討論24.1引言基于樣本的Bayes分類器：通過(guò)估計(jì)類條件概率密度函數(shù)，設(shè)計(jì)相應(yīng)的判別函數(shù)MAXg1...g2gc...x1x2xna(x)最一般情況下適用的“最優(yōu)”分類器：錯(cuò)誤率最小，對(duì)分類器設(shè)計(jì)在理論上有指導(dǎo)意義。獲取統(tǒng)

2、計(jì)分布及其參數(shù)很困難，實(shí)際問(wèn)題中并不一定具備獲取準(zhǔn)確統(tǒng)計(jì)分布的條件。訓(xùn)練樣本集樣本分布的統(tǒng)計(jì)特征：概率密度函數(shù)決策規(guī)則：判別函數(shù)決策面方程分類器功能結(jié)構(gòu)3第四章線性判別函數(shù)直接確定判別函數(shù)基于樣本的直接確定判別函數(shù)方法：針對(duì)各種不同的情況，使用不同的準(zhǔn)則函數(shù)，設(shè)計(jì)出滿足這些不同準(zhǔn)則要求的分類器。這些準(zhǔn)則的“最優(yōu)”并不一定與錯(cuò)誤率最小相一致：次優(yōu)分類器。實(shí)例：正態(tài)分布最小錯(cuò)誤率貝葉斯分類器在特殊情況下，是線性判別函數(shù)g(x)=wTx（決策面是超平面），能否基于樣本直接確定w?引言訓(xùn)練樣本集決策規(guī)則：判別函數(shù)決策面方程選擇最佳準(zhǔn)則4

3、第四章線性判別函數(shù)線性判別函數(shù)d維空間中的線性判別函數(shù)的一般形式：x是樣本向量，即樣本在d維特征空間中的描述，w是權(quán)向量，w0是一個(gè)常數(shù)(閾值權(quán))。兩類問(wèn)題的分類決策規(guī)則:引言5第四章線性判別函數(shù)線性判別函數(shù)的幾何意義決策面(decisionboundary)H方程：g(x)=0向量w是決策面H的法向量g(x)是點(diǎn)x到?jīng)Q策面H的距離的一種代數(shù)度量引言x1x2wxxprH:g=06第四章線性判別函數(shù)廣義線性判別函數(shù)線性判別函數(shù)是形式最為簡(jiǎn)單的判別函數(shù)，但是它不能用于復(fù)雜情況。例：設(shè)計(jì)一個(gè)一維分類器，使其功能為：二次函數(shù)的一般形式：g(x)又可

4、表示成：引言映射X→Y7第四章線性判別函數(shù)廣義線性判別函數(shù)(2)按照上述原理，任何非線性函數(shù)g(x)用級(jí)數(shù)展開(kāi)成高次多項(xiàng)式后，都可轉(zhuǎn)化成線性判別函數(shù)來(lái)處理。一種特殊映射方法：增廣樣本向量y與增廣權(quán)向量a線性判別函數(shù)的齊次簡(jiǎn)化：增廣樣本向量使特征空間增加了一維，但保持了樣本間的歐氏距離不變，對(duì)于分類效果也與原決策面相同，只是在Y空間中決策面是通過(guò)坐標(biāo)原點(diǎn)的，這在分析某些問(wèn)題時(shí)具有優(yōu)點(diǎn)，因此經(jīng)常用到。引言8第四章線性判別函數(shù)線性分類器設(shè)計(jì)步驟線性分類器設(shè)計(jì)任務(wù)：給定樣本集K，確定線性判別函數(shù)g(x)=wTx的各項(xiàng)系數(shù)w。步驟：收集一組樣本K={

5、x1,x2,…,xN}按需要確定一準(zhǔn)則函數(shù)J(K,w)，其值反映分類器的性能，其極值解對(duì)應(yīng)于“最好”決策。用最優(yōu)化技術(shù)求準(zhǔn)則函數(shù)J的極值解w*，從而確定判別函數(shù)，完成分類器設(shè)計(jì)。對(duì)于未知樣本x，計(jì)算g(x)，判斷其類別引言9第四章線性判別函數(shù)4.2Fisher線性判別線性判別函數(shù)y=g(x)=wTx:樣本向量x各分量的線性加權(quán)樣本向量x與權(quán)向量w的向量點(diǎn)積如果

6、

7、w

8、

9、=1，則視作向量x在向量w上的投影Fisher準(zhǔn)則的基本原理：找到一個(gè)最合適的投影軸，使兩類樣本在該軸上投影之間的距離盡可能遠(yuǎn)，而每一類樣本的投影盡可能緊湊，從而使分類效果為

10、最佳。10第四章線性判別函數(shù)Fisher線性判別圖例Fisher判別x1x2w1H:g=0w2Fisher準(zhǔn)則的描述：用投影后數(shù)據(jù)的統(tǒng)計(jì)性質(zhì)—均值和離散度的函數(shù)作為判別優(yōu)劣的標(biāo)準(zhǔn)。11第四章線性判別函數(shù)d維空間樣本分布的描述量Fisher判別各類樣本均值向量mi樣本類內(nèi)離散度矩陣Si與總類內(nèi)離散度矩陣Sw樣本類間離散度矩陣Sb：離散矩陣在形式上與協(xié)方差矩陣很相似，但協(xié)方差矩陣是一種期望值，而離散矩陣只是表示有限個(gè)樣本在空間分布的離散程度12第四章線性判別函數(shù)一維Y空間樣本分布的描述量Fisher判別各類樣本均值樣本類內(nèi)離散度和總類內(nèi)離散度樣

11、本類間離散度以上定義描述d維空間樣本點(diǎn)到一向量投影的分散情況，因此也就是對(duì)某向量w的投影在w上的分布。樣本離散度的定義與隨機(jī)變量方差相類似13第四章線性判別函數(shù)樣本與其投影統(tǒng)計(jì)量間的關(guān)系Fisher判別樣本x與其投影y的統(tǒng)計(jì)量之間的關(guān)系：14第四章線性判別函數(shù)樣本與其投影統(tǒng)計(jì)量間的關(guān)系Fisher判別15第四章線性判別函數(shù)Fisher準(zhǔn)則函數(shù)Fisher判別評(píng)價(jià)投影方向w的原則，使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開(kāi)，類內(nèi)樣本投影盡可能密集的要求Fisher準(zhǔn)則函數(shù)的定義：Fisher最佳投影方向的求解16第四章線性判別函數(shù)F

12、isher最佳投影方向的求解Fisher判別采用拉格朗日乘子算法解決m1-m2是一向量，對(duì)與(m1-m2)平行的向量投影可使兩均值點(diǎn)的距離最遠(yuǎn)。但是如從使類間分得較開(kāi)，同時(shí)又使類