《SVM分類器原理》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、SVM分類器原理SVM定義nSVM是一種基于統(tǒng)計學(xué)習(xí)理論的機器學(xué)習(xí)方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，從此迅速發(fā)展起來。nVapnikVN.1995.TheNatureofStatisticalLearningTheory.Springer-Verlag,NewYork.nVapnikVN.1998.StatisticalLearningTheory.Wiley-IntersciencePublication,JohnWiley&Sons,Inc.nSVM在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的

2、優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中.目前已經(jīng)在許多智能信息獲取與處理領(lǐng)域都取得了成功的應(yīng)用。SVM方法的特點nSVM的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。n?少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:q①增、刪非支持向量樣本對模型沒有影響;q②支持向量樣本集具有一定的魯棒性;q③有些成功的應(yīng)用中,SVM方法對核的選取不敏感。

3、SVM應(yīng)用n近年來SVM方法已經(jīng)在圖像識別、信號處理和基因圖譜識別等方面得到了成功的應(yīng)用,顯示了它的優(yōu)勢。nSVM通過核函數(shù)實現(xiàn)到高維空間的非線性映射,所以適合于解決本質(zhì)上非線性的分類、回歸和密度函數(shù)估計等問題。n支持向量方法也為樣本分析、因子篩選、信息壓縮、知識挖掘和數(shù)據(jù)修復(fù)等提供了新工具。SVM訓(xùn)練算法n傳統(tǒng)的利用標(biāo)準(zhǔn)二次型優(yōu)化技術(shù)解決對偶問題的方法,是SVM訓(xùn)練算法慢及受到訓(xùn)練樣本集規(guī)模制約的主要原因。n目前已提出了許多解決方法和改進算法,主要是從如何處理大規(guī)模樣本集的訓(xùn)練問題、提高訓(xùn)練算法收斂速度等方面改進。n主要有：分解方法、修改優(yōu)化問題法

4、、增量學(xué)習(xí)法、幾何方法等分別討論。SVM分類算法n訓(xùn)練好SVM分類器后,得到的支持向量被用來構(gòu)成決策分類面。對于大規(guī)模樣本集問題,SVM訓(xùn)練得到的支持向量數(shù)目很大,則進行分類決策時的計算代價就是一個值得考慮的問題。n解決方法如：縮減集(ReducedSet)SVM方法，采用縮減集代替支持向量集,縮減集中的向量不是支持向量,數(shù)目比支持向量少,但它們在分類決策函數(shù)中的形式與支持向量相同。多類SVM算法nSVM本質(zhì)上是兩類分類器.n常用的SVM多值分類器構(gòu)造方法有:SVM方法的特點n①?非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的

5、非線性映射;n②?對特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心;n③?支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。n?SVM是一種有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報樣本的“轉(zhuǎn)導(dǎo)推理”(transductiveinference),大大簡化了通常的分類和回歸等問題。支持向量機分類器實現(xiàn)步驟程序（訓(xùn)練svmtrain_test）clearall;patter

6、nNum=50;classnum=0;loadtemplet;fori=1:10forj=1:i-1x=[pattern(i).feature(:,1:patternNum)pattern(j).feature(:,1:patternNum)];y=ones(1,patternNum*2);y(patternNum+1:patternNum*2)=-1;%===kernelfunction:polynomial,linear,quadratic,fbf,mlp===svmStruct(i,j)=svmtrain(x,y,'Kernel_Functio

7、n','polynomial');endendsavesvmStructsvmStruct;msgbox('endoftraining!');樣本分類程序clearall;loadtemplet;sample=pattern(9).feature(:,73)';loadsvmStructsvmStruct;num=zeros(1,10);fori=1:10forj=1:i-1G=svmclassify(svmStruct(i,j),sample);if(G==1)num(i)=num(i)+1;elseif(G==-1)num(j)=num(j)+1

8、;endendend[max_valmax_pos]=max(num);result=max_pos-1結(jié)果