《改進(jìn)som算法在文本聚類中的應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、Y1404794分類號(hào)：UDC：TP391密級(jí)：學(xué)校代號(hào)：10150學(xué)號(hào)：20052185戈建交積乎碩士學(xué)位論文改進(jìn)SOM算法在文本聚類中的應(yīng)用OptimizeSOMAlgorithmtoApplyinTextClustering學(xué)生姓名：導(dǎo)師及職稱：學(xué)科門類：專業(yè)名稱：研究方向：申請(qǐng)學(xué)位級(jí)別：論文答辯日期：學(xué)位授予單位：孫愛香楊鑫華教授工學(xué)計(jì)算機(jī)應(yīng)用技術(shù)數(shù)據(jù)挖掘碩士2007年12月大連交通大學(xué)摘要摘要隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和普及，信息在急速地膨脹，為了有效地從浩如煙海的信息中發(fā)現(xiàn)對(duì)自己有用的信息，數(shù)據(jù)挖掘技術(shù)和知識(shí)發(fā)現(xiàn)技術(shù)應(yīng)運(yùn)產(chǎn)生。因?yàn)槲谋臼切畔⑤d

2、體中最重要的，文本挖掘也相應(yīng)地成為數(shù)據(jù)挖掘中最重要的領(lǐng)域之一。聚類技術(shù)是文本信息挖掘技術(shù)中的核心技術(shù)之一，近年來文本聚類的研究取得了長足的發(fā)展。由于文本是非結(jié)構(gòu)化的數(shù)據(jù)，要想對(duì)其進(jìn)行聚類，必須通過預(yù)處理技術(shù)將其轉(zhuǎn)化為結(jié)構(gòu)化的形式。所以，本文首先系統(tǒng)地介紹了文本預(yù)處理技術(shù)，如分詞、詞干還原、降維等。聚類技術(shù)是文本聚類領(lǐng)域的關(guān)鍵技術(shù)，自上世紀(jì)50年代以來，人們提出了多種聚類算法，SOM算法是其中非常著名的一種。接下來本文重點(diǎn)闡述了聚類算法中的SOM算法，并且做了兩點(diǎn)重要的改進(jìn)。SOM神經(jīng)網(wǎng)絡(luò)是通過模擬人腦對(duì)信號(hào)處理的特點(diǎn)而發(fā)展起來的一種人工神經(jīng)網(wǎng)絡(luò)。SO

3、M聚類的基本思想是通過網(wǎng)絡(luò)訓(xùn)練，把相類似的輸入映射到同一個(gè)輸出結(jié)點(diǎn)上，從而實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的聚類。本文從兩個(gè)方面對(duì)SOM聚類算法進(jìn)行改進(jìn)。一是針對(duì)文本聚類問題，把文本聚類追求的目標(biāo)一平均類內(nèi)離差最d,oO平均類內(nèi)相似度最大考慮進(jìn)去，提出了一種改進(jìn)的學(xué)習(xí)策略，該算法把等離差理論引入神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，通過調(diào)整類內(nèi)離差來指導(dǎo)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，以使得聚類結(jié)果的平均類內(nèi)離差最小。改進(jìn)的算法不僅解決了神經(jīng)元欠利用和過度利用的問題，而且大大提高了文本聚類的結(jié)果質(zhì)量。二是針對(duì)隨機(jī)初始化SOM神經(jīng)網(wǎng)絡(luò)連接權(quán)值，網(wǎng)絡(luò)模型訓(xùn)練時(shí)間長的缺點(diǎn)，本文運(yùn)用層次聚類法探測數(shù)據(jù)密集區(qū)

4、域，用探測到的K個(gè)數(shù)據(jù)密集區(qū)域的中心點(diǎn)初始化SOM網(wǎng)絡(luò)連接權(quán)值。實(shí)驗(yàn)表明，改進(jìn)后的SOM算法縮短了網(wǎng)絡(luò)的訓(xùn)練時(shí)間，并且不容易收斂到局部最優(yōu)。同時(shí)，為了使聚類結(jié)果易于理解和表達(dá)，對(duì)聚類簇進(jìn)行合適的標(biāo)引，以便正確理解聚類簇內(nèi)容，提高信息處理的性能和效率。關(guān)鍵詞：文本聚類；SOM；等離差；權(quán)值初始化：標(biāo)引大連交通人學(xué)-1：學(xué)碩十學(xué)位論文AbstractWiththerapiddevelopmentofnetworktechnologyandthepopularityoftherapidexpansionofinformation．inordertogain

5、usefulinformationfromthelargeinformationsea，dataminingandknowledgediscoverytechnologyariseatthehistoricmoment．Becausetextisthemostimportantexistingformofinformation，correspondlytextminingisoneofthemostimportantdataminingfields．Clusteringisoneofthefundamentaltechnologyintextmini

6、ngfield．Theresearchinthistextclusteringfieldhasundergoneconsiderabledevelopmentinrecentyears．AstextiSunstructureddata，inordertoclusterthem，pretreatmenttechnologiesmustbeadoptedtotransforrnthemtostructuredform．SoFirstlythispaperintroducesthetextpretreatmenttechnologysuchaswordse

7、gmentation，stemming，dimensionreducingsystematically．Clusteringtechnologyisthekeytechnologyintextclusteringfield．Sincethe1950s，avarietyofclusteringalgorithmhasbeeninvented，ofwhichSOMalgorithmisaveryfamousone．ThenthispapersetsfocusonstudyingSOMalgorithm，andmaketwoimportantimprove

8、ments．SOMneuralnetworkisonekindofartificialneuralnetwo