《kmeans算法研究及在文本聚類中的應(yīng)用》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、摘要學校代碼：***學號：***密級：K-Means算法研究及在文本聚類中的應(yīng)用TheResearchandApplicationinTextClusteringofK-MeansAlgorithm姓名***學科專業(yè)計算機應(yīng)用技術(shù)研究方向數(shù)據(jù)庫與Web技術(shù)指導教師***完成時間2013年4月49摘要獨創(chuàng)性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得或其他教育機構(gòu)的學

2、位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。學位論文作者簽名：　　　　　　　　　簽字日期：　　　　年　　月　　日學位論文版權(quán)使用授權(quán)書本學位論文作者完全了解有關(guān)保留、使用學位論文的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復印件和磁盤，允許論文被查閱和借閱。本人授權(quán)可以將學位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存、匯編學位論文。（保密的學位論文在解密后適用本授權(quán)書）學位論文作者簽名：　　　　　　　　

3、　導師簽名：簽字日期：　　　年　　月　　日　　　簽字日期：　　　　　年　　月　　日學位論文作者畢業(yè)去向：工作單位：　　　　　　　　　　　　　　　　電話：通訊地址：　　　　　　　　　　　　　　　　郵編：49摘要摘要隨著互聯(lián)網(wǎng)的快速發(fā)展，大量文本信息存儲過程變得更加容易，在Web上可以利用文檔的數(shù)量正在迅猛地增長。在知識的海洋中，可以利用的信息總量在持續(xù)增長的時候，而用戶的理解和處理信息的能力維持不變，如何從這海量的信息當中尋找出自己感興趣的信息，如何對這些未分類的文本信息進行分門別類等等，這些問題涉及一個

4、新的研究方向——文本挖掘的研究。文本挖掘最重要的研究角度之一即為文本聚類挖掘。所謂文本聚類挖掘是一個發(fā)現(xiàn)文本集類別信息和包含內(nèi)容的方法，將文本文檔按照設(shè)定的相似度度量標準劃分為指定數(shù)目的類別，使得每個類別中的樣本具有較高的相似性并且給出各類別的概要描述。與對普通實驗數(shù)據(jù)聚類相比，文本聚類有其自身的特點，相關(guān)的研究具有很大的挑戰(zhàn)性。目前，針對K-Means算法研究及應(yīng)用，尤其是在文本聚類挖掘?qū)用娴膽?yīng)用研究越來越多。本文首先系統(tǒng)地介紹了聚類分析和文本聚類挖掘的基本理論，然后針對K-Means算法的局限性提出

5、自己的改進方法，最后將改進的K-Means算法應(yīng)用在文本聚類挖掘中。首先，文章介紹了當前國內(nèi)外的聚類算法和文本聚類挖掘的研究現(xiàn)狀。相比之下，國外的研究相對比較成熟，國內(nèi)主要的研究還只處在理論研究階段。同時，簡要地介紹了數(shù)據(jù)挖掘的理論內(nèi)容，包括數(shù)據(jù)挖掘的概念以及數(shù)據(jù)挖掘的步驟等。然后，在介紹聚類的概念和聚類算法等聚類分析相關(guān)理論知識的基礎(chǔ)上，著重闡釋了K-Means算法，并對其優(yōu)缺點進行分析。針對原K-Means算法受孤立點影響和初始聚類中心隨機選擇等問題，提出了帶孤立點分析的改進的K-Means聚類算法

6、。孤立點分析主要采用統(tǒng)計學中“Z分數(shù)（標準分數(shù)）的絕對值大于2的數(shù)據(jù)作為孤立點”的思想，這個方法不但有著嚴格的數(shù)學理論基礎(chǔ)而且可以避免用戶設(shè)定閾值的前提條件。確定初始聚類中心的策略是每次都把相對集中的數(shù)據(jù)先劃分出來，這樣就可以保證每個簇劃分出的數(shù)據(jù)對象有著較高的相似性。孤立點檢測可以降低孤立點對聚類結(jié)果的影響，改進的K-Means算法中的初始聚類中心確定策略可以降低算法陷入局部最優(yōu)的可能性并在一定程度上減少算法迭代的次數(shù)。繼而使用iris數(shù)據(jù)集對改進的算法進行實驗，驗證了改進的K-Means算法的效果和

7、性能較原算法相比都有很大的提高。49摘要接著，描述了文本挖掘的概念和文本挖掘的主要過程，并實現(xiàn)了一個基于本文改進后的K-Means算法的文本聚類挖掘的應(yīng)用實例。該應(yīng)用實例主要包括文本預(yù)處理模塊、聚類模塊和性能評估模塊三個模塊，其中每個模塊都給出詳細設(shè)計思路和簡要代碼結(jié)構(gòu)。在實例具體實現(xiàn)過程中，對數(shù)據(jù)預(yù)處理模塊中的tf-idf值的計算提出“空間換時間”性能優(yōu)化方案，對性能評估模塊中的準確率計算給出相應(yīng)的計算方法。隨后，將設(shè)計好的應(yīng)用實例應(yīng)用在搜狗實驗室“文本分類語料庫”文本數(shù)據(jù)集上，并給出文本聚類挖掘的結(jié)

8、果。最后，對本文做出總結(jié)并提出在研究過程中未能深入研究的相關(guān)問題，給出了聚類挖掘未來的研究方向。關(guān)鍵詞：K-Means算法；數(shù)據(jù)預(yù)處理；文本聚類49AbstractAbstractWiththerapiddevelopmentoftheInternet,theprocessofstoringlargeamountsoftextualinformationbecomeseasier.Simultaneously,thenumberofavai