R語言數(shù)據(jù)挖掘?qū)崙?zhàn)(1)
一、數(shù)據(jù)挖掘基礎
數(shù)據(jù)挖掘:從數(shù)據(jù)中“淘金”,從大量數(shù)據(jù)(包括文本)中挖掘出隱含的、未知的、對決策有潛在價值的關(guān)系、模式和趨勢,并用這些知識和規(guī)則建立用于決策支持的模型,提供預測性決策支持的方法、工具和過程。
數(shù)據(jù)挖掘的任務
利用分類與預測、聚類分析、關(guān)聯(lián)規(guī)則、時序模式、偏差檢測、智能推薦等方法,幫助企業(yè)提取數(shù)據(jù)中蘊含的商業(yè)價值,提高企業(yè)的競爭力。
數(shù)據(jù)挖掘建模過程
定義挖掘目標,即決定到底想干什么?
數(shù)據(jù)取樣。抽取一個與挖掘目標相關(guān)的樣本數(shù)據(jù)子集。抽取數(shù)據(jù)的標準:一是相關(guān)性,二是可靠性,三是有效性。衡量取樣數(shù)據(jù)質(zhì)量的標準包括:(1)資料完整無缺,各類指標項齊全;(2)數(shù)據(jù)準確無誤,反映的都是正常(而不是異常)狀態(tài)下的水平。常見抽樣方法有:隨機抽樣、等距抽樣、分層抽樣、從起始順序抽樣、分類抽樣等。
數(shù)據(jù)探索。數(shù)據(jù)探索和預處理的目的是保證樣本數(shù)據(jù)的質(zhì)量、從而為保證模型質(zhì)量奠定基礎。常用數(shù)據(jù)探索方法有:異常值分析、缺失值分析、相關(guān)性分析、周期性分析等。
數(shù)據(jù)預處理。當采樣數(shù)據(jù)維度過大時,如何進行降維處理、缺失值處理等都是數(shù)據(jù)預處理要解決的問題。常用的數(shù)據(jù)預處理方法包括:數(shù)據(jù)篩選、數(shù)據(jù)變量轉(zhuǎn)換、缺失值處理、壞數(shù)據(jù)處理、數(shù)據(jù)標準化、主成分分析、屬性選擇、數(shù)據(jù)規(guī)約等。
挖掘建模。本次建模屬于數(shù)據(jù)挖掘應用中哪類問題(分類、聚類、關(guān)聯(lián)規(guī)則、時序模式或智能推薦),選用哪種算法進行模型構(gòu)建?
模型評價。從這些模型中自動找出一個最好的模型,根據(jù)業(yè)務對模型進行解釋和應用。
常用數(shù)據(jù)挖掘建模工具
(1)R。
R是一種為統(tǒng)計計算和圖形顯示而設計的語言環(huán)境,是貝爾實驗室的Rick Becker、John Chambers和Allan Wilks開發(fā)的S語言的一種實現(xiàn)。
(2)Python。
Python是一門簡單易學且功能強大的編程語言,擁有高效的高級數(shù)據(jù)結(jié)構(gòu),并且能夠用簡單而又高效的方式進行面向?qū)ο缶幊獭?/font>
(3)SAS Enterprise Miner
Enterprise Miner(EM)是SAS推出的一個集成的數(shù)據(jù)挖掘系統(tǒng),允許使用和比較不同的技術(shù),同時還集成了復雜的數(shù)據(jù)庫管理軟件。
(4)IBM SPSS Modeler
它封裝了最先進的統(tǒng)計學和數(shù)據(jù)挖掘技術(shù),來獲得預測知識并將相應的決策方案部署到現(xiàn)有的業(yè)務系統(tǒng)和業(yè)務過程中。擁有直觀的操作界面、自動化的數(shù)據(jù)準備和成熟的預測分析模型。
(5)SQL Server
Microsoft的SQL Server中集成了數(shù)據(jù)挖掘組件——Analysis Servers。在SQL Server 2008中提供了決策樹算法、聚類分析算法、Naive Bayes算法、關(guān)聯(lián)規(guī)則算法、時序算法、神經(jīng)網(wǎng)絡算法、線性回歸算法等9中常用的數(shù)據(jù)挖掘算法。但是平臺移植性相對較差。
(6)MATLAB
MATLAB是美國Mathworks公司開發(fā)的應用軟件,具備強大的科學及工程計算能力,它不但具有以矩陣計算為基礎的強大數(shù)學計算能力和分析能力,而且還具有豐富的可視化圖形表現(xiàn)功能和方便的程序設計能力。
(7)WEKA
WEKA(Waikato Environment for Knowledge Analysis)是一款知名度較高的開源機器學習和數(shù)據(jù)挖掘軟件。
(8)TipDM
TipDM(頂尖數(shù)據(jù)挖掘平臺)使用Java語言開發(fā),能從各種數(shù)據(jù)源獲取數(shù)據(jù),建立多種數(shù)據(jù)挖掘模型。目前已集成數(shù)十種預測算法和分析技術(shù),基本覆蓋了國內(nèi)外主流挖掘系統(tǒng)支持的算法。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。