數(shù)據(jù)挖掘六大步驟是什么?
數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程,步驟為:
1、定義問題;
2、準(zhǔn)備數(shù)據(jù);
3、瀏覽數(shù)據(jù);
4、生成模型;
5、瀏覽和驗(yàn)證模型;
6、部署和更新模型。
數(shù)據(jù)挖掘通常需要數(shù)據(jù)收集,數(shù)據(jù)集成,數(shù)據(jù)規(guī)約,數(shù)據(jù)清理,數(shù)據(jù)變換,數(shù)據(jù)挖掘?qū)嵤┻^程,模式評估和知識表示
1.數(shù)據(jù)收集:根據(jù)所得的數(shù)據(jù),抽象出數(shù)據(jù)的特征信息,將收集到的信息存入數(shù)據(jù)庫。選擇一種合適的數(shù)據(jù)存儲和管理的數(shù)據(jù)倉庫類型
2.數(shù)據(jù)集成:把不同來源,格式的數(shù)據(jù)進(jìn)行分類
3.數(shù)據(jù)規(guī)約:當(dāng)數(shù)據(jù)量和數(shù)據(jù)的值比較大的時(shí)候,我們可以用規(guī)約技術(shù)來得到數(shù)據(jù)集的規(guī)約表示,比如(數(shù)據(jù)值-數(shù)據(jù)平均值)/數(shù)據(jù)方差,這是數(shù)據(jù)就變小了很多但接近原數(shù)據(jù)的完整性,規(guī)約后數(shù)據(jù)挖掘的結(jié)果和規(guī)約前的結(jié)果基本一致。
4.數(shù)據(jù)清理:有些數(shù)據(jù)是不完整的如:有些有缺失值(值不存在),有些含噪音(錯(cuò)誤,孤立點(diǎn)),有些是不一致的(如單位不同等),我們可以使用工具進(jìn)行數(shù)據(jù)清理,得到完整,正確,一致的數(shù)據(jù)。
5.數(shù)據(jù)變換:通過平滑聚集,數(shù)據(jù)概化,規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的數(shù)據(jù)集。
6.特征提取或特征選擇:特征提取多應(yīng)用于計(jì)算機(jī)視覺和圖像處理中,特征選擇是提出不相關(guān)和冗余的特征,防止過擬合,提高模型精確度,常用方法有PCA等。
7.數(shù)據(jù)挖掘過程:分析數(shù)據(jù)倉庫中的數(shù)據(jù)信息,選擇合適的數(shù)據(jù)挖掘工具,應(yīng)用統(tǒng)計(jì)方法,使用相應(yīng)的數(shù)據(jù)挖掘算法。。
8.從業(yè)務(wù)上,驗(yàn)證數(shù)據(jù)分析和數(shù)據(jù)挖掘的結(jié)果正確性。
9.知識表示,將數(shù)據(jù)挖掘所得結(jié)果以可視化的方式呈現(xiàn)給用戶。
推薦教程:《PHP》
文章標(biāo)題:數(shù)據(jù)挖掘六大步驟是什么?
當(dāng)前鏈接:http://weahome.cn/article/cgsjip.html