本篇內(nèi)容主要講解“TF-IDF模型的概念是什么”,感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“TF-IDF模型的概念是什么”吧!
成都創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿(mǎn)足客戶(hù)于互聯(lián)網(wǎng)時(shí)代的渾源網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
1. TF-IDF的概念與算法
TF-IDF的方法適用于用文本挖掘中,常用于商品的屬性提取,該方法采用一種加權(quán)技術(shù),統(tǒng)計(jì)該統(tǒng)計(jì)術(shù)語(yǔ)對(duì)文檔重要程度,通過(guò)統(tǒng)計(jì)該統(tǒng)計(jì)術(shù)語(yǔ)對(duì)文檔重要程度的反應(yīng),表示商品屬性的重要程度。
每個(gè)特征詞對(duì)于每個(gè)類(lèi)別有不同的區(qū)分能力。通過(guò)特征選擇來(lái)體現(xiàn)特征詞的重要程度。它所屬的類(lèi)是單詞集中的類(lèi),具有該類(lèi)的特征。特征詞必須均勻地分布在每一個(gè)類(lèi)別文檔中,如果隨機(jī)地分布在某一個(gè)類(lèi)別文檔中,可能會(huì)出現(xiàn)該特征詞僅出現(xiàn)在某個(gè)文檔中,造成屬性提取不準(zhǔn)確。
常用信息增益函數(shù)IG和卡方值CHI對(duì)于評(píng)估函數(shù)進(jìn)行特征選擇,用卡方值CHI來(lái)衡量特征詞的重要性,然而,卡方值CHI不能將特征詞的重要性全部反映,所以,需要對(duì)卡方值CHI進(jìn)行對(duì)數(shù)字化處理,通過(guò)數(shù)字化的處理,提高了特征選取的效率,以此,避免造成權(quán)重失衡。
2. TF-IDF提取商品屬性
計(jì)算出小米10手機(jī)評(píng)論的TF-IDF值,并且提取前十個(gè)商品屬性TF-IDF值最大的,從而提取小米10手機(jī)商品的關(guān)鍵屬性,并且做小米10手機(jī)TF-IDF值的柱形圖,從直觀上提取商品屬性,計(jì)算結(jié)果如下下表所示:
圖1 小米10手機(jī)最優(yōu)商品屬性
到此,相信大家對(duì)“TF-IDF模型的概念是什么”有了更深的了解,不妨來(lái)實(shí)際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún),關(guān)注我們,繼續(xù)學(xué)習(xí)!