如何解析hanlp源碼中文分詞算法，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

膠州網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項目制作，到程序開發(fā)，運營維護。創(chuàng)新互聯(lián)建站于2013年開始到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)建站。

　　解析hanlp源碼中文分詞算法。詞圖指的是句子中所有詞可能構(gòu)成的圖。如果一個詞 A的下一個詞可能是B的話，那么A和B之間具有一條路徑E(A,B)。一個詞可能有多個后續(xù)，同時也可能有多個前驅(qū)，它們構(gòu)成的圖我稱作詞圖。

　　需要稀疏 2維矩陣模型，以一個詞的起始位置作為行，終止位置作為列，可以得到一個二維矩陣。例如：“他說的確實在理”這句話

　　圖詞的存儲方法： 一種是的 DynamicArray法，一種是快速offset法。Hanlp代碼中采用的是第二種方法。

　　1、DynamicArray(二維數(shù)組)法

　　在詞圖中，行和列的關(guān)系： col為n 的列中所有詞可以與row為n 的所有行中的詞進行組合。例如“的確”這個詞，它的col =5，需要和它計算平滑值的有兩個，分別是row =5的兩個詞：“實”和“實在”。但是在遍歷和插入的時候，需要一個個比較col和row的關(guān)系，復(fù)雜度是O(N)。

　　2、快速offset

　　一個一維數(shù)組，每個元素是一個單鏈表

　　“的確”的行號是4,長度是2,4+2=6，于是第六行的兩個詞“實/實在”就是“的確”的后續(xù)。

　　同時這種方法速度非?？?，插入和查詢的時間都是 O(1)。

　　Hanlp核心詞典：

　　最短路徑算法 —viterbi(動態(tài)規(guī)劃路徑)

　　Frequency:核心詞典中的詞頻

　　nTwoWordsFreq:共現(xiàn)詞頻

　　intMAX_FREQUENCY= 25146057

　　double dTemp =(double) 1 / MAX_FREQUENCY +0.00001

　　dSmoothingPara =0.1

　　Viterbi最短路徑有向圖

　　1、計算過程從上至下，根據(jù)計算出的權(quán)重值變更前驅(qū)結(jié)點，保證前驅(qū)結(jié)點唯一(動態(tài)規(guī)劃路徑)

　　2、計算結(jié)束后，從最后一個結(jié)點開始取出term,依次取出該結(jié)點的前驅(qū)結(jié)點即可分詞結(jié)果：理，在，確實，的，說，他

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

文章題目：如何解析hanlp源碼中文分詞算法-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://weahome.cn/article/despcd.html