作者：Tony Qu
成都創(chuàng)新互聯(lián)長期為近千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為隆德企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、做網(wǎng)站，隆德網(wǎng)站改版等技術(shù)服務(wù)。擁有10年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。前言：在數(shù)據(jù)挖掘領(lǐng)域，.NET基本上是空白，除了分詞程序外，啥都沒有，大量的招聘顯示數(shù)據(jù)挖掘目前是Java, C++和Python的天下。作為微軟陣營的一份子，我始終認(rèn)為我們不該坐以待斃，與其坐著被人看笑話，還不如勇敢的站出來，創(chuàng)造一個嶄新的.NET未來。（話說昨天的吐槽貼不知道大家玩的盡興不盡興，不是有人讓我給點(diǎn)實戰(zhàn)的玩意來證明.NET的牛X嘛，沒問題啊，我如約而至。）
Trie Tree（字典樹）對很多人顯得有些陌生，用一句話來概括，它可以有效加速字符串匹配速度，并且應(yīng)用極其廣泛，如分詞、搜索、臟字過濾等。曾經(jīng)寫過一篇介紹TrieTree的文章，不熟悉的同學(xué)可以看一下《Trie Tree介紹及其C#實現(xiàn)》。
TrieTree之所以快速，和它樹形存儲結(jié)構(gòu)很有關(guān)系，由于所有的查找都是走結(jié)點(diǎn)的，所以速度會比普通字符串匹配快很多，傳統(tǒng)匹配的問題在于即使匹配不成功，每次還是要去匹配前面這些字符，而且要與每一個字典項去匹配。
舉個簡單的例子，假設(shè)字典里面有兩句整句，如“這里是我們的地盤”，“這里是你們的”，假設(shè)我現(xiàn)在要匹配
“這里是他們的”，傳統(tǒng)存儲會把字典保存在List
這么好的東西怎么能沒有一個通用的框架，于是我便考慮設(shè)計了TrieTree Service。TrieTree Service是一個基于Windows Service的服務(wù)，采用socket與客戶端進(jìn)行通訊，通訊部分使用了江大魚的SuperSocket。（這玩意確實好用，上手也很快，我大概用了2天就把通訊部分全搞定了。）之所以采用Windows Service，主要考慮了分布式部署、以及內(nèi)存空間的需求。由于TrieTree Service采用內(nèi)存作為緩存空間，所以對內(nèi)存是有很大需求的，如果與其他應(yīng)用共享空間，在32位系統(tǒng)上估計很快就3GB了，根本沒法用，但做成Windows Service以后，3GB至少是獨(dú)享的。而且理論上我可以部署n個service，加載不同的字典，比如Service 1我加載盤古分詞詞典、Service 2我加載MongoDB的字典，以此類推，客戶端會根據(jù)需要去訪問不同的Service，從而獲得足夠的數(shù)據(jù)支持。
Trie Tree服務(wù)還有一個很明顯的優(yōu)勢那就是字典資源的整合，以往如果我們要調(diào)用第三方字典庫或者擴(kuò)展字典庫，可能必須重新寫一個類來實現(xiàn)讀，然后調(diào)用不同的接口來加載不同的字典庫，現(xiàn)在有了Trie Tree服務(wù)，你就可以做到把幾個庫合并在一起，比如盤古分詞的庫可以和細(xì)胞詞庫混用，如果詞重復(fù)，Trie Tree服務(wù)不會重復(fù)添加，而是在現(xiàn)有結(jié)點(diǎn)上把頻率相加。例如，我本地的TrieTree服務(wù)就把盤古分詞、IKAnalyzer詞典、還有我自己的多個MongoDB的字典庫一起加載起來運(yùn)行，那效果絕對是只可意會不可言傳啊，哈哈。我看了下，內(nèi)存占用也不高，只有400M左右。
Trie Tree服務(wù)支持POS (Part of Speech)枚舉，說通俗點(diǎn)就是某個詞的詞性，如名詞、動詞、代詞等。目前的POSType采用了盤古分詞的類型，以后會考慮擴(kuò)充，目前足夠了。（話說清華和北大都有一套自己的POS分類，比盤古要詳細(xì)，以后會考慮支持這兩個標(biāo)準(zhǔn)，因為POS的細(xì)粒度決定了最終的分詞結(jié)果。）
重慶分公司
重慶分公司
[Flags]
public enum POSType : int
{
///
/// 形容詞 形語素
///
D_A = 0x40000000,
///
/// 區(qū)別詞 區(qū)別語素
///
D_B = 0x20000000,
///
/// 連詞 連語素
///
D_C = 0x10000000,
///
/// 副詞 副語素
///
D_D = 0x08000000,
///
/// 嘆詞 嘆語素
///
D_E = 0x04000000,
///
/// 方位詞 方位語素
///
D_F = 0x02000000,
///
/// 成語
///
D_I = 0x01000000,
///
/// 習(xí)語
///
D_L = 0x00800000,
///
/// 數(shù)詞 數(shù)語素
///
A_M = 0x00400000,
///
/// 數(shù)量詞
///
D_MQ = 0x00200000,
///
/// 名詞 名語素
///
D_N = 0x00100000,
///
/// 擬聲詞
///
D_O = 0x00080000,
///
/// 介詞
///
D_P = 0x00040000,
///
/// 量詞 量語素
///
A_Q = 0x00020000,
///
/// 代詞 代語素
///
D_R = 0x00010000,
///
/// 處所詞
///
D_S = 0x00008000,
///
/// 時間詞
///
D_T = 0x00004000,
///
/// 助詞 助語素
///
D_U = 0x00002000,
///
/// 動詞 動語素
///
D_V = 0x00001000,
///
/// 標(biāo)點(diǎn)符號
///
D_W = 0x00000800,
///
/// 非語素字
///
D_X = 0x00000400,
///
/// 語氣詞 語氣語素
///
D_Y = 0x00000200,
///
/// 狀態(tài)詞
///
D_Z = 0x00000100,
///
/// 人名
///
A_NR = 0x00000080,
///
/// 地名
///
A_NS = 0x00000040,
///
/// 機(jī)構(gòu)團(tuán)體
///
A_NT = 0x00000020,
///
/// 外文字符
///
A_NX = 0x00000010,
///
/// 其他專名
///
[Description("其他專名")]
A_NZ = 0x00000008,
///
/// 前接成分
///
D_H = 0x00000004,
///
/// 后接成分
///
D_K = 0x00000002,
///
/// 未知詞性
///
UNKNOWN = 0x00000000,
}同時TrieTree還支持POS并集查詢，如D_N|D_V，表示查詞性是名詞或者動詞的詞。、
目前TrieTree支持三種匹配命令，它們是MMFetch（Maximum Match，正向大匹配）、 RMMFetch（Reverse Maximum Match, 反向大匹配）、 ExactMatch（全字匹配）。
例如你要使用MMFetch命令搜索“我們”，直接通過socket向TrieTree Service發(fā)送“MMFetch 我們”即可。如果你想搜索詞性，可以發(fā)送“MMFetch 我們
由于定義了IDataProvider接口，你可以根據(jù)需要定制自己的DataProvider。目前TrieTree Service自帶了PanguDictProvider, TxtDictProvider, IKAnaylzerDictProvider。以下是IDataProvider的定義
public interface IDataNode
{
///
/// word text
///
string Word
{
get; set;
}
///
/// Part of Speech Tag Value
///
POSType POS
{
get; set;
}
///
/// frequency of the word
///
double Frequency
{
get; set;
}
}
public interface IDataProvider
{
List Load();
} 這里的IDataNode代表導(dǎo)入的一條條詞條，當(dāng)然你必須先實現(xiàn)這個接口。其中的POS是之前提到的詞性，F(xiàn)requency是頻率，Word是詞本身。對于沒有詞性和沒有頻率的導(dǎo)入項，直接忽略這兩項就行了。
在BluePrint.Dictionary命名空間下面定義了一個客戶端封裝類DictionaryServiceClient，提供了對命令的基本封裝，這樣你就不用直接去和SendCommand打交道了。
public TrieTreeResult ExactMatch(string word){...}
public TrieTreeResult MaximumMatch(string word){...}
public TrieTreeResult ReverseMaximumMatch(string word){...}下載地址：https://github.com/tonyqus/TrieTreeService
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
