這篇文章主要介紹開(kāi)源大數(shù)據(jù)索引項(xiàng)目hive-solr的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

成都創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括黟縣網(wǎng)站建設(shè)、黟縣網(wǎng)站制作、黟縣網(wǎng)頁(yè)制作以及黟縣網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái)，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，黟縣網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到黟縣省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

最新更新： 
（1）添加了對(duì)solrcloud集群的支持 
（2）修復(fù)了在反序列時(shí)對(duì)于hive中null列和空值的處理bug 
（3）優(yōu)化了在構(gòu)建索引時(shí)對(duì)于null值和空值的忽略 

一些測(cè)試： 

數(shù)據(jù)量：約一千二百萬(wàn)，8個(gè)字段，其中一個(gè)是大文本，2個(gè)是分詞字段，索引前數(shù)據(jù)體積約20G 

索引總耗時(shí)：約15分鐘 

索引后體積：每個(gè)shard約6G，共約18G 

Hive：限制最大并發(fā)map數(shù)為30個(gè)，怕影響Hbase服務(wù)，注意使用Hive建完索引后，需要手動(dòng)commit一次，使內(nèi)存索引flush到磁盤上 

批處理：每個(gè)map里面10萬(wàn)數(shù)據(jù)，批量處理提交一次，不commit，這個(gè)值根據(jù)情況設(shè)定，太大了容易solrcloud容易丟數(shù)據(jù)，太小了會(huì)影響速度 

solrcloud集群版本為5.1使用3臺(tái)機(jī)器，每臺(tái)一個(gè)shard，無(wú)副本，jetty的內(nèi)存給了10G 

CPU：24核，注意大文本分詞字段非常耗cpu 

solr的jvm參數(shù)調(diào)整： 
（1） 調(diào)大 SurvivorRatio 區(qū)占比，降低survivor區(qū)的內(nèi)存空間 
（2）調(diào)小NewRatio區(qū)占比，增大新生代的內(nèi)存空間 
（3）調(diào)大永久代MaxPermSize內(nèi)存至256M 
（4）調(diào)整MaxTenuringThreshold=0 ，使大對(duì)象加速進(jìn)入老年代，避免在survivor和eden區(qū)來(lái)回拷貝，使用YGC次數(shù)變多 
其他參數(shù)還是默認(rèn)配置 

solr服務(wù)端配置： 
（1）關(guān)閉自動(dòng)commit 
（2）設(shè)置ramBufferSizeMB為1000 ，約等1G 
（3）設(shè)置maxBufferedDocs等-1，禁用maxBufferDocs 
（4）設(shè)置mergeFactor為100 

以上是“開(kāi)源大數(shù)據(jù)索引項(xiàng)目hive-solr的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！