這篇文章主要介紹“solr增量導(dǎo)入數(shù)據(jù)怎么配置”,在日常操作中,相信很多人在solr增量導(dǎo)入數(shù)據(jù)怎么配置問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”solr增量導(dǎo)入數(shù)據(jù)怎么配置”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!
成都創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都網(wǎng)站制作、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的東臺網(wǎng)站設(shè)計(jì)、移動媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
簡介: solr5.0是一個獨(dú)立的應(yīng)用程序,不再依賴其他Web服務(wù)器就能提供Web服務(wù)(這是和4.x版本最大的差異,內(nèi)置jetty)。
啟動solr
solr提供了啟動腳本
bin/solr start 前臺運(yùn)行 bin/solr start -f 指定端口號 bin/solr start -p 8984(默認(rèn)端口號8983) 查看solr狀態(tài) bin/solr status 結(jié)束solr bin/solr stop -p 8984
后臺管理地址 http://localhost:8984/solr
logging:顯示日志
Core Admin: core就是搜索示例,放置索引。
java properties:查看java配置信息
Thread dump:查看線程信息
創(chuàng)建一個搜索實(shí)例
{solr安裝路徑}/server/solr/新建一個文件夾命名為test
拷貝{solr安裝路徑}/server/solr/configsets/sample_techproducts_configs到test目錄下
目錄結(jié)構(gòu)如下:
在后臺采用如下配置:
配置smartcn分詞期
第一步:導(dǎo)入smartcn的jar包
在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼
第二步:配置分詞器
1.solr5
在{solr安裝路徑}/server/solr/test/conf/schema.xml加入如下代碼
2.solr6
在{solr安裝路徑}/server/solr/test/conf/managed-schema加入如下代碼
第三步:檢查是否正確配置
如果可以搜索到text_cn即表示配置成功,最好用一段文字測試下分詞結(jié)果。
配置數(shù)據(jù)導(dǎo)入handler(用于數(shù)據(jù)導(dǎo)入,生成索引)
第一步:導(dǎo)入相關(guān)jar包(solr6不需要這一步)
在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼
第二步:配置handler(solr6不需要這一步)
在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼
db-data-config.xml
第三步:配置數(shù)據(jù)源,源數(shù)據(jù)與索引的隱射關(guān)系
在{solr安裝路徑}/server/solr/test/conf/下新建db-data-config.xml,配置如下:
第四步:驗(yàn)證配置是否成功
在后臺core admin中reload當(dāng)前搜索實(shí)例的配置
then在搜索實(shí)例的dataimport出現(xiàn)下圖情形即為成功
導(dǎo)入數(shù)據(jù)
第一步:導(dǎo)入mysql的jar包 下載地址:見參考資料5
將jar放置到{solr安裝路徑}/dist目錄下,
在{solr安裝路徑}/server/solr/test/conf/solrconfig.xml加入如下代碼
第二步:驗(yàn)證配置(配置見第六點(diǎn))
如果顯示indexing completed. Added/Updated: 1847 documents. Deleted 0 documents
documents的個數(shù)大于0說明我們成功導(dǎo)入x條數(shù)據(jù)到solr中
設(shè)置field的索引方式
查詢
更新索引
刪除索引
優(yōu)化
定時(shí)完整數(shù)據(jù)重新導(dǎo)入
crontab -e curl -d "command=full-import&clean=true&commit=true&optimize=true&wt=json&indent=true&verbose=false&debug=false" "http://ip:port/solr/{core名稱}/dataimport"
14.增量導(dǎo)入數(shù)據(jù)配置
修改db-data-config.xml添加deltaQuery、deltaImportQuery、pk三個屬性
1.pk設(shè)置主鍵字段名稱,該字段必須在managed-schema配置過
2.deltaQuery該屬性用于查詢主鍵字段值
3.deltaImportQuery該屬性用于查詢需要被索引的所有字段的sql
${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
15.配置定時(shí)數(shù)據(jù)更新
16.搜索詞建議
https://cwiki.apache.org/confluence/display/solr/Suggester
更新中~~~
錯誤信息:
1.配置好的solr沒有任何數(shù)據(jù),啟動時(shí)報(bào)錯:SolrException: Invalid Number: MA147LL/A
這不是你的錯,你可能是把solr schema.xml的id設(shè)置成了int類型,設(shè)置成int類型沒什么錯,但是solr啟動是會掃描conf目錄下的elevate.xml文件,這個文件中定義的id值是MA147LL/A
所以就會出現(xiàn)異常SolrException: Invalid Number: MA147LL/A
解決問題的方法是修改elevate.xml文件,將其中的id值設(shè)置為數(shù)字,就可以了。
${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
2.全量導(dǎo)入數(shù)據(jù)報(bào):
Caused by: java.sql.SQLException: Illegal value for setFetchSize().
在db-data-config.xml的dataSource標(biāo)簽添加batchSize屬性并賦值-1即可,修改后的內(nèi)容
${dataimporter.delta.id}" deltaImportQuery="select id,title,content,create_time from cms_article where id={$dataimporter.delta.id}">
到此,關(guān)于“solr增量導(dǎo)入數(shù)據(jù)怎么配置”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章!