本文小編為大家詳細(xì)介紹“如何使用python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch中”，內(nèi)容詳細(xì)，步驟清晰，細(xì)節(jié)處理妥當(dāng)，希望這篇“如何使用python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch中”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學(xué)習(xí)新知識吧。
先給代碼
重慶分公司
重慶分公司
#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
line = line.strip().split(' ')
action={
"_index":"image",
"_type":"imagetable",
"_id":i,
"_source":{
u"圖片名":line[0].decode('utf8'),
u"來源":line[1].decode('utf8'),
u"權(quán)威性":line[2].decode('utf8'),
u"大小":line[3].decode('utf8'),
u"質(zhì)量":line[4].decode('utf8'),
u"類別":line[5].decode('utf8'),
u"型號":line[6].decode('utf8'),
u"國別":line[7].decode('utf8'),
u"采集人":line[8].decode('utf8'),
u"所屬部門":line[9].decode('utf8'),
u"關(guān)鍵詞":line[10].decode('utf8'),
u"訪問權(quán)限":line[11].decode('utf8')
}
}
i+=1
actions.append(action)
if(len(actions)==500):
helpers.bulk(es, actions)
del actions[0:len(actions)]
if (len(actions) > 0):
helpers.bulk(es, actions)每句話的含義還是很明顯的，這里需要說幾點(diǎn)，首先是index.txt是以utf8編碼的，所以需要decode('utf8')轉(zhuǎn)換成unicode對象，并且“圖片名”前需要加u，否則ES會報(bào)錯
導(dǎo)入的速度還是很快的，2000多條記錄每秒。
讀到這里，這篇“如何使用python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch中”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識點(diǎn)還需要大家自己動手實(shí)踐使用過才能領(lǐng)會，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
