如何進行Elasticsearch數(shù)據(jù)寫入的分析-創(chuàng)新互聯(lián)

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)如何進行Elasticsearch數(shù)據(jù)寫入的分析，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

創(chuàng)新互聯(lián)專注骨干網(wǎng)絡(luò)服務(wù)器租用十年，服務(wù)更有保障！服務(wù)器租用，重慶服務(wù)器托管成都服務(wù)器租用，成都服務(wù)器托管，骨干網(wǎng)絡(luò)帶寬，享受低延遲，高速訪問。靈活、實現(xiàn)低成本的共享或公網(wǎng)數(shù)據(jù)中心高速帶寬的專屬高性能服務(wù)器。前言主要講 ES -> Lucene的底層結(jié)構(gòu)，然后詳細(xì)描述新數(shù)據(jù)寫入 ES 和 Lucene 的流程和原理。這是基礎(chǔ)理論知識，整理了一下。

一、Elasticsearch & Lucene 是什么？

什么是 Elasticsearch ？
Elasticsearch 是一個基于 Apache Lucene(TM) 的開源搜索引擎。那 Lucene 是什么？
無論在開源還是專有領(lǐng)域，Lucene 可以被認(rèn)為是迄今為止最先進、性能最好的、功能最全的搜索引擎庫，并通過簡單的 RESTful API 來隱藏 Lucene 的復(fù)雜性，從而讓全文搜索變得簡單。Elasticsearch 不僅僅是 Lucene 和全文搜索，我們還能這樣去描述它：

分布式的實時文件存儲，每個字段都被索引并可被搜索
分布式的實時分析搜索引擎
可以擴展到上百臺服務(wù)器，處理 PB 級結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)

二、Elasticsearch & Lucene 的關(guān)系

就像很多業(yè)務(wù)系統(tǒng)是基于 Spring 實現(xiàn)一樣，Elasticsearch 和 Lucene 的關(guān)系很簡單：Elasticsearch 是基于 Lucene 實現(xiàn)的。ES 基于底層這些包，然后進行了擴展，提供了更多的更豐富的查詢語句，并且通過 RESTful API 可以更方便地與底層交互。類似 ES 還有 Solr 也是基于 Lucene 實現(xiàn)的。在應(yīng)用開發(fā)中，用 Elasticsearch 會很簡單。但是如果你直接用 Lucene，會有大量的集成工作。

因此，入門 ES 的同學(xué)，稍微了解下 Lucene 即可。如果往高級走，還是需要學(xué)習(xí) Lucene 底層的原理。因為倒排索引、打分機制、全文檢索原理、分詞原理等等，這些都是不會過時的技術(shù)。

三、新文檔寫入流程

3.1 數(shù)據(jù)模型

如圖

一個 ES Index （索引，比如商品搜索索引、訂單搜索索引）集群下，有多個 Node （節(jié)點）組成。每個節(jié)點就是 ES 的實例。
每個節(jié)點上會有多個 shard （分片）， P1 P2 是主分片 R1 R2 是副本分片
每個分片上對應(yīng)著就是一個 Lucene Index（底層索引文件）
Lucene Index 是一個統(tǒng)稱。由多個 Segment （段文件，就是倒排索引）組成。每個段文件存儲著就是 Doc 文檔。

3.2 Lucene Index

lucene 中，單個倒排索引文件稱為 segment。其中有一個文件，記錄了所有 segments 的信息，稱為 commit point：

文檔 create 新寫入時，會生成新的 segment。同樣會記錄到 commit point 里面
文檔查詢，會查詢所有的 segments
當(dāng)一個段存在文檔被刪除，會維護該信息在 .liv 文件里面

3.3 新文檔寫入流程

新文檔創(chuàng)建或者更新時，進行如下流程：更新不會修改原來的 segment，更新和創(chuàng)建操作都會生成新的一個 segment。數(shù)據(jù)哪里來呢？先會存在內(nèi)存的 bugger 中，然后持久化到 segment 。

數(shù)據(jù)持久化步驟如下：write -> refresh -> flush -> merge

3.3.1 write 過程

一個新文檔過來，會存儲在 in-memory buffer 內(nèi)存緩存區(qū)中，順便會記錄 Translog。

這時候數(shù)據(jù)還沒到 segment ，是搜不到這個新文檔的。數(shù)據(jù)只有被 refresh 后，才可以被搜索到。那么講下 refresh 過程3.3.2 refresh 過程 如何進行Elasticsearch數(shù)據(jù)寫入的分析

refresh 默認(rèn) 1 秒鐘，執(zhí)行一次上圖流程。ES 是支持修改這個值的，通過 index.refresh_interval 設(shè)置 refresh （沖刷）間隔時間。refresh 流程大致如下：

in-memory buffer 中的文檔寫入到新的 segment 中，但 segment 是存儲在文件系統(tǒng)的緩存中。此時文檔可以被搜索到
最后清空 in-memory buffer。注意: Translog 沒有被清空，為了將 segment 數(shù)據(jù)寫到磁盤

文檔經(jīng)過 refresh 后， segment 暫時寫到文件系統(tǒng)緩存，這樣避免了性能 IO 操作，又可以使文檔搜索到。refresh 默認(rèn) 1 秒執(zhí)行一次，性能損耗太大。一般建議稍微延長這個 refresh 時間間隔，比如 5 s。因此，ES 其實就是準(zhǔn)實時，達不到真正的實時。

3.3.3 flush 過程