ES作為一個(gè)NoSQL，典型的應(yīng)用場(chǎng)景就是存儲(chǔ)數(shù)據(jù)。即用戶可以通過api添加數(shù)據(jù)到es中。由于Lucene內(nèi)部的實(shí)現(xiàn)， 每次添加的數(shù)據(jù)并不是實(shí)時(shí)落盤的。而是在內(nèi)存中維護(hù)著索引信息，直到緩沖區(qū)滿了或者顯式的commit, 數(shù)據(jù)才會(huì)落盤，形成一個(gè)segement，保存在文件中。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名與空間、虛擬主機(jī)、營(yíng)銷軟件、網(wǎng)站建設(shè)、大連網(wǎng)站維護(hù)、網(wǎng)站推廣。

那么假如由于某種原因，ES的進(jìn)程突然掛了，那些在內(nèi)存中的數(shù)據(jù)就會(huì)丟失。而實(shí)際上，用戶調(diào)用api, 返回結(jié)果確認(rèn)用戶數(shù)據(jù)已經(jīng)添加到索引中。這種數(shù)據(jù)丟失是無法被接受的。怎么解決這個(gè)問題呢？

ES實(shí)現(xiàn)了Translog， 即數(shù)據(jù)索引前，會(huì)先寫入到日志文件中。假如節(jié)點(diǎn)掛了，重啟節(jié)點(diǎn)時(shí)就會(huì)重放日志，這樣相當(dāng)于把用戶的操作模擬了一遍。保證了數(shù)據(jù)的不丟失。

通過ES的源碼，了解一下實(shí)現(xiàn)的細(xì)節(jié)。 首先關(guān)注Translog類。

Translog類是一個(gè)索引分片層級(jí)的組件，即每個(gè)index shard一個(gè)Translog類。它的作用是: 將沒有提交的索引操作以持久化的方式記錄起來(其實(shí)就是寫到文件中)。

InternalEngine 在commit metadata中記錄了當(dāng)前最新的translog generation。 通過這個(gè) generation，可以關(guān)聯(lián)到所有沒有commit的操作記錄。

每個(gè)Translog實(shí)例在任何時(shí)候都只會(huì)有一個(gè)處于open狀態(tài)的translog file. 這個(gè)translog file跟translog generation ID是一一映射的關(guān)系。

出于性能的考慮，災(zāi)后重建并不是回放所有的translog, 而是最新沒有提交索引的那一部分。所以必須有一個(gè)checkpoint, 即translog.ckp文件。

綜上，從文件的視角看待translog機(jī)制其實(shí)是兩個(gè)文件:

$ tree translog
translog
├── translog-11.tlog
└── translog.ckp

translog記錄日志的格式如下:|記錄size|操作的唯一id|操作的內(nèi)容|checksum| 每次add操作返回的location會(huì)記錄到versionMap中，這樣就能實(shí)現(xiàn)realtime get的功能了。

了解了這一點(diǎn)，在配置es的時(shí)候，有兩種途徑可以提升ES索引的性能。

a. 將translog日子和索引配置到不同的盤片。
b. 將translog的flush間隔設(shè)置長(zhǎng)一些。比如如下的參數(shù):
index.translog.sync_interval : 30s 
index.translog.durability : “async” 
index.translog.flush_threshold_size: 4g 
index.translog.flush_threshold_ops: 50000

了解了translog的機(jī)制，會(huì)發(fā)現(xiàn)，即使是translog機(jī)制，也并不能完全能避免數(shù)據(jù)的丟失。在性能和數(shù)據(jù)丟失容忍度上，還是需要做一些平衡。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：ES學(xué)習(xí)筆記之-Translog實(shí)現(xiàn)機(jī)制的理解-創(chuàng)新互聯(lián)
文章位置：http://weahome.cn/article/ddggho.html