Github上es項(xiàng)目講述其易用性時(shí)，用來舉例說明ES開箱即用的特性，用的就是Get API。片段摘取如下:
重慶分公司
重慶分公司
-- 添加文檔
curl -XPUT 'http://localhost:9200/twitter/doc/1?pretty' -H 'Content-Type: application/json' -d '
{
"user": "kimchy",
"post_date": "2009-11-15×××3:12:00",
"message": "Trying out Elasticsearch, so far so good?"
}'
-- 讀取文檔
curl -XGET 'http://localhost:9200/twitter/doc/1?pretty=true'Get API通常的用途有2點(diǎn):
1 檢測添加的文檔跟預(yù)期是否相符, 這在問題排查時(shí)超級實(shí)用。
2 根據(jù)id獲取整個(gè)文檔明細(xì)， 用于搜索的fetch階段。
研究ES的內(nèi)部機(jī)制， Get API是一個(gè)極佳的切入點(diǎn)。通過Get API， 可以了解到的知識點(diǎn)有：
a. ES的rest api實(shí)現(xiàn)方式。
b. ES的文檔路由方式。
c. ES的RPC實(shí)現(xiàn)機(jī)制。
d. ES的translog.
e. ES如何使用lucene 的IndexSearcher。
f. ES如何根據(jù)id獲取到lucene的doc_id。
g. ES如何根據(jù)lucene的doc_id 獲取文檔明細(xì)。
.......
研究ES的內(nèi)部機(jī)制，有助于釋放ES的洪荒之力。例如：根據(jù)業(yè)務(wù)開發(fā)ES的plugin時(shí)，其內(nèi)部流程是很好的借鑒。 內(nèi)部細(xì)節(jié)了解越多，越不容易踩坑。
GET API的核心流程如下:
s1: 接收客戶端請求
看到controller.registerHandler()方法，很容易就聯(lián)想到http的請求
public class RestGetAction extends BaseRestHandler {
@Inject
public RestGetAction(Settings settings, RestController controller, Client client) {
super(settings, controller, client);
controller.registerHandler(GET, "/{index}/{type}/{id}", this);
}
@Override
public void handleRequest(final RestRequest request, final RestChannel channel, final Client client) {
...
client.get(getRequest, new RestBuilderListener(channel) {
...
});
}
} s2: 在當(dāng)前節(jié)點(diǎn)執(zhí)行該請求
public class NodeClient extends AbstractClient {
...
@Override
public >
void doExecute(Action action, Request request, ActionListener listener) {
TransportAction transportAction = actions.get(action);
...
transportAction.execute(request, listener);
}
}
這里隱含了一個(gè)actions的映射表, 如下:
public class ActionModule extends AbstractModule {
...
@Override
protected void configure() {
...
registerAction(GetAction.INSTANCE, TransportGetAction.class);
...
}
} s3: 定位文檔所在分片
文檔的定位思路很簡單， 默認(rèn)根據(jù)文檔id, 用hash函數(shù)計(jì)算出文檔的分片ShardId, 通過分片ShardId定位出NodeId。
ES內(nèi)部維護(hù)了一張類似路由表的對象，類名就是RoutingTable. 通過RoutingTable, 可以根據(jù)索引名稱找到所有的分片；可以通過分片Id找到分片對應(yīng)的集群Node.
關(guān)于文檔的定位，從應(yīng)用的角度有兩個(gè)知識點(diǎn)：routing和preference
public class TransportGetAction extends TransportSingleShardAction {
...
@Override
protected ShardIterator shards(ClusterState state, InternalRequest request) {
return clusterService.operationRouting()
.getShards(clusterService.state(), request.concreteIndex(), request.request().type(), request.request().id(), request.request().routing(), request.request().preference());
}
} s4: 將請求轉(zhuǎn)發(fā)到分片所在的節(jié)點(diǎn)
請求的分發(fā)，涉及到ES的RPC通信。上一步定位到NodeId, 將請求發(fā)送到該NodeId即可。
由于ES的每個(gè)Node代碼都是一樣的， 因此每個(gè)Node既承擔(dān)Server也承擔(dān)Client的責(zé)任，這跟其他的RPC框架有所不同。
核心方法是transportService.sendRequest() 和 messageReceived()。
public abstract class TransportSingleShardAction extends TransportAction {
class AsyncSingleAction {
public void start() {
transportService.sendRequest(clusterService.localNode(), transportShardAction, internalRequest.request(), new BaseTransportResponseHandler() {
...
});
}
}
private class ShardTransportHandler extends TransportRequestHandler {
@Override
public void messageReceived(final Request request, final TransportChannel channel) throws Exception {
...
Response response = shardOperation(request, request.internalShardId);
channel.sendResponse(response);
}
}
} s5: 通過id讀取索引文件獲取該id對應(yīng)的文檔信息
這里分兩個(gè)階段:
step1: 將type和id合并成一個(gè)字段，從lucene的倒排索引中定位lucene的doc_id
step2: 根據(jù)doc_id從正向信息中獲取明細(xì)。
public final class ShardGetService extends AbstractIndexShardComponent {
...
private GetResult innerGet(String type, String id, String[] gFields, boolean realtime, long version, VersionType versionType, FetchSourceContext fetchSourceContext, boolean ignoreErrorsOnGeneratedFields) {
fetchSourceContext = normalizeFetchSourceContent(fetchSourceContext, gFields);
...
get = indexShard.get(new Engine.Get(realtime, new Term(UidFieldMapper.NAME, Uid.createUidAsBytes(typeX, id)))
.version(version).versionType(versionType));
...
innerGetLoadFromStoredFields(type, id, gFields, fetchSourceContext, get, docMapper, ignoreErrorsOnGeneratedFields);
}
}(注: 如果是realtime=true, 則先從translog中讀取source, 沒有讀取到才從索引中讀取)
s5涉及到Lucene的內(nèi)部實(shí)現(xiàn)， 這里不展開贅述。
最后總結(jié)一下:
Get API是ES內(nèi)部打通了整個(gè)流程的功能點(diǎn)。從功能上看，它足夠簡單；從實(shí)現(xiàn)上看，他又串聯(lián)了ES的主流程，以它為切入口，不會像展示You Know, for Search的RestMainAction那樣浮于表面；又不會像實(shí)現(xiàn)搜索的接口那樣龐雜難懂。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
