Elasticsearch的數據就存儲在硬盤中。當我們的訪問日志非常大時，kabana繪制圖形的時候會非常緩慢。而且硬盤空間有限，不可能保存所有的日志文件。如果我們想獲取站點每天的重要數據信息，比如每天的訪問量并希望能圖像化的形式顯示該如何做呢？

網站建設哪家好，找成都創(chuàng)新互聯(lián)！專注于網頁設計、網站建設、微信開發(fā)、小程序開發(fā)、集團企業(yè)網站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了南京免費建站歡迎大家使用！

一、具體操作方法

獲取數據之前你要知道你想要什么樣的數據。比如我想獲取每小時網站訪問的PV，在kibana中肯定能獲取到

這是在kibana中查詢的每小時的pv,然后我們把他的查詢json復制出來

把上述json粘貼到test文件中 然后使用如下語句即可查詢上圖顯示的查詢結果

curl -POST 'http://192.168.10.49:9200/_search' -d '@test'

{"took":940,"timed_out":false,"_shards":{"total":211,"successful":211,"failed":0},"hits"......

然后把返回的結果中的數據獲取存入data數組中，這是你可以存入數據庫也可以轉換成json直接插入es

這種方法主要是通過elasticsearch的查詢語句把數據查詢出來在傳參給其他地方。你輸入固定的查詢json它返回的json數據也是固定格式的，這樣很方面就能從中挖掘出我們想要的數據！

二、php代碼實現上述操作

class.php

vim access_info.php (index_name和type_name自己根據實際情況命名)

 $value){
    $data['@timestamp']=$value['key_as_string'];
    $data['request_PV']=$value['doc_count'];
    $data['request_IP']=$value['3']['value'];
    #Time為導入ES中的ID，具有唯一性。（不同tpye的可以相同）
    $Time=strtotime($data['@timestamp']);
    $urls="http://192.168.2.243:9200/index_name/tpye_name/$Time"
      #調用函數import導入數據 
    import($urls,$data);
}
?>

下面這個文件是存放./lib文件下的，和執(zhí)行的php文件必須同名。

vim lib/access_info.txt

{
  "size": 0,
  "aggs": {
    "2": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "1h",  
        "time_zone": "Asia/Shanghai" 
        #保留時區(qū)獲取的信息會準確但是在kibana或ganafa顯示的時候會加8個小時
        "min_doc_count": 1,
        "extended_bounds": {
          "min": start_time, #start_time會被換成具體的時間
          "max": end_time
        }
      },
      "aggs": {
        "3": {
          "cardinality": {
            "field": "geoip.ip"
          }
        }
      }
    }
  },
    
  "highlight": {
    "pre_tags": [
      "@kibana-highlighted-field@"
    ],
    "post_tags": [
      "@/kibana-highlighted-field@"
    ],
    "fields": {
      "*": {}
    },
    "require_field_match": false,
    "fragment_size": 2147483647
  },
    "query": {
    "filtered": {
      "query": {
        "query_string": {
          "query": "*",
          "analyze_wildcard": true
        }
      },
      "filter": {
        "bool": {
          "must": [
            {
              "range": {
                "@timestamp": {
                  "gte": start_time,
                  "lte": end_time,
                  "format": "epoch_second"  #由毫秒換成秒
                }
              }
            }
          ],
          "must_not": []
        }
      }
    }
  }
}

根據上面的代碼，我們可以定期獲取ES中的重要數據。這樣獲取的數據只是結果數據，不是很精確，但能反應網站的趨勢，而且查詢非?？焖?！如果想要長時間保存重要的數據，可以使用這個方法。而且數據也可以存入數據庫。

以上是個人對能長期保存ES結果數據的做法，如果有更好的方法，希望能一起討論！