我們生活中的數(shù)據(jù)總體分為兩種：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

創(chuàng)新互聯(lián)主要企業(yè)基礎(chǔ)官網(wǎng)建設(shè)，電商平臺(tái)建設(shè)，移動(dòng)手機(jī)平臺(tái)，重慶小程序開發(fā)等一系列專為中小企業(yè)定制開發(fā)產(chǎn)品體系；應(yīng)對(duì)中小企業(yè)在互聯(lián)網(wǎng)運(yùn)營(yíng)的各種問題，為中小企業(yè)在互聯(lián)網(wǎng)的運(yùn)營(yíng)中保駕護(hù)航。

• 結(jié)構(gòu)化數(shù)據(jù)：指具體固定格式或有限長(zhǎng)度的數(shù)據(jù)，如數(shù)據(jù)庫中的數(shù)據(jù)，元數(shù)據(jù)等。
• 非結(jié)構(gòu)化數(shù)據(jù)：指不定長(zhǎng)或無固定格式的數(shù)據(jù)，如郵件，word文檔等。

數(shù)據(jù)庫適合結(jié)構(gòu)化數(shù)據(jù)的精確查詢，而不適合非結(jié)構(gòu)化數(shù)據(jù)的模糊查詢及靈活搜索（特別是數(shù)據(jù)量大的時(shí)候），無法提供想要是實(shí)時(shí)性。

對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)的檢索，只能對(duì)全部?jī)?nèi)容做分析（分詞）。

分詞后如何搜索？倒排索引and正排索引

倒排索引---根據(jù)你所搜索的text進(jìn)行分詞去文檔中搜索。

正排索引---將文檔進(jìn)行分詞匹配你搜索的關(guān)鍵字

這里有一個(gè)問題：數(shù)據(jù)庫是正排索引還是倒排索引？

ES是使用了Lucene做搜索框架來實(shí)現(xiàn)自己的搜索部分內(nèi)容。

• 穩(wěn)定、索引性能高

?每小時(shí)能夠索引150G以上的數(shù)據(jù)，對(duì)內(nèi)存的要求小，只需要1M的堆內(nèi)存，增量索引和批量索引一樣快。 索引的大小約為索引文本大小的20%~30%

• 高效、準(zhǔn)確、高性能的搜索算法

強(qiáng)大的查詢方式支持短語查詢、通配符查詢、臨近查詢、范圍查詢等。支持多個(gè)索引查詢結(jié)果合并。支持更新操作和查詢操作同時(shí)進(jìn)行。支持高亮、join、分組結(jié)果功能。

• 跨平臺(tái)?

作為開源項(xiàng)目，你可在商業(yè)或開源項(xiàng)目中使用。Lucene有多種語言實(shí)現(xiàn)版可選（Python、PHP、C++等）不只是Java

Lucene的索引結(jié)構(gòu)是有層次結(jié)構(gòu)的：索引、段、文檔、域、詞

Es企業(yè)應(yīng)用場(chǎng)景：

• 搜索類場(chǎng)景? ?比如說電商網(wǎng)站、招聘網(wǎng)站、新聞咨詢類網(wǎng)站、各種app的搜索
• 日志分析類場(chǎng)景? ?經(jīng)典的ELK（Es+Logstash/Kibana）組合，可以完成日志收集，日志存儲(chǔ)，日志分析查詢界面基本功能，目前改方案的實(shí)現(xiàn)很普及，大部分企業(yè)日志分析系統(tǒng)使用該方案。我們公司就是用于分布式日志的搜集方便排查問題，查看日志不用在分別打開日志查詢，同步到es后整個(gè)事務(wù)的流程都可以查看到。
• 數(shù)據(jù)預(yù)警平臺(tái)及數(shù)據(jù)分析場(chǎng)景? ?例如電商價(jià)格預(yù)警，在支付的電商平臺(tái)設(shè)置價(jià)格預(yù)警，當(dāng)優(yōu)惠的價(jià)格低于某個(gè)指的時(shí)候，觸發(fā)通知消息，通知用戶購(gòu)買。 數(shù)據(jù)分析常見的比如分析電商平臺(tái)銷售量top 10 的品牌，分析博客系統(tǒng)、頭條網(wǎng)站app top10 關(guān)注度、評(píng)論數(shù)、訪問量的內(nèi)容等等。我們公司就是用于日后的數(shù)據(jù)分析及數(shù)據(jù)的存儲(chǔ)，因數(shù)據(jù)的重要性數(shù)據(jù)從存在數(shù)據(jù)庫-redis->clickHouse->ES 都有涉及到方便數(shù)據(jù)的分析及處理，同時(shí)也增大維護(hù)服務(wù)的成本。

關(guān)系性數(shù)據(jù)庫	Elasticsearch
數(shù)據(jù)庫Database	index
表table	Type
數(shù)據(jù)行Row????????	Document
數(shù)據(jù)列Column	Field
約束Schema	Mapping

常用的操作：

Match Query

• 先分詞，再匹配，本質(zhì)是bool查詢，term之間默認(rèn)的or的關(guān)系

Match Phrase Query

• 同樣需要分詞，分詞后需要保持詞之間的相對(duì)順序，默認(rèn)slop是0；

//term --- 完全匹配
GET /tk-policy-testenv/_search
{
    "query": {
        "bool": {
            "filter": [
                {
                    "term": {
                        "myname_no": "7198220142418"
                    }
                }
            ]
        }
    },
    "sort": [
        {
            "@timestamp": {
                "order": "desc"
            }
        }
    ],
    "size": 100,
    "from": 0
}

GET /data-repo-stream-testenv/_search
{
    "query": {
        "bool": {
            "filter": [
                {
                    "term": {
                        "key": "7_ESREPO:2cfd21a4b3a24747b3b624c3ead4f317"
                    }
                }
            ]
        }
    },
    "sort": [
        {
            "@timestamp": {
                "order": "desc"
            }
        }
    ],
    "size": 100,
    "from": 0
}


GET /tencent:zx_hopen-2022.07/_search
{
  "query": { 
    "bool": { 
      "must": [
        { "match": { "message": "HLCP-INSTALMENT"}},
        { "match": { "message": "我要進(jìn)行續(xù)期回調(diào)報(bào)文 = "}}
      ],
      "should": [ 
        { "match":  { "message": "H220615018793680123232" }}
      ]
    }
  }

GET /tencent:nt_zx_hopen-2022.08/_search?filter_path=hits.total,hits.hits._source&_source=message,log
{
  "query": {
    "bool": {
      "must": [
        {
          "match_phrase": {
            "message": {
              "query": "服務(wù)名,TraceId"
            }
          }
        }
      ]
      ,
      "filter": [{
        "match_phrase": {
          "host.ip": "10.161.165.212"http://某一個(gè)服務(wù)的地址 用哪一個(gè)打開哪一個(gè)
          //"host.ip": "10.161.165.114"
          //"host.ip": "10.161.165.85"
          //"host.ip": "10.161.165.102"
          //"host.ip": "10.161.165.169"
         //"host.ip": "10.161.165.203"
         //"log.file.path" : "spbt_9001"

        }
      }]
    }
  },

  "sort": [
    {
      "@timestamp": {
        "order": "desc"
      }
    }
  ],
  "size": 5,
  "from": 0
}

可視化工具：Kibana是一個(gè)基于Node的索引數(shù)據(jù)統(tǒng)計(jì)工具，可以利用elk的聚合功能，生成各種圖表，如柱形圖、線狀圖、餅圖等。

特點(diǎn)：

• 更便捷、學(xué)習(xí)成本低、查看周圍文檔
• DSL語法更靈活，有學(xué)習(xí)成本

?日常工作中查看日志排查問題足夠，通過日志中的關(guān)鍵信息即可查詢到報(bào)錯(cuò)信息，利用各環(huán)境創(chuàng)建不同的索引，可以排查指定環(huán)境的日志，還可以查看各時(shí)間段的請(qǐng)求量，某一天的日志。結(jié)合Skywalking調(diào)用鏈路監(jiān)控將調(diào)用各服務(wù)相關(guān)日志聚合到ES同一個(gè)索引下，通過TraceId關(guān)聯(lián)一條事務(wù)的所有日志。

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)頁題目：Elasticsearch搜索引擎-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://weahome.cn/article/ehcoi.html