對(duì)于慢查詢和慢導(dǎo)入，Doris 提供了完善的 Profile 機(jī)制，在了解相關(guān)技術(shù)細(xì)節(jié)后，我們?cè)诰€上集群開啟了 Profile 收集，通過調(diào)度任務(wù)定時(shí)收集慢查詢、慢導(dǎo)入的 Profile 信息并落庫(kù)。

在唐縣等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作專業(yè)公司,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),全網(wǎng)整合營(yíng)銷推廣,外貿(mào)網(wǎng)站制作,唐縣網(wǎng)站建設(shè)費(fèi)用合理。

Doris 提供的 Profile 信息非常詳細(xì)，例如?OLAP_SCAN_NODE提供了原始的掃描行數(shù)，各個(gè)索引的過濾行數(shù)，每個(gè) Instance 的?EXCHANGE_NODE提供了接收的數(shù)據(jù)總行數(shù)和接收的數(shù)據(jù)量大小。這些信息為查詢調(diào)優(yōu)提供了詳細(xì)的依據(jù)，我們?cè)谑褂眠^程中針對(duì)快速定位查詢性能的瓶頸進(jìn)行了優(yōu)化，取得了良好的效果。

建表規(guī)范

在我們的使用場(chǎng)景中，有下列類型的表：

• pda 表：每日全量更新，即每日分區(qū)存儲(chǔ)全量快照數(shù)據(jù)

• pdi 表： 每日增量更新，即每日分區(qū)存儲(chǔ)增量數(shù)據(jù)

• a 表：全量不分區(qū)表

• s 表：靜態(tài)非每日更新數(shù)據(jù)

由于當(dāng)前 Doris 集群中所有的表都是基于 Hive 數(shù)倉(cāng)中各層級(jí)的表同步而來(lái)，因此目前僅使用了 Duplcate 模型和 Unique 模型，對(duì)于 pda、pdi 和 a 表，為了降低 Doris 表的分區(qū)數(shù)，減輕 FE 元數(shù)據(jù)管理壓力，我們?cè)诮?Doris 表時(shí)均啟用了根據(jù)日期劃分的動(dòng)態(tài)分區(qū)特性，較久遠(yuǎn)的歷史數(shù)據(jù)我們按年、月的維度分區(qū)歸檔，近期的數(shù)據(jù)按日、小時(shí)分區(qū)，未來(lái)我們計(jì)劃通過程序自動(dòng)識(shí)別完成歷史分區(qū)的歸檔合并。

對(duì)于 pda 表使用場(chǎng)景，pda 表需要每日同步全量數(shù)據(jù)，我們采用了 Duplicate 模型，不考慮使用 Unique 模型數(shù)據(jù)去重的原因是 Doris 的導(dǎo)入模型本身就提供了基于任務(wù) Label 的數(shù)據(jù)一致性保證，同步時(shí)一次調(diào)度周期的 pda 表的一個(gè)分區(qū)的導(dǎo)入任務(wù)能產(chǎn)生唯一且不變的 Label，因此我們可以保證即使錯(cuò)誤執(zhí)行了多次，該分區(qū)的數(shù)據(jù)仍然不會(huì)重復(fù)。另外，因?yàn)?Duplicate 模型相比于 Unique 模型，在導(dǎo)入和查詢階段均不會(huì)做預(yù)聚合去重，所以可以一定程度上加速導(dǎo)入和查詢的性能。

對(duì)于 pdi 表使用場(chǎng)景，因在實(shí)際使用中 pdi 表存在少數(shù)對(duì)歷史數(shù)據(jù)的部分更新場(chǎng)景（絕大部分是數(shù)據(jù)更新場(chǎng)景，基本沒有數(shù)據(jù)刪除場(chǎng)景），考慮到 Doris 數(shù)據(jù)表的分區(qū)可用性，我們采用了 Unique 模型，這樣在更新歷史分區(qū)的數(shù)據(jù)時(shí)不必做重建分區(qū)操作。

對(duì)于 a 表使用場(chǎng)景，因業(yè)務(wù)上可以接受短時(shí)間數(shù)據(jù)不可用情況，我們啟用了動(dòng)態(tài)分區(qū)，在做數(shù)據(jù)導(dǎo)入時(shí)，每次導(dǎo)入都會(huì)先刪除歷史分區(qū)，然后將全量數(shù)據(jù)導(dǎo)入今天的分區(qū)內(nèi)，這樣做的考慮是杜絕重建表操作，且實(shí)施成本相對(duì)比較低，因此我們沒有采取動(dòng)態(tài)更新視圖綁定當(dāng)日分區(qū)的方案。

在 Doris 之前的版本中，尚未實(shí)現(xiàn) Hive 元數(shù)據(jù)變更同步和管理功能，為了提高效率開發(fā)了 Doris 建表工具，我們通過選擇和配置數(shù)倉(cāng)集群、Hive 表名、數(shù)據(jù)模型、Bucket 數(shù)量等參數(shù)，自動(dòng)關(guān)聯(lián) Hive 表，解析表字段并生成對(duì)應(yīng)的建表語(yǔ)句。經(jīng)過與社區(qū)溝通得知，最近即將發(fā)布的 1.2 新版本中已經(jīng)實(shí)現(xiàn) Multi Catalog，支持 Hive 元數(shù)據(jù)的對(duì)接和 Schema 的自動(dòng)同步，可以極大程度上減少這一部分的工作。

監(jiān)控體系

當(dāng)前 Doris 集群監(jiān)控體系分為主機(jī)指標(biāo)監(jiān)控告警、日志告警和集群指標(biāo)監(jiān)控告警，總體監(jiān)控體系如下。

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)頁(yè)題目：Doris提供了完善的Profile機(jī)制-創(chuàng)新互聯(lián)
文章位置：http://weahome.cn/article/jcseo.html