TiDB 是 PingCAP 自主研發(fā)的開(kāi)源分布式關(guān)系型數(shù)據(jù)庫(kù)，具備商業(yè)級(jí)數(shù)據(jù)庫(kù)的數(shù)據(jù)可靠性，可用性，安全性等特性，支持在線彈性水平擴(kuò)展，兼容 MySQL 協(xié)議及生態(tài)，創(chuàng)新性實(shí)現(xiàn) OLTP 及 OLAP 融合。
成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站建設(shè)、做網(wǎng)站、凌云網(wǎng)絡(luò)推廣、微信小程序開(kāi)發(fā)、凌云網(wǎng)絡(luò)營(yíng)銷、凌云企業(yè)策劃、凌云品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供凌云建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com
TiDB 3.0 版本顯著提升了大規(guī)模集群的穩(wěn)定性，集群支持 150+ 存儲(chǔ)節(jié)點(diǎn)，300+TB 存儲(chǔ)容量長(zhǎng)期穩(wěn)定運(yùn)行。易用性方面引入大量降低用戶運(yùn)維成本的優(yōu)化，包括引入 Information_Schema 中的多個(gè)實(shí)用系統(tǒng)視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面，特別是 OLTP 性能方面，3.0 比 2.1 也有大幅提升，其中 TPC-C 性能提升約 4.5 倍，Sysbench 性能提升約 1.5 倍，OLAP 方面，TPC-H 50G Q15 因?qū)崿F(xiàn) View 可以執(zhí)行，至此 TPC-H 22 個(gè) Query 均可正常運(yùn)行。新功能方面增加了窗口函數(shù)、視圖（實(shí)驗(yàn)特性）、分區(qū)表、插件系統(tǒng)、悲觀鎖（實(shí)驗(yàn)特性）。
截止本文發(fā)稿時(shí) TiDB 已在 500+ 用戶的生產(chǎn)環(huán)境中長(zhǎng)期穩(wěn)定運(yùn)行，涵蓋金融、保險(xiǎn)、制造，互聯(lián)網(wǎng)， 游戲 等領(lǐng)域，涉及交易、數(shù)據(jù)中臺(tái)、 歷史 庫(kù)等多個(gè)業(yè)務(wù)場(chǎng)景。不同業(yè)務(wù)場(chǎng)景對(duì)關(guān)系型數(shù)據(jù)庫(kù)的訴求可用 “百花齊放”來(lái)形容，但對(duì)關(guān)系數(shù)據(jù)庫(kù)最根本的訴求未發(fā)生任何變化，如數(shù)據(jù)可靠性，系統(tǒng)穩(wěn)定性，可擴(kuò)展性，安全性，易用性等。請(qǐng)跟隨我們的腳步梳理 TiDB 3.0 有什么樣的驚喜。
3.0 與 2.1 版本相比，顯著提升了大規(guī)模集群的穩(wěn)定性，支持單集群 150+ 存儲(chǔ)節(jié)點(diǎn)，300+TB 存儲(chǔ)容量長(zhǎng)期穩(wěn)定運(yùn)行，主要的優(yōu)化點(diǎn)如下：
1. 優(yōu)化 Raft 副本之間的心跳機(jī)制，按照 Region 的活躍程度調(diào)整心跳頻率，減小冷數(shù)據(jù)對(duì)集群的負(fù)擔(dān)。
2. 熱點(diǎn)調(diào)度策略支持更多參數(shù)配置，采用更高優(yōu)先級(jí)，并提升熱點(diǎn)調(diào)度的準(zhǔn)確性。
3. 優(yōu)化 PD 調(diào)度流程，提供調(diào)度限流機(jī)制，提升系統(tǒng)穩(wěn)定性。
4. 新增分布式 GC 功能，提升 GC 的性能，降低大集群 GC 時(shí)間，提升系統(tǒng)穩(wěn)定性。
眾所周知，數(shù)據(jù)庫(kù)查詢計(jì)劃的穩(wěn)定性對(duì)業(yè)務(wù)至關(guān)重要，TiDB 3.0 版本采用多種優(yōu)化手段提升查詢計(jì)劃的穩(wěn)定性，如下：
1. 新增 Fast Analyze 功能，提升收集統(tǒng)計(jì)信息的速度，降低集群資源的消耗及對(duì)業(yè)務(wù)的影響。
2. 新增 Incremental Analyze 功能，提升收集單調(diào)遞增的索引統(tǒng)計(jì)信息的速度，降低集群資源的消耗及對(duì)業(yè)務(wù)的影響。
3. 在 CM-Sketch 中新增 TopN 的統(tǒng)計(jì)信息，緩解 CM-Sketch 哈希沖突導(dǎo)致估算偏大，提升代價(jià)估算的準(zhǔn)確性，提升查詢計(jì)劃的穩(wěn)定性。
4. 引入 Skyline Pruning 框架，利用規(guī)則防止查詢計(jì)劃過(guò)度依賴統(tǒng)計(jì)信息，緩解因統(tǒng)計(jì)信息滯后導(dǎo)致選擇的查詢計(jì)劃不是最優(yōu)的情況，提升查詢計(jì)劃的穩(wěn)定性。
5. 新增 SQL Plan Management 功能，支持在查詢計(jì)劃不準(zhǔn)確時(shí)手動(dòng)綁定查詢計(jì)劃，提升查詢計(jì)劃的穩(wěn)定性。
1. OLTP
3.0 與 2.1 版本相比 Sysbench 的 Point Select，Update Index，Update Non-Index 均提升約 1.5 倍，TPC-C 性能提升約 4.5 倍。主要的優(yōu)化點(diǎn)如下：
1. TiDB 持續(xù)優(yōu)化 SQL 執(zhí)行器，包括：優(yōu)化 NOT EXISTS 子查詢轉(zhuǎn)化為 Anti Semi Join，優(yōu)化多表 Join 時(shí) Join 順序選擇等。
2. 優(yōu)化 Index Join 邏輯，擴(kuò)大 Index Join 算子的適用場(chǎng)景并提升代價(jià)估算的準(zhǔn)確性。
3. TiKV 批量接收和發(fā)送消息功能，提升寫入密集的場(chǎng)景的 TPS 約 7%，讀密集的場(chǎng)景提升約 30%。
4. TiKV 優(yōu)化內(nèi)存管理，減少 Iterator Key Bound Option 的內(nèi)存分配和拷貝，多個(gè) Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。
5. 引入 Titan 存儲(chǔ)引擎插件，提升 Value 值超過(guò) 1KB 時(shí)性能，緩解 RocksDB 寫放大問(wèn)題，減少磁盤 IO 的占用。
6. TiKV 新增多線程 Raftstore 和 Apply 功能，提升單節(jié)點(diǎn)內(nèi)可擴(kuò)展性，進(jìn)而提升單節(jié)點(diǎn)內(nèi)并發(fā)處理能力和資源利用率，降低延時(shí)，大幅提升集群寫入能力。
TiDB Lightning 性能與 2019 年年初相比提升 3 倍，從 100GB/h 提升到 300GB/h，即 28MB/s 提升到 85MB/s，優(yōu)化點(diǎn)，如下：
1. 提升 SQL 轉(zhuǎn)化成 KV Pairs 的性能，減少不必要的開(kāi)銷。
2. 提升單表導(dǎo)入性能，單表支持批量導(dǎo)入。
3. 提升 TiKV-Importer 導(dǎo)入數(shù)據(jù)性能，支持將數(shù)據(jù)和索引分別導(dǎo)入。
4. TiKV-Importer 支持上傳 SST 文件限速功能。
RBAC（Role-Based Access Control，基于角色的權(quán)限訪問(wèn)控制） 是商業(yè)系統(tǒng)中最常見(jiàn)的權(quán)限管理技術(shù)之一，通過(guò) RBAC 思想可以構(gòu)建最簡(jiǎn)單“用戶-角色-權(quán)限”的訪問(wèn)權(quán)限控制模型。RBAC 中用戶與角色關(guān)聯(lián)，權(quán)限與角色關(guān)聯(lián)，角色與權(quán)限之間一般是多對(duì)多的關(guān)系，用戶通過(guò)成為什么樣的角色獲取該角色所擁有的權(quán)限，達(dá)到簡(jiǎn)化權(quán)限管理的目的，通過(guò)此版本的迭代 RBAC 功能開(kāi)發(fā)完成。
IP 白名單功能（企業(yè)版特性） ：TiDB 提供基于 IP 白名單實(shí)現(xiàn)網(wǎng)絡(luò)安全訪問(wèn)控制，用戶可根據(jù)實(shí)際情況配置相關(guān)的訪問(wèn)策略。
Audit log 功能（企業(yè)版特性） ：Audit log 記錄用戶對(duì)數(shù)據(jù)庫(kù)所執(zhí)行的操作，通過(guò)記錄 Audit log 用戶可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行故障分析，行為分析，安全審計(jì)等，幫助用戶獲取數(shù)據(jù)執(zhí)行情況。
加密存儲(chǔ)（企業(yè)版特性） ：TiDB 利用 RocksDB 自身加密功能，實(shí)現(xiàn)加密存儲(chǔ)的功能，保證所有寫入到磁盤的數(shù)據(jù)都經(jīng)過(guò)加密，降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)。
完善權(quán)限語(yǔ)句的權(quán)限檢查 ，新增 ANALYZE，USE，SET GLOBAL，SHOW PROCESSLIST 語(yǔ)句權(quán)限檢查。
1. 新增 SQL 方式查詢慢查詢，豐富 TiDB 慢查詢?nèi)罩緝?nèi)容，如：Coprocessor 任務(wù)數(shù)，平均/最長(zhǎng)/90% 執(zhí)行/等待時(shí)間，執(zhí)行/等待時(shí)間最長(zhǎng)的 TiKV 地址，簡(jiǎn)化慢查詢定位工作，提高排查慢查詢問(wèn)題效率，提升產(chǎn)品易用性。
2. 新增系統(tǒng)配置項(xiàng)合法性檢查，優(yōu)化系統(tǒng)監(jiān)控項(xiàng)等，提升產(chǎn)品易用性。
3. 新增對(duì) TableReader、IndexReader 和 IndexLookupReader 算子內(nèi)存使用情況統(tǒng)計(jì)信息，提高 Query 內(nèi)存使用統(tǒng)計(jì)的準(zhǔn)確性，提升處理內(nèi)存消耗較大語(yǔ)句的效率。
4. 制定日志規(guī)范，重構(gòu)日志系統(tǒng)，統(tǒng)一日志格式，方便用戶理解日志內(nèi)容，有助于通過(guò)工具對(duì)日志進(jìn)行定量分析。
5. 新增 EXPLAIN ANALYZE 功能，提升SQL 調(diào)優(yōu)的易用性。
6. 新增 SQL 語(yǔ)句 Trace 功能，方便排查問(wèn)題。
7. 新增通過(guò) unix_socket 方式連接數(shù)據(jù)庫(kù)。
8. 新增快速恢復(fù)被刪除表功能，當(dāng)誤刪除數(shù)據(jù)時(shí)可通過(guò)此功能快速恢復(fù)數(shù)據(jù)。
TiDB 3.0 新增 TiFlash 組件，解決復(fù)雜分析及 HTAP 場(chǎng)景。TiFlash 是列式存儲(chǔ)系統(tǒng)，與行存儲(chǔ)系統(tǒng)實(shí)時(shí)同步，具備低延時(shí)，高性能，事務(wù)一致性讀等特性。 通過(guò) Raft 協(xié)議從 TiKV 中實(shí)時(shí)同步行存數(shù)據(jù)并轉(zhuǎn)化成列存儲(chǔ)格式持久化到一組獨(dú)立的節(jié)點(diǎn)，解決行列混合存儲(chǔ)以及資源隔離性問(wèn)題。TiFlash 可用作行存儲(chǔ)系統(tǒng)（TiKV）實(shí)時(shí)鏡像，實(shí)時(shí)鏡像可獨(dú)立于行存儲(chǔ)系統(tǒng)，將行存儲(chǔ)及列存儲(chǔ)從物理隔離開(kāi)，提供完善的資源隔離方案，HTAP 場(chǎng)景最優(yōu)推薦方案；亦可用作行存儲(chǔ)表的索引，配合行存儲(chǔ)對(duì)外提供智能的 OLAP 服務(wù)，提升約 10 倍復(fù)雜的混合查詢的性能。
TiFlash 目前處于 Beta 階段，計(jì)劃 2019 年 12 月 31 日之前 GA，歡迎大家申請(qǐng)?jiān)囉谩?/p>
未來(lái)我們會(huì)繼續(xù)投入到系統(tǒng)穩(wěn)定性，易用性，性能，彈性擴(kuò)展方面，向用戶提供極致的彈性伸縮能力，極致的性能體驗(yàn)，極致的用戶體驗(yàn)。
穩(wěn)定性方面 V4.0 版本將繼續(xù)完善 V3.0 未 GA 的重大特性，例如：悲觀事務(wù)模型，View，Table Partition，Titan 行存儲(chǔ)引擎，TiFlash 列存儲(chǔ)引擎；引入近似物理備份恢復(fù)解決分布數(shù)據(jù)庫(kù)備份恢復(fù)難題；優(yōu)化 PD 調(diào)度功能等。
性能方面 V4.0 版本將繼續(xù)優(yōu)化事務(wù)處理流程，減少事務(wù)資源消耗，提升性能，例如：1PC，省去獲取 commit ts 操作等。
彈性擴(kuò)展方面，PD 將提供彈性擴(kuò)展所需的元信息供外部系統(tǒng)調(diào)用，外部系統(tǒng)可根據(jù)元信息及負(fù)載情況動(dòng)態(tài)伸縮集群規(guī)模，達(dá)成節(jié)省成本的目標(biāo)。
我們相信戰(zhàn)勝“未知”最好的武器就是社區(qū)的力量，基礎(chǔ)軟件需要堅(jiān)定地走開(kāi)源路線。截止發(fā)稿我們已經(jīng)完成 41 篇源碼閱讀文章。TiDB 開(kāi)源社區(qū)總計(jì) 265 位 Contributor，6 位 Committer，在這里我們對(duì)社區(qū)貢獻(xiàn)者表示由衷的感謝，希望更多志同道合的人能加入進(jìn)來(lái)，也希望大家在 TiDB 這個(gè)開(kāi)源社區(qū)能夠有所收獲。
TiDB 3.0 GA Release Notes：
golang pprof是golang的可視化和性能分析的工具。其提供了可視化的web頁(yè)面，火焰圖等更直觀的工具。
可以使用 go tool pprof 進(jìn)行使用
go tool pprof 來(lái)源于 google/pprof 項(xiàng)目，可以以如下方式安裝。
如果使用 -http 選項(xiàng)指定需要web交互頁(yè)面，則需要安裝 dot 。
ubuntu 上通過(guò)以下方式安裝：
需要我們的程序開(kāi)放了pprof web端點(diǎn)。一般建議的方式為,在需要使用的地方引用 net/http/pprof 包。
該方式會(huì)在默認(rèn)的 http.DefaultServeMux 中插入debug pprof端點(diǎn)。
不過(guò)在一般的開(kāi)發(fā)中不使用該方式，而是使用自定義的handler，如下。
pprof包內(nèi)調(diào)用 runtime 包中函數(shù)以獲取各種運(yùn)行時(shí)信息，其包含如下分析指標(biāo)。
allocs: 過(guò)去所有內(nèi)存分配的樣本
block: 導(dǎo)致同步原語(yǔ)阻塞的堆棧跟蹤
cmdline: 當(dāng)前程序的命令行調(diào)用，與/proc/中的 cmdline相同
goroutine: 當(dāng)前所有g(shù)oroutine的堆棧跟蹤
heap: A活動(dòng)對(duì)象的內(nèi)存分配的采樣。您可以指定gc GET參數(shù)以在獲取堆樣本之前運(yùn)行GC。
mutex: 競(jìng)爭(zhēng)互斥體持有人的堆棧痕跡
profile: CPU配置文件。您可以在秒GET參數(shù)中指定持續(xù)時(shí)間。獲取概要文件后，使用go tool pprof命令調(diào)查概要文件。
threadcreate: 導(dǎo)致創(chuàng)建新OS線程的堆棧跟蹤
trace: 當(dāng)前程序執(zhí)行的痕跡。您可以在秒GET參數(shù)中指定持續(xù)時(shí)間。獲取跟蹤文件后，請(qǐng)使用go工具trace命令調(diào)查跟蹤。
flat：函數(shù)上運(yùn)行耗時(shí)
flat%：函數(shù)上運(yùn)行耗時(shí) 總比例
sum%：函數(shù)累積使用 CPU 時(shí)間比例
cum：函數(shù)及之上的調(diào)用運(yùn)行總耗時(shí)
cum%：函數(shù)及之上的調(diào)用運(yùn)行總耗時(shí)比例
更方便的場(chǎng)景為使用web的交互頁(yè)面代替命令行頁(yè)面。與cpu性能分析相同，進(jìn)行內(nèi)存占用分析。
英文原文鏈接【Go, the unwritten parts】 發(fā)表于2017/05/22 作者JBD是Go語(yǔ)言開(kāi)發(fā)小組成員
檢查程序的執(zhí)行路徑和當(dāng)前狀態(tài)是非常有用的調(diào)試手段。核心文件（core file）包含了一個(gè)運(yùn)行進(jìn)程的內(nèi)存轉(zhuǎn)儲(chǔ)和狀態(tài)。它主要是用來(lái)作為事后調(diào)試程序用的。它也可以被用來(lái)查看一個(gè)運(yùn)行中的程序的狀態(tài)。這兩個(gè)使用場(chǎng)景使調(diào)試文件轉(zhuǎn)儲(chǔ)成為一個(gè)非常好的診斷手段。我們可以用這個(gè)方法來(lái)做事后診斷和分析線上的服務(wù)（production services）。
在這篇文章中，我們將用一個(gè)簡(jiǎn)單的hello world網(wǎng)站服務(wù)作為例子。在現(xiàn)實(shí)中，我們的程序很容易就會(huì)變得很復(fù)雜。分析核心轉(zhuǎn)儲(chǔ)給我們提供了一個(gè)機(jī)會(huì)去重構(gòu)程序的狀態(tài)并且查看只有在某些條件／環(huán)境下才能重現(xiàn)的案例。
作者注 : 這個(gè)調(diào)試流程只在Linux上可行。我不是很確定它是否在其它Unixs系統(tǒng)上工作。macOS對(duì)此還不支持。Windows現(xiàn)在也不支持。
在我們開(kāi)始前，需要確保核心轉(zhuǎn)儲(chǔ)的ulimit設(shè)置在合適的范圍。它的缺省值是0，意味著最大的核心文件大小是0。我通常在我的開(kāi)發(fā)機(jī)器上將它設(shè)置成unlimited。使用以下命令：
接下來(lái)，你需要在你的機(jī)器上安裝 delve 。
下面我們使用的 main.go 文件。它注冊(cè)了一個(gè)簡(jiǎn)單的請(qǐng)求處理函數(shù)（handler）然后啟動(dòng)了HTTP服務(wù)。
讓我們編譯并生產(chǎn)二進(jìn)制文件。
現(xiàn)在讓我們假設(shè)，這個(gè)服務(wù)器出了些問(wèn)題，但是我們并不是很確定問(wèn)題的根源。你可能已經(jīng)在程序里加了很多輔助信息，但還是無(wú)法從這些調(diào)試信息中找出線索。通常在這種情況下，當(dāng)前進(jìn)程的快照會(huì)非常有用。我們可以用這個(gè)快照深入查看程序的當(dāng)前狀態(tài)。
有幾個(gè)方式來(lái)獲取核心文件。你可能已經(jīng)熟悉了奔潰轉(zhuǎn)儲(chǔ)（crash dumps）。它們是在一個(gè)程序奔潰的時(shí)候?qū)懭氪疟P的核心轉(zhuǎn)儲(chǔ)。Go語(yǔ)言在缺省設(shè)置下不會(huì)生產(chǎn)奔潰轉(zhuǎn)儲(chǔ)。但是當(dāng)你把 GOTRACEBACK 環(huán)境變量設(shè)置成“crash”，你就可以用 Ctrl+backslash 才觸發(fā)奔潰轉(zhuǎn)儲(chǔ)。如下圖所示：
上面的操作會(huì)使程序終止，將堆棧跟蹤（stack trace）打印出來(lái)，并把核心轉(zhuǎn)儲(chǔ)文件寫入磁盤。
另外個(gè)方法可以從一個(gè)運(yùn)行的程序獲得核心轉(zhuǎn)儲(chǔ)而不需要終止相應(yīng)的進(jìn)程。 gcore 可以生產(chǎn)核心文件而無(wú)需使運(yùn)行中的程序退出。
根據(jù)上面的操作，我們獲得了轉(zhuǎn)儲(chǔ)而沒(méi)有終止對(duì)應(yīng)的進(jìn)程。下一步就是把核心文件加載進(jìn)delve并開(kāi)始分析。
差不多就這些。delve的常用操作都可以使用。你可以backtrace，list，查看變量等等。有些功能不可用因?yàn)槲覀兪褂玫暮诵霓D(zhuǎn)儲(chǔ)是一個(gè)快照而不是正在運(yùn)行的進(jìn)程。但是程序執(zhí)行路徑和狀態(tài)全部可以訪問(wèn)。
重慶分公司
重慶分公司
