TiDB 是 PingCAP 自主研發(fā)的開源分布式關系型數據庫，具備商業(yè)級數據庫的數據可靠性，可用性，安全性等特性，支持在線彈性水平擴展，兼容 MySQL 協議及生態(tài)，創(chuàng)新性實現 OLTP 及 OLAP 融合。
成都創(chuàng)新互聯公司專注于企業(yè)營銷型網站、網站重做改版、寬城網站定制設計、自適應品牌網站建設、H5場景定制、電子商務商城網站建設、集團公司官網建設、成都外貿網站建設、高端網站制作、響應式網頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為寬城等各大城市提供網站開發(fā)制作服務。
TiDB 3.0 版本顯著提升了大規(guī)模集群的穩(wěn)定性，集群支持 150+ 存儲節(jié)點，300+TB 存儲容量長期穩(wěn)定運行。易用性方面引入大量降低用戶運維成本的優(yōu)化，包括引入 Information_Schema 中的多個實用系統視圖、EXPLAIN ANALYZE、SQL Trace 等。在性能方面，特別是 OLTP 性能方面，3.0 比 2.1 也有大幅提升，其中 TPC-C 性能提升約 4.5 倍，Sysbench 性能提升約 1.5 倍，OLAP 方面，TPC-H 50G Q15 因實現 View 可以執(zhí)行，至此 TPC-H 22 個 Query 均可正常運行。新功能方面增加了窗口函數、視圖（實驗特性）、分區(qū)表、插件系統、悲觀鎖（實驗特性）。
截止本文發(fā)稿時 TiDB 已在 500+ 用戶的生產環(huán)境中長期穩(wěn)定運行，涵蓋金融、保險、制造，互聯網， 游戲 等領域，涉及交易、數據中臺、 歷史 庫等多個業(yè)務場景。不同業(yè)務場景對關系型數據庫的訴求可用 “百花齊放”來形容，但對關系數據庫最根本的訴求未發(fā)生任何變化，如數據可靠性，系統穩(wěn)定性，可擴展性，安全性，易用性等。請跟隨我們的腳步梳理 TiDB 3.0 有什么樣的驚喜。
3.0 與 2.1 版本相比，顯著提升了大規(guī)模集群的穩(wěn)定性，支持單集群 150+ 存儲節(jié)點，300+TB 存儲容量長期穩(wěn)定運行，主要的優(yōu)化點如下：
1. 優(yōu)化 Raft 副本之間的心跳機制，按照 Region 的活躍程度調整心跳頻率，減小冷數據對集群的負擔。
2. 熱點調度策略支持更多參數配置，采用更高優(yōu)先級，并提升熱點調度的準確性。
3. 優(yōu)化 PD 調度流程，提供調度限流機制，提升系統穩(wěn)定性。
4. 新增分布式 GC 功能，提升 GC 的性能，降低大集群 GC 時間，提升系統穩(wěn)定性。
眾所周知，數據庫查詢計劃的穩(wěn)定性對業(yè)務至關重要，TiDB 3.0 版本采用多種優(yōu)化手段提升查詢計劃的穩(wěn)定性，如下：
1. 新增 Fast Analyze 功能，提升收集統計信息的速度，降低集群資源的消耗及對業(yè)務的影響。
2. 新增 Incremental Analyze 功能，提升收集單調遞增的索引統計信息的速度，降低集群資源的消耗及對業(yè)務的影響。
3. 在 CM-Sketch 中新增 TopN 的統計信息，緩解 CM-Sketch 哈希沖突導致估算偏大，提升代價估算的準確性，提升查詢計劃的穩(wěn)定性。
4. 引入 Skyline Pruning 框架，利用規(guī)則防止查詢計劃過度依賴統計信息，緩解因統計信息滯后導致選擇的查詢計劃不是最優(yōu)的情況，提升查詢計劃的穩(wěn)定性。
5. 新增 SQL Plan Management 功能，支持在查詢計劃不準確時手動綁定查詢計劃，提升查詢計劃的穩(wěn)定性。
1. OLTP
3.0 與 2.1 版本相比 Sysbench 的 Point Select，Update Index，Update Non-Index 均提升約 1.5 倍，TPC-C 性能提升約 4.5 倍。主要的優(yōu)化點如下：
1. TiDB 持續(xù)優(yōu)化 SQL 執(zhí)行器，包括：優(yōu)化 NOT EXISTS 子查詢轉化為 Anti Semi Join，優(yōu)化多表 Join 時 Join 順序選擇等。
2. 優(yōu)化 Index Join 邏輯，擴大 Index Join 算子的適用場景并提升代價估算的準確性。
3. TiKV 批量接收和發(fā)送消息功能，提升寫入密集的場景的 TPS 約 7%，讀密集的場景提升約 30%。
4. TiKV 優(yōu)化內存管理，減少 Iterator Key Bound Option 的內存分配和拷貝，多個 Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。
5. 引入 Titan 存儲引擎插件，提升 Value 值超過 1KB 時性能，緩解 RocksDB 寫放大問題，減少磁盤 IO 的占用。
6. TiKV 新增多線程 Raftstore 和 Apply 功能，提升單節(jié)點內可擴展性，進而提升單節(jié)點內并發(fā)處理能力和資源利用率，降低延時，大幅提升集群寫入能力。
TiDB Lightning 性能與 2019 年年初相比提升 3 倍，從 100GB/h 提升到 300GB/h，即 28MB/s 提升到 85MB/s，優(yōu)化點，如下：
1. 提升 SQL 轉化成 KV Pairs 的性能，減少不必要的開銷。
2. 提升單表導入性能，單表支持批量導入。
3. 提升 TiKV-Importer 導入數據性能，支持將數據和索引分別導入。
4. TiKV-Importer 支持上傳 SST 文件限速功能。
RBAC（Role-Based Access Control，基于角色的權限訪問控制） 是商業(yè)系統中最常見的權限管理技術之一，通過 RBAC 思想可以構建最簡單“用戶-角色-權限”的訪問權限控制模型。RBAC 中用戶與角色關聯，權限與角色關聯，角色與權限之間一般是多對多的關系，用戶通過成為什么樣的角色獲取該角色所擁有的權限，達到簡化權限管理的目的，通過此版本的迭代 RBAC 功能開發(fā)完成。
IP 白名單功能（企業(yè)版特性） ：TiDB 提供基于 IP 白名單實現網絡安全訪問控制，用戶可根據實際情況配置相關的訪問策略。
Audit log 功能（企業(yè)版特性） ：Audit log 記錄用戶對數據庫所執(zhí)行的操作，通過記錄 Audit log 用戶可以對數據庫進行故障分析，行為分析，安全審計等，幫助用戶獲取數據執(zhí)行情況。
加密存儲（企業(yè)版特性） ：TiDB 利用 RocksDB 自身加密功能，實現加密存儲的功能，保證所有寫入到磁盤的數據都經過加密，降低數據泄露的風險。
完善權限語句的權限檢查 ，新增 ANALYZE，USE，SET GLOBAL，SHOW PROCESSLIST 語句權限檢查。
1. 新增 SQL 方式查詢慢查詢，豐富 TiDB 慢查詢日志內容，如：Coprocessor 任務數，平均/最長/90% 執(zhí)行/等待時間，執(zhí)行/等待時間最長的 TiKV 地址，簡化慢查詢定位工作，提高排查慢查詢問題效率，提升產品易用性。
2. 新增系統配置項合法性檢查，優(yōu)化系統監(jiān)控項等，提升產品易用性。
3. 新增對 TableReader、IndexReader 和 IndexLookupReader 算子內存使用情況統計信息，提高 Query 內存使用統計的準確性，提升處理內存消耗較大語句的效率。
4. 制定日志規(guī)范，重構日志系統，統一日志格式，方便用戶理解日志內容，有助于通過工具對日志進行定量分析。
5. 新增 EXPLAIN ANALYZE 功能，提升SQL 調優(yōu)的易用性。
6. 新增 SQL 語句 Trace 功能，方便排查問題。
7. 新增通過 unix_socket 方式連接數據庫。
8. 新增快速恢復被刪除表功能，當誤刪除數據時可通過此功能快速恢復數據。
TiDB 3.0 新增 TiFlash 組件，解決復雜分析及 HTAP 場景。TiFlash 是列式存儲系統，與行存儲系統實時同步，具備低延時，高性能，事務一致性讀等特性。 通過 Raft 協議從 TiKV 中實時同步行存數據并轉化成列存儲格式持久化到一組獨立的節(jié)點，解決行列混合存儲以及資源隔離性問題。TiFlash 可用作行存儲系統（TiKV）實時鏡像，實時鏡像可獨立于行存儲系統，將行存儲及列存儲從物理隔離開，提供完善的資源隔離方案，HTAP 場景最優(yōu)推薦方案；亦可用作行存儲表的索引，配合行存儲對外提供智能的 OLAP 服務，提升約 10 倍復雜的混合查詢的性能。
TiFlash 目前處于 Beta 階段，計劃 2019 年 12 月 31 日之前 GA，歡迎大家申請試用。
未來我們會繼續(xù)投入到系統穩(wěn)定性，易用性，性能，彈性擴展方面，向用戶提供極致的彈性伸縮能力，極致的性能體驗，極致的用戶體驗。
穩(wěn)定性方面 V4.0 版本將繼續(xù)完善 V3.0 未 GA 的重大特性，例如：悲觀事務模型，View，Table Partition，Titan 行存儲引擎，TiFlash 列存儲引擎；引入近似物理備份恢復解決分布數據庫備份恢復難題；優(yōu)化 PD 調度功能等。
性能方面 V4.0 版本將繼續(xù)優(yōu)化事務處理流程，減少事務資源消耗，提升性能，例如：1PC，省去獲取 commit ts 操作等。
彈性擴展方面，PD 將提供彈性擴展所需的元信息供外部系統調用，外部系統可根據元信息及負載情況動態(tài)伸縮集群規(guī)模，達成節(jié)省成本的目標。
我們相信戰(zhàn)勝“未知”最好的武器就是社區(qū)的力量，基礎軟件需要堅定地走開源路線。截止發(fā)稿我們已經完成 41 篇源碼閱讀文章。TiDB 開源社區(qū)總計 265 位 Contributor，6 位 Committer，在這里我們對社區(qū)貢獻者表示由衷的感謝，希望更多志同道合的人能加入進來，也希望大家在 TiDB 這個開源社區(qū)能夠有所收獲。
TiDB 3.0 GA Release Notes：
智能合約調用是實現一個 DApp 的關鍵，一個完整的 DApp 包括前端、后端、智能合約及區(qū)塊 鏈系統，智能合約的調用是連接區(qū)塊鏈與前后端的關鍵。
我們先來了解一下智能合約調用的基礎原理。智能合約運行在以太坊節(jié)點的 EVM 中。因此要 想調用合約必須要訪問某個節(jié)點。
以后端程序為例，后端服務若想連接節(jié)點有兩種可能，一種是雙 方在同一主機，此時后端連接節(jié)點可以采用 本地 IPC(Inter-Process Communication，進 程間通信)機制，也可以采用 RPC(Remote Procedure Call，遠程過程調用)機制;另 一種情況是雙方不在同一臺主機，此時只能采用 RPC 機制進行通信。
提到 RPC， 讀者應該對 Geth 啟動參數有點印象，Geth 啟動時可以選擇開啟 RPC 服務，對應的 默認服務端口是 8545。。
接著，我們來了解一下智能合約運行的過程。
智能合約的運行過程是后端服務連接某節(jié)點，將 智能合約的調用(交易)發(fā)送給節(jié)點，節(jié)點在驗證了交易的合法性后進行全網廣播，被礦工打包到 區(qū)塊中代表此交易得到確認，至此交易才算完成。
就像數據庫一樣，每個區(qū)塊鏈平臺都會提供主流 開發(fā)語言的 SDK(Software Development Kit，軟件開發(fā)工具包)，由于 Geth 本身就是用 Go 語言 編寫的，因此若想使用 Go 語言連接節(jié)點、發(fā)交易，直接在工程內導入 go-ethereum(Geth 源碼) 包就可以了，剩下的問題就是流程和 API 的事情了。
總結一下，智能合約被調用的兩個關鍵點是節(jié)點和 SDK。
由于 IPC 要求后端與節(jié)點必須在同一主機，所以很多時候開發(fā)者都會采用 RPC 模式。除了 RPC，以太坊也為開發(fā)者提供了 json- rpc 接口，本文就不展開討論了。
接下來介紹如何使用 Go 語言，借助 go-ethereum 源碼庫來實現智能合約的調用。這是有固定 步驟的，我們先來說一下總體步驟，以下面的合約為例。
步驟 01:編譯合約，獲取合約 ABI(Application Binary Interface，應用二進制接口)。 單擊【ABI】按鈕拷貝合約 ABI 信息，將其粘貼到文件 calldemo.abi 中(可使用 Go 語言IDE 創(chuàng)建該文件，文件名可自定義，后綴最好使用 abi)。
最好能將 calldemo.abi 單獨保存在一個目錄下，輸入“l(fā)s”命令只能看到 calldemo.abi 文件，參 考效果如下:
步驟 02:獲得合約地址。注意要將合約部署到 Geth 節(jié)點。因此 Environment 選擇為 Web3 Provider。
在【Environment】選項框中選擇“Web3 Provider”，然后單擊【Deploy】按鈕。
部署后，獲得合約地址為:0xa09209c28AEf59a4653b905792a9a910E78E7407。
步驟 03:利用 abigen 工具(Geth 工具包內的可執(zhí)行程序)編譯智能合約為 Go 代碼。abigen 工具的作用是將 abi 文件轉換為 Go 代碼，命令如下:
其中各參數的含義如下。 (1)abi:是指定傳入的 abi 文件。 (2)type:是指定輸出文件中的基本結構類型。 (3)pkg:指定輸出文件 package 名稱。 (4)out:指定輸出文件名。 執(zhí)行后，將在代碼目錄下看到 funcdemo.go 文件，讀者可以打開該文件欣賞一下，注意不要修改它。
步驟 04:創(chuàng)建 main.go，填入如下代碼。 注意代碼中 HexToAddress 函數內要傳入該合約部署后的地址，此地址在步驟 01 中獲得。
步驟 04:設置 go mod，以便工程自動識別。
前面有所提及，若要使用 Go 語言調用智能合約，需要下載 go-ethereum 工程，可以使用下面 的指令:
該指令會自動將 go-ethereum 下載到“$GOPATH/src/github.com/ethereum/go-ethereum”，這樣還算 不錯。不過，Go 語言自 1.11 版本后，增加了 module 管理工程的模式。只要設置好了 go mod，下載 依賴工程的事情就不必關心了。
接下來設置 module 生效和 GOPROXY，命令如下:
在項目工程內，執(zhí)行初始化，calldemo 可以自定義名稱。
步驟 05:運行代碼。執(zhí)行代碼，將看到下面的效果，以及最終輸出的 2020。
上述輸出信息中，可以看到 Go 語言會自動下載依賴文件，這就是 go mod 的神奇之處。看到 2020，相信讀者也知道運行結果是正確的了。
創(chuàng)建 PayPal 的目的是使金融服務民主化，并使個人和企業(yè)能夠加入并在全球經濟中蓬勃發(fā)展。這項工作的核心是 PayPal 的支付平臺，該平臺使用專有技術和第三方技術的組合來高效、安全地促進全球數百萬商家和消費者之間的交易。隨著支付平臺變得越來越大、越來越復雜，PayPal 尋求對其系統進行現代化改造并縮短新應用程序的上市時間。
Go 在生成干凈、高效的代碼方面的有著極高的價值。這些代碼可以隨著軟件部署的擴展而輕松擴展，這使得該語言非常適合支持 PayPal 的目標。
支付處理平臺的核心是 PayPal 用 C++ 開發(fā)的專有 NoSQL 數據庫。然而，代碼的復雜性大大降低了開發(fā)人員發(fā)展平臺的能力。Go 的簡單代碼布局、goroutine（輕量級執(zhí)行線程）和通道（用作連接并發(fā) goroutine 的管道）使 Go 成為 NoSQL 開發(fā)團隊簡化和現代化平臺的自然選擇。
作為概念驗證，一個開發(fā)團隊花了六個月的時間學習 Go 并在 Go 中從頭開始重新實現 NoSQL 系統，在此期間，他們還提供了有關如何在 PayPal 更廣泛地實施 Go 的見解。截至今天，已遷移 30% 的集群以使用新的 NoSQL 數據庫。
隨著 PayPal 的平臺變得越來越復雜，Go 提供了一種輕松簡化大規(guī)模創(chuàng)建和運行軟件的復雜性的方法。該語言為 PayPal 提供了出色的庫和快速工具，以及并發(fā)、垃圾收集和類型安全。
借助 Go，PayPal 使其開發(fā)人員能夠將更多時間從 C++ 和 Java 開發(fā)的噪音中解放出來，從而能夠花更多時間查看代碼和進行戰(zhàn)略性思考。
在這個新改寫的 NoSQL 系統取得成功后，PayPal 內更多的平臺和內容團隊開始采用 Go。Natarajan 目前的團隊負責 PayPal 的構建、測試和發(fā)布管道——所有這些都是在 Go 中構建的。該公司擁有一個大型構建和測試農場，它使用 Go 基礎設施進行完全管理，以支持整個公司的開發(fā)人員的構建即服務（和測試即服務）。
憑借 PayPal 所需的分布式計算能力，Go 是刷新系統的正確語言。PayPal 需要并發(fā)和并行的編程，為高性能和高度可移植性而編譯，并為開發(fā)人員帶來模塊化、可組合的開源架構的好處——Go 已經提供了所有這些以及更多幫助 PayPal 對其系統進行現代化改造。
安全性和可支持性是 PayPal 的關鍵問題，該公司的運營管道越來越多地由 Go 主導，因為該語言的簡潔性和模塊化幫助他們實現了這些目標。PayPal 對 Go 的部署為開發(fā)人員提供了一個創(chuàng)意平臺，使他們能夠為 PayPal 的全球市場大規(guī)模生產簡單、高效和可靠的軟件。
隨著 PayPal 繼續(xù)使用 Go 對其軟件定義網絡 (SDN) 基礎設施進行現代化改造，除了更易于維護的代碼外，他們還看到了性能優(yōu)勢。例如，Go 現在為路由器、負載平衡和越來越多的生產系統提供動力。
作為一家全球性企業(yè)，PayPal 需要其開發(fā)團隊有效管理兩種規(guī)模：生產規(guī)模，尤其是與許多其他服務器（如云服務）交互的并發(fā)系統；和開發(fā)規(guī)模，尤其是由許多程序員協同開發(fā)的大型代碼庫（如開源開發(fā)）
PayPal 利用 Go 來解決這些規(guī)模問題。該公司的開發(fā)人員受益于 Go 將解釋型動態(tài)類型語言的編程易用性與靜態(tài)類型編譯語言的效率和安全性相結合的能力。隨著 PayPal 對其系統進行現代化改造，對網絡和多核計算的支持至關重要。Go 不僅提供了這種支持，而且提供的速度很快——在單臺計算機上編譯一個大型可執(zhí)行文件最多需要幾秒鐘。
PayPal 目前有 100 多名 Go 開發(fā)人員，未來選擇采用 Go 的開發(fā)人員將更容易獲得該語言的批準，這要歸功于公司已經在生產中的許多成功實現。
最重要的是，PayPal 開發(fā)人員使用 Go 提高了他們的生產力。Go 的并發(fā)機制使得編寫充分利用 PayPal 的多核和聯網機器的程序變得很容易。使用 Go 的開發(fā)人員還受益于它可以快速編譯為機器代碼的事實，并且他們的應用程序獲得了垃圾收集的便利和運行時反射的強大功能。
今天 PayPal 的第一類語言是 Java 和 Node，Go 主要用作基礎設施語言。雖然 Go 可能永遠不會在某些應用程序中取代 Node.js，但 Natarajan 正在推動讓 Go 成為 PayPal 的第一類語言。
通過他的努力，PayPal 還在評估遷移到 Google Kubernetes Engine (GKE) 以加快其新產品的上市時間。GKE 是一個用于部署容器化應用程序的托管、生產就緒環(huán)境，并帶來了 Google 在開發(fā)人員生產力、自動化操作和開源靈活性方面的最新創(chuàng)新。
對于 PayPal 而言，部署到 GKE 將使 PayPal 更容易部署、更新和管理其應用程序和服務，從而實現快速開發(fā)和迭代。此外，PayPal 會發(fā)現更容易運行機器學習、通用 GPU、高性能計算和其他受益于 GKE 支持的專用硬件加速器的工作負載。
對 PayPal 來說最重要的是，Go 開發(fā)和 GKE 的結合使公司能夠輕松擴展以滿足需求，因為 Kubernetes 自動擴展將使 PayPal 能夠處理用戶對服務不斷增長的需求——在最重要的時候保持它們可用，然后在安靜的時間來省錢。
重慶分公司
重慶分公司
