將PMDK引入PostgreSQL
持久性內(nèi)存（PMEM）具有快速、非易失和可字節(jié)訪問的特性，能夠通過load/store指令被CPU直接訪問?，F(xiàn)在已有供應(yīng)商提供這種產(chǎn)品。相對(duì)于HSS或者SSD，數(shù)據(jù)庫管理系統(tǒng)跑在PMEM上性能更好。借助PMDK(Persistent Memory Development Kit),將數(shù)據(jù)庫修改成適配PMEM的產(chǎn)品，可以進(jìn)一步提高其性能。本次演講的話題圍繞如何修改Postgresql使之適配PMEM，以及修改后的效果如何。我們第一步將圍繞WAL日志以及表來提升OLTP性能和checkpoint時(shí)間。

創(chuàng)新互聯(lián)服務(wù)緊隨時(shí)代發(fā)展步伐，進(jìn)行技術(shù)革新和技術(shù)進(jìn)步，經(jīng)過十年的發(fā)展和積累，已經(jīng)匯集了一批資深網(wǎng)站策劃師、設(shè)計(jì)師、專業(yè)的網(wǎng)站實(shí)施團(tuán)隊(duì)以及高素質(zhì)售后服務(wù)人員，并且完全形成了一套成熟的業(yè)務(wù)流程，能夠完全依照客戶要求對(duì)網(wǎng)站進(jìn)行網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、建設(shè)、維護(hù)、更新和改版，實(shí)現(xiàn)客戶網(wǎng)站對(duì)外宣傳展示的首要目的，并為客戶企業(yè)品牌互聯(lián)網(wǎng)化提供全面的解決方案。

有兩種方法使用PMEM。第一種是最簡(jiǎn)單的方法，通過直接訪問(DAX,direct-access)文件系統(tǒng)，即跳過操作系統(tǒng)的頁緩存，直接訪問磁盤。這種方法不用修改PG。另一種方法：PMDK包含適配PMEM的lib庫，可以繞過內(nèi)核直接到PMEM映射文件以及跳過CPU緩存進(jìn)行內(nèi)存拷貝。這種方法性能更好。

使用PMDK修改PG，主要關(guān)注WAL和表段文件。我們使用PMDK提供的PMEM函數(shù)替代系統(tǒng)調(diào)用函數(shù)open、lseek、read、write和fdatasync。然后和跑在DAX文件系統(tǒng)上的原生PG進(jìn)行性能比較。試驗(yàn)中，我們使用飛翼式的DIMM(NVDIMM)作為PMEM。結(jié)果顯示，在WAL方面，在INSERT場(chǎng)景中我們可以提升1.8倍的TPS。我們做出的修改將近1200行。對(duì)于表，我們checkpoint時(shí)可以減少將近20%的時(shí)間。

另一方面，我們也在其他方面進(jìn)行探索，例如控制NUMA影響、消除SQL解析的開銷、對(duì)PMEM-mapped的固定大小表文件進(jìn)行擴(kuò)展。

原文地址
https://www.pgcon.org/2018/schedule/events/1154.en.html