簡(jiǎn)單來說， SetMaxHeap 提供了一種可以設(shè)置固定觸發(fā)閾值的 GC （Garbage Collection垃圾回收）方式
創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè),昆都侖企業(yè)網(wǎng)站建設(shè),昆都侖品牌網(wǎng)站建設(shè),網(wǎng)站定制,昆都侖網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,昆都侖網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
官方源碼鏈接
大量臨時(shí)對(duì)象分配導(dǎo)致的 GC 觸發(fā)頻率過高， GC 后實(shí)際存活的對(duì)象較少，
或者機(jī)器內(nèi)存較充足，希望使用剩余內(nèi)存，降低 GC 頻率的場(chǎng)景
GC 會(huì) STW （ Stop The World ），對(duì)于時(shí)延敏感場(chǎng)景，在一個(gè)周期內(nèi)連續(xù)觸發(fā)兩輪 GC ，那么 STW 和 GC 占用的 CPU 資源都會(huì)造成很大的影響， SetMaxHeap 并不一定是完美的，在某些場(chǎng)景下做了些權(quán)衡，官方也在進(jìn)行相關(guān)的實(shí)驗(yàn)，當(dāng)前方案仍沒有合入主版本。
先看下如果沒有 SetMaxHeap ，對(duì)于如上所述的場(chǎng)景的解決方案
這里簡(jiǎn)單說下 GC 的幾個(gè)值的含義，可通過 GODEBUG=gctrace=1 獲得如下數(shù)據(jù)
這里只關(guān)注 128-132-67 MB 135 MB goal ，
分別為 GC開始時(shí)內(nèi)存使用量 - GC標(biāo)記完成時(shí)內(nèi)存使用量 - GC標(biāo)記完成時(shí)的存活內(nèi)存量 本輪GC標(biāo)記完成時(shí)的 預(yù)期 內(nèi)存使用量（上一輪 GC 完成時(shí)確定）
引用 GC peace設(shè)計(jì)文檔 中的一張圖來說明
對(duì)應(yīng)關(guān)系如下：
簡(jiǎn)單說下 GC pacing （信用機(jī)制）
GC pacing 有兩個(gè)目標(biāo)，
那么當(dāng)一輪 GC 完成時(shí)，如何只根據(jù)本輪 GC 存活量去實(shí)現(xiàn)這兩個(gè)小目標(biāo)呢？
這里實(shí)際是根據(jù)當(dāng)前的一些數(shù)據(jù)或狀態(tài)去 預(yù)估 “未來”，所有會(huì)存在些誤差
首先確定 gc Goal goal = memstats.heap_marked + memstats.heap_marked*uint64(gcpercent)/100
heap_marked 為本輪 GC 存活量， gcpercent 默認(rèn)為 100 ，可以通過環(huán)境變量 GOGC=100 或者 debug.SetGCPercent(100) 來設(shè)置
那么默認(rèn)情況下 goal = 2 * heap_marked
gc_trigger 是與 goal 相關(guān)的一個(gè)值（ gc_trigger 大約為 goal 的 90% 左右），每輪 GC 標(biāo)記完成時(shí)，會(huì)根據(jù) |Ha-Hg| 和實(shí)際使用的 cpu 資源 動(dòng)態(tài)調(diào)整 gc_trigger 與 goal 的差值
goal 與 gc_trigger 的差值即為，為 GC 期間分配的對(duì)象所預(yù)留的空間
GC pacing 還會(huì)預(yù)估下一輪 GC 發(fā)生時(shí)，需要掃描對(duì)象對(duì)象的總量，進(jìn)而換算為下一輪 GC 所需的工作量，進(jìn)而計(jì)算出 mark assist 的值
本輪 GC 觸發(fā)（ gc_trigger ），到本輪的 goal 期間，需要盡力完成 GC mark 標(biāo)記操作，所以當(dāng) GC 期間，某個(gè) goroutine 分配大量?jī)?nèi)存時(shí)，就會(huì)被拉去做 mark assist 工作，先進(jìn)行 GC mark 標(biāo)記賺取足夠的信用值后，才能分配對(duì)應(yīng)大小的對(duì)象
根據(jù)本輪 GC 存活的內(nèi)存量（ heap_marked ）和下一輪 GC 觸發(fā)的閾值（ gc_trigger ）計(jì)算 sweep assist 的值，本輪 GC 完成，到下一輪 GC 觸發(fā)（ gc_trigger ）時(shí)，需要盡力完成 sweep 清掃操作
預(yù)估下一輪 GC 所需的工作量的方式如下：
繼續(xù)分析文章開頭的問題，如何充分利用剩余內(nèi)存，降低 GC 頻率和 GC 對(duì) CPU 的資源消耗
如上圖可以看出， GC 后，存活的對(duì)象為 2GB 左右，如果將 gcpercent 設(shè)置為 400 ，那么就可以將下一輪 GC 觸發(fā)閾值提升到 10GB 左右
前面一輪看起來很好，提升了 GC 觸發(fā)的閾值到 10GB ，但是如果某一輪 GC 后的存活對(duì)象到達(dá) 2.5GB 的時(shí)候，那么下一輪 GC 觸發(fā)的閾值，將會(huì)超過內(nèi)存閾值，造成 OOM （ Out of Memory ），進(jìn)而導(dǎo)致程序崩潰。
可以通過 GOGC=off 或者 debug.SetGCPercent(-1) 來關(guān)閉 GC
可以通過進(jìn)程外監(jiān)控內(nèi)存使用狀態(tài)，使用信號(hào)觸發(fā)的方式通知程序，或 ReadMemStats 、或 linkname runtime.heapRetained 等方式進(jìn)行堆內(nèi)存使用的監(jiān)測(cè)
可以通過調(diào)用 runtime.GC() 或者 debug.FreeOSMemory() 來手動(dòng)進(jìn)行 GC 。
這里還需要說幾個(gè)事情來解釋這個(gè)方案所存在的問題
通過 GOGC=off 或者 debug.SetGCPercent(-1) 是如何關(guān)閉 GC 的？
gc 4 @1.006s 0%: 0.033+5.6+0.024 ms clock, 0.27+4.4/11/25+0.19 ms cpu, 428-428-16 MB, 17592186044415 MB goal, 8 P (forced)
通過 GC trace 可以看出，上面所說的 goal 變成了一個(gè)很詭異的值 17592186044415
實(shí)際上關(guān)閉 GC 后， Go 會(huì)將 goal 設(shè)置為一個(gè)極大值 ^uint64(0) ，那么對(duì)應(yīng)的 GC 觸發(fā)閾值也被調(diào)成了一個(gè)極大值，這種處理方式看起來也沒什么問題，將閾值調(diào)大，預(yù)期永遠(yuǎn)不會(huì)再觸發(fā) GC
那么如果在關(guān)閉 GC 的情況下，手動(dòng)調(diào)用 runtime.GC() 會(huì)導(dǎo)致什么呢？
由于 goal 和 gc_trigger 被設(shè)置成了極大值， mark assist 和 sweep assist 也會(huì)按照這個(gè)錯(cuò)誤的值去計(jì)算，導(dǎo)致工作量預(yù)估錯(cuò)誤，這一點(diǎn)可以從 trace 中進(jìn)行證明
可以看到很詭異的 trace 圖，這里不做深究，該方案與 GC pacing 信用機(jī)制不兼容
記住，不要在關(guān)閉 GC 的情況下手動(dòng)觸發(fā) GC ，至少在當(dāng)前 Go1.14 版本中仍存在這個(gè)問題
SetMaxHeap 的實(shí)現(xiàn)原理，簡(jiǎn)單來說是強(qiáng)行控制了 goal 的值
注： SetMaxHeap ，本質(zhì)上是一個(gè)軟限制，并不能解決 極端場(chǎng)景 下的 OOM ，可以配合內(nèi)存監(jiān)控和 debug.FreeOSMemory() 使用
SetMaxHeap 控制的是堆內(nèi)存大小， Go 中除了堆內(nèi)存還分配了如下內(nèi)存，所以實(shí)際使用過程中，與實(shí)際硬件內(nèi)存閾值之間需要留有一部分余量。
對(duì)于文章開始所述問題，使用 SetMaxHeap 后，預(yù)期的 GC 過程大概是這個(gè)樣子
簡(jiǎn)單用法1
該方法簡(jiǎn)單粗暴，直接將 goal 設(shè)置為了固定值
注：通過上文所講，觸發(fā) GC 實(shí)際上是 gc_trigger ，所以當(dāng)閾值設(shè)置為 12GB 時(shí)，會(huì)提前一點(diǎn)觸發(fā) GC ，這里為了描述方便，近似認(rèn)為 gc_trigger=goal
簡(jiǎn)單用法2
當(dāng)不關(guān)閉 GC 時(shí)， SetMaxHeap 的邏輯是， goal 仍按照 gcpercent 進(jìn)行計(jì)算，當(dāng) goal 小于 SetMaxHeap 閾值時(shí)不進(jìn)行處理；當(dāng) goal 大于 SetMaxHeap 閾值時(shí)，將 goal 限制為 SetMaxHeap 閾值
注：通過上文所講，觸發(fā) GC 實(shí)際上是 gc_trigger ，所以當(dāng)閾值設(shè)置為 12GB 時(shí)，會(huì)提前一點(diǎn)觸發(fā) GC ，這里為了描述方便，近似認(rèn)為 gc_trigger=goal
切換到 go1.14 分支，作者選擇了 git checkout go1.14.5
選擇官方提供的 cherry-pick 方式(可能需要梯子，文件改動(dòng)不多，我后面會(huì)列出具體改動(dòng))
git fetch "" refs/changes/67/227767/3 git cherry-pick FETCH_HEAD
需要重新編譯Go源碼
注意點(diǎn)：
下面源碼中的官方注釋說的比較清楚，在一些關(guān)鍵位置加入了中文注釋
入?yún)ytes為要設(shè)置的閾值
notify 簡(jiǎn)單理解為 GC 的策略 發(fā)生變化時(shí)會(huì)向 channel 發(fā)送通知，后續(xù)源碼可以看出“策略”具體指哪些內(nèi)容
返回值為本次設(shè)置之前的 MaxHeap 值
$GOROOT/src/runtime/debug/garbage.go
$GOROOT/src/runtime/mgc.go
注：作者盡量用通俗易懂的語言去解釋 Go 的一些機(jī)制和 SetMaxHeap 功能，可能有些描述與實(shí)現(xiàn)細(xì)節(jié)不完全一致，如有錯(cuò)誤還請(qǐng)指出
go語言和java，go語言更有前途。
1.Java仍然是主流的企業(yè)級(jí)應(yīng)用編程語言，看看阿里，華為等大廠的招聘崗位就知道了。
2.Go語言代表了未來，很多新興上市公司，如B站，高途課程等用Go做主編程語言。我所知道的一些創(chuàng)業(yè)公司，也開會(huì)嘗試用Go語言。我個(gè)人也有在我司（金融機(jī)構(gòu)）推動(dòng)Go語言的想法。
Go語言的流行是因?yàn)閮牲c(diǎn)：
Golang在開發(fā)效率和執(zhí)行效率上都有優(yōu)勢(shì)，對(duì)于Java開發(fā)者也很容易上手。
Go是谷歌開發(fā)的，谷歌技術(shù)好，有情懷。相比來說，Java的母公司Oracle是一個(gè)沒有情懷和技術(shù)的惡霸。
如果各用一句話來概括這3個(gè)編程語言的特點(diǎn)：
1.Java「就業(yè)最好」：崗位多，工資高。這個(gè)趨勢(shì)也許會(huì)持續(xù)5-10年。
2.Go語言「最有前途」，語言優(yōu)秀，家底豐厚，但暫時(shí)就業(yè)崗位還不是很多。
資薪對(duì)比：
Java和Go語言薪資水平相當(dāng)，都比較高。
就業(yè)崗位數(shù)：
很多應(yīng)用Python的崗位，可能不會(huì)發(fā)布招聘崗位，所以Python在工作中的使用情況應(yīng)該比這個(gè)數(shù)據(jù)多的多。
Go的崗位應(yīng)該也比這個(gè)數(shù)據(jù)多，可能很多新的崗位會(huì)發(fā)布到更加新興的招聘平臺(tái)上去。
Go 語言較之 C 語言一個(gè)很大的優(yōu)勢(shì)就是自帶 GC 功能，可 GC 并不是沒有代價(jià)的。寫 C 語言的時(shí)候，在一個(gè)函數(shù)內(nèi)聲明的變量，在函數(shù)退出后會(huì)自動(dòng)釋放掉，因?yàn)檫@些變量分配在棧上。如果你期望變量的數(shù)據(jù)可以在函數(shù)退出后仍然能被訪問，就需要調(diào)用 malloc 方法在堆上申請(qǐng)內(nèi)存，如果程序不再需要這塊內(nèi)存了，再調(diào)用 free 方法釋放掉。Go 語言不需要你主動(dòng)調(diào)用 malloc 來分配堆空間，編譯器會(huì)自動(dòng)分析，找出需要 malloc 的變量，使用堆內(nèi)存。編譯器的這個(gè)分析過程就叫做逃逸分析。
所以你在一個(gè)函數(shù)中通過 dict := make(map[string]int) 創(chuàng)建一個(gè) map 變量，其背后的數(shù)據(jù)是放在?？臻g上還是堆空間上，是不一定的。這要看編譯器分析的結(jié)果。
可逃逸分析并不是百分百準(zhǔn)確的，它有缺陷。有的時(shí)候你會(huì)發(fā)現(xiàn)有些變量其實(shí)在?？臻g上分配完全沒問題的，但編譯后程序還是把這些數(shù)據(jù)放在了堆上。如果你了解 Go 語言編譯器逃逸分析的機(jī)制，在寫代碼的時(shí)候就可以有意識(shí)地繞開這些缺陷，使你的程序更高效。
Go 語言雖然在內(nèi)存管理方面降低了編程門檻，即使你不了解堆棧也能正常開發(fā)，但如果你要在性能上較真的話，還是要掌握這些基礎(chǔ)知識(shí)。
這里不對(duì)堆內(nèi)存和棧內(nèi)存的區(qū)別做太多闡述。簡(jiǎn)單來說就是， 棧分配廉價(jià)，堆分配昂貴。 棧空間會(huì)隨著一個(gè)函數(shù)的結(jié)束自動(dòng)釋放，堆空間需要時(shí)間 GC 模塊不斷地跟蹤掃描回收。如果對(duì)這兩個(gè)概念有些迷糊，建議閱讀下面 2 個(gè)文章：
這里舉一個(gè)小例子，來對(duì)比下堆棧的差別：
stack 函數(shù)中的變量 i 在函數(shù)退出會(huì)自動(dòng)釋放；而 heap 函數(shù)返回的是對(duì)變量 i 的引用，也就是說 heap() 退出后，表示變量 i 還要能被訪問，它會(huì)自動(dòng)被分配到堆空間上。
他們編譯出來的代碼如下：
邏輯的復(fù)雜度不言而喻，從上面的匯編中可看到， heap() 函數(shù)調(diào)用了 runtime.newobject() 方法，它會(huì)調(diào)用 mallocgc 方法從 mcache 上申請(qǐng)內(nèi)存，申請(qǐng)的內(nèi)部邏輯前面文章已經(jīng)講述過。堆內(nèi)存分配不僅分配上邏輯比棧空間分配復(fù)雜，它最致命的是會(huì)帶來很大的管理成本，Go 語言要消耗很多的計(jì)算資源對(duì)其進(jìn)行標(biāo)記回收（也就是 GC 成本）。
Go 編輯器會(huì)自動(dòng)幫我們找出需要進(jìn)行動(dòng)態(tài)分配的變量，它是在編譯時(shí)追蹤一個(gè)變量的生命周期，如果能確認(rèn)一個(gè)數(shù)據(jù)只在函數(shù)空間內(nèi)訪問，不會(huì)被外部使用，則使用?？臻g，否則就要使用堆空間。
我們?cè)? go build 編譯代碼時(shí)，可使用 -gcflags '-m' 參數(shù)來查看逃逸分析日志。
以上面的兩個(gè)函數(shù)為例，編譯的日志輸出是：
日志中的 i escapes to heap 表示該變量數(shù)據(jù)逃逸到了堆上。
需要使用堆空間，所以逃逸，這沒什么可爭(zhēng)議的。但編譯器有時(shí)會(huì)將 不需要 使用堆空間的變量，也逃逸掉。這里是容易出現(xiàn)性能問題的大坑。網(wǎng)上有很多相關(guān)文章，列舉了一些導(dǎo)致逃逸情況，其實(shí)總結(jié)起來就一句話：
多級(jí)間接賦值容易導(dǎo)致逃逸 。
這里的多級(jí)間接指的是，對(duì)某個(gè)引用類對(duì)象中的引用類成員進(jìn)行賦值。Go 語言中的引用類數(shù)據(jù)類型有 func , interface , slice , map , chan , *Type(指針) 。
記住公式 Data.Field = Value ，如果 Data , Field 都是引用類的數(shù)據(jù)類型，則會(huì)導(dǎo)致 Value 逃逸。這里的等號(hào) = 不單單只賦值，也表示參數(shù)傳遞。
根據(jù)公式，我們假設(shè)一個(gè)變量 data 是以下幾種類型，相應(yīng)的可以得出結(jié)論：
下面給出一些實(shí)際的例子：
如果變量值是一個(gè)函數(shù)，函數(shù)的參數(shù)又是引用類型，則傳遞給它的參數(shù)都會(huì)逃逸。
上例中 te 的類型是 func(*int) ，屬于引用類型，參數(shù) *int 也是引用類型，則調(diào)用 te(j) 形成了為 te 的參數(shù)(成員) *int 賦值的現(xiàn)象，即 te.i = j 會(huì)導(dǎo)致逃逸。代碼中其他幾種調(diào)用都沒有形成 多級(jí)間接賦值 情況。
同理，如果函數(shù)的參數(shù)類型是 slice , map 或 interface{} 都會(huì)導(dǎo)致參數(shù)逃逸。
匿名函數(shù)的調(diào)用也是一樣的，它本質(zhì)上也是一個(gè)函數(shù)變量。有興趣的可以自己測(cè)試一下。
只要使用了 Interface 類型(不是 interafce{} )，那么賦值給它的變量一定會(huì)逃逸。因?yàn)? interfaceVariable.Method() 先是間接的定位到它的實(shí)際值，再調(diào)用實(shí)際值的同名方法，執(zhí)行時(shí)實(shí)際值作為參數(shù)傳遞給方法。相當(dāng)于 interfaceVariable.Method.this = realValue
向 channel 中發(fā)送數(shù)據(jù)，本質(zhì)上就是為 channel 內(nèi)部的成員賦值，就像給一個(gè) slice 中的某一項(xiàng)賦值一樣。所以 chan *Type , chan map[Type]Type , chan []Type , chan interface{} 類型都會(huì)導(dǎo)致發(fā)送到 channel 中的數(shù)據(jù)逃逸。
這本來也是情理之中的，發(fā)送給 channel 的數(shù)據(jù)是要與其他函數(shù)分享的，為了保證發(fā)送過去的指針依然可用，只能使用堆分配。
可變參數(shù)如 func(arg ...string) 實(shí)際與 func(arg []string) 是一樣的，會(huì)增加一層訪問路徑。這也是 fmt.Sprintf 總是會(huì)使參數(shù)逃逸的原因。
例子非常多，這里不能一一列舉，我們只需要記住分析方法就好，即，2 級(jí)或更多級(jí)的訪問賦值會(huì) 容易 導(dǎo)致數(shù)據(jù)逃逸。這里加上 容易 二字是因?yàn)殡S著語言的發(fā)展，相信這些問題會(huì)被慢慢解決，但現(xiàn)階段，這個(gè)可以作為我們分析逃逸現(xiàn)象的依據(jù)。
下面代碼中包含 2 種很常規(guī)的寫法，但他們卻有著很大的性能差距，建議自己想下為什么。
Benchmark 和 pprof 給出的結(jié)果:
熟悉堆棧概念可以讓我們更容易看透 Go 程序的性能問題，并進(jìn)行優(yōu)化。
多級(jí)間接賦值會(huì)導(dǎo)致 Go 編譯器出現(xiàn)不必要的逃逸，在一些情況下可能我們只需要修改一下數(shù)據(jù)結(jié)構(gòu)就會(huì)使性能有大幅提升。這也是很多人不推薦在 Go 中使用指針的原因，因?yàn)樗鼤?huì)增加一級(jí)訪問路徑，而 map , slice , interface{} 等類型是不可避免要用到的，為了減少不必要的逃逸，只能拿指針開刀了。
大多數(shù)情況下，性能優(yōu)化都會(huì)為程序帶來一定的復(fù)雜度。建議實(shí)際項(xiàng)目中還是怎么方便怎么寫，功能完成后通過性能分析找到瓶頸所在，再對(duì)局部進(jìn)行優(yōu)化。
Go語言(又稱 Golang)是 Google 的 Robert Griesemer，Rob Pike 及 Ken Thompson 開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型語言。Go 語言語法與 C 相近，但功能上有：內(nèi)存安全，GC(垃圾回收)，結(jié)構(gòu)形態(tài)及 CSP-style 并發(fā)計(jì)算。 擴(kuò)展資料
Go語言主要用作服務(wù)器端開發(fā)，其定位是用來開發(fā)“大型軟件”的，適合于很多程序員一起開發(fā)大型軟件，并且開發(fā)周期長(zhǎng)，支持云計(jì)算的網(wǎng)絡(luò)服務(wù)。Go語言能夠讓程序員快速開發(fā)，并且在軟件不斷的'增長(zhǎng)過程中，它能讓程序員更容易地進(jìn)行維護(hù)和修改。它融合了傳統(tǒng)編譯型語言的高效性和腳本語言的易用性和富于表達(dá)性。
Go語言作為服務(wù)器編程語言，很適合處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫代理等;網(wǎng)絡(luò)編程方面，Go語言廣泛應(yīng)用于Web應(yīng)用、API應(yīng)用、下載應(yīng)用等;除此之外，Go語言還可用于內(nèi)存數(shù)據(jù)庫和云平臺(tái)領(lǐng)域，目前國(guó)外很多云平臺(tái)都是采用Go開發(fā)。
重慶分公司
重慶分公司
