有很多教程是關(guān)于Go的sql.DB類型和如何使用它來執(zhí)行SQL數(shù)據(jù)庫查詢的。但大多數(shù)內(nèi)容都沒有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法, 您可以使用它們來配置sql.DB的行為并改變其性能。
成都創(chuàng)新互聯(lián)公司是一家專注網(wǎng)站建設(shè)、網(wǎng)絡(luò)營銷策劃、成都微信小程序、電子商務(wù)建設(shè)、網(wǎng)絡(luò)推廣、移動互聯(lián)開發(fā)、研究、服務(wù)為一體的技術(shù)型公司。公司成立十載以來,已經(jīng)為上千多家成都LED顯示屏各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務(wù)。現(xiàn)在,服務(wù)的上千多家客戶與我們一路同行,見證我們的成長;未來,我們一起分享成功的喜悅。
轉(zhuǎn)自:
整理:go語言中文文檔:
在本文我將詳細(xì)解釋這些設(shè)置的作用,并說明它們所能產(chǎn)生的(積極和消極)影響。
一個sql.DB對象就是一個數(shù)據(jù)庫連接池,它包含“正在用”和“空閑的”連接。一個正在用的連接指的是,你正用它來執(zhí)行數(shù)據(jù)庫任務(wù),例如執(zhí)行SQL語句或行查詢。當(dāng)任務(wù)完成連接就是空閑的。
當(dāng)您創(chuàng)建sql.DB執(zhí)行數(shù)據(jù)庫任務(wù)時,它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接,那么Go將重用現(xiàn)有連接,并在執(zhí)行任務(wù)期間將其標(biāo)記為正在使用。如果池中沒有空閑連接,而您需要一個空閑連接,那么Go將創(chuàng)建一個新的連接。
默認(rèn)情況下,在同一時間打開連接的數(shù)量是沒有限制(包含使用中+空閑)。但你可以通過SetMaxOpenConns()方法實(shí)現(xiàn)自定義限制,如下所示:
在這個示例代碼中,連接池現(xiàn)在有5個并發(fā)打開的連接數(shù)。如果所有5個連接都已經(jīng)被標(biāo)記為正在使用,并且需要另一個新的連接,那么應(yīng)用程序?qū)⒈黄鹊却?,直?個連接中的一個被釋放并變?yōu)榭臻e。
為了說明更改MaxOpenConns的影響,我運(yùn)行了一個基準(zhǔn)測試,將最大打開連接數(shù)設(shè)置為1、2、5、10和無限。基準(zhǔn)測試在PostgreSQL數(shù)據(jù)庫上執(zhí)行并行的INSERT語句,您可以在這里找到代碼。測試結(jié)果:
對于這個基準(zhǔn)測試,我們可以看到,允許打開的連接越多,在數(shù)據(jù)庫上執(zhí)行INSERT操作所花費(fèi)的時間就越少(打開的連接數(shù)為1時,執(zhí)行速度3129633ns/op,而無限連接:531030ns/op——大約快了6倍)。這是因?yàn)樵试S打開的連接越多,可以并發(fā)執(zhí)行的數(shù)據(jù)庫查詢就越多。
默認(rèn)情況下,sql.DB允許連接池中最多保留2個空閑連接。你可以通過SetMaxIdleConns()方法改變它,如下所示:
從理論上講,允許池中有更多的空閑連接將提高性能,因?yàn)檫@樣就不太可能從頭開始建立新連接——因此有助于提升數(shù)據(jù)庫性能。
讓我們來看看相同的基準(zhǔn)測試,最大空閑連接設(shè)置為none, 1,2,5和10:
當(dāng)MaxIdleConns設(shè)置為none時,必須為每個INSERT從頭創(chuàng)建一個新的連接,我們可以從基準(zhǔn)測試中看到,平均運(yùn)行時和內(nèi)存使用量相對較高。
只允許保留和重用一個空閑連接對基準(zhǔn)測試影響特別明顯——它將平均運(yùn)行時間減少了大約8倍,內(nèi)存使用量減少了大約20倍。繼續(xù)增加空閑連接池的大小會使性能變得更好,盡管改進(jìn)并不明顯。
那么,您應(yīng)該維護(hù)一個大的空閑連接池嗎?答案取決于應(yīng)用程序。重要的是要意識到保持空閑連接是有代價的—它占用了可以用于應(yīng)用程序和數(shù)據(jù)庫的內(nèi)存。
還有一種可能是,如果一個連接空閑時間太長,那么它可能會變得不可用。例如,MySQL的wait_timeout設(shè)置將自動關(guān)閉任何8小時(默認(rèn))內(nèi)未使用的連接。
當(dāng)發(fā)生這種情況時,sql.DB會優(yōu)雅地處理它。壞連接將自動重試兩次,然后放棄,此時Go將該連接從連接池中刪除,并創(chuàng)建一個新的連接。因此,將MaxIdleConns設(shè)置得太大可能會導(dǎo)致連接變得不可用,與空閑連接池更小(使用更頻繁的連接更少)相比,會占有更多的資源。所以,如果你很可能很快就會再次使用,你只需保持一個空閑的連接。
最后要指出的是,MaxIdleConns應(yīng)該總是小于或等于MaxOpenConns。Go強(qiáng)制執(zhí)行此操作,并在必要時自動減少M(fèi)axIdleConns。
現(xiàn)在讓我們看看SetConnMaxLifetime()方法,它設(shè)置連接可重用的最大時間長度。如果您的SQL數(shù)據(jù)庫也實(shí)現(xiàn)了最大連接生命周期,或者—例如—您希望方便地在負(fù)載均衡器后交換數(shù)據(jù)庫,那么這將非常有用。
你可以這樣使用它:
在這個例子中,所有的連接都將在創(chuàng)建后1小時“過期”,并且在過期后無法重用。但注意:
從理論上講,ConnMaxLifetime越短,連接過期的頻率就越高——因此,需要從頭創(chuàng)建連接的頻率就越高。為了說明這一點(diǎn),我運(yùn)行了將ConnMaxLifetime設(shè)置為100ms、200ms、500ms、1000ms和無限(永遠(yuǎn)重用)的基準(zhǔn)測試,默認(rèn)設(shè)置為無限打開連接和2個空閑連接。這些時間段顯然比您在大多數(shù)應(yīng)用程序中使用的時間要短得多,但它們有助于很好地說明行為。
在這些特定的基準(zhǔn)測試中,我們可以看到,與無限生存期相比,在100ms生存期時內(nèi)存使用量增加了3倍以上,而且每個INSERT的平均運(yùn)行時也稍微長一些。
如果您在代碼中設(shè)置了ConnMaxLifetime,那么一定要記住連接將過期(隨后重新創(chuàng)建)的頻率。例如,如果您總共有100個連接,而ConnMaxLifetime為1分鐘,那么您的應(yīng)用程序可能每秒鐘殺死和重新創(chuàng)建1.67個連接(平均值)。您不希望這個頻率太大,最終會阻礙性能,而不是提高性能。
最后,如果不說明超過數(shù)據(jù)庫連接數(shù)量的硬限制將會發(fā)生什么,那么本文就不完整了。 為了說明這一點(diǎn),我將修改postgresql.conf文件,這樣總共只允許5個連接(默認(rèn)是100個)…
然后在無限連接的情況下重新運(yùn)行基準(zhǔn)測試……
一旦達(dá)到5個連接的硬限制,數(shù)據(jù)庫驅(qū)動程序(pq)立即返回一個太多客戶端連接的錯誤消息,而無法完成INSERT。為了防止這個錯誤,我們需要將sql.DB中打開連接的最大總數(shù)(正在使用的+空閑的)設(shè)置為低于5。像這樣:
現(xiàn)在,sql.DB在任何時候最多只能創(chuàng)建3個連接,基準(zhǔn)測試運(yùn)行時應(yīng)該不會出現(xiàn)任何錯誤。但是這樣做需要注意:當(dāng)達(dá)到開放連接數(shù)限制,并且所有連接都在使用時,應(yīng)用程序需要執(zhí)行的任何新的數(shù)據(jù)庫任務(wù)都將被迫等待,直到連接標(biāo)記為空閑。例如,在web應(yīng)用程序的上下文中,用戶的HTTP請求看起來會“掛起”,甚至在等待數(shù)據(jù)庫任務(wù)運(yùn)行時可能會超時。
為了減輕這種情況,你應(yīng)該始終在一個上下文中傳遞。在調(diào)用數(shù)據(jù)庫時,啟用上下文的方法(如ExecContext()),使用固定的、快速的超時上下文對象。
總結(jié)
1、根據(jù)經(jīng)驗(yàn),應(yīng)該顯式設(shè)置MaxOpenConns值。這應(yīng)該小于數(shù)據(jù)庫和基礎(chǔ)設(shè)施對連接數(shù)量的硬性限制。
2、一般來說,更高的MaxOpenConns和MaxIdleConns值將帶來更好的性能。但你應(yīng)該注意到效果是遞減的,連接池空閑連接太多(連接沒有被重用,最終會變壞)實(shí)際上會導(dǎo)致性能下降。
3、為了降低上面第2點(diǎn)帶來的風(fēng)險,您可能需要設(shè)置一個相對較短的ConnMaxLifetime。但你也不希望它太短,導(dǎo)致連接被殺死或不必要地頻繁重建。
4、MaxIdleConns應(yīng)該總是小于或等于MaxOpenConns。
對于中小型web應(yīng)用程序,我通常使用以下設(shè)置作為起點(diǎn),然后根據(jù)實(shí)際吞吐量水平的負(fù)載測試結(jié)果進(jìn)行優(yōu)化。
for index,val := range a {
if val == '好' {
fmt.println(index,x)
}
}
對string做range得到的val是int32類型,直接用單引號比較就行
這是引入類型失敗的錯誤提示,
import org.wltea ,說明你引入了某個jar 包或者類,但是沒有找到 ,就報錯了.IK analyzer 中文分詞器 開源的項(xiàng)目 ,有源碼的.把這個下載好就可以了。
golang在1.6.2的時候還沒有自己的context,在1.7的版本中就把golang.org/x/net/context包被加入到了官方的庫中。中文譯作“上下文”,它主要包含了goroutine 的運(yùn)行狀態(tài)、環(huán)境等信息。
context 主要用來在 goroutine 之間傳遞上下文信息,包括:同步信號、超時時間、截止時間、請求相關(guān)值等。
該接口定義了四個需要實(shí)現(xiàn)的方法:
如果有個網(wǎng)絡(luò)請求Request,然后這個請求又可以開啟多個goroutine做一些事情,當(dāng)這個網(wǎng)絡(luò)請求出現(xiàn)異常和超時時,這個請求結(jié)束了,這時候就可以通過context來跟蹤這些goroutine,并且通過Context來取消他們,然后系統(tǒng)才可回收所占用的資源。
為了更方便的創(chuàng)建Context,包里頭定義了Background來作為所有Context的根,它是一個emptyCtx的實(shí)例。
Background返回一個非空的Context。它永遠(yuǎn)不會被取消。它通常用來初始化和測試使用,作為一個頂層的context,也就是說一般我們創(chuàng)建的context都是基于Background。
TODO返回一個非空的Context。當(dāng)不清楚要使用哪個上下文的時候可以使用TODO。
他們兩個本質(zhì)上都是emptyCtx結(jié)構(gòu)體類型,是一個不可取消,沒有設(shè)置截止時間,沒有攜帶任何值的Context。
有了如上的根Context,那么是如何衍生更多的子Context的呢?這就要靠context包為我們提供的With系列的函數(shù)了。
通過這些函數(shù),就創(chuàng)建了一顆Context樹,樹的每個節(jié)點(diǎn)都可以有任意多個子節(jié)點(diǎn),節(jié)點(diǎn)層級可以有任意多個。
WithCancel函數(shù),最常用的派生 context 方法。該方法接受一個父 context。父 context 可以是一個 background context 或其他 context。
WithDeadline函數(shù),該方法會創(chuàng)建一個帶有 deadline 的 context。當(dāng) deadline 到期后,該 context 以及該 context 的可能子 context 會受到 cancel 通知。另外,如果 deadline 前調(diào)用 cancelFunc 則會提前發(fā)送取消通知。
WithTimeout和WithDeadline基本上一樣,這個表示是超時自動取消,是多少時間后自動取消Context的意思。
WithValue函數(shù)和取消Context無關(guān),它是為了生成一個綁定了一個鍵值對數(shù)據(jù)的Context,這個綁定的數(shù)據(jù)可以通過Context.Value方法訪問到,一般我們想要通過上下文來傳遞數(shù)據(jù)時,可以通過這個方法,如我們需要tarce追蹤系統(tǒng)調(diào)用棧的時候。
使用Context的程序應(yīng)遵循以下規(guī)則,以使各個包之間的接口保持一致:
1.不要將 Context 塞到結(jié)構(gòu)體里。直接將 Context 類型作為函數(shù)的第一參數(shù),而且一般都命名為 ctx。
2.不要向函數(shù)傳入一個 nil 的 context,如果你實(shí)在不知道傳什么,標(biāo)準(zhǔn)庫給你準(zhǔn)備好了一個 context:todo。
3.不要把本應(yīng)該作為函數(shù)參數(shù)的類型塞到 context 中,context 存儲的應(yīng)該是一些共同的數(shù)據(jù)。例如:登陸的 session、cookie 等。
4.同一個 context 可能會被傳遞到多個 goroutine,別擔(dān)心,context 是并發(fā)安全的。
因?yàn)镴ava是以沙箱機(jī)制運(yùn)行的,進(jìn)程間隔離,要想用Java寫外掛也不是完全不可以,只是先得用C/C++編寫注入程序(通常是動態(tài)鏈接庫),然后用JNI方式編寫其Java擴(kuò)展。
至于Go語言,不太了解。但是外掛主要是指ABI層次的,和語言無關(guān),只要一種語言的調(diào)用約定符合你要注入的程序的調(diào)用約定(以Windows為例就是WindowsAPI)都可以的(Java就是和C語言的調(diào)用約定不同所以不能直接寫外掛)。
關(guān)于注入的技巧,可以中搜這個文章
Three
Ways
to
Inject
Your
Code
into
Another
Process
或中文《注入代碼的
3
種方法》
這個項(xiàng)目可以理解為針對互聯(lián)網(wǎng)IT人打造的中文版awesome-go。已有的awesome-go項(xiàng)目, 匯總了很多go開源項(xiàng)目, 但存在的問題是收集太全了, 而且每個項(xiàng)目沒有詳細(xì)描述。
本項(xiàng)目作為awesome-go的一個擴(kuò)展,根據(jù)go語言中文社區(qū)提供的資料,還有互聯(lián)網(wǎng)企業(yè)架構(gòu)設(shè)計中的常見組件分類, 共精心挑選了153個開源項(xiàng)目(項(xiàng)目不限于在github開源的項(xiàng)目), 分成以下17個大類。
項(xiàng)目初衷是幫助到那些想學(xué)習(xí)和借鑒優(yōu)秀golang開源項(xiàng)目, 和在互聯(lián)網(wǎng)架構(gòu)設(shè)計時期望快速尋找合適輪子的人。
ps: 以下項(xiàng)目 star數(shù)均大于100 ,且會定期檢查項(xiàng)目的url,剔除無效鏈接。 每個分類下的項(xiàng)目會按照 star數(shù)從高到低 進(jìn)行排列。