如何在go語言中使用redis連接池

1.在創(chuàng)建連接池之后，起一個 go routine，每隔一段 idleTime 發(fā)送一個 PING 到 Redis server。其中，idleTime 略小于 Redis server 的 timeout 配置。

十年的雄縣網(wǎng)站建設經(jīng)驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。成都全網(wǎng)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調(diào)整雄縣建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“雄縣網(wǎng)站設計”,“雄縣網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

2.連接池初始化部分代碼如下：

p, err := pool.New("tcp", u.Host, concurrency) errHndlr(err) go func() { for { p.Cmd("PING") time.Sleep(idelTime * time.Second) } }()

3.使用 redis 傳輸數(shù)據(jù)部分代碼如下：

func redisDo(p *pool.Pool, cmd string, args ...interface{}) (reply *redis.Resp, err error) { reply = p.Cmd(cmd, args...) if err = reply.Err; err != nil { if err != io.EOF { Fatal.Println("redis", cmd, args, "err is", err) } } return }

4.其中，Radix.v2 連接池內(nèi)部進行了連接池內(nèi)連接的獲取和放回，代碼如下：

// Cmd automatically gets one client from the pool, executes the given command // (returning its result), and puts the client back in the pool func (p *Pool) Cmd(cmd string, args ...interface{}) *redis.Resp { c, err := p.Get() if err != nil { return redis.NewResp(err) } defer p.Put(c) return c.Cmd(cmd, args...) }

這樣，就有了系統(tǒng) keep alive 的機制，不會出現(xiàn) time out 的連接了，從 redis 連接池里面取出的連接都是可用的連接了?？此坪唵蔚拇a，卻完美的解決了連接池里面超時連接的問題。同時，就算 Redis server 重啟等情況，也能保證連接自動重連。

golang配制高性能sql.DB

有很多教程是關于Go的sql.DB類型和如何使用它來執(zhí)行SQL數(shù)據(jù)庫查詢的。但大多數(shù)內(nèi)容都沒有講述 SetMaxOpenConns() , SetMaxIdleConns() 和 SetConnMaxLifetime()方法， 您可以使用它們來配置sql.DB的行為并改變其性能。

轉(zhuǎn)自：

整理：go語言中文文檔：

在本文我將詳細解釋這些設置的作用，并說明它們所能產(chǎn)生的(積極和消極)影響。

一個sql.DB對象就是一個數(shù)據(jù)庫連接池，它包含“正在用”和“空閑的”連接。一個正在用的連接指的是，你正用它來執(zhí)行數(shù)據(jù)庫任務，例如執(zhí)行SQL語句或行查詢。當任務完成連接就是空閑的。

當您創(chuàng)建sql.DB執(zhí)行數(shù)據(jù)庫任務時，它將首先檢查連接池中是否有可用的空閑連接。如果有可用的連接，那么Go將重用現(xiàn)有連接，并在執(zhí)行任務期間將其標記為正在使用。如果池中沒有空閑連接，而您需要一個空閑連接，那么Go將創(chuàng)建一個新的連接。

默認情況下，在同一時間打開連接的數(shù)量是沒有限制(包含使用中+空閑)。但你可以通過SetMaxOpenConns()方法實現(xiàn)自定義限制，如下所示:

在這個示例代碼中，連接池現(xiàn)在有5個并發(fā)打開的連接數(shù)。如果所有5個連接都已經(jīng)被標記為正在使用，并且需要另一個新的連接，那么應用程序?qū)⒈黄鹊却钡?個連接中的一個被釋放并變?yōu)榭臻e。

為了說明更改MaxOpenConns的影響，我運行了一個基準測試，將最大打開連接數(shù)設置為1、2、5、10和無限。基準測試在PostgreSQL數(shù)據(jù)庫上執(zhí)行并行的INSERT語句，您可以在這里找到代碼。測試結(jié)果:

對于這個基準測試，我們可以看到，允許打開的連接越多，在數(shù)據(jù)庫上執(zhí)行INSERT操作所花費的時間就越少(打開的連接數(shù)為1時，執(zhí)行速度3129633ns/op，而無限連接：531030ns/op——大約快了6倍)。這是因為允許打開的連接越多，可以并發(fā)執(zhí)行的數(shù)據(jù)庫查詢就越多。

默認情況下，sql.DB允許連接池中最多保留2個空閑連接。你可以通過SetMaxIdleConns()方法改變它，如下所示:

從理論上講，允許池中有更多的空閑連接將提高性能，因為這樣就不太可能從頭開始建立新連接——因此有助于提升數(shù)據(jù)庫性能。

讓我們來看看相同的基準測試，最大空閑連接設置為none, 1,2,5和10:

當MaxIdleConns設置為none時，必須為每個INSERT從頭創(chuàng)建一個新的連接，我們可以從基準測試中看到，平均運行時和內(nèi)存使用量相對較高。

只允許保留和重用一個空閑連接對基準測試影響特別明顯——它將平均運行時間減少了大約8倍，內(nèi)存使用量減少了大約20倍。繼續(xù)增加空閑連接池的大小會使性能變得更好，盡管改進并不明顯。

那么，您應該維護一個大的空閑連接池嗎?答案取決于應用程序。重要的是要意識到保持空閑連接是有代價的—它占用了可以用于應用程序和數(shù)據(jù)庫的內(nèi)存。

還有一種可能是，如果一個連接空閑時間太長，那么它可能會變得不可用。例如，MySQL的wait_timeout設置將自動關閉任何8小時(默認)內(nèi)未使用的連接。

當發(fā)生這種情況時，sql.DB會優(yōu)雅地處理它。壞連接將自動重試兩次，然后放棄，此時Go將該連接從連接池中刪除，并創(chuàng)建一個新的連接。因此，將MaxIdleConns設置得太大可能會導致連接變得不可用，與空閑連接池更小(使用更頻繁的連接更少)相比，會占有更多的資源。所以，如果你很可能很快就會再次使用，你只需保持一個空閑的連接。

最后要指出的是，MaxIdleConns應該總是小于或等于MaxOpenConns。Go強制執(zhí)行此操作，并在必要時自動減少MaxIdleConns。

現(xiàn)在讓我們看看SetConnMaxLifetime()方法，它設置連接可重用的最大時間長度。如果您的SQL數(shù)據(jù)庫也實現(xiàn)了最大連接生命周期，或者—例如—您希望方便地在負載均衡器后交換數(shù)據(jù)庫，那么這將非常有用。

你可以這樣使用它:

在這個例子中，所有的連接都將在創(chuàng)建后1小時“過期”，并且在過期后無法重用。但注意:

從理論上講，ConnMaxLifetime越短，連接過期的頻率就越高——因此，需要從頭創(chuàng)建連接的頻率就越高。為了說明這一點，我運行了將ConnMaxLifetime設置為100ms、200ms、500ms、1000ms和無限(永遠重用)的基準測試，默認設置為無限打開連接和2個空閑連接。這些時間段顯然比您在大多數(shù)應用程序中使用的時間要短得多，但它們有助于很好地說明行為。

在這些特定的基準測試中，我們可以看到，與無限生存期相比，在100ms生存期時內(nèi)存使用量增加了3倍以上，而且每個INSERT的平均運行時也稍微長一些。

如果您在代碼中設置了ConnMaxLifetime，那么一定要記住連接將過期(隨后重新創(chuàng)建)的頻率。例如，如果您總共有100個連接，而ConnMaxLifetime為1分鐘，那么您的應用程序可能每秒鐘殺死和重新創(chuàng)建1.67個連接(平均值)。您不希望這個頻率太大，最終會阻礙性能，而不是提高性能。

最后，如果不說明超過數(shù)據(jù)庫連接數(shù)量的硬限制將會發(fā)生什么，那么本文就不完整了。 為了說明這一點，我將修改postgresql.conf文件，這樣總共只允許5個連接(默認是100個)…

然后在無限連接的情況下重新運行基準測試……

一旦達到5個連接的硬限制，數(shù)據(jù)庫驅(qū)動程序(pq)立即返回一個太多客戶端連接的錯誤消息，而無法完成INSERT。為了防止這個錯誤，我們需要將sql.DB中打開連接的最大總數(shù)(正在使用的+空閑的)設置為低于5。像這樣:

現(xiàn)在，sql.DB在任何時候最多只能創(chuàng)建3個連接，基準測試運行時應該不會出現(xiàn)任何錯誤。但是這樣做需要注意：當達到開放連接數(shù)限制，并且所有連接都在使用時，應用程序需要執(zhí)行的任何新的數(shù)據(jù)庫任務都將被迫等待，直到連接標記為空閑。例如，在web應用程序的上下文中，用戶的HTTP請求看起來會“掛起”，甚至在等待數(shù)據(jù)庫任務運行時可能會超時。

為了減輕這種情況，你應該始終在一個上下文中傳遞。在調(diào)用數(shù)據(jù)庫時，啟用上下文的方法(如ExecContext())，使用固定的、快速的超時上下文對象。

總結(jié)

1、根據(jù)經(jīng)驗，應該顯式設置MaxOpenConns值。這應該小于數(shù)據(jù)庫和基礎設施對連接數(shù)量的硬性限制。

2、一般來說，更高的MaxOpenConns和MaxIdleConns值將帶來更好的性能。但你應該注意到效果是遞減的，連接池空閑連接太多(連接沒有被重用，最終會變壞)實際上會導致性能下降。

3、為了降低上面第2點帶來的風險，您可能需要設置一個相對較短的ConnMaxLifetime。但你也不希望它太短，導致連接被殺死或不必要地頻繁重建。

4、MaxIdleConns應該總是小于或等于MaxOpenConns。

對于中小型web應用程序，我通常使用以下設置作為起點，然后根據(jù)實際吞吐量水平的負載測試結(jié)果進行優(yōu)化。

使用Go實現(xiàn)一個數(shù)據(jù)庫連接池

開始本文之前，我們看一段Go連接數(shù)據(jù)庫的代碼：

本文內(nèi)容我們將解釋連接池背后是如何工作的，并 探索 如何配置數(shù)據(jù)庫能改變或優(yōu)化其性能。

轉(zhuǎn)自：

整理：地鼠文檔：

那么sql.DB連接池是如何工作的呢?

需要理解的最重要一點是，sql.DB池包含兩種類型的連接——“正在使用”連接和“空閑”連接。當您使用連接執(zhí)行數(shù)據(jù)庫任務(例如執(zhí)行SQL語句或查詢行)時，該連接被標記為正在使用，任務完成后，該連接被標記為空閑。

當您使用Go執(zhí)行數(shù)據(jù)庫操作時，它將首先檢查池中是否有可用的空閑連接。如果有可用的連接，那么Go將重用這個現(xiàn)有連接，并在任務期間將其標記為正在使用。如果在您需要空閑連接時池中沒有空閑連接，那么Go將創(chuàng)建一個新的連接。

當Go重用池中的空閑連接時，與該連接有關的任何問題都會被優(yōu)雅地處理。異常連接將在放棄之前自動重試兩次，這時Go將從池中刪除異常連接并創(chuàng)建一個新的連接來執(zhí)行該任務。

連接池有四個方法，我們可以使用它們來配置連接池的行為。讓我們一個一個地來討論。

SetMaxOpenConns()方法允許您設置池中“打開”連接(使用中+空閑連接)數(shù)量的上限。默認情況下，打開的連接數(shù)是無限的。

一般來說，MaxOpenConns設置得越大，可以并發(fā)執(zhí)行的數(shù)據(jù)庫查詢就越多，連接池本身成為應用程序中的瓶頸的風險就越低。

但讓它無限并不是最好的選擇。默認情況下，PostgreSQL最多100個打開連接的硬限制，如果達到這個限制的話，它將導致pq驅(qū)動返回”sorry, too many clients already”錯誤。

為了避免這個錯誤，將池中打開的連接數(shù)量限制在100以下是有意義的，可以為其他需要使用PostgreSQL的應用程序或會話留下足夠的空間。

設置MaxOpenConns限制的另一個好處是，它充當一個非?；镜南蘖髌?，防止數(shù)據(jù)庫同時被大量任務壓垮。

但設定上限有一個重要的警告。如果達到MaxOpenConns限制，并且所有連接都在使用中，那么任何新的數(shù)據(jù)庫任務將被迫等待，直到有連接空閑。在我們的API上下文中，用戶的HTTP請求可能在等待空閑連接時無限期地“掛起”。因此，為了緩解這種情況，使用上下文為數(shù)據(jù)庫任務設置超時是很重要的。我們將在書的后面解釋如何處理。

SetMaxIdleConns()方法的作用是：設置池中空閑連接數(shù)的上限。缺省情況下，最大空閑連接數(shù)為2。

理論上，在池中允許更多的空閑連接將增加性能。因為它減少了從頭建立新連接發(fā)生概率—，因此有助于節(jié)省資源。

但要意識到保持空閑連接是有代價的。它占用了本來可以用于應用程序和數(shù)據(jù)庫的內(nèi)存，而且如果一個連接空閑時間過長，它也可能變得不可用。例如，默認情況下MySQL會自動關閉任何8小時未使用的連接。

因此，與使用更小的空閑連接池相比，將MaxIdleConns設置得過高可能會導致更多的連接變得不可用，浪費資源。因此保持適量的空閑連接是必要的。理想情況下，你只希望保持一個連接空閑，可以快速使用。

另一件要指出的事情是MaxIdleConns值應該總是小于或等于MaxOpenConns。Go會強制保證這點，并在必要時自動減少MaxIdleConns值。

SetConnMaxLifetime()方法用于設置ConnMaxLifetime的極限值，表示一個連接保持可用的最長時間。默認連接的存活時間沒有限制，永久可用。

如果設置ConnMaxLifetime的值為1小時，意味著所有的連接在創(chuàng)建后，經(jīng)過一個小時就會被標記為失效連接，標志后就不可復用。但需要注意：

理論上，ConnMaxLifetime為無限大（或設置為很長生命周期）將提升性能，因為這樣可以減少新建連接。但是在某些情況下，設置短期存活時間有用。比如：

如果您決定對連接池設置ConnMaxLifetime，那么一定要記住連接過期(然后重新創(chuàng)建)的頻率。例如，如果連接池中有100個打開的連接，而ConnMaxLifetime為1分鐘，那么您的應用程序平均每秒可以殺死并重新創(chuàng)建多達1.67個連接。您不希望頻率太大而最終影響性能吧。

SetConnMaxIdleTime()方法在Go 1.15版本引入對ConnMaxIdleTime進行配置。其效果和ConnMaxLifeTime類似，但這里設置的是：在被標記為失效之前一個連接最長空閑時間。例如，如果我們將ConnMaxIdleTime設置為1小時，那么自上次使用以后在池中空閑了1小時的任何連接都將被標記為過期并被后臺清理操作刪除。

這個配置非常有用，因為它意味著我們可以對池中空閑連接的數(shù)量設置相對較高的限制，但可以通過刪除不再真正使用的空閑連接來周期性地釋放資源。

所以有很多信息要吸收。這在實踐中意味著什么？我們把以上所有的內(nèi)容總結(jié)成一些可行的要點。

1、根據(jù)經(jīng)驗，您應該顯式地設置MaxOpenConns值。這個值應該低于數(shù)據(jù)庫和操作系統(tǒng)對連接數(shù)量的硬性限制，您還可以考慮將其保持在相當?shù)偷乃?，以充當基本的限流作用?/p>

對于本書中的項目，我們將MaxOpenConns限制為25個連接。我發(fā)現(xiàn)這對于小型到中型的web應用程序和API來說是一個合理的初始值，但理想情況下，您應該根據(jù)基準測試和壓測結(jié)果調(diào)整這個值。

2、通常，更大的MaxOpenConns和MaxIdleConns值會帶來更好的性能。但是，效果是逐漸降低的，而且您應該注意，太多的空閑連接(連接沒有被復用)實際上會導致性能下降和不必要的資源消耗。

因為MaxIdleConns應該總是小于或等于MaxOpenConns，所以對于這個項目，我們還將MaxIdleConns限制為25個連接。

3、為了降低上面第2點的風險，通常應該設置ConnMaxIdleTime值來刪除長時間未使用的空閑連接。在這個項目中，我們將設置ConnMaxIdleTime持續(xù)時間為15分鐘。

4、ConnMaxLifetime默認設置為無限大是可以的，除非您的數(shù)據(jù)庫對連接生命周期施加了硬限制，或者您需要它協(xié)助一些操作，比如優(yōu)雅地交換數(shù)據(jù)庫。這些都不適用于本項目，所以我們將保留這個默認的無限制配置。

與其硬編碼這些配置，不如更新cmd/api/main.go文件通過命令行參數(shù)讀取配置。

ConnMaxIdleTime值比較有意思，因為我們希望它傳遞一段時間，最終需要將其轉(zhuǎn)換為Go的time.Duration類型。這里有幾個選擇:

1、我們可以使用一個整數(shù)來表示秒(或分鐘)的數(shù)量，并將其轉(zhuǎn)換為time.Duration。

2、我們可以使用一個表示持續(xù)時間的字符串——比如“5s”(5秒)或“10m”(10分鐘)——然后使用time.ParseDuration()函數(shù)解析它。

3、兩種方法都可以很好地工作，但是在這個項目中我們將使用選項2。繼續(xù)并更新cmd/api/main.go文件如下:

File: cmd/api/main.go

如何在 Go 語言中使用 Redis 連接池

一、關于連接池

一個數(shù)據(jù)庫服務器只擁有有限的資源，并且如果你沒有充分使用這些資源，你可以通過使用更多的連接來提高吞吐量。一旦所有的資源都在使用，那么你就不 能通過增加更多的連接來提高吞吐量。事實上，吞吐量在連接負載較大時就開始下降了。通常可以通過限制與可用的資源相匹配的數(shù)據(jù)庫連接的數(shù)量來提高延遲和吞 吐量。

如何在Go語言中使用Redis連接池

如果不使用連接池，那么，每次傳輸數(shù)據(jù)，我們都需要進行創(chuàng)建連接，收發(fā)數(shù)據(jù)，關閉連接。在并發(fā)量不高的場景，基本上不會有什么問題，一旦并發(fā)量上去了，那么，一般就會遇到下面幾個常見問題：

性能普遍上不去

CPU 大量資源被系統(tǒng)消耗

網(wǎng)絡一旦抖動，會有大量 TIME_WAIT 產(chǎn)生，不得不定期重啟服務或定期重啟機器

服務器工作不穩(wěn)定，QPS 忽高忽低

要想解決這些問題，我們就要用到連接池了。連接池的思路很簡單，在初始化時，創(chuàng)建一定數(shù)量的連接，先把所有長連接存起來，然后，誰需要使用，從這里取走，干完活立馬放回來。 如果請求數(shù)超出連接池容量，那么就排隊等待、退化成短連接或者直接丟棄掉。

二、使用連接池遇到的坑

最近在一個項目中，需要實現(xiàn)一個簡單的 Web Server 提供 Redis 的 HTTP interface，提供 JSON 形式的返回結(jié)果?？紤]用 Go 來實現(xiàn)。

首先，去看一下 Redis 官方推薦的 Go Redis driver。官方 Star 的項目有兩個：Radix.v2 和 Redigo。經(jīng)過簡單的比較后，選擇了更加輕量級和實現(xiàn)更加優(yōu)雅的 Radix.v2。

Radix.v2 包是根據(jù)功能劃分成一個個的 sub package，每一個 sub package 在一個獨立的子目錄中，結(jié)構非常清晰。我的項目中會用到的 sub package 有 redis 和 pool。

由于我想讓這種被 fork 的進程最好簡單點，做的事情單一一些，所以，在沒有深入去看 Radix.v2 的 pool 的實現(xiàn)之前，我選擇了自己實現(xiàn)一個 Redis pool。(這里，就不貼代碼了。后來發(fā)現(xiàn)自己實現(xiàn)的 Redis pool 與 Radix.v2 實現(xiàn)的 Redis pool 的原理是一樣的，都是基于 channel 實現(xiàn)的, 遇到的問題也是一樣的。)

不過在測試過程中，發(fā)現(xiàn)了一個詭異的問題。在請求過程中經(jīng)常會報 EOF 錯誤。而且是概率性出現(xiàn)，一會有問題，一會又好了。通過反復的測試，發(fā)現(xiàn) bug 是有規(guī)律的，當程序空閑一會后，再進行連續(xù)請求，會發(fā)生3次失敗，然后之后的請求都能成功，而我的連接池大小設置的是3。再進一步分析，程序空閑300秒 后，再請求就會失敗，發(fā)現(xiàn)我的 Redis server 配置了 timeout 300，至此，問題就清楚了。是連接超時 Redis server 主動斷開了連接?？蛻舳诉@邊從一個超時的連接請求就會得到 EOF 錯誤。

然后我看了一下 Radix.v2 的 pool 包的源碼，發(fā)現(xiàn)這個庫本身并沒有檢測壞的連接，并替換為新server{location/pool{content_by_lua_block{localredis=require"resty.redis"localred=redis:new()localok,err=red:connect("127.0.0.1",6379)ifnotokthenngx.say("failedtoconnect:",err)returnendok,err=red:set("hello","world")ifnotokthenreturnendred:set_keepalive(10000,100)}}}

發(fā)現(xiàn)有個 set_keepalive 的方法，查了一下官方文檔，方法的原型是 syntax: ok, err = red:set_keepalive(max_idle_timeout, pool_size) 貌似 max_idle_timeout 這個參數(shù)，就是我們所缺少的東西，然后進一步跟蹤源碼，看看里面是怎么保證連接有效的。

function_M.set_keepalive(self,...)localsock=self.sockifnotsockthenreturnnil,"notinitialized"endifself.subscribedthenreturnnil,"subscribedstate"endreturnsock:setkeepalive(...)end

至此，已經(jīng)清楚了，使用了 tcp 的 keepalive 心跳機制。

于是，通過與 Radix.v2 的作者一些討論，選擇自己在 redis 這層使用心跳機制，來解決這個問題。

四、最后的解決方案

在創(chuàng)建連接池之后，起一個 goroutine，每隔一段 idleTime 發(fā)送一個 PING 到 Redis server。其中，idleTime 略小于 Redis server 的 timeout 配置。連接池初始化部分代碼如下：

p,err:=pool.New("tcp",u.Host,concurrency)errHndlr(err)gofunc(){for{p.Cmd("PING")time.Sleep(idelTime*time.Second)}}()

使用 redis 傳輸數(shù)據(jù)部分代碼如下：

funcredisDo(p*pool.Pool,cmdstring,args...interface{})(reply*redis.Resp,errerror){reply=p.Cmd(cmd,args...)iferr=reply.Err;err!=nil{iferr!=io.EOF{Fatal.Println("redis",cmd,args,"erris",err)}}return}

其中，Radix.v2 連接池內(nèi)部進行了連接池內(nèi)連接的獲取和放回，代碼如下：

//Cmdautomaticallygetsoneclientfromthepool,executesthegivencommand//(returningitsresult),andputstheclientbackinthepoolfunc(p*Pool)Cmd(cmdstring,args...interface{})*redis.Resp{c,err:=p.Get()iferr!=nil{returnredis.NewResp(err)}deferp.Put(c)returnc.Cmd(cmd,args...)}

這樣，我們就有了 keepalive 的機制，不會出現(xiàn) timeout 的連接了，從 redis 連接池里面取出的連接都是可用的連接了?？此坪唵蔚拇a，卻完美的解決了連接池里面超時連接的問題。同時，就算 Redis server 重啟等情況，也能保證連接自動重連。