這篇文章主要用代碼詳解Go語(yǔ)言HTTP請(qǐng)求流式寫(xiě)入body，內(nèi)容清晰明了，對(duì)此有興趣的小伙伴可以學(xué)習(xí)一下，相信大家閱讀完之后會(huì)有幫助。
網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序設(shè)計(jì)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了襄垣免費(fèi)建站歡迎大家使用！
背景
最近在開(kāi)發(fā)一個(gè)功能時(shí)，需要通過(guò) http 協(xié)議上報(bào)大量的日志內(nèi)容，但是在 Go 標(biāo)準(zhǔn)庫(kù)里的 http client 的 API 是這樣的：
http.NewRequest(method, url string, body io.Reader)
body 是通過(guò) io.Reader 接口來(lái)傳遞，并沒(méi)有暴露一個(gè) io.Writer 接口來(lái)提供寫(xiě)入的辦法，先來(lái)看看正常情況下怎么寫(xiě)入一個(gè) body ，示例：
需要先把要寫(xiě)
重慶分公司
重慶分公司
buf := bytes.NewBuffer([]byte("hello"))
http.Post("localhost:8099/report","text/pain",buf)入的數(shù)據(jù)放在 Buffer 中，放內(nèi)存緩存著，但是我需要寫(xiě)入 大量 的數(shù)據(jù)，如果都放內(nèi)存里肯定要 OOM 了，http client 并沒(méi)有提供 流式寫(xiě)入 的方法，我這么大的數(shù)據(jù)量直接用 Buffer 肯定是不行的，最后在 google 了一番之后找到了解決辦法。
使用 io.pipe
調(diào)用 io.pipe() 方法會(huì)返回 Reader 和 Writer 接口實(shí)現(xiàn)對(duì)象，通過(guò) Writer 寫(xiě)數(shù)據(jù)， Reader 就可以讀到，利用這個(gè)特性就可以實(shí)現(xiàn)流式的寫(xiě)入，開(kāi)一個(gè)協(xié)程來(lái)寫(xiě)，然后把 Reader 傳遞到方法中，就可以實(shí)現(xiàn) http client body 的流式寫(xiě)入了。
代碼示例：
pr, rw := io.Pipe()
// 開(kāi)協(xié)程寫(xiě)入大量數(shù)據(jù)
go func(){
for i := 0; i < 100000; i++ {
rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
}
rw.Close()
}()
// 傳遞Reader
http.Post("localhost:8099/report","text/pain",buf)源碼閱讀 目的
了解 go 中 http client 對(duì)于 body 的傳輸是如何處理的。
開(kāi)始
在構(gòu)建 Request 的時(shí)候，會(huì)斷言 body 參數(shù)的類型，當(dāng)類型為 *bytes.Buffer 、 *bytes.Reader 、 *strings.Reader 的時(shí)候，可以直接通過(guò) Len() 方法取出長(zhǎng)度，用于 Content-Length 請(qǐng)求頭，相關(guān)代碼net/http/request.go#L872-L914 ：
if body != nil {
switch v := body.(type) {
case *bytes.Buffer:
req.ContentLength = int64(v.Len())
buf := v.Bytes()
req.GetBody = func() (io.ReadCloser, error) {
r := bytes.NewReader(buf)
return ioutil.NopCloser(r), nil
}
case *bytes.Reader:
req.ContentLength = int64(v.Len())
snapshot := *v
req.GetBody = func() (io.ReadCloser, error) {
r := snapshot
return ioutil.NopCloser(&r), nil
}
case *strings.Reader:
req.ContentLength = int64(v.Len())
snapshot := *v
req.GetBody = func() (io.ReadCloser, error) {
r := snapshot
return ioutil.NopCloser(&r), nil
}
default:
}
if req.GetBody != nil && req.ContentLength == 0 {
req.Body = NoBody
req.GetBody = func() (io.ReadCloser, error) { return NoBody, nil }
}
}在鏈接建立的時(shí)候，會(huì)通過(guò) body 和上一步中得到的 ContentLength 來(lái)進(jìn)行判斷，如果 body!=nil 并且 ContentLength==0 時(shí)，可能就會(huì)啟用 Chunked 編碼進(jìn)行傳輸，相關(guān)代碼 net/http/transfer.go#L82-L96 ：
case *Request:
if rr.ContentLength != 0 && rr.Body == nil {
return nil, fmt.Errorf("http: Request.ContentLength=%d with nil Body", rr.ContentLength)
}
t.Method = valueOrDefault(rr.Method, "GET")
t.Close = rr.Close
t.TransferEncoding = rr.TransferEncoding
t.Header = rr.Header
t.Trailer = rr.Trailer
t.Body = rr.Body
t.BodyCloser = rr.Body
// 當(dāng)body為非nil，并且ContentLength==0時(shí)，這里返回-1
t.ContentLength = rr.outgoingLength()
// TransferEncoding沒(méi)有手動(dòng)設(shè)置，并且請(qǐng)求方法為PUT、POST、PATCH時(shí)，會(huì)啟用chunked編碼傳輸
if t.ContentLength < 0 && len(t.TransferEncoding) == 0 && t.shouldSendChunkedRequestBody() {
t.TransferEncoding = []string{"chunked"}
}驗(yàn)證(一)
按照對(duì)源碼的理解，可以得知在使用 io.pipe() 方法進(jìn)行流式傳輸時(shí)，會(huì)使用 chunked 編碼進(jìn)行傳輸，通過(guò)以下代碼進(jìn)行驗(yàn)證：
服務(wù)端
func main(){
http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {
})
http.ListenAndServe(":8099", nil)
}客戶端
func main(){
pr, rw := io.Pipe()
go func(){
for i := 0; i < 100; i++ {
rw.Write([]byte(fmt.Sprintf("line:%d\r\n", i)))
}
rw.Close()
}()
http.Post("localhost:8099/report","text/pain",buf)
}先運(yùn)行服務(wù)端，然后運(yùn)行客戶端，并且使用 WireShake 進(jìn)行抓包分析，結(jié)果如下：
可以看到和預(yù)想的結(jié)果一樣。
驗(yàn)證(二)
在數(shù)據(jù)量大的時(shí)候 chunked 編碼會(huì)增加額外的開(kāi)銷，包括編解碼和額外的報(bào)文開(kāi)銷，能不能不用 chunked 編碼來(lái)進(jìn)行 流式傳輸 呢？通過(guò)源碼可以得知，當(dāng) ContentLength 不為 0 時(shí)，如果能預(yù)先計(jì)算出待傳輸?shù)?body size ，是不是就能避免 chunked 編碼呢？思路就到這，接著就是寫(xiě)代碼驗(yàn)證：
服務(wù)端
func main(){
http.HandleFunc("/report", func(writer http.ResponseWriter, request *http.Request) {
})
http.ListenAndServe(":8099", nil)
}客戶端
count := 100
line := []byte("line\r\n")
pr, rw := io.Pipe()
go func() {
for i := 0; i < count; i++ {
rw.Write(line)
}
rw.Close()
}()
// 構(gòu)造request對(duì)象
request, err := http.NewRequest("POST", "http://localhost:8099/report", pr)
if err != nil {
log.Fatal(err)
}
// 提前計(jì)算出ContentLength
request.ContentLength = int64(len(line) * count)
// 發(fā)起請(qǐng)求
http.DefaultClient.Do(request)抓包結(jié)果：
可以看到確實(shí)直接使用的 Content-Length 進(jìn)行傳輸，沒(méi)有進(jìn)行 chunked 編碼了。
總結(jié)
本文的目的主要是記錄 go 語(yǔ)言中 http client 如何進(jìn)行流式的寫(xiě)入，并通過(guò)閱讀源碼了解 http client 內(nèi)部對(duì) body 的寫(xiě)入是如何進(jìn)行處理的，通過(guò)兩個(gè)驗(yàn)證可以得知，如果能提前計(jì)算出 ContentLength 并且對(duì)性能要求比較苛刻的情況下，可以通過(guò)手動(dòng)設(shè)置 ContentLength 來(lái)優(yōu)化性能。
看完上述內(nèi)容，是不是對(duì)用代碼詳解Go語(yǔ)言HTTP請(qǐng)求流式寫(xiě)入body有進(jìn)一步的了解，如果還想學(xué)習(xí)更多內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
