基于HTTP協(xié)議的網(wǎng)絡(luò)服務(wù)

HTTP協(xié)議是基于TCP/IP協(xié)議棧的，并且是一個面向普通文本的協(xié)議。原則上，使用任何一個文本編輯器，都可以寫出一個完整的HTTP請求報(bào)文。只要搞清楚了請求報(bào)文的頭部（header、請求頭）和主體（body、請求體）應(yīng)該包含的內(nèi)容。
如果只是訪問基于HTTP協(xié)議的網(wǎng)絡(luò)服務(wù)，那么使用net/http包中的程序?qū)嶓w會非常方便。

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了阿瓦提免費(fèi)建站歡迎大家使用！

http.Get函數(shù)

調(diào)用http.Get函數(shù)，只需要傳遞給它一個URL即可：

package main

import (
    "fmt"
    "net/http"
    "os"
)

func main() {
    resp, err := http.Get("http://baidu.com")
    if err != nil {
        fmt.Fprintf(os.Stderr, "request sending error: %v\n", err)
        return
    }
    defer resp.Body.Close()
    line := resp.Proto + " " + resp.Status
    fmt.Println("返回的第一行的內(nèi)容:", line)
}

http.Get函數(shù)會返回兩個結(jié)果：

• (resp *Response): 網(wǎng)絡(luò)服務(wù)返回的響應(yīng)內(nèi)容的結(jié)構(gòu)化表示
• (err error): 創(chuàng)建和發(fā)送HTTP請求，以及接收和解析HTTP響應(yīng)的過程中可能發(fā)生的錯誤

http.Get函數(shù)會在內(nèi)部使用缺省的HTTP客戶端，并且調(diào)用它的Get方法來完成功能。這個缺省的HTTP客戶端就是net/http包中的公開變量DefaultClient，源碼中是這樣的：

// 源碼中提供的缺省的客戶端
var DefaultClient = &Client{}

// 使用缺省的客戶端調(diào)用Get方法
func Get(url string) () {
    return DefaultClient.Get(url)
}

所以下面的這兩行代碼：

var httpClient http.Client
resp, err := httpClient.Get(utl)

與示例中的這一行代碼：

resp, err := http.Get(url)

是等價(jià)的。這里只是不使用DefaultClient而是自己創(chuàng)建了一個客戶端。

http.Client類型

http.Client是一個結(jié)構(gòu)體，并且它包含的字段都是公開的：

type Client struct {
    Transport RoundTripper
    CheckRedirect func(req *Request, via []*Request) error
    Jar CookieJar
    Timeout time.Duration
}

該類型是開箱即用的，因?yàn)樗乃凶侄?，要么存在相?yīng)的缺省值，要么其零值直接就可以使用，并且代表著特定的含義。

Transport字段

主要看下Transport字段，該字段向網(wǎng)絡(luò)服務(wù)發(fā)送HTTP請求，并從網(wǎng)絡(luò)服務(wù)接收HTTP響應(yīng)。該字段的方法RoundTrip應(yīng)該實(shí)現(xiàn)單次HTTP事務(wù)（或者說基于HTTP協(xié)議的單次交互）需要的所有步驟。這個字段是一個接口：

type RoundTripper interface {
    RoundTrip(*Request) (*Response, error)
}

并且該字段有一個由http.DefaultTransport變量的缺省值：

func (c *Client) transport() RoundTripper {
    if c.Transport != nil {
        return c.Transport
    }
    return DefaultTransport
}

在初始化http.Client類型的時候，如果沒有顯式的為該字段賦值，這個Client字段就會直接使用DefaultTransport。

Timeout字段

該字段是單次HTTP事務(wù)的超時時間，它是time.Duration類型。它的零值是可用的，用于表示沒有設(shè)置超時時間。

http.Transport類型

http.Transport類型是一個結(jié)構(gòu)體，該類型包含的字段很多。這里通過http.Client結(jié)構(gòu)體中的Transport字段的缺省值DefaultTransport，來深入了解一下。DefaultTransport是一個*http.Transport的結(jié)構(gòu)體，做了一些默認(rèn)的設(shè)置：

var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

這里Transport結(jié)構(gòu)體的指針就是就是RoundTripper接口的默認(rèn)實(shí)現(xiàn)：

func (t *Transport) RoundTrip(req *Request) (*Response, error) {
    return t.roundTrip(req)
}

這個類型是可以被復(fù)用的，并且也推薦被復(fù)用。同時它也是并發(fā)安全的。所以http.Client類型也是一樣，推薦復(fù)用，并且并發(fā)安全。
看上面的默認(rèn)設(shè)置，http.Transport類型，內(nèi)部的DialContext字段會使用net.Dialer類型的值，并且把Timeout設(shè)置為30秒。仔細(xì)看，該值是一個方法，這里把Dialer值的DialContext方法賦值給了DefaultTransport里的同名字段，并且已經(jīng)設(shè)置好了調(diào)用該方法時的結(jié)構(gòu)體。

操作超時相關(guān)字段

http.Transport類型還包含了很多其他的字段，其中有一些字段是關(guān)于操作超時的：

• IdleConnTimeout: 空閑的連接在多久之后就應(yīng)該被關(guān)閉。DefaultTransport把該值設(shè)置為90秒。如果是0，表示不關(guān)閉空閑的連接，注意，這樣很可能會造成資源的泄露。
• ResponseHeaderTimeout: 從客戶端把請求完全遞交給操作系統(tǒng)到從操作系統(tǒng)那里接收到響應(yīng)報(bào)文的最長時長。DefaultTransport沒有設(shè)定該字段的值。
• ExpectContinueTimeout: 在客戶端遞交了請求報(bào)文頭之后，等待接收第一個響應(yīng)報(bào)文頭的最長時間。在客戶端想要使用POST發(fā)送一個很大的請求給服務(wù)端的時候，可以通過發(fā)送一個包含了“Expect: 100-continue”的請求頭，來詢問服務(wù)端是否愿意接收這個大請求體。這個字段就是用于設(shè)定在這種情況下的超時時間的。如果該字段的值不大于0，那么就不詢問了，直接把請求體一并發(fā)出，無論多大。這樣可能會造成網(wǎng)絡(luò)資源的浪費(fèi)。DefaultTransport把該值設(shè)置為1秒。
• TLSHandshakeTimeout: 表示基于TLS協(xié)議的連接在被建立時的握手階段的超時時間。如果是0，則表示沒有超時限制。DefaultTransport把該值設(shè)置為10秒。

TLS 是 Transport Layer Security 的縮寫，可以被翻譯為傳輸層安全。

連接數(shù)限制相關(guān)字段

此外，還有一些與IdleConnTimeout相關(guān)的字段值也值得關(guān)注：

• MaxIdleConns
• MaxIdleConnsPerHost
• MaxConnsPerHost

MaxIdleConns
無論當(dāng)前訪問了多少個網(wǎng)絡(luò)服務(wù)，MaxIdleConns字段只會對空閑連接的總數(shù)做限定。

MaxIdleConnsPerHost
而MaxIdleConnsPerHost字段限定的是，每一個網(wǎng)絡(luò)服務(wù)的大空閑連接數(shù)。每一個網(wǎng)絡(luò)服務(wù)都有自己的網(wǎng)絡(luò)地址，可能會使用不同的網(wǎng)絡(luò)協(xié)議，對于一些HTTP請求也可能會用到代理。地址、協(xié)議、代理，通脫這三個方面的具體情況來鑒別不同的網(wǎng)絡(luò)服務(wù)。
MaxIdleConnsPerHost是有缺省值的，由常量http.DefaultMaxIdleConnsPerHost表示，值為2：

const DefaultMaxIdleConnsPerHost = 2

func (t *Transport) maxIdleConnsPerHost() int {
    if v := t.MaxIdleConnsPerHost; v != 0 {
        return v
    }
    return DefaultMaxIdleConnsPerHost
}

在默認(rèn)情況下，每一個網(wǎng)絡(luò)服務(wù)，它的空閑連接數(shù)最多只能由2個。

MaxConnsPerHost
MaxConnsPerHost字段限制針對每一個網(wǎng)絡(luò)服務(wù)的大連接數(shù)，不論這些鏈接是否是空閑的。并且，該字段沒有相應(yīng)的缺省值，零值就是不做限制。

小結(jié)
不限制連接數(shù)，默認(rèn)也不限制每一個網(wǎng)絡(luò)服務(wù)的連接數(shù)。要限制整體的空閑連接數(shù)以及嚴(yán)格限制對每一個網(wǎng)絡(luò)服務(wù)的空閑連接數(shù)。

空閑的連接

簡單說明一下，為什么會出現(xiàn)空閑的連接。
HTTP協(xié)議的請求頭里有一個Connection。在HTTP協(xié)議的1.1版本中，默認(rèn)值是“keep-alive”。在這種情況下的網(wǎng)絡(luò)連接是持久連接的，它們會在當(dāng)前的HTTP事務(wù)完成后仍然保持著連通性，因此是可以被復(fù)用的。
既然連接可以被復(fù)用，就會有兩種可能：

1. 針對同一個網(wǎng)絡(luò)服務(wù)，有新的HTTP請求被提交，該連接被再次使用。
2. 不再對該網(wǎng)絡(luò)服務(wù)提交HTTP請求，該連接被閑置。這樣就產(chǎn)生了空閑的連接。

另外，如果分配給某一個網(wǎng)絡(luò)服務(wù)的連接過多的話，也可能會導(dǎo)致空閑連接的產(chǎn)生。因?yàn)闆]一個HTTP請求只會使用一個空閑的連接。所以，在大多數(shù)情況下，都需要限制空閑連接數(shù)。

關(guān)閉keep-alive
另外，請求頭的Connection還可以設(shè)置為“close”，這樣就徹徹底杜絕了空閑連接的生成。這會告訴網(wǎng)絡(luò)服務(wù)，這個網(wǎng)絡(luò)連接不必保持，當(dāng)前的HTTP事務(wù)完成后就可以斷開它了。做法是在初始化Transport值的時候，將DisableKeepAlives字段設(shè)置為true。
這么做的話，每次提交HTTP請求，就會產(chǎn)生一個新的網(wǎng)絡(luò)連接。這樣會明顯的加重網(wǎng)絡(luò)服務(wù)以及客戶端的負(fù)載，并會讓每個HTTP事務(wù)都耗費(fèi)更多的時間。所以默認(rèn)不設(shè)置這個DisableKeepAlives字段。

net.Dialer類型

http.Transport類型，內(nèi)部的DialContext字段會使用net.Dialer類型的值。在net.Dialer類型中，也有一個KeepAlive字段。該字段是直接作用在底層的socket上的。
它的背后是一種針對網(wǎng)絡(luò)連接（更確切的是說，是TCP連接）的存活探測機(jī)制。它的值用于表示每間隔多長時間發(fā)送一次探測包。當(dāng)該值不大于0是，則表示不開啟這種機(jī)制。
DefaultTransport會把這個字段設(shè)置為30秒。

Client示例

自定義Client和Transport使用的示例：

package main

import (
    "fmt"
    "io/ioutil"
    "net"
    "net/http"
    "strings"
    "sync"
    "time"
)

var domains = []string{
    "baidu.com",
    "sina.com.cn",
    "www.baidu.com",
    "www.sina.com.cn",
    "tieba.baidu.com",
    "news.baidu.com",
    "news.sina.com.cn",
}

func main() {
    myTransport := &http.Transport{
        Proxy: http.ProxyFromEnvironment,
        DialContext: (&net.Dialer{
            Timeout:   15 * time.Second,
            KeepAlive: 15 * time.Second,
            DualStack: true,
        }).DialContext,
        MaxConnsPerHost:       2,
        MaxIdleConns:          10,
        MaxIdleConnsPerHost:   2,
        IdleConnTimeout:       30 * time.Second,
        ResponseHeaderTimeout: 0,
        ExpectContinueTimeout: 1 * time.Second,
        TLSHandshakeTimeout:   10 * time.Second,
    }
    myClient := http.Client{
        Transport: myTransport,
        Timeout:   20 * time.Second,
    }

    var wg sync.WaitGroup
    for _, domain := range domains {
        wg.Add(1)
        go func(domain string) {
            var logBuf strings.Builder
            var diff time.Duration
            defer func() {
                logBuf.WriteString(fmt.Sprintf("持續(xù)時間: %s\n", diff))
                fmt.Println(logBuf.String())
                wg.Done()
            }()
            url := "https://" + domain
            logBuf.WriteString(fmt.Sprintf("發(fā)送請求: %s\n", url))
            tStart := time.Now()
            resp, err := myClient.Get(url)
            diff = time.Now().Sub(tStart)
            if err != nil {
                logBuf.WriteString(fmt.Sprintf("request get error: %v\n", err))
                return
            }
            defer resp.Body.Close()
            line := resp.Proto + " " + resp.Status
            logBuf.WriteString(fmt.Sprintf("response: %s\n", line))

            data, err := ioutil.ReadAll(resp.Body)
            if err != nil {
                logBuf.WriteString(fmt.Sprintf("get data error: %v\n", err))
                return
            }
            index1 := strings.Index(string(data), "")
            if index1 > 0 && index2 > 0 {
                logBuf.WriteString(fmt.Sprintf("title: %s\n", string(data)[index1+len("