使用go-retryablehttp包實現http“鏈接池”效果

前言

　　在go中使用http的方式獲取數據時每次通常都會創建一個http的Client對象處理請求，但是如果一次任務中請求的非常頻繁，每一次請求都要創建一個Client對象的話勢必會造成鏈接資源的浪費。

　　在實際中我們知道有一種“鏈接池”的概念，就是說提前在鏈接池中創建好鏈接，每一次請求前都從這個“鏈接池”中獲取鏈接，請求處理完畢后不釋放鏈接而是將這個鏈接重新放入鏈接池中，以便下一次請求使用，這樣便十分有效的利用了鏈接資源，同時也有效的降低了服務器的負載。

第三方包實現

　　Go中有一個第三方包go-retryablehttp能夠實現上述的效果。

Demo

　　自己做了一個demo：

　　utils.go中主要實現了鏈接池：

package utils

import (
    "crypto/tls"
    "github.com/hashicorp/go-retryablehttp"
    "net"
    "net/http"
    "sync"
    "time"
)

const (
    ConnectTimeout = 10 * time.Second
    RequestTimeout = 30 * time.Second
)

// 加一個鎖 防止多線程同時寫入字典的情況
var muClient sync.Mutex

func GetHttpClient(tag string, config *tls.Config) *http.Client {
    muClient.Lock()
    // 連接池字典
    clientMap := make(map[string]*retryablehttp.Client)

    // 帶證書認證的結構
    transportMap := make(map[string]*http.Transport)

    defer muClient.Unlock()
    // 如果是一個帶證書的請求，在這里處理
    if config != nil {
        if _, ok := transportMap[tag]; !ok {
            transportMap[tag] = NewTransport()
            transportMap[tag].TLSClientConfig = config
        }
        return &http.Client{
            Transport: transportMap[tag],
            Timeout:   RequestTimeout,
        }
    }
    if _, ok := clientMap[tag]; !ok {
        clientMap[tag] = NewRetryHttpClient()
    }
    return clientMap[tag].StandardClient()
}

// 使用http連接池
func NewTransport() *http.Transport {
    dialContext := (&net.Dialer{
        Timeout:   ConnectTimeout,
        KeepAlive: 30 * time.Second,
    }).DialContext

    return &http.Transport{
        Proxy:                 http.ProxyFromEnvironment,
        DialContext:           dialContext,
        MaxIdleConns:          100,
        MaxConnsPerHost:       25,
        IdleConnTimeout:       30 * time.Second,
        TLSHandshakeTimeout:   ConnectTimeout,
        ExpectContinueTimeout: 1 * time.Second,
    }
}

func NewRetryHttpClient() *retryablehttp.Client {
    retryClient := retryablehttp.NewClient()
    retryClient.RetryMax = 10
    retryClient.Logger = nil
    return retryClient
}

　　main.go中使用鏈接池並發處理http請求：

package main

import (
    "fmt"
    "http_pool/utils"
    "io/ioutil"
    "log"
    "net/http"
    "sync"
)

func main() {

    // 使用 waitGroup開goroutine
    wait := sync.WaitGroup{}
    for i := 0; i < 10; i++ {
        wait.Add(1)
        go getBaidu(i, &wait)
    }
    // 等子goroutine走完了再走主的
    wait.Wait()
    fmt.Println("------ 所有goroutine均請求完成 ------")
}

// 測試請求百度鏈接的代碼 ———— TODO 里面使用 "http鏈接池" 做優化
func getBaidu(i int, wait *sync.WaitGroup) {
    // 在這里寫 wait.Done()
    defer wait.Done()

    url := "http://www.baidu.com"
    req, err := http.NewRequest("GET", url, nil)

    if err != nil {
        log.Panic("err1: ", err)
    }

    req.Header.Add("cache-control", "no-cache")
    req.Header.Add("Postman-Token", "f4a59d50-9672-4710-a8c0-abb8a453b199")

    // TODO：注意！不使用"http鏈接池"會在程序運行期間產生大量無效的鏈接資源，給服務器增加不必要的負擔
    // res, err := http.DefaultClient.Do(req)

    // 使用 "http鏈接池" 可以優化http鏈接資源
    httpClient := utils.GetHttpClient("get_baidu", nil)
    res, err := httpClient.Do(req)

    if err != nil {
        log.Panic("err2: ", err)
    }

    defer res.Body.Close()
    // body, err := ioutil.ReadAll(res.Body)
    _, err = ioutil.ReadAll(res.Body)
    if err != nil {
        log.Panic("err3: ", err)
    }
    fmt.Printf("%d 號Gorountine成功請求了百度！\n", i)
    //fmt.Println(res)
    //fmt.Println(string(body))
}

結果

　　由於沒有實際場景，所以使用鏈接池降低服務器鏈接資源的效果沒法演示（實際中可以在程序跑起來后使用 netstat 命令查看效果），這里展示一下上述程序的執行結果：

～～～