這篇文章將為大家詳細(xì)講解有關(guān)使用Golang怎么對http文件流進行分片讀取，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。

分片讀取http超大文件流

Golang中的HTTP發(fā)送get請求，在獲取內(nèi)容有兩種情況。

Golang發(fā)送http get請求方式

resp, err := http.Get(sendUrl)
if err != nil {
 fmt.Println("出錯", err)
 return
}

第一種方式是直接全部讀取出來，這種方式在小數(shù)據(jù)量的時候很方便。

body變量直接全部接收resp響應(yīng)內(nèi)容

body, err2 := ioutil.ReadAll(resp.Body)

第二種方式，分片獲取。

首先頂一個切片buf := make([]byte, 4096) 容量和大小都是4096個char字符（切片就是Golang自己的動態(tài)變長數(shù)組）

for無限循環(huán)讀取，讀取一塊內(nèi)容放入buf中。result 是一個string字符串，然后用 result 自動拼接。

for {
  n, err:= resp.Body.Read(buf)
 if err != nil || n == 0{
 fmt.Println("出現(xiàn)錯誤")
 break
 }
 result += string(buf[:n])
}

Golang中匹配正則

MustCompile內(nèi)容不是單引號，而是 `

// 解析，編譯正則表達(dá)式
ret := regexp.MustCompile(`
該方法可以進一步推廣，可以推廣到下載超大文件，然后分片讀取和寫入硬盤。
然后再開啟另一個線程去將這些已經(jīng)寫入硬盤的分片合稱在一起。
Golang 并發(fā)控制
Java中的多線程，如果主線程開啟多個子線程后，在多個子線程全部完成后，主線程才會退出，程序終止。
而在Golang中不會出現(xiàn)此類情況，主Go程和子Go程需要人為控制主GO程和子GO程同步，否則主GO程瞬間結(jié)束。
在主GO程開始執(zhí)行子GO程地方創(chuàng)建一個 channel。子GO程開始往 channel 中添加數(shù)據(jù)，主GO程再消費數(shù)據(jù)。
func toWork(start, end int) {
 //子Go程與主Go程完成同步，意思是子Go程沒有全部執(zhí)行完畢，主Go程不許退出。
 page := make(chan int) 

 for i:=start; i<=end; i++ {
 //開啟子GO程
 go SpiderPage(i, page)
 }
 //主GO程開始消費管道中的數(shù)據(jù)
 for i:=start; i<=end; i++ {
 fmt.Println("爬取完成", <- page)
 }
}
往主GO程的channel中添加數(shù)據(jù)，提供給主GO程消費從而達(dá)到同步
func SpiderPage(index int, page chan int) {
 page <- index
}
讀取http二進制碼寫入圖片
創(chuàng)建文件
獲取http流
分片逐步寫入
func saveImag(sendUrl string, index int, imageChannel chan int) {
 //創(chuàng)建文件
 path := "C:/img/" + strconv.Itoa(index) + ".jpg"
 f, err := os.Create(path)
 if err != nil {
 return
 }
 defer f.Close()
 //獲取http流
 resp, err :=http.Get(sendUrl)
 if err != nil {
 return
 }
 defer resp.Body.Close()
 //分片逐步寫入
 buf := make([]byte, 4096)
 for {
 n, err := resp.Body.Read(buf)
 if err != nil {
  break
 }
 f.Write(buf[:n])
 }
 imageChannel <- index
}
補充：golang實現(xiàn)http表單大文件流式上傳服務(wù)端代碼
golang的http標(biāo)準(zhǔn)庫的上傳文件是一次性將文件全部讀到內(nèi)存中，這樣上傳小文件還可以，但是大文件就無能為力了。
一開始在網(wǎng)上找到一篇gin實現(xiàn)大文件流式上傳的文章。大體思路是手動解析form表單的header和body，然后分片讀取上傳的文件內(nèi)容。但是代碼量有點多且復(fù)雜。有興趣的同學(xué)可以自行百度。
后來在github找到一個庫
github.com/albrow/forms
可以看到這個庫讀取上傳文件的方法
func (d Data) GetFileBytes(key string) ([]byte, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return ioutil.ReadAll(file)
 }
}
最后使用的是ioutil.ReadAll，大文件上傳的話就會有問題，要實現(xiàn)流式上傳，可以在這個包里加一個方法。以下是我自己加的方法
func (d Data) GetFileReader(key string) (io.Reader, error) {
 fileHeader, found := d.Files[key]
 if !found {
 return nil, nil
 } else {
 file, err := fileHeader.Open()
 if err != nil {
  return nil, err
 }
 return file, nil
 }
}
得到reader后使用io.Copy即可將文件落盤
 userData, err := forms.Parse(c.Request)
  if err != nil {
  log.Printf("parse錯誤：%v", err)
  return
  }
  header := userData.GetFile("file")
  fileReader, err := userData.GetFileReader("file")
  if err != nil {
  log.Printf("獲取reader錯誤：%v", err)
  return
  }
  file, _ := os.Create(header.Filename)
  io.Copy(file, fileReader)
關(guān)于使用Golang怎么對http文件流進行分片讀取就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
            

            網(wǎng)站標(biāo)題：使用Golang怎么對http文件流進行分片讀取-創(chuàng)新互聯(lián)            

            本文路徑：http://weahome.cn/article/cdiooh.html