小編給大家分享一下Golang超大文件讀取的方案有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供旬陽(yáng)網(wǎng)站建設(shè)、旬陽(yáng)做網(wǎng)站、旬陽(yáng)網(wǎng)站設(shè)計(jì)、旬陽(yáng)網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)與制作、旬陽(yáng)企業(yè)網(wǎng)站模板建站服務(wù)，十年旬陽(yáng)做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。

Golang超大文件讀取的兩個(gè)方案

1.流處理方式

2.分片處理

去年的面試中我被問(wèn)到超大文件你怎么處理，這個(gè)問(wèn)題確實(shí)當(dāng)時(shí)沒(méi)多想，回來(lái)之后仔細(xì)研究和討論了下這個(gè)問(wèn)題，對(duì)大文件讀取做了一個(gè)分析

比如我們有一個(gè)log文件，運(yùn)行了幾年，有100G之大。按照我們之前的操作可能代碼會(huì)這樣寫：

func ReadFile(filePath string) []byte{
    content, err := ioutil.ReadFile(filePath)
    if err != nil {
        log.Println("Read error")
    }
    return content
}

上面的代碼讀取幾兆的文件可以，但是如果大于你本身及其內(nèi)存，那就直接翻車了。因?yàn)樯厦娴拇a，是把文件所有的內(nèi)容全部都讀取到內(nèi)存之后返回，幾兆的文件，你內(nèi)存夠大可以處理，但是一旦上幾百兆的文件，就沒(méi)那么好處理了。那么，正確的方法有兩種，第一個(gè)是使用流處理方式代碼如下：

func ReadFile(filePath string, handle func(string)) error {
    f, err := os.Open(filePath)
    defer f.Close()
    if err != nil {
        return err
    }
    buf := bufio.NewReader(f)

    for {
        line, err := buf.ReadLine("\n")
        line = strings.TrimSpace(line)
        handle(line)
        if err != nil {
            if err == io.EOF{
                return nil
            }
            return err
        }
        return nil
    }
}

第二個(gè)方案就是分片處理，當(dāng)讀取的是二進(jìn)制文件，沒(méi)有換行符的時(shí)候，使用下面的方案一樣處理大文件

func ReadBigFile(fileName string, handle func([]byte)) error {
    f, err := os.Open(fileName)
    if err != nil {
        fmt.Println("can't opened this file")
        return err
    }
    defer f.Close()
    s := make([]byte, 4096)
    for {
        switch nr, err := f.Read(s[:]); true {
        case nr < 0:
            fmt.Fprintf(os.Stderr, "cat: error reading: %s\n

以上是“Golang超大文件讀取的方案有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！