golang中bufio包

一、介紹go標準庫中的bufio

“只有客戶發(fā)展了，才有我們的生存與發(fā)展！”這是成都創(chuàng)新互聯(lián)公司的服務宗旨！把網(wǎng)站當作互聯(lián)網(wǎng)產(chǎn)品，產(chǎn)品思維更注重全局思維、需求分析和迭代思維，在網(wǎng)站建設中就是為了建設一個不僅審美在線，而且實用性極高的網(wǎng)站。創(chuàng)新互聯(lián)對網(wǎng)站設計制作、網(wǎng)站設計、網(wǎng)站制作、網(wǎng)站開發(fā)、網(wǎng)頁設計、網(wǎng)站優(yōu)化、網(wǎng)絡推廣、探索永無止境。

最近用golang寫了一個處理文件的腳本，由于其中涉及到了文件讀寫，開始使用golang中的 io 包，后來發(fā)現(xiàn)golang 中提供了一個bufio的包，使用這個包可以大幅提高文件讀寫的效率，于是在網(wǎng)上搜索同樣的文件讀寫為什么bufio 要比io 的讀寫更快速呢？根據(jù)網(wǎng)上的資料和閱讀源碼，以下來詳細解釋下bufio的高效如何實現(xiàn)的。

bufio 包介紹

bufio包實現(xiàn)了有緩沖的I/O。它包裝一個io.Reader或io.Writer接口對象，創(chuàng)建另一個也實現(xiàn)了該接口，且同時還提供了緩沖和一些文本I/O的幫助函數(shù)的對象。

以上為官方包的介紹，在其中我們能了解到的信息如下：

bufio 是通過緩沖來提高效率

簡單的說就是，把文件讀取進緩沖（內(nèi)存）之后再讀取的時候就可以避免文件系統(tǒng)的io 從而提高速度。同理，在進行寫操作時，先把文件寫入緩沖（內(nèi)存），然后由緩沖寫入文件系統(tǒng)?？赐暌陨辖忉層腥丝赡軙硎纠Щ罅?，直接把 內(nèi)容-文件 和 內(nèi)容-緩沖-文件相比， 緩沖區(qū)好像沒有起到作用嘛。其實緩沖區(qū)的設計是為了存儲多次的寫入，最后一口氣把緩沖區(qū)內(nèi)容寫入文件。下面會詳細解釋

bufio 封裝了io.Reader或io.Writer接口對象，并創(chuàng)建另一個也實現(xiàn)了該接口的對象

io.Reader或io.Writer 接口實現(xiàn)read() 和 write() 方法，對于實現(xiàn)這個接口的對象都是可以使用這兩個方法的

注明：介紹內(nèi)容來自博主 LiangWenT

，原文鏈接： ，在查找資料時，發(fā)現(xiàn)這篇博客的內(nèi)容很好理解

bufio包實現(xiàn)了緩存IO。它包裝了io.Reader和io.Write對象，創(chuàng)建了另外的Reader和Writer對象，它們也實現(xiàn)了io.Reader和io.Write接口，具有緩存。注意：緩存是放在主存中，既然是保存在主存里，斷電會丟失數(shù)據(jù)，那么要及時保存數(shù)據(jù)。

二、常用內(nèi)容

1、Reader類型

NewReaderSize

作用：NewReaderSize將rd封裝成一個帶緩存的bufio.Reader對象。緩存大小由size指定（如果小于16則會被設為16）。如果rd的基類型就是有足夠緩存的bufio.Reader類型，則直接將rd轉(zhuǎn)換為基類型返回。

NewReader

funcReader相當于NewReaderSize(rd, 4096)

Peek

Peek返回緩存的一個切片，該切片引用緩存中前n個字節(jié)的數(shù)據(jù)，該操作不會將數(shù)據(jù)讀出，只是引用，引用的數(shù)據(jù)在下一次讀取操作之前有效的。如果切片長度小于n，則返回一個錯誤信息說明原因。如果n大于緩存的總大小，則返回ErrBufferFull。

Read

Read從b中數(shù)據(jù)到p中，返回讀出的字節(jié)數(shù)和遇到的錯誤。如果緩存不為空，則只能讀出緩沖中的數(shù)據(jù)，不會從底層io.Reader中提取數(shù)據(jù)，如果緩存為空，則：

1、len(p) = 緩存大小，則跳過緩存，直接從底層io.Reader中讀出到p中

2、len(p) 緩存大小，則先將數(shù)據(jù)從底層io.Reader中讀取到緩存中，再從緩存讀取到p中。

Buffered

Buffered返回緩存中未讀取的數(shù)據(jù)的長度。

Discard

Discard跳過后續(xù)的n個字節(jié)的數(shù)據(jù)，返回跳過的字節(jié)數(shù)。

Writer類型和方法

write結(jié)構(gòu)

NewWriteSize

NewWriterSize將wr封裝成一個帶緩存的bufio.Writer對象，緩存大小由size指定（如果小于4096則會被設置未4096）。

NewWrite

NewWriter相等于NewWriterSize(wr, 4096)

WriteString

WriteString功能同Write，只不過寫入的是字符串

WriteRune

WriteRune向b寫入r的UTF-8編碼，返回r的編碼長度。

Flush

Available

Available 返回緩存中未使用的空間的長度

Buffered

Buffered返回緩存中未提交的數(shù)據(jù)長度

Reset

Reset將b的底層Write重新指定為w，同時丟棄緩存中的所有數(shù)據(jù)，復位所有標記和錯誤信息。相當于創(chuàng)建了一個新的bufio.Writer。

GO中還提供了Scanner類型，處理一些比較簡單的場景。如處理按行讀取輸入序列或空格分隔的詞等。

內(nèi)容來自：

參考鏈接：

1）

2）

關于GO 語言的入門學習 求解答

已經(jīng)有好多程序員都把Go語言描述為是一種所見即所得(WYSIWYG)的編程語言。這是說，代碼要做的事和它在字面上表達的意思是完全一致的。 在這些新語言中，包含D，Go，Rust和Vala語言，Go曾一度出現(xiàn)在TIOBE的排行榜上面。與其他新語言相比，Go的魅力明顯要大很多。Go的成熟特征會得到許多開發(fā)者的欣賞，而不僅僅是因為其夸大其詞的曝光度。下面我們來一起探討一下谷歌開發(fā)的Go語言以及談談Go為什么會吸引眾多開發(fā)者： 快速簡單的編譯 Go編譯速度很快，如此快速的編譯使它很容易作為腳本語言使用。關于編譯速度快主要有以下幾個原因：首先，Go不使用頭文件；其次如果一個模塊是依賴A的，這反過來又取決于B，在A里面的需求改變只需重新編譯原始模塊和與A相依賴的地方；最后，對象模塊里面包含了足夠的依賴關系信息，所以編譯器不需要重新創(chuàng)建文件。你只需要簡單地編譯主模塊，項目中需要的其他部分就會自動編譯，很酷，是不是？ 通過返回數(shù)值列表來處理錯誤信息 目前，在本地語言里面處理錯誤的方式主要有兩種：直接返回代碼或者拋異常。這兩種都不是最理想的處理方式。其中返回代碼是非常令人沮喪的，因為返回的錯誤代碼經(jīng)常與從函數(shù)中返回的數(shù)據(jù)相沖突。Go允許函數(shù)返回多個值來解決這個問題。這個從函數(shù)里面返回的值，可以用來檢查定義的類型是否正確并且可以隨時隨地對函數(shù)的返回值進行檢查。如果你對錯誤值不關心，你可以不必檢查。在這兩種情況下，常規(guī)的返回值都是可用的。 簡化的成分（優(yōu)先于繼承） 通過使用接口，類型是有資格成為對象中一員的，就像Java指定行為一樣。例如在標準庫里面的IO包，定義一個Writer來指定一個方法，一個Writer函數(shù)，其中輸入?yún)?shù)是字節(jié)數(shù)組并且返回整數(shù)類型值或者錯誤類型。任何類型實現(xiàn)一個帶有相同簽名的Writer方法是對IO的完全實現(xiàn)，Writer接口。這種是解耦代碼而不是優(yōu)雅。它還簡化了模擬對象來進行單元測試。例如你想在數(shù)據(jù)庫對象中測試一個方法，在標準語言中，你通常需要創(chuàng)建一個數(shù)據(jù)庫對象，并且需要進行大量的初始化和協(xié)議來模擬對象。在Go里面，如果該方法需要實現(xiàn)一個接口，你可以創(chuàng)建任何對該接口有用的對象，所以，你創(chuàng)建了MockDatabase，這是很小的對象，只實現(xiàn)了幾個需要運行和模擬的接口——沒有構(gòu)造函數(shù)，沒有附件功能，只是一些方法。 簡化的并發(fā)性 相對于其他語言，并發(fā)性在Go里面顯得更加容易。把‘go’關鍵字放在任意函數(shù)前面然后那個函數(shù)就會在其go-routine自動運行（一個很輕的線程）。go-routines是通過通道進行交流并且基本上封鎖了所有的隊列消息。普通工具對相互排斥是有用，但是Go通過使用通道來踢掉并發(fā)性任務和坐標更加容易。 優(yōu)秀的錯誤消息 所有與Go相似的語言，自身作出的診斷都是無法與Go相媲美的。例如，一個死鎖程序，在Go運行時會通知你目前哪個線程導致了這種死鎖。編譯的錯誤信息是非常詳細全面和有用的。 其他 這里還有許多其他吸引人的地方，下面就一概而過的介紹一下，比如高階函數(shù)、垃圾回收、哈希映射和可擴展的數(shù)組內(nèi)置語言（部分語言語法，而不是作為一個庫）等等。 當然，Go并不是完美無瑕。在工具方面還有些不成熟的地方和用戶社區(qū)較小等，但是隨著谷歌語言的不斷發(fā)展，肯定會有整治措施出來。盡管許多語言，尤其是D、Rust和Vala旨在簡化C++并且對其進行簡化，但它們給人的感覺仍是“C++看上去要更好”。

【Go語言的優(yōu)勢】

可直接編譯成機器碼，不依賴其他庫，glibc的版本有一定要求，部署就是扔一個文件上去就完成了。

靜態(tài)類型語言，但是有動態(tài)語言的感覺，靜態(tài)類型的語言就是可以在編譯的時候檢查出來隱藏的大多數(shù)問題，動態(tài)語言的感覺就是有很多的包可以使用，寫起來的效率很高。

語言層面支持并發(fā)，這個就是Go最大的特色，天生的支持并發(fā)，我曾經(jīng)說過一句話，天生的基因和整容是有區(qū)別的，大家一樣美麗，但是你喜歡整容的還是天生基因的美麗呢？Go就是基因里面支持的并發(fā)，可以充分的利用多核，很容易的使用并發(fā)。

內(nèi)置runtime，支持垃圾回收，這屬于動態(tài)語言的特性之一吧，雖然目前來說GC不算完美，但是足以應付我們所能遇到的大多數(shù)情況，特別是Go1.1之后的GC。

簡單易學，Go語言的作者都有C的基因，那么Go自然而然就有了C的基因，那么Go關鍵字是25個，但是表達能力很強大，幾乎支持大多數(shù)你在其他語言見過的特性：繼承、重載、對象等。

豐富的標準庫，Go目前已經(jīng)內(nèi)置了大量的庫，特別是網(wǎng)絡庫非常強大，我最愛的也是這部分。

內(nèi)置強大的工具，Go語言里面內(nèi)置了很多工具鏈，最好的應該是gofmt工具，自動化格式化代碼，能夠讓團隊review變得如此的簡單，代碼格式一模一樣，想不一樣都很困難。

跨編譯，如果你寫的Go代碼不包含cgo，那么就可以做到window系統(tǒng)編譯linux的應用，如何做到的呢？Go引用了plan9的代碼，這就是不依賴系統(tǒng)的信息。

內(nèi)嵌C支持，前面說了作者是C的作者，所以Go里面也可以直接包含c代碼，利用現(xiàn)有的豐富的C庫。

聊聊golang的zap的ZapKafkaWriter

本文主要研究一下golang的zap的ZapKafkaWriter

WriteSyncer內(nèi)嵌了io.Writer接口，定義了Sync方法；Sink接口內(nèi)嵌了zapcore.WriteSyncer及io.Closer接口；ZapKafkaWriter實現(xiàn)Sink接口及zapcore.WriteSyncer接口，其Write方法直接將data通過kafka發(fā)送出去。