真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

go語(yǔ)言的scan,go語(yǔ)言的缺點(diǎn)

golang-redis系列——返回值助手函數(shù)(二)

從上一節(jié)的內(nèi)容可知,Do() 和 Receive() 等方法的返回值,除了 error 外,是一個(gè) interface{} 類型的返回值,因此當(dāng)我們的復(fù)雜操作返回的不是基本數(shù)據(jù)類型時(shí),就需要我們自己解析返回值,例如,當(dāng)我們利用 HMGET 方法獲取一批返回值時(shí),就需要對(duì)返回結(jié)果進(jìn)行解析,具體如下:

公司主營(yíng)業(yè)務(wù):網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳,提高企業(yè)的競(jìng)爭(zhēng)能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化,感謝他們對(duì)我們的高要求,感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn),讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出武邑免費(fèi)做網(wǎng)站回饋大家。

由于返回值是多條數(shù)據(jù),因此需要先將 reply 轉(zhuǎn)成 []interface 類型,然后在遍歷結(jié)果時(shí)在分別轉(zhuǎn)成 []uint8 (byte數(shù)組), 最后再轉(zhuǎn)成 string 類型。

隨著我們操作復(fù)雜度,數(shù)據(jù)解析的工作量也會(huì)非常大,(lua 腳本的使用,會(huì)使結(jié)果的解析更為復(fù)雜,因?yàn)榭赡艽嬖诙喾N類型的結(jié)果一起返回的情況,lua 腳本相關(guān)的內(nèi)容會(huì)在下一節(jié)介紹)。

redigo 包中的返回值助手函數(shù)的存在,就是為了幫助我們完成這些枯燥繁瑣的數(shù)據(jù)解析過程。

返回值助手函數(shù)相關(guān)源碼路徑為 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下:

上述返回值助手函數(shù)的具體使用,應(yīng)該依據(jù)具體的命令進(jìn)行選擇。如果大家還記得上一節(jié)介紹的 Redis 基本數(shù)據(jù)類型,可能會(huì)有些疑問,對(duì)于 redis 來說,其數(shù)據(jù)據(jù)存儲(chǔ)本質(zhì)都是 []bytes, 為什么可以解析出 Int、int64、float等類型的數(shù)據(jù)呢?

我們以 Float64() 為例進(jìn)行說明,具體源碼如下:

其實(shí),返回值助手函數(shù)是將 []byte 類型的原始數(shù)據(jù),利用 strconv.ParseFloat(string(reply), 64) 轉(zhuǎn)換成了 float64類型,因此在我們使用過程中返回值助手函數(shù)的選擇,應(yīng)該基于業(yè)務(wù)和實(shí)際存儲(chǔ)的數(shù)據(jù)格式為依據(jù)。我們以第一小節(jié)的示例為例,看返回值助手函數(shù)如何降低我們的工作量,具體如下:

除了使用返回值助手函數(shù)對(duì)上述固定結(jié)構(gòu)的結(jié)果進(jìn)行解析外,redigo 包還提供了一個(gè) Scan()函數(shù)用于解析自定義的復(fù)雜數(shù)據(jù)結(jié)構(gòu),我們依然以上一個(gè)示例進(jìn)行說明,具體示例如下:

如果返回結(jié)果為結(jié)構(gòu)化切片,也可以使用 canSlice() 方法,從而簡(jiǎn)化 loop 處理的部分,具體示例如下:

通過上述的示例,我們介紹了 scan 函數(shù)的基本用法,但是細(xì)心的同學(xué)可能會(huì)發(fā)現(xiàn)嗎,為什么數(shù)據(jù)寫入時(shí),value 的類型為 []int64 但是讀取時(shí)只能按照 string 類型讀取呢。這是因?yàn)?Redis 底層存儲(chǔ)的數(shù)據(jù)本質(zhì)都是 string 類型,。 無論是 HMSET 還是 MSET 最終都只能按照 string 類型讀取,因?yàn)槠浔举|(zhì)都是 hash 結(jié)構(gòu),不同之處僅在于 HMSET 是嵌套的 hash類型。 因此,[]int64 數(shù)據(jù)在寫入階段,就已經(jīng)被自動(dòng)處理為 []byte,寫入 redis 之后,len 和 類型 屬性會(huì)丟失。

如果強(qiáng)行按照 []int64解析將出錯(cuò):

如果 value 必須以結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ),那么可以提前對(duì)要寫入的數(shù)據(jù)進(jìn)行編碼,例如 json、protobuf 等,取出后再進(jìn)行解碼獲得原始數(shù)據(jù)。

基礎(chǔ)知識(shí) - Golang 中的格式化輸入輸出

【格式化輸出】

// 格式化輸出:將 arg 列表中的 arg 轉(zhuǎn)換為字符串輸出

// 使用動(dòng)詞 v 格式化 arg 列表,非字符串元素之間添加空格

Print(arg列表)

// 使用動(dòng)詞 v 格式化 arg 列表,所有元素之間添加空格,結(jié)尾添加換行符

Println(arg列表)

// 使用格式字符串格式化 arg 列表

Printf(格式字符串, arg列表)

// Print 類函數(shù)會(huì)返回已處理的 arg 數(shù)量和遇到的錯(cuò)誤信息。

【格式字符串】

格式字符串由普通字符和占位符組成,例如:

"abc%+ #8.3[3]vdef"

其中 abc 和 def 是普通字符,其它部分是占位符,占位符以 % 開頭(注:%% 將被轉(zhuǎn)義為一個(gè)普通的 % 符號(hào),這個(gè)不算開頭),以動(dòng)詞結(jié)尾,格式如下:

%[旗標(biāo)][寬度][.精度][arg索引]動(dòng)詞

方括號(hào)中的內(nèi)容可以省略。

【旗標(biāo)】

旗標(biāo)有以下幾種:

空格:對(duì)于數(shù)值類型的正數(shù),保留一個(gè)空白的符號(hào)位(其它用法在動(dòng)詞部分說明)。

0 :用 0 進(jìn)行寬度填充而不用空格,對(duì)于數(shù)值類型,符號(hào)將被移到所有 0 的前面。

其中 "0" 和 "-" 不能同時(shí)使用,優(yōu)先使用 "-" 而忽略 "0"。

【寬度和精度】

“寬度”和“精度”都可以寫成以下三種形式:

數(shù)值 | * | arg索引*

其中“數(shù)值”表示使用指定的數(shù)值作為寬度值或精度值,“ ”表示使用當(dāng)前正在處理的 arg 的值作為寬度值或精度值,如果這樣的話,要格式化的 arg 將自動(dòng)跳轉(zhuǎn)到下一個(gè)?!癮rg索引 ”表示使用指定 arg 的值作為寬度值或精度值,如果這樣的話,要格式化的 arg 將自動(dòng)跳轉(zhuǎn)到指定 arg 的下一個(gè)。

寬度值:用于設(shè)置最小寬度。

精度值:對(duì)于浮點(diǎn)型,用于控制小數(shù)位數(shù),對(duì)于字符串或字節(jié)數(shù)組,用于控制字符數(shù)量(不是字節(jié)數(shù)量)。

對(duì)于浮點(diǎn)型而言,動(dòng)詞 g/G 的精度值比較特殊,在適當(dāng)?shù)那闆r下,g/G 會(huì)設(shè)置總有效數(shù)字,而不是小數(shù)位數(shù)。

【arg 索引】

“arg索引”由中括號(hào)和 arg 序號(hào)組成(就像上面示例中的 [3]),用于指定當(dāng)前要處理的 arg 的序號(hào),序號(hào)從 1 開始:

'[' + arg序號(hào) + ']'

【動(dòng)詞】

“動(dòng)詞”不能省略,不同的數(shù)據(jù)類型支持的動(dòng)詞不一樣。

[通用動(dòng)詞]

v:默認(rèn)格式,不同類型的默認(rèn)格式如下:

布爾型:t

整 型:d

浮點(diǎn)型:g

復(fù)數(shù)型:g

字符串:s

通 道:p

指 針:p

無符號(hào)整型:x

T:輸出 arg 的類型而不是值(使用 Go 語(yǔ)法格式)。

[布爾型]

t:輸出 true 或 false 字符串。

[整型]

b/o/d:輸出 2/8/10 進(jìn)制格式

x/X :輸出 16 進(jìn)制格式(小寫/大寫)

c :輸出數(shù)值所表示的 Unicode 字符

q :輸出數(shù)值所表示的 Unicode 字符(帶單引號(hào))。對(duì)于無法顯示的字符,將輸出其轉(zhuǎn)義字符。

U :輸出 Unicode 碼點(diǎn)(例如 U+1234,等同于字符串 "U+%04X" 的顯示結(jié)果)

對(duì)于 o/x/X:

如果使用 "#" 旗標(biāo),則會(huì)添加前導(dǎo) 0 或 0x。

對(duì)于 U:

如果使用 "#" 旗標(biāo),則會(huì)在 Unicode 碼點(diǎn)后面添加相應(yīng)的 '字符'(前提是該字符必須可顯示)

[浮點(diǎn)型和復(fù)數(shù)型]

b :科學(xué)計(jì)數(shù)法(以 2 為底)

e/E:科學(xué)計(jì)數(shù)法(以 10 為底,小寫 e/大寫 E)

f/F:普通小數(shù)格式(兩者無區(qū)別)

g/G:大指數(shù)(指數(shù) = 6)使用 %e/%E,其它情況使用 %f/%F

[字符串或字節(jié)切片]

s :普通字符串

q :雙引號(hào)引起來的 Go 語(yǔ)法字符串

x/X:十六進(jìn)制編碼(小寫/大寫,以字節(jié)為元素進(jìn)行編碼,而不是字符)

對(duì)于 q:

如果使用了 "+" 旗標(biāo),則將所有非 ASCII 字符都進(jìn)行轉(zhuǎn)義處理。

如果使用了 "#" 旗標(biāo),則輸出反引號(hào)引起來的字符串(前提是

字符串中不包含任何制表符以外的控制字符,否則忽略 # 旗標(biāo))

對(duì)于 x/X:

如果使用了 " " 旗標(biāo),則在每個(gè)元素之間添加空格。

如果使用了 "#" 旗標(biāo),則在十六進(jìn)制格式之前添加 0x 前綴。

[指針類型]

p :帶 0x 前綴的十六進(jìn)制地址值。

[符合類型]

復(fù)合類型將使用不同的格式輸出,格式如下:

結(jié) 構(gòu) 體:{字段1 字段2 ...}

數(shù)組或切片:[元素0 元素1 ...]

映 射:map[鍵1:值1 鍵2:值2 ...]

指向符合元素的指針:{}, [], map[]

復(fù)合類型本身沒有動(dòng)詞,動(dòng)詞將應(yīng)用到復(fù)合類型的元素上。

結(jié)構(gòu)體可以使用 "+v" 同時(shí)輸出字段名。

【注意】

1、如果 arg 是一個(gè)反射值,則該 arg 將被它所持有的具體值所取代。

2、如果 arg 實(shí)現(xiàn)了 Formatter 接口,將調(diào)用它的 Format 方法完成格式化。

3、如果 v 動(dòng)詞使用了 # 旗標(biāo)(%#v),并且 arg 實(shí)現(xiàn)了 GoStringer 接口,將調(diào)用它的 GoString 方法完成格式化。

如果格式化操作指定了字符串相關(guān)的動(dòng)詞(比如 %s、%q、%v、%x、%X),接下來的兩條規(guī)則將適用:

4。如果 arg 實(shí)現(xiàn)了 error 接口,將調(diào)用它的 Error 方法完成格式化。

5。如果 arg 實(shí)現(xiàn)了 string 接口,將調(diào)用它的 String 方法完成格式化。

在實(shí)現(xiàn)格式化相關(guān)接口的時(shí)候,要避免無限遞歸的情況,比如:

type X string

func (x X) String() string {

return Sprintf("%s", x)

}

在格式化之前,要先轉(zhuǎn)換數(shù)據(jù)類型,這樣就可以避免無限遞歸:

func (x X) String() string {

return Sprintf("%s", string(x))

}

無限遞歸也可能發(fā)生在自引用數(shù)據(jù)類型上面,比如一個(gè)切片的元素引用了切片自身。這種情況比較罕見,比如:

a := make([]interface{}, 1)

a[0] = a

fmt.Println(a)

【格式化輸入】

// 格式化輸入:從輸入端讀取字符串(以空白分隔的值的序列),

// 并解析為具體的值存入相應(yīng)的 arg 中,arg 必須是變量地址。

// 字符串中的連續(xù)空白視為單個(gè)空白,換行符根據(jù)不同情況處理。

// \r\n 被當(dāng)做 \n 處理。

// 以動(dòng)詞 v 解析字符串,換行視為空白

Scan(arg列表)

// 以動(dòng)詞 v 解析字符串,換行結(jié)束解析

Scanln(arg列表)

// 根據(jù)格式字符串中指定的格式解析字符串

// 格式字符串中的換行符必須和輸入端的換行符相匹配。

Scanf(格式字符串, arg列表)

// Scan 類函數(shù)會(huì)返回已處理的 arg 數(shù)量和遇到的錯(cuò)誤信息。

【格式字符串】

格式字符串類似于 Printf 中的格式字符串,但下面的動(dòng)詞和旗標(biāo)例外:

p :無效

T :無效

e/E/f/F/g/G:功能相同,都是掃描浮點(diǎn)數(shù)或復(fù)數(shù)

s/v :對(duì)字符串而言,掃描一個(gè)被空白分隔的子串

對(duì)于整型 arg 而言,v 動(dòng)詞可以掃描帶有前導(dǎo) 0 或 0x 的八進(jìn)制或十六進(jìn)制數(shù)值。

寬度被用來指定最大掃描寬度(不會(huì)跨越空格),精度不被支持。

如果 arg 實(shí)現(xiàn)了 Scanner 接口,將調(diào)用它的 Scan 方法掃描相應(yīng)數(shù)據(jù)。只有基礎(chǔ)類型和實(shí)現(xiàn)了 Scanner 接口的類型可以使用 Scan 類方法進(jìn)行掃描。

【注意】

連續(xù)調(diào)用 FScan 可能會(huì)丟失數(shù)據(jù),因?yàn)?FScan 中使用了 UnreadRune 對(duì)讀取的數(shù)據(jù)進(jìn)行撤銷,而參數(shù) io.Reader 只有 Read 方法,不支持撤銷。比如:

(十一)golang 內(nèi)存分析

編寫過C語(yǔ)言程序的肯定知道通過malloc()方法動(dòng)態(tài)申請(qǐng)內(nèi)存,其中內(nèi)存分配器使用的是glibc提供的ptmalloc2。 除了glibc,業(yè)界比較出名的內(nèi)存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免內(nèi)存碎片和性能上均比glic有比較大的優(yōu)勢(shì),在多線程環(huán)境中效果更明顯。

Golang中也實(shí)現(xiàn)了內(nèi)存分配器,原理與tcmalloc類似,簡(jiǎn)單的說就是維護(hù)一塊大的全局內(nèi)存,每個(gè)線程(Golang中為P)維護(hù)一塊小的私有內(nèi)存,私有內(nèi)存不足再?gòu)娜稚暾?qǐng)。另外,內(nèi)存分配與GC(垃圾回收)關(guān)系密切,所以了解GC前有必要了解內(nèi)存分配的原理。

為了方便自主管理內(nèi)存,做法便是先向系統(tǒng)申請(qǐng)一塊內(nèi)存,然后將內(nèi)存切割成小塊,通過一定的內(nèi)存分配算法管理內(nèi)存。 以64位系統(tǒng)為例,Golang程序啟動(dòng)時(shí)會(huì)向系統(tǒng)申請(qǐng)的內(nèi)存如下圖所示:

預(yù)申請(qǐng)的內(nèi)存劃分為spans、bitmap、arena三部分。其中arena即為所謂的堆區(qū),應(yīng)用中需要的內(nèi)存從這里分配。其中spans和bitmap是為了管理arena區(qū)而存在的。

arena的大小為512G,為了方便管理把a(bǔ)rena區(qū)域劃分成一個(gè)個(gè)的page,每個(gè)page為8KB,一共有512GB/8KB個(gè)頁(yè);

spans區(qū)域存放span的指針,每個(gè)指針對(duì)應(yīng)一個(gè)page,所以span區(qū)域的大小為(512GB/8KB)乘以指針大小8byte = 512M

bitmap區(qū)域大小也是通過arena計(jì)算出來,不過主要用于GC。

span是用于管理arena頁(yè)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu),每個(gè)span中包含1個(gè)或多個(gè)連續(xù)頁(yè),為了滿足小對(duì)象分配,span中的一頁(yè)會(huì)劃分更小的粒度,而對(duì)于大對(duì)象比如超過頁(yè)大小,則通過多頁(yè)實(shí)現(xiàn)。

根據(jù)對(duì)象大小,劃分了一系列class,每個(gè)class都代表一個(gè)固定大小的對(duì)象,以及每個(gè)span的大小。如下表所示:

上表中每列含義如下:

class: class ID,每個(gè)span結(jié)構(gòu)中都有一個(gè)class ID, 表示該span可處理的對(duì)象類型

bytes/obj:該class代表對(duì)象的字節(jié)數(shù)

bytes/span:每個(gè)span占用堆的字節(jié)數(shù),也即頁(yè)數(shù)乘以頁(yè)大小

objects: 每個(gè)span可分配的對(duì)象個(gè)數(shù),也即(bytes/spans)/(bytes/obj)waste

bytes: 每個(gè)span產(chǎn)生的內(nèi)存碎片,也即(bytes/spans)%(bytes/obj)上表可見最大的對(duì)象是32K大小,超過32K大小的由特殊的class表示,該class ID為0,每個(gè)class只包含一個(gè)對(duì)象。

span是內(nèi)存管理的基本單位,每個(gè)span用于管理特定的class對(duì)象, 跟據(jù)對(duì)象大小,span將一個(gè)或多個(gè)頁(yè)拆分成多個(gè)塊進(jìn)行管理。src/runtime/mheap.go:mspan定義了其數(shù)據(jù)結(jié)構(gòu):

以class 10為例,span和管理的內(nèi)存如下圖所示:

spanclass為10,參照class表可得出npages=1,nelems=56,elemsize為144。其中startAddr是在span初始化時(shí)就指定了某個(gè)頁(yè)的地址。allocBits指向一個(gè)位圖,每位代表一個(gè)塊是否被分配,本例中有兩個(gè)塊已經(jīng)被分配,其allocCount也為2。next和prev用于將多個(gè)span鏈接起來,這有利于管理多個(gè)span,接下來會(huì)進(jìn)行說明。

有了管理內(nèi)存的基本單位span,還要有個(gè)數(shù)據(jù)結(jié)構(gòu)來管理span,這個(gè)數(shù)據(jù)結(jié)構(gòu)叫mcentral,各線程需要內(nèi)存時(shí)從mcentral管理的span中申請(qǐng)內(nèi)存,為了避免多線程申請(qǐng)內(nèi)存時(shí)不斷的加鎖,Golang為每個(gè)線程分配了span的緩存,這個(gè)緩存即是cache。src/runtime/mcache.go:mcache定義了cache的數(shù)據(jù)結(jié)構(gòu)

alloc為mspan的指針數(shù)組,數(shù)組大小為class總數(shù)的2倍。數(shù)組中每個(gè)元素代表了一種class類型的span列表,每種class類型都有兩組span列表,第一組列表中所表示的對(duì)象中包含了指針,第二組列表中所表示的對(duì)象不含有指針,這么做是為了提高GC掃描性能,對(duì)于不包含指針的span列表,沒必要去掃描。根據(jù)對(duì)象是否包含指針,將對(duì)象分為noscan和scan兩類,其中noscan代表沒有指針,而scan則代表有指針,需要GC進(jìn)行掃描。mcache和span的對(duì)應(yīng)關(guān)系如下圖所示:

mchache在初始化時(shí)是沒有任何span的,在使用過程中會(huì)動(dòng)態(tài)的從central中獲取并緩存下來,跟據(jù)使用情況,每種class的span個(gè)數(shù)也不相同。上圖所示,class 0的span數(shù)比class1的要多,說明本線程中分配的小對(duì)象要多一些。

cache作為線程的私有資源為單個(gè)線程服務(wù),而central則是全局資源,為多個(gè)線程服務(wù),當(dāng)某個(gè)線程內(nèi)存不足時(shí)會(huì)向central申請(qǐng),當(dāng)某個(gè)線程釋放內(nèi)存時(shí)又會(huì)回收進(jìn)central。src/runtime/mcentral.go:mcentral定義了central數(shù)據(jù)結(jié)構(gòu):

lock: 線程間互斥鎖,防止多線程讀寫沖突

spanclass : 每個(gè)mcentral管理著一組有相同class的span列表

nonempty: 指還有內(nèi)存可用的span列表

empty: 指沒有內(nèi)存可用的span列表

nmalloc: 指累計(jì)分配的對(duì)象個(gè)數(shù)線程從central獲取span步驟如下:

將span歸還步驟如下:

從mcentral數(shù)據(jù)結(jié)構(gòu)可見,每個(gè)mcentral對(duì)象只管理特定的class規(guī)格的span。事實(shí)上每種class都會(huì)對(duì)應(yīng)一個(gè)mcentral,這個(gè)mcentral的集合存放于mheap數(shù)據(jù)結(jié)構(gòu)中。src/runtime/mheap.go:mheap定義了heap的數(shù)據(jù)結(jié)構(gòu):

lock: 互斥鎖

spans: 指向spans區(qū)域,用于映射span和page的關(guān)系

bitmap:bitmap的起始地址

arena_start: arena區(qū)域首地址

arena_used: 當(dāng)前arena已使用區(qū)域的最大地址

central: 每種class對(duì)應(yīng)的兩個(gè)mcentral

從數(shù)據(jù)結(jié)構(gòu)可見,mheap管理著全部的內(nèi)存,事實(shí)上Golang就是通過一個(gè)mheap類型的全局變量進(jìn)行內(nèi)存管理的。mheap內(nèi)存管理示意圖如下:

系統(tǒng)預(yù)分配的內(nèi)存分為spans、bitmap、arean三個(gè)區(qū)域,通過mheap管理起來。接下來看內(nèi)存分配過程。

針對(duì)待分配對(duì)象的大小不同有不同的分配邏輯:

(0, 16B) 且不包含指針的對(duì)象: Tiny分配

(0, 16B) 包含指針的對(duì)象:正常分配

[16B, 32KB] : 正常分配

(32KB, -) : 大對(duì)象分配其中Tiny分配和大對(duì)象分配都屬于內(nèi)存管理的優(yōu)化范疇,這里暫時(shí)僅關(guān)注一般的分配方法。

以申請(qǐng)size為n的內(nèi)存為例,分配步驟如下:

Golang內(nèi)存分配是個(gè)相當(dāng)復(fù)雜的過程,其中還摻雜了GC的處理,這里僅僅對(duì)其關(guān)鍵數(shù)據(jù)結(jié)構(gòu)進(jìn)行了說明,了解其原理而又不至于深陷實(shí)現(xiàn)細(xì)節(jié)。1、Golang程序啟動(dòng)時(shí)申請(qǐng)一大塊內(nèi)存并劃分成spans、bitmap、arena區(qū)域

2、arena區(qū)域按頁(yè)劃分成一個(gè)個(gè)小塊。

3、span管理一個(gè)或多個(gè)頁(yè)。

4、mcentral管理多個(gè)span供線程申請(qǐng)使用

5、mcache作為線程私有資源,資源來源于mcentral。

Go 語(yǔ)言三色標(biāo)記掃描對(duì)象是 DFS 還是 BFS?

最近在看左神新書 《Go 語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn)》的垃圾收集器時(shí)產(chǎn)生一個(gè)疑惑,花了點(diǎn)時(shí)間搞清楚了記錄一下。

Go 語(yǔ)言垃圾回收的實(shí)現(xiàn)使用了標(biāo)記清除算法,將對(duì)象的狀態(tài)抽象成黑色(活躍對(duì)象)、灰色(活躍對(duì)象中間狀態(tài))、白色(潛在垃圾對(duì)象也是所有對(duì)象的默認(rèn)狀態(tài))三種,注意沒有具體的字段標(biāo)記顏色。

整個(gè)標(biāo)記過程就是把白色對(duì)象標(biāo)黑的過程:

1.首先將 ROOT 根對(duì)象(包括全局變量、goroutine 棧上的對(duì)象等)放入到灰色集合

2.選一個(gè)灰色對(duì)象,標(biāo)成黑色,將所有可達(dá)的子對(duì)象放入到灰色集合

3.重復(fù)2的步驟,直到灰色集合中為空

下圖是書上的插圖,看上去是一個(gè)典型的深度優(yōu)先搜索的算法。

下圖是劉丹冰寫的《Golang 修養(yǎng)之路》的插圖,看上去是一個(gè)典型的廣度優(yōu)先搜索的算法。

我疑惑的點(diǎn)在于這個(gè)標(biāo)記過程是深度優(yōu)先算法還是廣度優(yōu)先算法,因?yàn)楹芏辔恼虏┛蛯?duì)此都沒有很清楚的說明,作為學(xué)習(xí)者這種細(xì)節(jié)其實(shí)也不影響對(duì)整個(gè) GC 流程的理解,但是這種細(xì)節(jié)我非常喜歡扣:)

對(duì)著書和源碼摸索著大致找到了一個(gè)結(jié)果是深度優(yōu)先。下面看下大致的過程,源碼基于1.15.2版本:

gcStart 是 Go 語(yǔ)言三種條件觸發(fā) GC 的共同入口

啟動(dòng)后臺(tái)標(biāo)記任務(wù)

為每個(gè)處理器創(chuàng)建用于執(zhí)行后臺(tái)標(biāo)記任務(wù)的 Goroutine

上面休眠的 G 會(huì)在調(diào)度循環(huán)中檢查并喚醒執(zhí)行

執(zhí)行標(biāo)記

gcw 是每個(gè) P 獨(dú)有的所以不用擔(dān)心并發(fā)的問題 和 GMP、mcache 一樣設(shè)計(jì),減少鎖競(jìng)爭(zhēng)

嘗試在全局列表中獲取一個(gè)不為空的 buf

這是官方實(shí)現(xiàn)的無鎖隊(duì)列:)漲見識(shí)了,for 循環(huán)加原子操作實(shí)現(xiàn)棧的 pop

到這里從灰色集合中獲取待掃描的對(duì)象邏輯說完了。找到對(duì)象了接著就是 scanobject(b, gcw) 了,里面有兩段邏輯要注意

根據(jù)索引位置找到對(duì)象進(jìn)行標(biāo)色

嘗試存入 gcwork 的緩存中,或全局隊(duì)列中

無鎖隊(duì)列,for 循環(huán)加原子操作實(shí)現(xiàn)棧的 push

到這里把灰色對(duì)象標(biāo)黑就完成了,又放回灰色集合接著掃下一個(gè)指針。

Go 語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn) 垃圾收集器

Golang三色標(biāo)記+混合寫屏障GC模式全分析

golang mysql Scan操作按順序取值問題

rows, err := db.Query("SELECT * FROM user")

checkErr(err)

for rows.Next() {

var userId int

var userName string

var userAge int

var userSex int

rows.Columns()

err = rows.Scan(userId, userName, userAge, userSex)

checkErr(err)

fmt.Println(userId)

fmt.Println(userName)

fmt.Println(userAge)

fmt.Println(userSex)

}

Golang 指針和結(jié)構(gòu)體

于c語(yǔ)言相同,go中也有指針和結(jié)構(gòu)體的概念。指針表示變量的內(nèi)存地址,結(jié)構(gòu)體用來存儲(chǔ)同一類型的數(shù)據(jù)。

定義一個(gè)指針變量,將變量a的地址賦給指針變量p。這樣,指針變量p也就指向了變量a所在的內(nèi)容空間。

new 函數(shù)返回一個(gè)指針變量

fmt.scan() 就是傳入一個(gè)指針變量。

兩種方法都可以使用。

以上簡(jiǎn)要介紹了go語(yǔ)言中的指針和結(jié)構(gòu)體。


當(dāng)前題目:go語(yǔ)言的scan,go語(yǔ)言的缺點(diǎn)
當(dāng)前路徑:http://weahome.cn/article/dsgeied.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部