Go語言中沒有“類”的概念,也不支持“類”的繼承等面向?qū)ο蟮母拍?。Go語言中通過結(jié)構(gòu)體的內(nèi)嵌再配合接口比面向?qū)ο缶哂懈叩臄U展性和靈活性。
10多年的秦淮網(wǎng)站建設(shè)經(jīng)驗,針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù),響應(yīng)快,48小時及時工作處理。網(wǎng)絡(luò)營銷推廣的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同,自動調(diào)整秦淮建站的顯示方式,使網(wǎng)站能夠適用不同顯示終端,在瀏覽器中調(diào)整網(wǎng)站的寬度,無論在任何一種瀏覽器上瀏覽網(wǎng)站,都能展現(xiàn)優(yōu)雅布局與設(shè)計,從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)建站從事“秦淮網(wǎng)站設(shè)計”,“秦淮網(wǎng)站推廣”以來,每個客戶項目都認真落實執(zhí)行。
自定義類型
在Go語言中有一些基本的數(shù)據(jù)類型,如string、整型、浮點型、布爾等數(shù)據(jù)類型, Go語言中可以使用type關(guān)鍵字來定義自定義類型。
自定義類型是定義了一個全新的類型。我們可以基于內(nèi)置的基本類型定義,也可以通過struct定義。例如:
通過Type關(guān)鍵字的定義,MyInt就是一種新的類型,它具有int的特性。
類型別名
類型別名是Go1.9版本添加的新功能。
類型別名規(guī)定:TypeAlias只是Type的別名,本質(zhì)上TypeAlias與Type是同一個類型。就像一個孩子小時候有小名、乳名,上學(xué)后用學(xué)名,英語老師又會給他起英文名,但這些名字都指的是他本人。
type TypeAlias = Type
我們之前見過的rune和byte就是類型別名,他們的定義如下:
類型定義和類型別名的區(qū)別
類型別名與類型定義表面上看只有一個等號的差異,我們通過下面的這段代碼來理解它們之間的區(qū)別。
結(jié)果顯示a的類型是main.NewInt,表示main包下定義的NewInt類型。b的類型是int。MyInt類型只會在代碼中存在,編譯完成時并不會有MyInt類型。
Go語言中的基礎(chǔ)數(shù)據(jù)類型可以表示一些事物的基本屬性,但是當我們想表達一個事物的全部或部分屬性時,這時候再用單一的基本數(shù)據(jù)類型明顯就無法滿足需求了,Go語言提供了一種自定義數(shù)據(jù)類型,可以封裝多個基本數(shù)據(jù)類型,這種數(shù)據(jù)類型叫結(jié)構(gòu)體,英文名稱struct。 也就是我們可以通過struct來定義自己的類型了。
Go語言中通過struct來實現(xiàn)面向?qū)ο蟆?/p>
結(jié)構(gòu)體的定義
使用type和struct關(guān)鍵字來定義結(jié)構(gòu)體,具體代碼格式如下:
其中:
舉個例子,我們定義一個Person(人)結(jié)構(gòu)體,代碼如下:
同樣類型的字段也可以寫在一行,
這樣我們就擁有了一個person的自定義類型,它有name、city、age三個字段,分別表示姓名、城市和年齡。這樣我們使用這個person結(jié)構(gòu)體就能夠很方便的在程序中表示和存儲人信息了。
語言內(nèi)置的基礎(chǔ)數(shù)據(jù)類型是用來描述一個值的,而結(jié)構(gòu)體是用來描述一組值的。比如一個人有名字、年齡和居住城市等,本質(zhì)上是一種聚合型的數(shù)據(jù)類型
結(jié)構(gòu)體實例化
只有當結(jié)構(gòu)體實例化時,才會真正地分配內(nèi)存。也就是必須實例化后才能使用結(jié)構(gòu)體的字段。
基本實例化
舉個例子:
我們通過.來訪問結(jié)構(gòu)體的字段(成員變量),例如p1.name和p1.age等。
匿名結(jié)構(gòu)體
在定義一些臨時數(shù)據(jù)結(jié)構(gòu)等場景下還可以使用匿名結(jié)構(gòu)體。
創(chuàng)建指針類型結(jié)構(gòu)體
我們還可以通過使用new關(guān)鍵字對結(jié)構(gòu)體進行實例化,得到的是結(jié)構(gòu)體的地址。 格式如下:
從打印的結(jié)果中我們可以看出p2是一個結(jié)構(gòu)體指針。
需要注意的是在Go語言中支持對結(jié)構(gòu)體指針直接使用.來訪問結(jié)構(gòu)體的成員。
取結(jié)構(gòu)體的地址實例化
使用對結(jié)構(gòu)體進行取地址操作相當于對該結(jié)構(gòu)體類型進行了一次new實例化操作。
p3.name = "七米"其實在底層是(*p3).name = "七米",這是Go語言幫我們實現(xiàn)的語法糖。
結(jié)構(gòu)體初始化
沒有初始化的結(jié)構(gòu)體,其成員變量都是對應(yīng)其類型的零值。
使用鍵值對初始化
使用鍵值對對結(jié)構(gòu)體進行初始化時,鍵對應(yīng)結(jié)構(gòu)體的字段,值對應(yīng)該字段的初始值。
也可以對結(jié)構(gòu)體指針進行鍵值對初始化,例如:
當某些字段沒有初始值的時候,該字段可以不寫。此時,沒有指定初始值的字段的值就是該字段類型的零值。
使用值的列表初始化
初始化結(jié)構(gòu)體的時候可以簡寫,也就是初始化的時候不寫鍵,直接寫值:
使用這種格式初始化時,需要注意:
結(jié)構(gòu)體內(nèi)存布局
結(jié)構(gòu)體占用一塊連續(xù)的內(nèi)存。
輸出:
【進階知識點】關(guān)于Go語言中的內(nèi)存對齊推薦閱讀:在 Go 中恰到好處的內(nèi)存對齊
面試題
請問下面代碼的執(zhí)行結(jié)果是什么?
構(gòu)造函數(shù)
Go語言的結(jié)構(gòu)體沒有構(gòu)造函數(shù),我們可以自己實現(xiàn)。 例如,下方的代碼就實現(xiàn)了一個person的構(gòu)造函數(shù)。 因為struct是值類型,如果結(jié)構(gòu)體比較復(fù)雜的話,值拷貝性能開銷會比較大,所以該構(gòu)造函數(shù)返回的是結(jié)構(gòu)體指針類型。
調(diào)用構(gòu)造函數(shù)
方法和接收者
Go語言中的方法(Method)是一種作用于特定類型變量的函數(shù)。這種特定類型變量叫做接收者(Receiver)。接收者的概念就類似于其他語言中的this或者 self。
方法的定義格式如下:
其中,
舉個例子:
方法與函數(shù)的區(qū)別是,函數(shù)不屬于任何類型,方法屬于特定的類型。
指針類型的接收者
指針類型的接收者由一個結(jié)構(gòu)體的指針組成,由于指針的特性,調(diào)用方法時修改接收者指針的任意成員變量,在方法結(jié)束后,修改都是有效的。這種方式就十分接近于其他語言中面向?qū)ο笾械膖his或者self。 例如我們?yōu)镻erson添加一個SetAge方法,來修改實例變量的年齡。
調(diào)用該方法:
值類型的接收者
當方法作用于值類型接收者時,Go語言會在代碼運行時將接收者的值復(fù)制一份。在值類型接收者的方法中可以獲取接收者的成員值,但修改操作只是針對副本,無法修改接收者變量本身。
什么時候應(yīng)該使用指針類型接收者
任意類型添加方法
在Go語言中,接收者的類型可以是任何類型,不僅僅是結(jié)構(gòu)體,任何類型都可以擁有方法。 舉個例子,我們基于內(nèi)置的int類型使用type關(guān)鍵字可以定義新的自定義類型,然后為我們的自定義類型添加方法。
注意事項: 非本地類型不能定義方法,也就是說我們不能給別的包的類型定義方法。
結(jié)構(gòu)體的匿名字段
匿名字段默認采用類型名作為字段名,結(jié)構(gòu)體要求字段名稱必須唯一,因此一個結(jié)構(gòu)體中同種類型的匿名字段只能有一個。
嵌套結(jié)構(gòu)體
一個結(jié)構(gòu)體中可以嵌套包含另一個結(jié)構(gòu)體或結(jié)構(gòu)體指針。
嵌套匿名結(jié)構(gòu)體
當訪問結(jié)構(gòu)體成員時會先在結(jié)構(gòu)體中查找該字段,找不到再去匿名結(jié)構(gòu)體中查找。
嵌套結(jié)構(gòu)體的字段名沖突
嵌套結(jié)構(gòu)體內(nèi)部可能存在相同的字段名。這個時候為了避免歧義需要指定具體的內(nèi)嵌結(jié)構(gòu)體的字段。
結(jié)構(gòu)體的“繼承”
Go語言中使用結(jié)構(gòu)體也可以實現(xiàn)其他編程語言中面向?qū)ο蟮睦^承。
結(jié)構(gòu)體字段的可見性
結(jié)構(gòu)體中字段大寫開頭表示可公開訪問,小寫表示私有(僅在定義當前結(jié)構(gòu)體的包中可訪問)。
結(jié)構(gòu)體與JSON序列化
JSON(JavaScript Object Notation) 是一種輕量級的數(shù)據(jù)交換格式。易于人閱讀和編寫。同時也易于機器解析和生成。JSON鍵值對是用來保存JS對象的一種方式,鍵/值對組合中的鍵名寫在前面并用雙引號""包裹,使用冒號:分隔,然后緊接著值;多個鍵值之間使用英文,分隔。
結(jié)構(gòu)體標簽(Tag)
Tag是結(jié)構(gòu)體的元信息,可以在運行的時候通過反射的機制讀取出來。 Tag在結(jié)構(gòu)體字段的后方定義,由一對反引號包裹起來,具體的格式如下:
`key1:"value1" key2:"value2"`
結(jié)構(gòu)體標簽由一個或多個鍵值對組成。鍵與值使用冒號分隔,值用雙引號括起來。鍵值對之間使用一個空格分隔。 注意事項: 為結(jié)構(gòu)體編寫Tag時,必須嚴格遵守鍵值對的規(guī)則。結(jié)構(gòu)體標簽的解析代碼的容錯能力很差,一旦格式寫錯,編譯和運行時都不會提示任何錯誤,通過反射也無法正確取值。例如不要在key和value之間添加空格。
例如我們?yōu)镾tudent結(jié)構(gòu)體的每個字段定義json序列化時使用的Tag:
Go 的select語句是一種僅能用于channl發(fā)送和接收消息的專用語句,此語句運行期間是阻塞的;當select中沒有case語句的時候,會阻塞當前的groutine。所以,有人也會說select是用來阻塞監(jiān)聽goroutine的。
還有人說:select是Golang在語言層面提供的I/O多路復(fù)用的機制,其專門用來檢測多個channel是否準備完畢:可讀或可寫。
以上說法都正確。
我們來回顧一下是什么是 I/O多路復(fù)用 。
每來一個進程,都會建立連接,然后阻塞,直到接收到數(shù)據(jù)返回響應(yīng)。
普通這種方式的缺點其實很明顯:系統(tǒng)需要創(chuàng)建和維護額外的線程或進程。因為大多數(shù)時候,大部分阻塞的線程或進程是處于等待狀態(tài),只有少部分會接收并處理響應(yīng),而其余的都在等待。系統(tǒng)為此還需要多做很多額外的線程或者進程的管理工作。
為了解決圖中這些多余的線程或者進程,于是有了"I/O多路復(fù)用"
每個線程或者進程都先到圖中”裝置“中注冊,然后阻塞,然后只有一個線程在”運輸“,當注冊的線程或者進程準備好數(shù)據(jù)后,”裝置“會根據(jù)注冊的信息得到相應(yīng)的數(shù)據(jù)。從始至終kernel只會使用圖中這個黃黃的線程,無需再對額外的線程或者進程進行管理,提升了效率。
select的實現(xiàn)經(jīng)歷了多個版本的修改,當前版本為:1.11
select這個語句底層實現(xiàn)實際上主要由兩部分組成: case語句 和 執(zhí)行函數(shù) 。
源碼地址為:/go/src/runtime/select.go
每個case語句,單獨抽象出以下結(jié)構(gòu)體:
結(jié)構(gòu)體可以用下圖表示:
然后執(zhí)行select語句實際上就是調(diào)用 func selectgo(cas0 *scase, order0 *uint16, ncases int) (int, bool) 函數(shù)。
func selectgo(cas0 *scase, order0 *uint16, ncases int) (int, bool) 函數(shù)參數(shù):
selectgo 返回所選scase的索引(該索引與其各自的select {recv,send,default}調(diào)用的序號位置相匹配)。此外,如果選擇的scase是接收操作(recv),則返回是否接收到值。
誰負責調(diào)用 func selectgo(cas0 *scase, order0 *uint16, ncases int) (int, bool) 函數(shù)呢?
在 /reflect/value.go 中有個 func rselect([]runtimeSelect) (chosen int, recvOK bool) 函數(shù),此函數(shù)的實現(xiàn)在 /runtime/select.go 文件中的 func reflect_rselect(cases []runtimeSelect) (int, bool) 函數(shù)中:
那誰調(diào)用的 func rselect([]runtimeSelect) (chosen int, recvOK bool) 呢?
在 /refect/value.go 中,有一個 func Select(cases []SelectCase) (chosen int, recv Value, recvOK bool) 的函數(shù),其調(diào)用了 rselect 函數(shù),并將最終Go中select語句的返回值的返回。
以上這三個函數(shù)的調(diào)用棧按順序如下:
這仨函數(shù)中無論是返回值還是參數(shù)都大同小異,可以簡單粗暴的認為:函數(shù)參數(shù)傳入的是case語句,返回值返回被選中的case語句。
那誰調(diào)用了 func Select(cases []SelectCase) (chosen int, recv Value, recvOK bool) 呢?
可以簡單的認為是系統(tǒng)了。
來個簡單的圖:
前兩個函數(shù) Select 和 rselect 都是做了簡單的初始化參數(shù),調(diào)用下一個函數(shù)的操作。select真正的核心功能,是在最后一個函數(shù) func selectgo(cas0 *scase, order0 *uint16, ncases int) (int, bool) 中實現(xiàn)的。
打亂傳入的case結(jié)構(gòu)體順序
鎖住其中的所有的channel
遍歷所有的channel,查看其是否可讀或者可寫
如果其中的channel可讀或者可寫,則解鎖所有channel,并返回對應(yīng)的channel數(shù)據(jù)
假如沒有channel可讀或者可寫,但是有default語句,則同上:返回default語句對應(yīng)的scase并解鎖所有的channel。
假如既沒有channel可讀或者可寫,也沒有default語句,則將當前運行的groutine阻塞,并加入到當前所有channel的等待隊列中去。
然后解鎖所有channel,等待被喚醒。
此時如果有個channel可讀或者可寫ready了,則喚醒,并再次加鎖所有channel,
遍歷所有channel找到那個對應(yīng)的channel和G,喚醒G,并將沒有成功的G從所有channel的等待隊列中移除。
如果對應(yīng)的scase值不為空,則返回需要的值,并解鎖所有channel
如果對應(yīng)的scase為空,則循環(huán)此過程。
在想想select和channel做了什么事兒,我覺得和多路復(fù)用是一回事兒
作為C語言家族的一員,go和c一樣也支持結(jié)構(gòu)體??梢灶惐扔趈ava的一個POJO。
在學(xué)習定義結(jié)構(gòu)體之前,先學(xué)習下定義一個新類型。
新類型 T1 是基于 Go 原生類型 int 定義的新自定義類型,而新類型 T2 則是 基于剛剛定義的類型 T1,定義的新類型。
這里要引入一個底層類型的概念。
如果一個新類型是基于某個 Go 原生類型定義的, 那么我們就叫 Go 原生類型為新類型的底層類型
在上面的例子中,int就是T1的底層類型。
但是T1不是T2的底層類型,只有原生類型才可以作為底層類型,所以T2的底層類型還是int
底層類型是很重要的,因為對兩個變量進行顯式的類型轉(zhuǎn)換,只有底層類型相同的變量間才能相互轉(zhuǎn)換。底層類型是判斷兩個類型本質(zhì)上是否相同的根本。
這種類型定義方式通常用在 項目的漸進式重構(gòu),還有對已有包的二次封裝方面
類型別名表示新類型和原類型完全等價,實際上就是同一種類型。只不過名字不同而已。
一般我們都是定義一個有名的結(jié)構(gòu)體。
字段名的大小寫決定了字段是否包外可用。只有大寫的字段可以被包外引用。
還有一個點提一下
如果換行來寫
Age: 66,后面這個都好不能省略
還有一個點,觀察e3的賦值
new返回的是一個指針。然后指針可以直接點號賦值。這說明go默認進行了取值操作
e3.Age 等價于 (*e3).Age
如上定義了一個空的結(jié)構(gòu)體Empty。打印了元素e的內(nèi)存大小是0。
有什么用呢?
基于空結(jié)構(gòu)體類型內(nèi)存零開銷這樣的特性,我們在日常 Go 開發(fā)中會經(jīng)常使用空 結(jié)構(gòu)體類型元素,作為一種“事件”信息進行 Goroutine 之間的通信
這種以空結(jié)構(gòu)體為元素類建立的 channel,是目前能實現(xiàn)的、內(nèi)存占用最小的 Goroutine 間通信方式。
這種形式需要說的是幾個語法糖。
語法糖1:
對于結(jié)構(gòu)體字段,可以省略字段名,只寫結(jié)構(gòu)體名。默認字段名就是結(jié)構(gòu)體名
這種方式稱為 嵌入字段
語法糖2:
如果是以嵌入字段形式寫的結(jié)構(gòu)體
可以省略嵌入的Reader字段,而直接訪問ReaderName
此時book是一個各個屬性全是對應(yīng)類型零值的一個實例。不是nil。這種情況在Go中稱為零值可用。不像java會導(dǎo)致npe
結(jié)構(gòu)體定義時可以在字段后面追加標簽說明。
tag的格式為反單引號
tag的作用是可以使用[反射]來檢視字段的標簽信息。
具體的作用還要看使用的場景。
比如這里的tag是為了幫助 encoding/json 標準包在解析對象時可以利用的規(guī)則。比如omitempty表示該字段沒有值就不打印出來。
本文目錄如下,閱讀本文后,將一網(wǎng)打盡下面Golang Map相關(guān)面試題
Go中的map是一個指針,占用8個字節(jié),指向hmap結(jié)構(gòu)體; 源碼 src/runtime/map.go 中可以看到map的底層結(jié)構(gòu)
每個map的底層結(jié)構(gòu)是hmap,hmap包含若干個結(jié)構(gòu)為bmap的bucket數(shù)組。每個bucket底層都采用鏈表結(jié)構(gòu)。接下來,我們來詳細看下map的結(jié)構(gòu)
bmap 就是我們常說的“桶”,一個桶里面會最多裝 8 個 key,這些 key 之所以會落入同一個桶,是因為它們經(jīng)過哈希計算后,哈希結(jié)果是“一類”的,關(guān)于key的定位我們在map的查詢和插入中詳細說明。在桶內(nèi),又會根據(jù) key 計算出來的 hash 值的高 8 位來決定 key 到底落入桶內(nèi)的哪個位置(一個桶內(nèi)最多有8個位置)。
bucket內(nèi)存數(shù)據(jù)結(jié)構(gòu)可視化如下:
注意到 key 和 value 是各自放在一起的,并不是 key/value/key/value/... 這樣的形式。源碼里說明這樣的好處是在某些情況下可以省略掉 padding字段,節(jié)省內(nèi)存空間。
當 map 的 key 和 value 都不是指針,并且 size 都小于 128 字節(jié)的情況下,會把 bmap 標記為不含指針,這樣可以避免 gc 時掃描整個 hmap。但是,我們看 bmap 其實有一個 overflow 的字段,是指針類型的,破壞了 bmap 不含指針的設(shè)想,這時會把 overflow 移動到 extra 字段來。
map是個指針,底層指向hmap,所以是個引用類型
golang 有三個常用的高級類型 slice 、map、channel, 它們都是 引用類型 ,當引用類型作為函數(shù)參數(shù)時,可能會修改原內(nèi)容數(shù)據(jù)。
golang 中沒有引用傳遞,只有值和指針傳遞。所以 map 作為函數(shù)實參傳遞時本質(zhì)上也是值傳遞,只不過因為 map 底層數(shù)據(jù)結(jié)構(gòu)是通過指針指向?qū)嶋H的元素存儲空間,在被調(diào)函數(shù)中修改 map,對調(diào)用者同樣可見,所以 map 作為函數(shù)實參傳遞時表現(xiàn)出了引用傳遞的效果。
因此,傳遞 map 時,如果想修改map的內(nèi)容而不是map本身,函數(shù)形參無需使用指針
map 底層數(shù)據(jù)結(jié)構(gòu)是通過指針指向?qū)嶋H的元素 存儲空間 ,這種情況下,對其中一個map的更改,會影響到其他map
map 在沒有被修改的情況下,使用 range 多次遍歷 map 時輸出的 key 和 value 的順序可能不同。這是 Go 語言的設(shè)計者們有意為之,在每次 range 時的順序被隨機化,旨在提示開發(fā)者們,Go 底層實現(xiàn)并不保證 map 遍歷順序穩(wěn)定,請大家不要依賴 range 遍歷結(jié)果順序。
map 本身是無序的,且遍歷時順序還會被隨機化,如果想順序遍歷 map,需要對 map key 先排序,再按照 key 的順序遍歷 map。
map默認是并發(fā)不安全的,原因如下:
Go 官方在經(jīng)過了長時間的討論后,認為 Go map 更應(yīng)適配典型使用場景(不需要從多個 goroutine 中進行安全訪問),而不是為了小部分情況(并發(fā)訪問),導(dǎo)致大部分程序付出加鎖代價(性能),決定了不支持。
場景: 2個協(xié)程同時讀和寫,以下程序會出現(xiàn)致命錯誤:fatal error: concurrent map writes
如果想實現(xiàn)map線程安全,有兩種方式:
方式一:使用讀寫鎖 map + sync.RWMutex
方式二:使用golang提供的 sync.Map
sync.map是用讀寫分離實現(xiàn)的,其思想是空間換時間。和map+RWLock的實現(xiàn)方式相比,它做了一些優(yōu)化:可以無鎖訪問read map,而且會優(yōu)先操作read map,倘若只操作read map就可以滿足要求(增刪改查遍歷),那就不用去操作write map(它的讀寫都要加鎖),所以在某些特定場景中它發(fā)生鎖競爭的頻率會遠遠小于map+RWLock的實現(xiàn)方式。
golang中map是一個kv對集合。底層使用hash table,用鏈表來解決沖突 ,出現(xiàn)沖突時,不是每一個key都申請一個結(jié)構(gòu)通過鏈表串起來,而是以bmap為最小粒度掛載,一個bmap可以放8個kv。在哈希函數(shù)的選擇上,會在程序啟動時,檢測 cpu 是否支持 aes,如果支持,則使用 aes hash,否則使用 memhash。
map有3鐘初始化方式,一般通過make方式創(chuàng)建
map的創(chuàng)建通過生成匯編碼可以知道,make創(chuàng)建map時調(diào)用的底層函數(shù)是 runtime.makemap 。如果你的map初始容量小于等于8會發(fā)現(xiàn)走的是 runtime.fastrand 是因為容量小于8時不需要生成多個桶,一個桶的容量就可以滿足
makemap函數(shù)會通過 fastrand 創(chuàng)建一個隨機的哈希種子,然后根據(jù)傳入的 hint 計算出需要的最小需要的桶的數(shù)量,最后再使用 makeBucketArray 創(chuàng)建用于保存桶的數(shù)組,這個方法其實就是根據(jù)傳入的 B 計算出的需要創(chuàng)建的桶數(shù)量在內(nèi)存中分配一片連續(xù)的空間用于存儲數(shù)據(jù),在創(chuàng)建桶的過程中還會額外創(chuàng)建一些用于保存溢出數(shù)據(jù)的桶,數(shù)量是 2^(B-4) 個。初始化完成返回hmap指針。
找到一個 B,使得 map 的裝載因子在正常范圍內(nèi)
Go 語言中讀取 map 有兩種語法:帶 comma 和 不帶 comma。當要查詢的 key 不在 map 里,帶 comma 的用法會返回一個 bool 型變量提示 key 是否在 map 中;而不帶 comma 的語句則會返回一個 value 類型的零值。如果 value 是 int 型就會返回 0,如果 value 是 string 類型,就會返回空字符串。
map的查找通過生成匯編碼可以知道,根據(jù) key 的不同類型,編譯器會將查找函數(shù)用更具體的函數(shù)替換,以優(yōu)化效率:
函數(shù)首先會檢查 map 的標志位 flags。如果 flags 的寫標志位此時被置 1 了,說明有其他協(xié)程在執(zhí)行“寫”操作,進而導(dǎo)致程序 panic。這也說明了 map 對協(xié)程是不安全的。
key經(jīng)過哈希函數(shù)計算后,得到的哈希值如下(主流64位機下共 64 個 bit 位):
m: 桶的個數(shù)
從buckets 通過 hash m 得到對應(yīng)的bucket,如果bucket正在擴容,并且沒有擴容完成,則從oldbuckets得到對應(yīng)的bucket
計算hash所在桶編號:
用上一步哈希值最后的 5 個 bit 位,也就是 01010 ,值為 10,也就是 10 號桶(范圍是0~31號桶)
計算hash所在的槽位:
用上一步哈希值哈希值的高8個bit 位,也就是 10010111 ,轉(zhuǎn)化為十進制,也就是151,在 10 號 bucket 中尋找** tophash 值(HOB hash)為 151* 的 槽位**,即為key所在位置,找到了 2 號槽位,這樣整個查找過程就結(jié)束了。
如果在 bucket 中沒找到,并且 overflow 不為空,還要繼續(xù)去 overflow bucket 中尋找,直到找到或是所有的 key 槽位都找遍了,包括所有的 overflow bucket。
通過上面找到了對應(yīng)的槽位,這里我們再詳細分析下key/value值是如何獲取的:
bucket 里 key 的起始地址就是 unsafe.Pointer(b)+dataOffset。第 i 個 key 的地址就要在此基礎(chǔ)上跨過 i 個 key 的大小;而我們又知道,value 的地址是在所有 key 之后,因此第 i 個 value 的地址還需要加上所有 key 的偏移。
通過匯編語言可以看到,向 map 中插入或者修改 key,最終調(diào)用的是 mapassign 函數(shù)。
實際上插入或修改 key 的語法是一樣的,只不過前者操作的 key 在 map 中不存在,而后者操作的 key 存在 map 中。
mapassign 有一個系列的函數(shù),根據(jù) key 類型的不同,編譯器會將其優(yōu)化為相應(yīng)的“快速函數(shù)”。
我們只用研究最一般的賦值函數(shù) mapassign 。
map的賦值會附帶著map的擴容和遷移,map的擴容只是將底層數(shù)組擴大了一倍,并沒有進行數(shù)據(jù)的轉(zhuǎn)移,數(shù)據(jù)的轉(zhuǎn)移是在擴容后逐步進行的,在遷移的過程中每進行一次賦值(access或者delete)會至少做一次遷移工作。
1.判斷map是否為nil
每一次進行賦值/刪除操作時,只要oldbuckets != nil 則認為正在擴容,會做一次遷移工作,下面會詳細說下遷移過程
根據(jù)上面查找過程,查找key所在位置,如果找到則更新,沒找到則找空位插入即可
經(jīng)過前面迭代尋找動作,若沒有找到可插入的位置,意味著需要擴容進行插入,下面會詳細說下擴容過程
通過匯編語言可以看到,向 map 中刪除 key,最終調(diào)用的是 mapdelete 函數(shù)
刪除的邏輯相對比較簡單,大多函數(shù)在賦值操作中已經(jīng)用到過,核心還是找到 key 的具體位置。尋找過程都是類似的,在 bucket 中挨個 cell 尋找。找到對應(yīng)位置后,對 key 或者 value 進行“清零”操作,將 count 值減 1,將對應(yīng)位置的 tophash 值置成 Empty
再來說觸發(fā) map 擴容的時機:在向 map 插入新 key 的時候,會進行條件檢測,符合下面這 2 個條件,就會觸發(fā)擴容:
1、裝載因子超過閾值
源碼里定義的閾值是 6.5 (loadFactorNum/loadFactorDen),是經(jīng)過測試后取出的一個比較合理的因子
我們知道,每個 bucket 有 8 個空位,在沒有溢出,且所有的桶都裝滿了的情況下,裝載因子算出來的結(jié)果是 8。因此當裝載因子超過 6.5 時,表明很多 bucket 都快要裝滿了,查找效率和插入效率都變低了。在這個時候進行擴容是有必要的。
對于條件 1,元素太多,而 bucket 數(shù)量太少,很簡單:將 B 加 1,bucket 最大數(shù)量( 2^B )直接變成原來 bucket 數(shù)量的 2 倍。于是,就有新老 bucket 了。注意,這時候元素都在老 bucket 里,還沒遷移到新的 bucket 來。新 bucket 只是最大數(shù)量變?yōu)樵瓉碜畲髷?shù)量的 2 倍( 2^B * 2 ) 。
2、overflow 的 bucket 數(shù)量過多
在裝載因子比較小的情況下,這時候 map 的查找和插入效率也很低,而第 1 點識別不出來這種情況。表面現(xiàn)象就是計算裝載因子的分子比較小,即 map 里元素總數(shù)少,但是 bucket 數(shù)量多(真實分配的 bucket 數(shù)量多,包括大量的 overflow bucket)
不難想像造成這種情況的原因:不停地插入、刪除元素。先插入很多元素,導(dǎo)致創(chuàng)建了很多 bucket,但是裝載因子達不到第 1 點的臨界值,未觸發(fā)擴容來緩解這種情況。之后,刪除元素降低元素總數(shù)量,再插入很多元素,導(dǎo)致創(chuàng)建很多的 overflow bucket,但就是不會觸發(fā)第 1 點的規(guī)定,你能拿我怎么辦?overflow bucket 數(shù)量太多,導(dǎo)致 key 會很分散,查找插入效率低得嚇人,因此出臺第 2 點規(guī)定。這就像是一座空城,房子很多,但是住戶很少,都分散了,找起人來很困難
對于條件 2,其實元素沒那么多,但是 overflow bucket 數(shù)特別多,說明很多 bucket 都沒裝滿。解決辦法就是開辟一個新 bucket 空間,將老 bucket 中的元素移動到新 bucket,使得同一個 bucket 中的 key 排列地更緊密。這樣,原來,在 overflow bucket 中的 key 可以移動到 bucket 中來。結(jié)果是節(jié)省空間,提高 bucket 利用率,map 的查找和插入效率自然就會提升。
由于 map 擴容需要將原有的 key/value 重新搬遷到新的內(nèi)存地址,如果有大量的 key/value 需要搬遷,會非常影響性能。因此 Go map 的擴容采取了一種稱為“漸進式”的方式,原有的 key 并不會一次性搬遷完畢,每次最多只會搬遷 2 個 bucket。
上面說的 hashGrow() 函數(shù)實際上并沒有真正地“搬遷”,它只是分配好了新的 buckets,并將老的 buckets 掛到了 oldbuckets 字段上。真正搬遷 buckets 的動作在 growWork() 函數(shù)中,而調(diào)用 growWork() 函數(shù)的動作是在 mapassign 和 mapdelete 函數(shù)中。也就是插入或修改、刪除 key 的時候,都會嘗試進行搬遷 buckets 的工作。先檢查 oldbuckets 是否搬遷完畢,具體來說就是檢查 oldbuckets 是否為 nil。
如果未遷移完畢,賦值/刪除的時候,擴容完畢后(預(yù)分配內(nèi)存),不會馬上就進行遷移。而是采取 增量擴容 的方式,當有訪問到具體 bukcet 時,才會逐漸的進行遷移(將 oldbucket 遷移到 bucket)
nevacuate 標識的是當前的進度,如果都搬遷完,應(yīng)該和2^B的長度是一樣的
在evacuate 方法實現(xiàn)是把這個位置對應(yīng)的bucket,以及其沖突鏈上的數(shù)據(jù)都轉(zhuǎn)移到新的buckets上。
轉(zhuǎn)移的判斷直接通過tophash 就可以,判斷tophash中第一個hash值即可
遍歷的過程,就是按順序遍歷 bucket,同時按順序遍歷 bucket 中的 key。
map遍歷是無序的,如果想實現(xiàn)有序遍歷,可以先對key進行排序
為什么遍歷 map 是無序的?
如果發(fā)生過遷移,key 的位置發(fā)生了重大的變化,有些 key 飛上高枝,有些 key 則原地不動。這樣,遍歷 map 的結(jié)果就不可能按原來的順序了。
如果就一個寫死的 map,不會向 map 進行插入刪除的操作,按理說每次遍歷這樣的 map 都會返回一個固定順序的 key/value 序列吧。但是 Go 杜絕了這種做法,因為這樣會給新手程序員帶來誤解,以為這是一定會發(fā)生的事情,在某些情況下,可能會釀成大錯。
Go 做得更絕,當我們在遍歷 map 時,并不是固定地從 0 號 bucket 開始遍歷,每次都是從一個**隨機值序號的 bucket 開始遍歷,并且是從這個 bucket 的一個 隨機序號的 cell **開始遍歷。這樣,即使你是一個寫死的 map,僅僅只是遍歷它,也不太可能會返回一個固定序列的 key/value 對了。
Go語言也稱 Golang,兼具效率、性能、安全、健壯等特性。這套Go語言教程(Golang教程)通俗易懂,深入淺出,既適合沒有基礎(chǔ)的讀者快速入門,也適合工作多年的程序員查閱知識點。
Go 語言
這套教程在講解一些知識點時,將 Go 語言和其他多種語言進行對比,讓掌握其它編程語言的讀者能迅速理解 Go 語言的特性。Go語言從底層原生支持并發(fā),無須第三方庫、開發(fā)者的編程技巧和開發(fā)經(jīng)驗就可以輕松搞定。
Go語言(或 Golang)起源于 2007 年,并在 2009 年正式對外發(fā)布。Go 是非常年輕的一門語言,它的主要目標是“兼具 Python 等動態(tài)語言的開發(fā)速度和 C/C++ 等編譯型語言的性能與安全性”。
Go語言是編程語言設(shè)計的又一次嘗試,是對類C語言的重大改進,它不但能讓你訪問底層操作系統(tǒng),還提供了強大的網(wǎng)絡(luò)編程和并發(fā)編程支持。Go語言的用途眾多,可以進行網(wǎng)絡(luò)編程、系統(tǒng)編程、并發(fā)編程、分布式編程。
Go語言的推出,旨在不損失應(yīng)用程序性能的情況下降低代碼的復(fù)雜性,具有“部署簡單、并發(fā)性好、語言設(shè)計良好、執(zhí)行性能好”等優(yōu)勢,目前國內(nèi)諸多 IT 公司均已采用Go語言開發(fā)項目。Go語言有時候被描述為“C 類似語言”,或者是“21 世紀的C語言”。Go 從C語言繼承了相似的表達式語法、控制流結(jié)構(gòu)、基礎(chǔ)數(shù)據(jù)類型、調(diào)用參數(shù)傳值、指針等很多思想,還有C語言一直所看中的編譯后機器碼的運行效率以及和現(xiàn)有操作系統(tǒng)的無縫適配。
因為Go語言沒有類和繼承的概念,所以它和 Java 或 C++ 看起來并不相同。但是它通過接口(interface)的概念來實現(xiàn)多態(tài)性。Go語言有一個清晰易懂的輕量級類型系統(tǒng),在類型之間也沒有層級之說。因此可以說Go語言是一門混合型的語言。
此外,很多重要的開源項目都是使用Go語言開發(fā)的,其中包括 Docker、Go-Ethereum、Thrraform 和 Kubernetes。Go 是編譯型語言,Go 使用編譯器來編譯代碼。編譯器將源代碼編譯成二進制(或字節(jié)碼)格式;在編譯代碼時,編譯器檢查錯誤、優(yōu)化性能并輸出可在不同平臺上運行的二進制文件。要創(chuàng)建并運行 Go 程序,程序員必須執(zhí)行如下步驟。
使用文本編輯器創(chuàng)建 Go 程序;
保存文件;編譯程序;運行編譯得到的可執(zhí)行文件。
這不同于 Python、Ruby 和 JavaScript 等語言,它們不包含編譯步驟。Go 自帶了編譯器,因此無須單獨安裝編譯器。
鏈喬教育在線旗下學(xué)碩創(chuàng)新區(qū)塊鏈技術(shù)工作站是中國教育部學(xué)校規(guī)劃建設(shè)發(fā)展中心開展的“智慧學(xué)習工場2020-學(xué)碩創(chuàng)新工作站 ”唯一獲準的“區(qū)塊鏈技術(shù)專業(yè)”試點工作站。專業(yè)站立足為學(xué)生提供多樣化成長路徑,推進專業(yè)學(xué)位研究生產(chǎn)學(xué)研結(jié)合培養(yǎng)模式改革,構(gòu)建應(yīng)用型、復(fù)合型人才培養(yǎng)體系。
map 是Go語言中基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu),在日常的使用中經(jīng)常被用到。但是它底層是如何實現(xiàn)的呢?
總體來說golang的map是hashmap,是使用數(shù)組+鏈表的形式實現(xiàn)的,使用拉鏈法消除hash沖突。
golang的map由兩種重要的結(jié)構(gòu),hmap和bmap(下文中都有解釋),主要就是hmap中包含一個指向bmap數(shù)組的指針,key經(jīng)過hash函數(shù)之后得到一個數(shù),這個數(shù)低位用于選擇bmap(當作bmap數(shù)組指針的下表),高位用于放在bmap的[8]uint8數(shù)組中,用于快速試錯。然后一個bmap可以指向下一個bmap(拉鏈)。
Golang中map的底層實現(xiàn)是一個散列表,因此實現(xiàn)map的過程實際上就是實現(xiàn)散表的過程。在這個散列表中,主要出現(xiàn)的結(jié)構(gòu)體有兩個,一個叫 hmap (a header for a go map),一個叫 bmap (a bucket for a Go map,通常叫其bucket)。這兩種結(jié)構(gòu)的樣子分別如下所示:
hmap :
圖中有很多字段,但是便于理解map的架構(gòu),你只需要關(guān)心的只有一個,就是標紅的字段: buckets數(shù)組 。Golang的map中用于存儲的結(jié)構(gòu)是bucket數(shù)組。而bucket(即bmap)的結(jié)構(gòu)是怎樣的呢?
bucket :
相比于hmap,bucket的結(jié)構(gòu)顯得簡單一些,標紅的字段依然是“核心”,我們使用的map中的key和value就存儲在這里。“高位哈希值”數(shù)組記錄的是當前bucket中key相關(guān)的“索引”,稍后會詳細敘述。還有一個字段是一個指向擴容后的bucket的指針,使得bucket會形成一個鏈表結(jié)構(gòu)。例如下圖:
由此看出hmap和bucket的關(guān)系是這樣的:
而bucket又是一個鏈表,所以,整體的結(jié)構(gòu)應(yīng)該是這樣的:
哈希表的特點是會有一個哈希函數(shù),對你傳來的key進行哈希運算,得到唯一的值,一般情況下都是一個數(shù)值。Golang的map中也有這么一個哈希函數(shù),也會算出唯一的值,對于這個值的使用,Golang也是很有意思。
Golang把求得的值按照用途一分為二:高位和低位。
如圖所示,藍色為高位,紅色為低位。 然后低位用于尋找當前key屬于hmap中的哪個bucket,而高位用于尋找bucket中的哪個key。上文中提到:bucket中有個屬性字段是“高位哈希值”數(shù)組,這里存的就是藍色的高位值,用來聲明當前bucket中有哪些“key”,便于搜索查找。 需要特別指出的一點是:我們map中的key/value值都是存到同一個數(shù)組中的。數(shù)組中的順序是這樣的:
并不是key0/value0/key1/value1的形式,這樣做的好處是:在key和value的長度不同的時候,可 以消除padding(內(nèi)存對齊)帶來的空間浪費 。
現(xiàn)在,我們可以得到Go語言map的整個的結(jié)構(gòu)圖了:(hash結(jié)果的低位用于選擇把KV放在bmap數(shù)組中的哪一個bmap中,高位用于key的快速預(yù)覽,用于快速試錯)
map的擴容
當以上的哈希表增長的時候,Go語言會將bucket數(shù)組的數(shù)量擴充一倍,產(chǎn)生一個新的bucket數(shù)組,并將舊數(shù)組的數(shù)據(jù)遷移至新數(shù)組。
加載因子
判斷擴充的條件,就是哈希表中的加載因子(即loadFactor)。
加載因子是一個閾值,一般表示為:散列包含的元素數(shù) 除以 位置總數(shù)。是一種“產(chǎn)生沖突機會”和“空間使用”的平衡與折中:加載因子越小,說明空間空置率高,空間使用率小,但是加載因子越大,說明空間利用率上去了,但是“產(chǎn)生沖突機會”高了。
每種哈希表的都會有一個加載因子,數(shù)值超過加載因子就會為哈希表擴容。
Golang的map的加載因子的公式是:map長度 / 2^B(這是代表bmap數(shù)組的長度,B是取的低位的位數(shù))閾值是6.5。其中B可以理解為已擴容的次數(shù)。
當Go的map長度增長到大于加載因子所需的map長度時,Go語言就會將產(chǎn)生一個新的bucket數(shù)組,然后把舊的bucket數(shù)組移到一個屬性字段oldbucket中。注意:并不是立刻把舊的數(shù)組中的元素轉(zhuǎn)義到新的bucket當中,而是,只有當訪問到具體的某個bucket的時候,會把bucket中的數(shù)據(jù)轉(zhuǎn)移到新的bucket中。
如下圖所示:當擴容的時候,Go的map結(jié)構(gòu)體中,會保存舊的數(shù)據(jù),和新生成的數(shù)組
上面部分代表舊的有數(shù)據(jù)的bucket,下面部分代表新生成的新的bucket。藍色代表存有數(shù)據(jù)的bucket,橘黃色代表空的bucket。
擴容時map并不會立即把新數(shù)據(jù)做遷移,而是當訪問原來舊bucket的數(shù)據(jù)的時候,才把舊數(shù)據(jù)做遷移,如下圖:
注意:這里并不會直接刪除舊的bucket,而是把原來的引用去掉,利用GC清除內(nèi)存。
map中數(shù)據(jù)的刪除
如果理解了map的整體結(jié)構(gòu),那么查找、更新、刪除的基本步驟應(yīng)該都很清楚了。這里不再贅述。
值得注意的是,找到了map中的數(shù)據(jù)之后,針對key和value分別做如下操作:
1
2
3
4
1、如果``key``是一個指針類型的,則直接將其置為空,等待GC清除;
2、如果是值類型的,則清除相關(guān)內(nèi)存。
3、同理,對``value``做相同的操作。
4、最后把key對應(yīng)的高位值對應(yīng)的數(shù)組index置為空。