Go語言中恰到好處的內(nèi)存對(duì)齊

在開始之前，希望你計(jì)算一下 Part1 共占用的大小是多少呢？

為同德等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及同德網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作、同德網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

輸出結(jié)果：

這么一算， Part1 這一個(gè)結(jié)構(gòu)體的占用內(nèi)存大小為 1+4+1+8+1 = 15 個(gè)字節(jié)。相信有的小伙伴是這么算的，看上去也沒什么毛病

真實(shí)情況是怎么樣的呢？我們實(shí)際調(diào)用看看，如下：

輸出結(jié)果：

最終輸出為占用 32 個(gè)字節(jié)。這與前面所預(yù)期的結(jié)果完全不一樣。這充分地說明了先前的計(jì)算方式是錯(cuò)誤的。為什么呢？

在這里要提到 “內(nèi)存對(duì)齊” 這一概念，才能夠用正確的姿勢(shì)去計(jì)算，接下來我們?cè)敿?xì)的講講它是什么

有的小伙伴可能會(huì)認(rèn)為內(nèi)存讀取，就是一個(gè)簡(jiǎn)單的字節(jié)數(shù)組擺放

上圖表示一個(gè)坑一個(gè)蘿卜的內(nèi)存讀取方式。但實(shí)際上 CPU 并不會(huì)以一個(gè)一個(gè)字節(jié)去讀取和寫入內(nèi)存。相反 CPU 讀取內(nèi)存是 一塊一塊讀取 的，塊的大小可以為 2、4、6、8、16 字節(jié)等大小。塊大小我們稱其為 內(nèi)存訪問粒度 。如下圖：

在樣例中，假設(shè)訪問粒度為 4。 CPU 是以每 4 個(gè)字節(jié)大小的訪問粒度去讀取和寫入內(nèi)存的。這才是正確的姿勢(shì)

另外作為一個(gè)工程師，你也很有必要學(xué)習(xí)這塊知識(shí)點(diǎn)哦 :)

在上圖中，假設(shè)從 Index 1 開始讀取，將會(huì)出現(xiàn)很崩潰的問題。因?yàn)樗膬?nèi)存訪問邊界是不對(duì)齊的。因此 CPU 會(huì)做一些額外的處理工作。如下：

從上述流程可得出，不做 “內(nèi)存對(duì)齊” 是一件有點(diǎn) "麻煩" 的事。因?yàn)樗鼤?huì)增加許多耗費(fèi)時(shí)間的動(dòng)作

而假設(shè)做了內(nèi)存對(duì)齊，從 Index 0 開始讀取 4 個(gè)字節(jié)，只需要讀取一次，也不需要額外的運(yùn)算。這顯然高效很多，是標(biāo)準(zhǔn)的 空間換時(shí)間 做法

在不同平臺(tái)上的編譯器都有自己默認(rèn)的 “對(duì)齊系數(shù)”，可通過預(yù)編譯命令 #pragma pack(n) 進(jìn)行變更，n 就是代指 “對(duì)齊系數(shù)”。一般來講，我們常用的平臺(tái)的系數(shù)如下：

另外要注意，不同硬件平臺(tái)占用的大小和對(duì)齊值都可能是不一樣的。因此本文的值不是唯一的，調(diào)試的時(shí)候需按本機(jī)的實(shí)際情況考慮

輸出結(jié)果：

在 Go 中可以調(diào)用 unsafe.Alignof 來返回相應(yīng)類型的對(duì)齊系數(shù)。通過觀察輸出結(jié)果，可得知基本都是 2^n ，最大也不會(huì)超過 8。這是因?yàn)槲沂痔幔?4 位）編譯器默認(rèn)對(duì)齊系數(shù)是 8，因此最大值不會(huì)超過這個(gè)數(shù)

在上小節(jié)中，提到了結(jié)構(gòu)體中的成員變量要做字節(jié)對(duì)齊。那么想當(dāng)然身為最終結(jié)果的結(jié)構(gòu)體，也是需要做字節(jié)對(duì)齊的

接下來我們一起分析一下，“它” 到底經(jīng)歷了些什么，影響了 “預(yù)期” 結(jié)果

在每個(gè)成員變量進(jìn)行對(duì)齊后，根據(jù)規(guī)則 2，整個(gè)結(jié)構(gòu)體本身也要進(jìn)行字節(jié)對(duì)齊，因?yàn)榭砂l(fā)現(xiàn)它可能并不是 2^n ，不是偶數(shù)倍。顯然不符合對(duì)齊的規(guī)則

根據(jù)規(guī)則 2，可得出對(duì)齊值為 8?，F(xiàn)在的偏移量為 25，不是 8 的整倍數(shù)。因此確定偏移量為 32。對(duì)結(jié)構(gòu)體進(jìn)行對(duì)齊

Part1 內(nèi)存布局：axxx|bbbb|cxxx|xxxx|dddd|dddd|exxx|xxxx

通過本節(jié)的分析，可得知先前的 “推算” 為什么錯(cuò)誤？

是因?yàn)閷?shí)際內(nèi)存管理并非 “一個(gè)蘿卜一個(gè)坑” 的思想。而是一塊一塊。通過空間換時(shí)間（效率）的思想來完成這塊讀取、寫入。另外也需要兼顧不同平臺(tái)的內(nèi)存操作情況

在上一小節(jié)，可得知根據(jù)成員變量的類型不同，其結(jié)構(gòu)體的內(nèi)存會(huì)產(chǎn)生對(duì)齊等動(dòng)作。那假設(shè)字段順序不同，會(huì)不會(huì)有什么變化呢？我們一起來試試吧 :-)

輸出結(jié)果：

通過結(jié)果可以驚喜的發(fā)現(xiàn)，只是 “簡(jiǎn)單” 對(duì)成員變量的字段順序進(jìn)行改變，就改變了結(jié)構(gòu)體占用大小

接下來我們一起剖析一下 Part2 ，看看它的內(nèi)部到底和上一位之間有什么區(qū)別，才導(dǎo)致了這樣的結(jié)果？

符合規(guī)則 2，不需要額外對(duì)齊

Part2 內(nèi)存布局：ecax|bbbb|dddd|dddd

通過對(duì)比 Part1 和 Part2 的內(nèi)存布局，你會(huì)發(fā)現(xiàn)兩者有很大的不同。如下：

仔細(xì)一看， Part1 存在許多 Padding。顯然它占據(jù)了不少空間，那么 Padding 是怎么出現(xiàn)的呢？

通過本文的介紹，可得知是由于不同類型導(dǎo)致需要進(jìn)行字節(jié)對(duì)齊，以此保證內(nèi)存的訪問邊界

那么也不難理解，為什么 調(diào)整結(jié)構(gòu)體內(nèi)成員變量的字段順序 就能達(dá)到縮小結(jié)構(gòu)體占用大小的疑問了，是因?yàn)榍擅畹販p少了 Padding 的存在。讓它們更 “緊湊” 了。這一點(diǎn)對(duì)于加深 Go 的內(nèi)存布局印象和大對(duì)象的優(yōu)化非常有幫

golang 結(jié)構(gòu)體 字節(jié)對(duì)齊是怎么樣的

用golang解析二進(jìn)制協(xié)議時(shí)，其實(shí)沒必要管結(jié)構(gòu)體的字段的對(duì)齊規(guī)則，何況語言規(guī)范也沒有規(guī)定如何對(duì)齊，也就是沒有規(guī)則。用encoding/binary.Read函數(shù)直接讀入struct里就行，struct就像c那樣寫

type Data struct {

Size, MsgType uint16

Sequence uint32

// ...

}

golang編譯器加不加padding，Read都能正常工作，runtime知道Data的布局的，不像C直接做cast所以要知道怎樣對(duì)齊。

用unsafe.Alignof可以知道每個(gè)field的對(duì)齊長度，但沒必要用到。

package main

/*

#include stdint.h

#pragma pack(push, 1)

typedef struct {

uint16_t size;

uint16_t msgtype;

uint32_t sequnce;

uint8_t data1;

uint32_t data2;

uint16_t data3;

} mydata;

#pragma pack(pop)

mydata foo = {

1, 2, 3, 4, 5, 6,

};

int size() {

return sizeof(mydata);

}

*/

import "C"

import (

"bytes"

"encoding/binary"

"fmt"

"log"

"unsafe"

)

func main() {

bs := C.GoBytes(unsafe.Pointer(C.foo), C.size())

fmt.Printf("len %d data %v\n", len(bs), bs)

var data struct {

Size, Msytype uint16

Sequence uint32

Data1 uint8

Data2 uint32

Data3 uint16

}

err := binary.Read(bytes.NewReader(bs), binary.LittleEndian, data)

if err != nil {

log.Fatal(err)

}

fmt.Printf("%v\n", data) // {1 2 3 4 5 6}

buf := new(bytes.Buffer)

binary.Write(buf, binary.BigEndian, data)

fmt.Printf("%d %v\n", buf.Len(), buf.Bytes()) // 15 [0 1 0 2 0 0 0 3 4 0 0 0 5 0 6]

}

int大小和字節(jié)對(duì)齊

int大小不論是在64位機(jī)還是32位機(jī)上都是4字節(jié)大小

這個(gè)和golang是不一樣的

另c/c++默認(rèn)是最大字節(jié)對(duì)齊的，sizeof(A) == 16，但是sizeof(int) == 4，可見是8字節(jié)對(duì)齊的。

使用 #param pack(1)單字節(jié)對(duì)齊，sizeof(A) == 12，可見虛表指針大小是8字節(jié)。