編寫過(guò)C語(yǔ)言程序的肯定知道通過(guò)malloc()方法動(dòng)態(tài)申請(qǐng)內(nèi)存，其中內(nèi)存分配器使用的是glibc提供的ptmalloc2。 除了glibc，業(yè)界比較出名的內(nèi)存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免內(nèi)存碎片和性能上均比glic有比較大的優(yōu)勢(shì)，在多線程環(huán)境中效果更明顯。
創(chuàng)新互聯(lián)公司專注于杏花嶺企業(yè)網(wǎng)站建設(shè),自適應(yīng)網(wǎng)站建設(shè),成都做商城網(wǎng)站。杏花嶺網(wǎng)站建設(shè)公司,為杏花嶺等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站開(kāi)發(fā)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)
Golang中也實(shí)現(xiàn)了內(nèi)存分配器，原理與tcmalloc類似，簡(jiǎn)單的說(shuō)就是維護(hù)一塊大的全局內(nèi)存，每個(gè)線程(Golang中為P)維護(hù)一塊小的私有內(nèi)存，私有內(nèi)存不足再?gòu)娜稚暾?qǐng)。另外，內(nèi)存分配與GC（垃圾回收）關(guān)系密切，所以了解GC前有必要了解內(nèi)存分配的原理。
為了方便自主管理內(nèi)存，做法便是先向系統(tǒng)申請(qǐng)一塊內(nèi)存，然后將內(nèi)存切割成小塊，通過(guò)一定的內(nèi)存分配算法管理內(nèi)存。 以64位系統(tǒng)為例，Golang程序啟動(dòng)時(shí)會(huì)向系統(tǒng)申請(qǐng)的內(nèi)存如下圖所示：
預(yù)申請(qǐng)的內(nèi)存劃分為spans、bitmap、arena三部分。其中arena即為所謂的堆區(qū)，應(yīng)用中需要的內(nèi)存從這里分配。其中spans和bitmap是為了管理arena區(qū)而存在的。
arena的大小為512G，為了方便管理把a(bǔ)rena區(qū)域劃分成一個(gè)個(gè)的page，每個(gè)page為8KB,一共有512GB/8KB個(gè)頁(yè)；
spans區(qū)域存放span的指針，每個(gè)指針對(duì)應(yīng)一個(gè)page，所以span區(qū)域的大小為(512GB/8KB)乘以指針大小8byte = 512M
bitmap區(qū)域大小也是通過(guò)arena計(jì)算出來(lái)，不過(guò)主要用于GC。
span是用于管理arena頁(yè)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，每個(gè)span中包含1個(gè)或多個(gè)連續(xù)頁(yè)，為了滿足小對(duì)象分配，span中的一頁(yè)會(huì)劃分更小的粒度，而對(duì)于大對(duì)象比如超過(guò)頁(yè)大小，則通過(guò)多頁(yè)實(shí)現(xiàn)。
根據(jù)對(duì)象大小，劃分了一系列class，每個(gè)class都代表一個(gè)固定大小的對(duì)象，以及每個(gè)span的大小。如下表所示：
上表中每列含義如下：
class： class ID，每個(gè)span結(jié)構(gòu)中都有一個(gè)class ID, 表示該span可處理的對(duì)象類型
bytes/obj：該class代表對(duì)象的字節(jié)數(shù)
bytes/span：每個(gè)span占用堆的字節(jié)數(shù)，也即頁(yè)數(shù)乘以頁(yè)大小
objects: 每個(gè)span可分配的對(duì)象個(gè)數(shù)，也即（bytes/spans）/（bytes/obj）waste
bytes: 每個(gè)span產(chǎn)生的內(nèi)存碎片，也即（bytes/spans）%（bytes/obj）上表可見(jiàn)最大的對(duì)象是32K大小，超過(guò)32K大小的由特殊的class表示，該class ID為0，每個(gè)class只包含一個(gè)對(duì)象。
span是內(nèi)存管理的基本單位,每個(gè)span用于管理特定的class對(duì)象, 跟據(jù)對(duì)象大小，span將一個(gè)或多個(gè)頁(yè)拆分成多個(gè)塊進(jìn)行管理。src/runtime/mheap.go:mspan定義了其數(shù)據(jù)結(jié)構(gòu)：
以class 10為例，span和管理的內(nèi)存如下圖所示：
spanclass為10，參照class表可得出npages=1,nelems=56,elemsize為144。其中startAddr是在span初始化時(shí)就指定了某個(gè)頁(yè)的地址。allocBits指向一個(gè)位圖，每位代表一個(gè)塊是否被分配，本例中有兩個(gè)塊已經(jīng)被分配，其allocCount也為2。next和prev用于將多個(gè)span鏈接起來(lái)，這有利于管理多個(gè)span，接下來(lái)會(huì)進(jìn)行說(shuō)明。
有了管理內(nèi)存的基本單位span，還要有個(gè)數(shù)據(jù)結(jié)構(gòu)來(lái)管理span，這個(gè)數(shù)據(jù)結(jié)構(gòu)叫mcentral，各線程需要內(nèi)存時(shí)從mcentral管理的span中申請(qǐng)內(nèi)存，為了避免多線程申請(qǐng)內(nèi)存時(shí)不斷的加鎖，Golang為每個(gè)線程分配了span的緩存，這個(gè)緩存即是cache。src/runtime/mcache.go:mcache定義了cache的數(shù)據(jù)結(jié)構(gòu)
alloc為mspan的指針數(shù)組，數(shù)組大小為class總數(shù)的2倍。數(shù)組中每個(gè)元素代表了一種class類型的span列表，每種class類型都有兩組span列表，第一組列表中所表示的對(duì)象中包含了指針，第二組列表中所表示的對(duì)象不含有指針，這么做是為了提高GC掃描性能，對(duì)于不包含指針的span列表，沒(méi)必要去掃描。根據(jù)對(duì)象是否包含指針，將對(duì)象分為noscan和scan兩類，其中noscan代表沒(méi)有指針，而scan則代表有指針，需要GC進(jìn)行掃描。mcache和span的對(duì)應(yīng)關(guān)系如下圖所示：
mchache在初始化時(shí)是沒(méi)有任何span的，在使用過(guò)程中會(huì)動(dòng)態(tài)的從central中獲取并緩存下來(lái)，跟據(jù)使用情況，每種class的span個(gè)數(shù)也不相同。上圖所示，class 0的span數(shù)比class1的要多，說(shuō)明本線程中分配的小對(duì)象要多一些。
cache作為線程的私有資源為單個(gè)線程服務(wù)，而central則是全局資源，為多個(gè)線程服務(wù)，當(dāng)某個(gè)線程內(nèi)存不足時(shí)會(huì)向central申請(qǐng)，當(dāng)某個(gè)線程釋放內(nèi)存時(shí)又會(huì)回收進(jìn)central。src/runtime/mcentral.go:mcentral定義了central數(shù)據(jù)結(jié)構(gòu)：
lock: 線程間互斥鎖，防止多線程讀寫沖突
spanclass : 每個(gè)mcentral管理著一組有相同class的span列表
nonempty: 指還有內(nèi)存可用的span列表
empty: 指沒(méi)有內(nèi)存可用的span列表
nmalloc: 指累計(jì)分配的對(duì)象個(gè)數(shù)線程從central獲取span步驟如下：
將span歸還步驟如下：
從mcentral數(shù)據(jù)結(jié)構(gòu)可見(jiàn)，每個(gè)mcentral對(duì)象只管理特定的class規(guī)格的span。事實(shí)上每種class都會(huì)對(duì)應(yīng)一個(gè)mcentral,這個(gè)mcentral的集合存放于mheap數(shù)據(jù)結(jié)構(gòu)中。src/runtime/mheap.go:mheap定義了heap的數(shù)據(jù)結(jié)構(gòu)：
lock： 互斥鎖
spans: 指向spans區(qū)域，用于映射span和page的關(guān)系
bitmap：bitmap的起始地址
arena_start: arena區(qū)域首地址
arena_used: 當(dāng)前arena已使用區(qū)域的最大地址
central: 每種class對(duì)應(yīng)的兩個(gè)mcentral
從數(shù)據(jù)結(jié)構(gòu)可見(jiàn)，mheap管理著全部的內(nèi)存，事實(shí)上Golang就是通過(guò)一個(gè)mheap類型的全局變量進(jìn)行內(nèi)存管理的。mheap內(nèi)存管理示意圖如下：
系統(tǒng)預(yù)分配的內(nèi)存分為spans、bitmap、arean三個(gè)區(qū)域，通過(guò)mheap管理起來(lái)。接下來(lái)看內(nèi)存分配過(guò)程。
針對(duì)待分配對(duì)象的大小不同有不同的分配邏輯：
(0, 16B) 且不包含指針的對(duì)象： Tiny分配
(0, 16B) 包含指針的對(duì)象：正常分配
[16B, 32KB] : 正常分配
(32KB, -) : 大對(duì)象分配其中Tiny分配和大對(duì)象分配都屬于內(nèi)存管理的優(yōu)化范疇，這里暫時(shí)僅關(guān)注一般的分配方法。
以申請(qǐng)size為n的內(nèi)存為例，分配步驟如下：
Golang內(nèi)存分配是個(gè)相當(dāng)復(fù)雜的過(guò)程，其中還摻雜了GC的處理，這里僅僅對(duì)其關(guān)鍵數(shù)據(jù)結(jié)構(gòu)進(jìn)行了說(shuō)明，了解其原理而又不至于深陷實(shí)現(xiàn)細(xì)節(jié)。1、Golang程序啟動(dòng)時(shí)申請(qǐng)一大塊內(nèi)存并劃分成spans、bitmap、arena區(qū)域
2、arena區(qū)域按頁(yè)劃分成一個(gè)個(gè)小塊。
3、span管理一個(gè)或多個(gè)頁(yè)。
4、mcentral管理多個(gè)span供線程申請(qǐng)使用
5、mcache作為線程私有資源，資源來(lái)源于mcentral。
Go 語(yǔ)言是靜態(tài)類型語(yǔ)言，雖然它也可以表現(xiàn)出動(dòng)態(tài)類型，但是使用一個(gè)嵌套的 map[string]interface{} 在那里亂叫會(huì)讓代碼變得特別丑。通過(guò)掌握語(yǔ)言的靜態(tài)特性，我們可以做的更好。
通過(guò)同一通道交換多種信息的時(shí)候，我們經(jīng)常需要 JSON 具有動(dòng)態(tài)的，或者更合適的參數(shù)內(nèi)容。首先，讓我們來(lái)討論一下消息封裝(message envelopes)，JSON 在這里看起來(lái)就像這樣：
通過(guò) interface{}，我們可以很容易的將數(shù)據(jù)結(jié)構(gòu)編碼成為獨(dú)立封裝的，具有多種類型的消息體的 JSON 數(shù)據(jù)。為了生成下面的 JSON ：
我們可以使用這些 Go 類型：
輸出的結(jié)果是：
這些并沒(méi)有什么特殊的。
如果你想將上面的 JSON 對(duì)象解析成為一個(gè) Envelope 類型的對(duì)象，最終你會(huì)將 Msg 字段解析成為一個(gè) map[string]interface{}。 這種方式不是很好用，會(huì)使你后悔你的選擇。
輸出：
就像前面說(shuō)的，我推薦修改 Envelope 類型，就像這樣：
json.RawMessage 非常有用，它可以讓你延遲解析相應(yīng)的 JSON 數(shù)據(jù)。它會(huì)將未處理的數(shù)據(jù)存儲(chǔ)為 []byte。
這種方式可以讓你顯式控制 Msg 的解析。從而延遲到獲取到 Type 的值之后，依據(jù) Type 的值進(jìn)行解析。這種方式不好的地方在于你需要先明確解析 Msg，或者你需要單獨(dú)分為 EnvelopeIn 和 EnvelopeOut 兩種類型，其中 EnvelopeOut 仍然有 Msg interface{}。
那么如何將上述兩者好的一面結(jié)合起來(lái)呢？通過(guò)在 interface{} 字段中放入 *json.RawMessage!
輸出：
雖然我極其推薦你將動(dòng)態(tài)可變的部分放在一個(gè)單獨(dú)的 key 下面，但是有時(shí)你可能需要處理一些預(yù)先存在的數(shù)據(jù)，它們并沒(méi)有用這樣的方式進(jìn)行格式化。
如果可以的話，請(qǐng)使用文章前面提到的風(fēng)格。
我們可以通過(guò)解析兩次數(shù)據(jù)的方式來(lái)解決。
dynamite
1、服務(wù)器編程：以前你如果使用C或者C++做的那些事情，用Go來(lái)做很合適，例如處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)等。
2、分布式系統(tǒng)、數(shù)據(jù)庫(kù)代理器、中間件：例如Etcd。
3、網(wǎng)絡(luò)編程：這一塊目前應(yīng)用最廣，包括Web應(yīng)用、API應(yīng)用、下載應(yīng)用，而且Go內(nèi)置的net/http包基本上把我們平常用到的網(wǎng)絡(luò)功能都實(shí)現(xiàn)了。
4、開(kāi)發(fā)云平臺(tái)：目前國(guó)外很多云平臺(tái)在采用Go開(kāi)發(fā)，我們所熟知的七牛云、華為云等等都有使用Go進(jìn)行開(kāi)發(fā)并且開(kāi)源的成型的產(chǎn)品。
5、區(qū)塊鏈：目前有一種說(shuō)法，技術(shù)從業(yè)人員把Go語(yǔ)言稱作為區(qū)塊鏈行業(yè)的開(kāi)發(fā)語(yǔ)言。如果大家學(xué)習(xí)區(qū)塊鏈技術(shù)的話，就會(huì)發(fā)現(xiàn)現(xiàn)在有很多很多的區(qū)塊鏈的系統(tǒng)和應(yīng)用都是采用Go進(jìn)行開(kāi)發(fā)的，比如ehtereum是目前知名度最大的公鏈，再比如fabric是目前最知名的聯(lián)盟鏈，兩者都有g(shù)o語(yǔ)言的版本，且go-ehtereum還是以太坊官方推薦的版本。
自1.0版發(fā)布以來(lái)，go語(yǔ)言引起了眾多開(kāi)發(fā)者的關(guān)注，并得到了廣泛的應(yīng)用。go語(yǔ)言簡(jiǎn)單、高效、并發(fā)的特點(diǎn)吸引了許多傳統(tǒng)的語(yǔ)言開(kāi)發(fā)人員，其數(shù)量也在不斷增加。
使用 Go 語(yǔ)言開(kāi)發(fā)的開(kāi)源項(xiàng)目非常多。早期的 Go 語(yǔ)言開(kāi)源項(xiàng)目只是通過(guò) Go 語(yǔ)言與傳統(tǒng)項(xiàng)目進(jìn)行C語(yǔ)言庫(kù)綁定實(shí)現(xiàn)，例如 Qt、Sqlite 等。
后期的很多項(xiàng)目都使用 Go 語(yǔ)言進(jìn)行重新原生實(shí)現(xiàn)，這個(gè)過(guò)程相對(duì)于其他語(yǔ)言要簡(jiǎn)單一些，這也促成了大量使用 Go 語(yǔ)言原生開(kāi)發(fā)項(xiàng)目的出現(xiàn)。
三次握手：
1. 主動(dòng)發(fā)起連接請(qǐng)求端（客戶端），發(fā)送 SYN 標(biāo)志位，攜帶數(shù)據(jù)包、包號(hào)
2. 被動(dòng)接收連接請(qǐng)求端（服務(wù)器），接收 SYN，回復(fù) ACK，攜帶應(yīng)答序列號(hào)。同時(shí)，發(fā)送SYN標(biāo)志位，攜帶數(shù)據(jù)包、包號(hào)
3. 主動(dòng)發(fā)起連接請(qǐng)求端（客戶端），接收SYN 標(biāo)志位，回復(fù) ACK。
被動(dòng)端（服務(wù)器）接收 ACK —— 標(biāo)志著 三次握手建立完成（ Accept()/Dial() 返回 ）
四次揮手：
1. 主動(dòng)請(qǐng)求斷開(kāi)連接端（客戶端）， 發(fā)送 FIN標(biāo)志，攜帶數(shù)據(jù)包
2. 被動(dòng)接受斷開(kāi)連接端（服務(wù)器）， 發(fā)送 ACK標(biāo)志，攜帶應(yīng)答序列號(hào)。 —— 半關(guān)閉完成。
3. 被動(dòng)接受斷開(kāi)連接端（服務(wù)器）， 發(fā)送 FIN標(biāo)志，攜帶數(shù)據(jù)包
4. 主動(dòng)請(qǐng)求斷開(kāi)連接端（客戶端）， 發(fā)送 最后一個(gè) ACK標(biāo)志，攜帶應(yīng)答序列號(hào)?！?發(fā)送完成，客戶端不會(huì)直接退出，等 2MSL時(shí)長(zhǎng)。
等 2MSL待目的：確保服務(wù)器 收到最后一個(gè)ACK
滑動(dòng)窗口：
通知對(duì)端本地存儲(chǔ)數(shù)據(jù)的 緩沖區(qū)容量。—— write 函數(shù)在對(duì)端 緩沖區(qū)滿時(shí)，有可能阻塞。
TCP狀態(tài)轉(zhuǎn)換：
1. 主動(dòng)發(fā)起連接請(qǐng)求端：
CLOSED —— 發(fā)送SYN —— SYN_SENT(了解) —— 接收ACK、SYN，回發(fā) ACK —— ESTABLISHED (數(shù)據(jù)通信)
2. 主動(dòng)關(guān)閉連接請(qǐng)求端：
ESTABLISHED —— 發(fā)送FIN —— FIN_WAIT_1 —— 接收ACK —— FIN_WAIT_2 (半關(guān)閉、主動(dòng)端)
—— 接收FIN、回復(fù)ACK —— TIME_WAIT (主動(dòng)端) —— 等 2MSL 時(shí)長(zhǎng) —— CLOSED
3. 被動(dòng)建立連接請(qǐng)求端：
CLOSED —— LISTEN —— 接收SYN、發(fā)送ACK、SYN —— SYN_RCVD —— 接收 ACK —— ESTABLISHED (數(shù)據(jù)通信)
4. 被動(dòng)斷開(kāi)連接請(qǐng)求端：
ESTABLISHED —— 接收 FIN、發(fā)送 ACK —— CLOSE_WAIT —— 發(fā)送 FIN —— LAST_ACK —— 接收ACK —— CLOSED
windows下查看TCP狀態(tài)轉(zhuǎn)換：
netstat -an | findstr? 端口號(hào)
Linux下查看TCP狀態(tài)轉(zhuǎn)換：
netstat -an | grep? 端口號(hào)
TCP和UDP對(duì)比:?
TCP: 面向連接的可靠的數(shù)據(jù)包傳遞。 針對(duì)不穩(wěn)定的 網(wǎng)絡(luò)層，完全彌補(bǔ)。ACK
UDP：無(wú)連接不可靠的報(bào)文傳輸。 針對(duì)不穩(wěn)定的 網(wǎng)絡(luò)層，完全不彌補(bǔ)。還原網(wǎng)絡(luò)真實(shí)狀態(tài)。
優(yōu)點(diǎn)???????????????????????????????????????????????????????????? 缺點(diǎn)
TCP： 可靠、順序、穩(wěn)定 ???????????????????????????????????? 系統(tǒng)資源消耗大，程序?qū)崿F(xiàn)繁復(fù)、速度慢
UDP：系統(tǒng)資源消耗小，程序?qū)崿F(xiàn)簡(jiǎn)單、速度快 ???????????????????????? 不可靠、無(wú)序、不穩(wěn)定
使用場(chǎng)景：
TCP：大文件、可靠數(shù)據(jù)傳輸。 對(duì)數(shù)據(jù)的 穩(wěn)定性、準(zhǔn)確性、一致性要求較高的場(chǎng)合。
UDP：應(yīng)用于對(duì)數(shù)據(jù)時(shí)效性要求較高的場(chǎng)合。 網(wǎng)絡(luò)直播、電話會(huì)議、視頻直播、網(wǎng)絡(luò)游戲。
UDP-CS-Server實(shí)現(xiàn)流程：
1.? 創(chuàng)建 udp地址結(jié)構(gòu) ResolveUDPAddr(“協(xié)議”， “IP：port”) —— udpAddr 本質(zhì) struct{IP、port}
2.? 創(chuàng)建用于 數(shù)據(jù)通信的 socket ListenUDP(“協(xié)議”, udpAddr ) —— udpConn (socket)
3.? 從客戶端讀取數(shù)據(jù)，獲取對(duì)端的地址 udpConn.ReadFromUDP() —— 返回：n，clientAddr， err
4.? 發(fā)送數(shù)據(jù)包給 客戶端 udpConn.WriteToUDP("數(shù)據(jù)"， clientAddr)
UDP-CS-Client實(shí)現(xiàn)流程：
1.? 創(chuàng)建用于通信的 socket。 net.Dial("udp", "服務(wù)器IP：port") —— udpConn (socket)
2.? 以后流程參見(jiàn) TCP客戶端實(shí)現(xiàn)源碼。
UDPserver默認(rèn)就支持并發(fā)！
------------------------------------
命令行參數(shù)： 在main函數(shù)啟動(dòng)時(shí)，向整個(gè)程序傳參。 【重點(diǎn)】
語(yǔ)法： go run xxx.go ? argv1 argv2? argv3? argv4 。。。
xxx.exe:? 第 0 個(gè)參數(shù)。
argv1 ：第 1 個(gè)參數(shù)。
argv2 ：第 2 個(gè)參數(shù)。
argv3 ：第 3 個(gè)參數(shù)。
argv4 ：第 4 個(gè)參數(shù)。
使用： list := os.Args? 提取所有命令行參數(shù)。
獲取文件屬性函數(shù)：
os.stat(文件訪問(wèn)絕對(duì)路徑) —— fileInfo 接口
fileInfo 包含 兩個(gè)接口。
Name() 獲取文件名。 不帶訪問(wèn)路徑
Size() 獲取文件大小。
網(wǎng)絡(luò)文件傳輸 —— 發(fā)送端（客戶端）
1.? 獲取命令行參數(shù)，得到文件名（帶路徑）filePath list := os.Args
2.? 使用 os.stat() 獲取 文件名（不帶路徑）fileName
3.? 創(chuàng)建 用于數(shù)據(jù)傳輸?shù)?socket? net.Dial("tcp"， “服務(wù)器IP+port”) —— conn
4.? 發(fā)送文件名(不帶路徑)? 給接收端， conn.write()
5.? 讀取 接收端回發(fā)“ok”，判斷無(wú)誤。封裝函數(shù) sendFile(filePath, conn) 發(fā)送文件內(nèi)容
6.? 實(shí)現(xiàn) sendFile(filePath,? conn)
1) 只讀打開(kāi)文件 os.Open(filePath)
for {
2) 從文件中讀數(shù)據(jù)? f.Read(buf)
3) 將讀到的數(shù)據(jù)寫到socket中? conn.write(buf[:n])
4）判斷讀取文件的 結(jié)尾。 io.EOF. 跳出循環(huán)
}
網(wǎng)絡(luò)文件傳輸 —— 接收端（服務(wù)器）
1. 創(chuàng)建用于監(jiān)聽(tīng)的 socket net.Listen() —— listener
2. 借助listener 創(chuàng)建用于 通信的 socket listener.Accpet()? —— conn
3. 讀取 conn.read() 發(fā)送端的 文件名， 保存至本地。
4. 回發(fā) “ok”應(yīng)答 發(fā)送端。
5. 封裝函數(shù)，接收文件內(nèi)容 recvFile(文件路徑)
1) f = os.Create(帶有路徑的文件名)
for {
2）從 socket中讀取發(fā)送端發(fā)送的 文件內(nèi)容 。 conn.read(buf)
3)? 將讀到的數(shù)據(jù) 保存至本地文件 f.Write(buf[:n])
4)? 判斷 讀取conn 結(jié)束， 代表文件傳輸完成。 n == 0? break
}
重慶分公司
重慶分公司
