為什么要學(xué)習(xí)go語(yǔ)言

go語(yǔ)言是Google開(kāi)發(fā)的新語(yǔ)言，它的創(chuàng)造者之一是c語(yǔ)言的創(chuàng)造者，go語(yǔ)言編譯速度快，運(yùn)行效率高，并且語(yǔ)言本身內(nèi)置多線程機(jī)制，特別適合多線程高并發(fā)的場(chǎng)景，YouTube網(wǎng)站的后端全部有g(shù)o語(yǔ)言實(shí)現(xiàn)，go語(yǔ)言也是Google內(nèi)部高并發(fā)項(xiàng)目的開(kāi)發(fā)語(yǔ)言首選，學(xué)習(xí)go語(yǔ)言在高并發(fā)項(xiàng)目中非常有用，如果你致力于這方面的工作可以學(xué)習(xí)go語(yǔ)言

創(chuàng)新互聯(lián)是一家專注于做網(wǎng)站、網(wǎng)站建設(shè)與策劃設(shè)計(jì),綏濱網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)10多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:綏濱等地區(qū)。綏濱做網(wǎng)站價(jià)格咨詢:18982081108

golang sync.pool對(duì)象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會(huì)構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請(qǐng)求或高并發(fā)的場(chǎng)景中，頻繁創(chuàng)建銷毀對(duì)象，會(huì)導(dǎo)致GC壓力。解決辦法之一就是使用對(duì)象復(fù)用技術(shù)。在http協(xié)議層之下，使用對(duì)象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對(duì)象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請(qǐng)求處理的速度。

先上一個(gè)測(cè)試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來(lái)優(yōu)化性能的選擇相違背。這同時(shí)也說(shuō)明了一個(gè)問(wèn)題，好的東西，如果濫用反而造成了性能成倍的下降。在看過(guò)pool原理之后，結(jié)合實(shí)例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個(gè) 協(xié)程安全 的 臨時(shí)對(duì)象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實(shí)類型是一個(gè) poolLocal 數(shù)組，localSize 是數(shù)組長(zhǎng)度。這涉及到Pool實(shí)現(xiàn)，pool為每個(gè)P分配了一個(gè)對(duì)象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫(xiě)時(shí)，goroutine綁定的P有對(duì)象，先用自己的，沒(méi)有去偷其它P的。go語(yǔ)言將數(shù)據(jù)分散在了各個(gè)真正運(yùn)行的P中，降低了鎖競(jìng)爭(zhēng)，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個(gè)關(guān)鍵字，這里的New是Pool的一個(gè)字段，也是一個(gè)閉包名稱。其API：

如果不指定New字段，對(duì)象池為空時(shí)會(huì)返回nil，而不是一個(gè)新構(gòu)建的對(duì)象。Get()到的對(duì)象是隨機(jī)的。

原生sync.Pool的問(wèn)題是，Pool中的對(duì)象會(huì)被GC清理掉，這使得sync.Pool只適合做簡(jiǎn)單地對(duì)象池，不適合作連接池。

pool創(chuàng)建時(shí)不能指定大小，沒(méi)有數(shù)量限制。pool中對(duì)象會(huì)被GC清掉，只存在于兩次GC之間。實(shí)現(xiàn)是pool的init方法注冊(cè)了一個(gè)poolCleanup()函數(shù)，這個(gè)方法在GC之前執(zhí)行，清空pool中的所有緩存對(duì)象。

為使多協(xié)程使用同一個(gè)POOL。最基本的想法就是每個(gè)協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對(duì)象是無(wú)差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個(gè)綁定協(xié)程的P都分配一個(gè)子池。每個(gè)子池又分為私有池和共享列表。共享列表是分別存放在各個(gè)P之上的共享區(qū)域，而不是各個(gè)P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對(duì)象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對(duì)象過(guò)程：

Put過(guò)程：

如何解決Get最壞情況遍歷所有P才獲取得對(duì)象呢：

方法1止前sync.pool并沒(méi)有這樣的設(shè)置。方法2由于goroutine被分配到哪個(gè)P由調(diào)度器調(diào)度不可控，無(wú)法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過(guò)短，且池大小不可控，因而不適合作連接池。僅適用于增加對(duì)象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無(wú)元素的P，長(zhǎng)時(shí)間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測(cè)試場(chǎng)景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測(cè)試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對(duì)象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個(gè)原因就是使對(duì)象在各個(gè)P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對(duì)象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時(shí)鐘或弱引用回收。最終確定在GC時(shí)回收Pool內(nèi)對(duì)象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強(qiáng)引用、弱引用、軟引用、虛引用。虛引用即沒(méi)有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時(shí)使用同一個(gè)正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對(duì)象。避免頻繁構(gòu)建再GC效率高很多。

【golang】高并發(fā)下TCP常見(jiàn)問(wèn)題解決方案

首先，看一下TCP握手簡(jiǎn)單描繪過(guò)程：

其握手過(guò)程原理，就不必說(shuō)了，有很多詳細(xì)文章進(jìn)行敘述，本文只關(guān)注研究重點(diǎn)。

在第三次握手過(guò)程中，如果服務(wù)器收到ACK，就會(huì)與客戶端建立連接，此時(shí)內(nèi)核會(huì)把連接從半連接隊(duì)列移除，然后創(chuàng)建新的連接，并將其添加到全連接隊(duì)列，等待進(jìn)程調(diào)用。

如果服務(wù)器繁忙，來(lái)不及調(diào)用連接導(dǎo)致全連接隊(duì)列溢出，服務(wù)器就會(huì)放棄當(dāng)前握手連接，發(fā)送RST給客戶端，即connection reset by peer。

在linux平臺(tái)上，客戶端在進(jìn)行高并發(fā)TCP連接處理時(shí)，最高并發(fā)數(shù)量都要受系統(tǒng)對(duì)用戶單一進(jìn)程同時(shí)打開(kāi)文件數(shù)量的限制（這是因?yàn)橄到y(tǒng)每個(gè)TCP都是SOCKET句柄，每個(gè)soker句柄都是一個(gè)文件），當(dāng)打開(kāi)連接超過(guò)限制，就會(huì)出現(xiàn)too many open files。

使用下指令查看最大句柄數(shù)量：

增加句柄解決方案

go語(yǔ)言到底有什么好處

1. 部署簡(jiǎn)單

Go

編譯生成的是一個(gè)靜態(tài)可執(zhí)行文件，除了glibc外沒(méi)有其他外部依賴。這讓部署變得異常方便：目標(biāo)機(jī)器上只需要一個(gè)基礎(chǔ)的系統(tǒng)和必要的管理、監(jiān)控工具，完全不需要操心應(yīng)用所需的各種包、庫(kù)的依賴關(guān)系，大大減輕了維護(hù)的負(fù)擔(dān)。

2. 并發(fā)性好

Goroutine和channel使得編寫(xiě)高并發(fā)的服務(wù)端軟件變得相當(dāng)容易，很多情況下完全不需要考慮鎖機(jī)制以及由此帶來(lái)的各種問(wèn)題。單個(gè)Go應(yīng)用也能有效的利用多個(gè)CPU核，并行執(zhí)行的性能好。

3. 良好的語(yǔ)言設(shè)計(jì)

從學(xué)術(shù)的角度講Go語(yǔ)言其實(shí)非常平庸，不支持許多高級(jí)的語(yǔ)言特性;但從工程的角度講，Go的設(shè)計(jì)是非常優(yōu)秀的：規(guī)范足夠簡(jiǎn)單靈活，有其他語(yǔ)言基礎(chǔ)的程序員都能迅速上手。更重要的是

Go 自帶完善的工具鏈，大大提高了團(tuán)隊(duì)協(xié)作的一致性。

4. 執(zhí)行性能好

雖然不如 C 和 Java，但相比于其他編程語(yǔ)言，其執(zhí)行性能還是很好的，適合編寫(xiě)一些瓶頸業(yè)務(wù)，內(nèi)存占用也非常省。

Go語(yǔ)言能在中國(guó)這么火是因?yàn)槭裁矗?/h2>

go語(yǔ)言之所以能成為我國(guó)最火的語(yǔ)言，是因?yàn)榫帉?xiě)服務(wù)端高并發(fā)程序的優(yōu)勢(shì)。我大中華區(qū)但凡pv，日活高點(diǎn)的網(wǎng)站，應(yīng)用，誰(shuí)沒(méi)點(diǎn)這個(gè)需求。這個(gè)領(lǐng)域中最優(yōu)的幾個(gè):golang,erlang,rust。日常生活中人類社交是當(dāng)今社會(huì)上的必然性，人們也伴隨著科技時(shí)代的發(fā)展，智能電子產(chǎn)品的使用中也必然少不了語(yǔ)言輸入，文字的編輯，語(yǔ)言轉(zhuǎn)換的便利都均可來(lái)源于go語(yǔ)音輸入法。

國(guó)內(nèi)大學(xué)本科教育，哪個(gè)學(xué)校不以c/c++為入門教學(xué)語(yǔ)言。都十幾年了，譚浩強(qiáng)還在大賣。語(yǔ)法相近的語(yǔ)言總是學(xué)習(xí)和使用成本最低的。這一點(diǎn)非常重要。coursera上有一門程序設(shè)計(jì)語(yǔ)言理論課上，開(kāi)篇就闡述了這一點(diǎn)的重要性。假設(shè)go的入門成本是一個(gè)月，erlang的入門成本是2個(gè)月，那么整個(gè)程序員群體在學(xué)習(xí)后者的付出成本就很可觀了。

google由于眾所周知的原因，在國(guó)內(nèi)程序員中不一般的地位。golang有個(gè)好背景。

go語(yǔ)言之前一直都沒(méi)有接受待見(jiàn)，如今廣大的群眾開(kāi)始接待，因?yàn)轵v訊服務(wù)器段代碼編譯是支持go語(yǔ)言的

go語(yǔ)言會(huì)成為主流也是一個(gè)問(wèn)題，

多慮了，沒(méi)有競(jìng)爭(zhēng)來(lái)關(guān)系。

雖然go成為源了世界上最并發(fā)的語(yǔ)言，這并不妨礙php成為世界上最好的語(yǔ)言，

也不妨礙java成為世界上最有模式的語(yǔ)言，

更不會(huì)妨礙c++成為21天就能學(xué)會(huì)了的語(yǔ)言。為什么Go語(yǔ)言如此不受待見(jiàn)

其實(shí)并沒(méi)有不受待見(jiàn)，用的人還是很多的，解決一些特定領(lǐng)域的問(wèn)題也很方便。

每種語(yǔ)言的流行程度主要取決于這個(gè)語(yǔ)言最著名的killerapp的流行程度，C有Linux，Go有Docker。

面試問(wèn)題總結(jié)（一）Golang

使用go語(yǔ)言的好處: go語(yǔ)言的設(shè)計(jì)是務(wù)實(shí)的, go在針對(duì)并發(fā)上進(jìn)行了優(yōu)化, 并且支持大規(guī)模高并發(fā), 又由于單一的碼格式, 相比于其他語(yǔ)言更具有可讀性, 在垃圾回收上比java和Python更有效, 因?yàn)樗呛统绦蛲瑫r(shí)執(zhí)行的.

1. 進(jìn)程, 線程, 協(xié)程的區(qū)別, 協(xié)程的優(yōu)勢(shì)

2. 講一下GMP模型(重點(diǎn))

3. Go的GC, 混合寫(xiě)屏障(重點(diǎn))

4. go的Slice和數(shù)組的區(qū)別, slice的擴(kuò)容原理(重點(diǎn))

5. 講一下channel,實(shí)現(xiàn)原理(重點(diǎn))

6. 講一下Go的Map的實(shí)現(xiàn)原理, 是否線程安全, 如何實(shí)現(xiàn)安全(重點(diǎn))

7. new 和 make 的區(qū)別

8. 說(shuō)一下內(nèi)存逃逸

9. 函數(shù)傳指針和傳值有什么區(qū)別

10. goroutine之間的通信方式

11. 測(cè)試是怎么做的(單元測(cè)試, 壓力測(cè)試)

12. 堆和棧的區(qū)別