1、服務(wù)器編程:以前你如果使用C或者C++做的那些事情,用Go來(lái)做很合適,例如處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)等。
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),來(lái)安企業(yè)網(wǎng)站建設(shè),來(lái)安品牌網(wǎng)站建設(shè),網(wǎng)站定制,來(lái)安網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,來(lái)安網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿,時(shí)刻以成就客戶成長(zhǎng)自我,堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。
2、分布式系統(tǒng)、數(shù)據(jù)庫(kù)代理器、中間件:例如Etcd。
3、網(wǎng)絡(luò)編程:這一塊目前應(yīng)用最廣,包括Web應(yīng)用、API應(yīng)用、下載應(yīng)用,而且Go內(nèi)置的net/http包基本上把我們平常用到的網(wǎng)絡(luò)功能都實(shí)現(xiàn)了。
4、開(kāi)發(fā)云平臺(tái):目前國(guó)外很多云平臺(tái)在采用Go開(kāi)發(fā),我們所熟知的七牛云、華為云等等都有使用Go進(jìn)行開(kāi)發(fā)并且開(kāi)源的成型的產(chǎn)品。
5、區(qū)塊鏈:目前有一種說(shuō)法,技術(shù)從業(yè)人員把Go語(yǔ)言稱作為區(qū)塊鏈行業(yè)的開(kāi)發(fā)語(yǔ)言。如果大家學(xué)習(xí)區(qū)塊鏈技術(shù)的話,就會(huì)發(fā)現(xiàn)現(xiàn)在有很多很多的區(qū)塊鏈的系統(tǒng)和應(yīng)用都是采用Go進(jìn)行開(kāi)發(fā)的,比如ehtereum是目前知名度最大的公鏈,再比如fabric是目前最知名的聯(lián)盟鏈,兩者都有g(shù)o語(yǔ)言的版本,且go-ehtereum還是以太坊官方推薦的版本。
自1.0版發(fā)布以來(lái),go語(yǔ)言引起了眾多開(kāi)發(fā)者的關(guān)注,并得到了廣泛的應(yīng)用。go語(yǔ)言簡(jiǎn)單、高效、并發(fā)的特點(diǎn)吸引了許多傳統(tǒng)的語(yǔ)言開(kāi)發(fā)人員,其數(shù)量也在不斷增加。
使用 Go 語(yǔ)言開(kāi)發(fā)的開(kāi)源項(xiàng)目非常多。早期的 Go 語(yǔ)言開(kāi)源項(xiàng)目只是通過(guò) Go 語(yǔ)言與傳統(tǒng)項(xiàng)目進(jìn)行C語(yǔ)言庫(kù)綁定實(shí)現(xiàn),例如 Qt、Sqlite 等。
后期的很多項(xiàng)目都使用 Go 語(yǔ)言進(jìn)行重新原生實(shí)現(xiàn),這個(gè)過(guò)程相對(duì)于其他語(yǔ)言要簡(jiǎn)單一些,這也促成了大量使用 Go 語(yǔ)言原生開(kāi)發(fā)項(xiàng)目的出現(xiàn)。
隊(duì)列的概念在 順序隊(duì)列 中,而使用循環(huán)隊(duì)列的目的主要是規(guī)避假溢出造成的空間浪費(fèi),在使用循環(huán)隊(duì)列處理假溢出時(shí),主要有三種解決方案
本文提供后兩種解決方案。
順序隊(duì)和循環(huán)隊(duì)列是一種特殊的線性表,與順序棧類似,都是使用一組地址連續(xù)的存儲(chǔ)單元依次存放自隊(duì)頭到隊(duì)尾的數(shù)據(jù)元素,同時(shí)附設(shè)隊(duì)頭(front)和隊(duì)尾(rear)兩個(gè)指針,但我們要明白一點(diǎn),這個(gè)指針并不是指針變量,而是用來(lái)表示數(shù)組當(dāng)中元素下標(biāo)的位置。
本文使用切片來(lái)完成的循環(huán)隊(duì)列,由于一開(kāi)始使用三個(gè)參數(shù)的make關(guān)鍵字創(chuàng)建切片,在輸出的結(jié)果中不包含nil值(看起來(lái)很舒服),而且在驗(yàn)證的過(guò)程中發(fā)現(xiàn)使用append()函數(shù)時(shí)切片內(nèi)置的cap會(huì)發(fā)生變化,在消除了種種障礙后得到了一個(gè)四不像的循環(huán)隊(duì)列,即設(shè)置的指針是順序隊(duì)列的指針,但實(shí)際上進(jìn)行的操作是順序隊(duì)列的操作。最后是對(duì)make()函數(shù)和append()函數(shù)的一些使用體驗(yàn)和小結(jié),隊(duì)列的應(yīng)用放在鏈隊(duì)好了。
官方描述(片段)
即切片是一個(gè)抽象層,底層是對(duì)數(shù)組的引用。
當(dāng)我們使用
構(gòu)建出來(lái)的切片的每個(gè)位置的值都被賦為interface類型的初始值nil,但是nil值也是有大小的。
而使用
來(lái)進(jìn)行初始化時(shí),雖然生成的切片中不包含nil值,但是無(wú)法通過(guò)設(shè)置的指針變量來(lái)完成入隊(duì)和出隊(duì)的操作,只能使用append()函數(shù)來(lái)進(jìn)行操作
在go語(yǔ)言中,切片是一片連續(xù)的內(nèi)存空間加上長(zhǎng)度與容量的標(biāo)識(shí),比數(shù)組更為常用。使用 append 關(guān)鍵字向切片中追加元素也是常見(jiàn)的切片操作
正是基于此,在使用go語(yǔ)言完成循環(huán)隊(duì)列時(shí),首先想到的就是使用make(type, len, cap)關(guān)鍵字方式完成切片初始化,然后使用append()函數(shù)來(lái)操作該切片,但這一方式出現(xiàn)了很多問(wèn)題。在使用append()函數(shù)時(shí),切片的cap可能會(huì)發(fā)生變化,用不好就會(huì)發(fā)生擴(kuò)容或收縮。最終造成的結(jié)果是一個(gè)四不像的結(jié)果,入隊(duì)和出隊(duì)操作變得與指針變量無(wú)關(guān),失去了作為循環(huán)隊(duì)列的意義,用在順序隊(duì)列還算合適。
參考博客:
Go語(yǔ)言中的Nil
Golang之nil
Go 語(yǔ)言設(shè)計(jì)與實(shí)現(xiàn)
很多朋友可能知道Go語(yǔ)言的優(yōu)勢(shì)在哪,卻不知道Go語(yǔ)言適合用于哪些地方。
1、 Go語(yǔ)言作為服務(wù)器編程語(yǔ)言,很適合處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫(kù)代理等;網(wǎng)絡(luò)編程方面。Go語(yǔ)言廣泛應(yīng)用于Web應(yīng)用、API應(yīng)用、下載應(yīng)用等;除此之外,Go語(yǔ)言還可用于內(nèi)存數(shù)據(jù)庫(kù)和云平臺(tái)領(lǐng)域,目前國(guó)外很多云平臺(tái)都是采用Go開(kāi)發(fā)。
2、 其實(shí)Go語(yǔ)言主要用作服務(wù)器端開(kāi)發(fā)。其定位是用來(lái)開(kāi)發(fā)"大型軟件"的,適合于很多程序員一起開(kāi)發(fā)大型軟件,并且開(kāi)發(fā)周期長(zhǎng),支持云計(jì)算的網(wǎng)絡(luò)服務(wù)。Go語(yǔ)言能夠讓程序員快速開(kāi)發(fā),并且在軟件不斷的增長(zhǎng)過(guò)程中,它能讓程序員更容易地進(jìn)行維護(hù)和修改。它融合了傳統(tǒng)編譯型語(yǔ)言的高效性和腳本語(yǔ)言的易用性和富于表達(dá)性。
3、 Go語(yǔ)言成功案例。Nsq:Nsq是由Go語(yǔ)言開(kāi)發(fā)的高性能、高可用消息隊(duì)列系統(tǒng),性能非常高,每天能處理數(shù)十億條的消息;
4、 Docker:基于lxc的一個(gè)虛擬打包工具,能夠?qū)崿F(xiàn)PAAS平臺(tái)的組建。
5、 Packer:用來(lái)生成不同平臺(tái)的鏡像文件,例如VM、vbox、AWS等,作者是vagrant的作者
6、 Skynet:分布式調(diào)度框架。
7、 Doozer:分布式同步工具,類似ZooKeeper。
8、 Heka:mazila開(kāi)源的日志處理系統(tǒng)。
9、 Cbfs:couchbase開(kāi)源的分布式文件系統(tǒng)。
10、 Tsuru:開(kāi)源的PAAS平臺(tái),和SAE實(shí)現(xiàn)的功能一模一樣。
11、 Groupcache:memcahe作者寫(xiě)的用于Google下載系統(tǒng)的緩存系統(tǒng)。
12、 God:類似redis的緩存系統(tǒng),但是支持分布式和擴(kuò)展性。
13、 Gor:網(wǎng)絡(luò)流量抓包和重放工具。
以上的就是關(guān)于go語(yǔ)言能做什么的內(nèi)容介紹了。
這個(gè)問(wèn)題說(shuō)來(lái)話長(zhǎng),我先表達(dá)一下我的觀點(diǎn),Go語(yǔ)言從語(yǔ)法層面提供區(qū)分錯(cuò)誤和異常的機(jī)制是很好的做法,比自己用單個(gè)返回值做值判斷要方便很多。
上面看到很多知乎大牛把異常和錯(cuò)誤混在一起說(shuō),有認(rèn)為Go沒(méi)有異常機(jī)制的,有認(rèn)為Go純粹只有異常機(jī)制的,我覺(jué)得這些觀點(diǎn)都太片面了。
具體對(duì)于錯(cuò)誤和異常的討論,我轉(zhuǎn)發(fā)一下前陣子寫(xiě)的一篇日志拋磚引玉吧。
============================
最近連續(xù)遇到朋友問(wèn)我項(xiàng)目里錯(cuò)誤和異常管理的事情,之前也多次跟團(tuán)隊(duì)強(qiáng)調(diào)過(guò)錯(cuò)誤和異常管理的一些概念,所以趁今天有動(dòng)力就趕緊寫(xiě)一篇Go語(yǔ)言項(xiàng)目錯(cuò)誤和異常管理的經(jīng)驗(yàn)分享。
首先我們要理清:什么是錯(cuò)誤、什么是異常、為什么需要管理。然后才是怎樣管理。
錯(cuò)誤和異常從語(yǔ)言機(jī)制上面講,就是error和panic的區(qū)別,放到別的語(yǔ)言也一樣,別的語(yǔ)言沒(méi)有error類型,但是有錯(cuò)誤碼之類的,沒(méi)有panic,但是有throw之類的。
在語(yǔ)言層面它們是兩種概念,導(dǎo)致的是兩種不同的結(jié)果。如果程序遇到錯(cuò)誤不處理,那么可能進(jìn)一步的產(chǎn)生業(yè)務(wù)上的錯(cuò)誤,比如給用戶多扣錢(qián)了,或者進(jìn)一步產(chǎn)生了異常;如果程序遇到異常不處理,那么結(jié)果就是進(jìn)程異常退出。
在項(xiàng)目里面是不是應(yīng)該處理所有的錯(cuò)誤情況和捕捉所有的異常呢?我只能說(shuō),你可以這么做,但是估計(jì)效果不會(huì)太好。我的理由是:
如果所有東西都處理和記錄,那么重要信息可能被淹沒(méi)在信息的海洋里。
不應(yīng)該處理的錯(cuò)誤被處理了,很容易導(dǎo)出BUG暴露不出來(lái),直到出現(xiàn)更嚴(yán)重錯(cuò)誤的時(shí)候才暴露出問(wèn)題,到時(shí)候排查就很困難了,因?yàn)橐呀?jīng)不是錯(cuò)誤的第一現(xiàn)場(chǎng)。
所以錯(cuò)誤和異常最好能按一定的規(guī)則進(jìn)行分類和管理,在第一時(shí)間能暴露錯(cuò)誤和還原現(xiàn)場(chǎng)。
對(duì)于錯(cuò)誤處理,Erlang有一個(gè)很好的概念叫速錯(cuò),就是有錯(cuò)誤第一時(shí)間暴露它。我們的項(xiàng)目從Erlang到Go一直是沿用這一設(shè)計(jì)原則。但是應(yīng)用這個(gè)原則的前提是先得區(qū)分錯(cuò)誤和異常這兩個(gè)概念。
錯(cuò)誤和異常上面已經(jīng)提到了,從語(yǔ)言機(jī)制層面比較容易區(qū)分它們,但是語(yǔ)言取決于人為,什么情況下用錯(cuò)誤表達(dá),什么情況下用異常表達(dá),就得有一套規(guī)則,否則很容易出現(xiàn)全部靠異常來(lái)做錯(cuò)誤處理的情況,似乎Java項(xiàng)目特別容易出現(xiàn)這樣的設(shè)計(jì)。
這里我先假想有這樣一個(gè)業(yè)務(wù):游戲玩家通過(guò)購(gòu)買按鈕,用銅錢(qián)購(gòu)買寶石。
在實(shí)現(xiàn)這個(gè)業(yè)務(wù)的時(shí)候,程序邏輯會(huì)進(jìn)一步分化成客戶端邏輯和服務(wù)端邏輯,客戶端邏輯又進(jìn)一步因?yàn)樵O(shè)計(jì)方式的不同分化成兩種結(jié)構(gòu):胖客戶端結(jié)構(gòu)、瘦客戶端結(jié)構(gòu)。
胖客戶端結(jié)構(gòu),有更多的本地?cái)?shù)據(jù)和懂得更多的業(yè)務(wù)邏輯,所以在胖客戶端結(jié)構(gòu)的應(yīng)用中,以上的業(yè)務(wù)會(huì)實(shí)現(xiàn)成這樣:客戶端檢查緩存中的銅錢(qián)數(shù)量,銅錢(qián)數(shù)量足夠的時(shí)候購(gòu)買按鈕為可用的亮起狀態(tài),用戶點(diǎn)擊購(gòu)買按鈕后客戶端發(fā)送購(gòu)買請(qǐng)求到服務(wù)端;服務(wù)端收到請(qǐng)求后校驗(yàn)用戶的銅錢(qián)數(shù)量,如果銅錢(qián)數(shù)量不足就拋出異常,終止請(qǐng)求過(guò)程并斷開(kāi)客戶端的連接,如果銅錢(qián)數(shù)量足夠就進(jìn)一步完成寶石購(gòu)買過(guò)程,這里不繼續(xù)描述正常過(guò)程。
因?yàn)檎5目蛻舳耸怯幸徊綌?shù)據(jù)校驗(yàn)的過(guò)程的,所以當(dāng)服務(wù)端收到不合理的請(qǐng)求(銅錢(qián)不足以購(gòu)買寶石)時(shí),拋出異常比返回錯(cuò)誤更為合理,因?yàn)檫@個(gè)請(qǐng)求只可能來(lái)自兩種客戶端:外掛或者有BUG的客戶端。如果不通過(guò)拋出異常來(lái)終止業(yè)務(wù)過(guò)程和斷開(kāi)客戶端連接,那么程序的錯(cuò)誤就很難被第一時(shí)間發(fā)現(xiàn),攻擊行為也很難被發(fā)現(xiàn)。
我們?cè)倩仡^看瘦客戶端結(jié)構(gòu)的設(shè)計(jì),瘦客戶端不會(huì)存有太多狀態(tài)數(shù)據(jù)和用戶數(shù)據(jù)也不清楚業(yè)務(wù)邏輯,所以客戶端的設(shè)計(jì)會(huì)是這樣:用戶點(diǎn)擊購(gòu)買按鈕,客戶端發(fā)送購(gòu)買請(qǐng)求;服務(wù)端收到請(qǐng)求后檢查銅錢(qián)數(shù)量,數(shù)量不足就返回?cái)?shù)量不足的錯(cuò)誤碼,數(shù)量足夠就繼續(xù)完成業(yè)務(wù)并返回成功信息;客戶端收到服務(wù)端的處理結(jié)果后,在界面上做出反映。
在這種結(jié)構(gòu)下,銅錢(qián)不足就變成了業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,但不能提升為異常,否則銅錢(qián)不足的用戶一點(diǎn)購(gòu)買按鈕都會(huì)出錯(cuò)掉線。
所以,異常和錯(cuò)誤在不同程序結(jié)構(gòu)下是互相轉(zhuǎn)換的,我們沒(méi)辦法一句話的給所有類型所有結(jié)構(gòu)的程序一個(gè)統(tǒng)一的異常和錯(cuò)誤分類規(guī)則。
但是,異常和錯(cuò)誤的分類是有跡可循的。比如上面提到的痩客戶端結(jié)構(gòu),銅錢(qián)不足是業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,它屬于業(yè)務(wù)錯(cuò)誤,再比如程序邏輯上嘗試請(qǐng)求某個(gè)URL,最多三次,重試三次的過(guò)程中請(qǐng)求失敗是錯(cuò)誤,重試到第三次,失敗就被提升為異常了。
所以我們可以這樣來(lái)歸類異常和錯(cuò)誤:不會(huì)終止程序邏輯運(yùn)行的歸類為錯(cuò)誤,會(huì)終止程序邏輯運(yùn)行的歸類為異常。
因?yàn)殄e(cuò)誤不會(huì)終止邏輯運(yùn)行,所以錯(cuò)誤是邏輯的一部分,比如上面提到的瘦客戶端結(jié)構(gòu),銅錢(qián)不足的錯(cuò)誤就是業(yè)務(wù)邏輯處理過(guò)程中需要考慮和處理的一個(gè)邏輯分支。而異常就是那些不應(yīng)該出現(xiàn)在業(yè)務(wù)邏輯中的東西,比如上面提到的胖客戶端結(jié)構(gòu),銅錢(qián)不足已經(jīng)不是業(yè)務(wù)邏輯需要考慮的一部分了,所以它應(yīng)該是一個(gè)異常。
錯(cuò)誤和異常的分類需要通過(guò)一定的思維訓(xùn)練來(lái)強(qiáng)化分類能力,就類似于面向?qū)ο蟮脑O(shè)計(jì)方式一樣的,技術(shù)實(shí)現(xiàn)就擺在那邊,但是要用好需要不斷的思維訓(xùn)練不斷的歸類和總結(jié),以上提到的歸類方式希望可以作為一個(gè)參考,期待大家能發(fā)現(xiàn)更多更有效的歸類方式。
接下來(lái)我們講一下速錯(cuò)和Go語(yǔ)言里面怎么做到速錯(cuò)。
速錯(cuò)我最早接觸是在做的時(shí)候就體驗(yàn)到的,當(dāng)然跟Erlang的速錯(cuò)不完全一致,那時(shí)候也沒(méi)有那么高大上的一個(gè)名字,但是對(duì)待異常的理念是一樣的。
在.NET項(xiàng)目開(kāi)發(fā)的時(shí)候,有經(jīng)驗(yàn)的程序員都應(yīng)該知道,不能隨便re-throw,就是catch錯(cuò)誤再拋出,原因是異常的第一現(xiàn)場(chǎng)會(huì)被破壞,堆棧跟蹤信息會(huì)丟失,因?yàn)橥獠孔詈竽玫疆惓5亩褩8櫺畔?,是最后那次throw的異常的堆棧跟蹤信息;其次,不能隨便try catch,隨便catch很容易導(dǎo)出異常暴露不出來(lái),升級(jí)為更嚴(yán)重的業(yè)務(wù)漏洞。
到了Erlang時(shí)期,大家學(xué)到了速錯(cuò)概念,簡(jiǎn)單來(lái)講就是:讓它掛。只有掛了你才會(huì)第一時(shí)間知道錯(cuò)誤,但是Erlang的掛,只是Erlang進(jìn)程的異常退出,不會(huì)導(dǎo)致整個(gè)Erlang節(jié)點(diǎn)退出,所以它掛的影響層面比較低。
在Go語(yǔ)言項(xiàng)目中,雖然有類似Erlang進(jìn)程的Goroutine,但是Goroutine如果panic了,并且沒(méi)有recover,那么整個(gè)Go進(jìn)程就會(huì)異常退出。所以我們?cè)贕o語(yǔ)言項(xiàng)目中要應(yīng)用速錯(cuò)的設(shè)計(jì)理念,就要對(duì)Goroutine做一定的管理。
在我們的游戲服務(wù)端項(xiàng)目中,我把Goroutine按掛掉后的結(jié)果分為兩類:1、掛掉后不影響其他業(yè)務(wù)或功能的;2、掛掉后業(yè)務(wù)就無(wú)法正常進(jìn)行的。
第一類Goroutine典型的有:處理各個(gè)玩家請(qǐng)求的Goroutine,因?yàn)槊總€(gè)玩家連接各自有一個(gè)Goroutine,所以掛掉了只會(huì)影響單個(gè)玩家,不會(huì)影響整體業(yè)務(wù)進(jìn)行。
第二類Goroutine典型的有:數(shù)據(jù)庫(kù)同步用的Goroutine,如果它掛了,數(shù)據(jù)就無(wú)法同步到數(shù)據(jù)庫(kù),游戲如果繼續(xù)運(yùn)行下去只會(huì)導(dǎo)致數(shù)據(jù)回檔,還不如讓整個(gè)游戲都異常退出。
這樣一分類,就可以比較清楚哪些Goroutine該做recover處理,哪些不該做recover處理了。
那么在做recover處理時(shí),要怎樣才能盡量保留第一現(xiàn)場(chǎng)來(lái)幫組開(kāi)發(fā)者排查問(wèn)題原因呢?我們項(xiàng)目中通常是會(huì)在最外層的recover中把錯(cuò)誤和堆棧跟蹤信息記進(jìn)日志,同時(shí)把關(guān)鍵的業(yè)務(wù)信息,比如:用戶ID、來(lái)源IP、請(qǐng)求數(shù)據(jù)等也一起記錄進(jìn)去。
為此,我們還特地設(shè)計(jì)了一個(gè)庫(kù),用來(lái)格式化輸出堆棧跟蹤信息和對(duì)象信息,項(xiàng)目地址:funny/debug · GitHub
通篇寫(xiě)下來(lái)發(fā)現(xiàn)比我預(yù)期的長(zhǎng)很多,所以這里我做一下歸納總結(jié),幫組大家理解這篇文章所要表達(dá)的:
錯(cuò)誤和異常需要分類和管理,不能一概而論
錯(cuò)誤和異常的分類可以以是否終止業(yè)務(wù)過(guò)程作為標(biāo)準(zhǔn)
錯(cuò)誤是業(yè)務(wù)過(guò)程的一部分,異常不是
不要隨便捕獲異常,更不要隨便捕獲再重新拋出異常
Go語(yǔ)言項(xiàng)目需要把Goroutine分為兩類,區(qū)別處理異常
在捕獲到異常時(shí),需要盡可能的保留第一現(xiàn)場(chǎng)的關(guān)鍵數(shù)據(jù)
以上僅為一家之言,拋磚引玉,希望對(duì)大家有所幫助。