Go語言由Google公司開發(fā),并于2009年開源,相比Java/Python/C等語言,Go尤其擅長并發(fā)編程,性能堪比C語言,開發(fā)效率肩比Python,被譽為“21世紀(jì)的C語言”。
創(chuàng)新互聯(lián)于2013年開始,先為河口等服務(wù)建站,河口等地企業(yè),進行企業(yè)商務(wù)咨詢服務(wù)。為河口企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
Go語言在云計算、大數(shù)據(jù)、微服務(wù)、高并發(fā)領(lǐng)域應(yīng)用應(yīng)用非常廣泛。BAT大廠正在把Go作為新項目開發(fā)的首選語言。
Go語言能干什么?
1、服務(wù)端開發(fā):以前你使用C或者C++做的那些事情,用Go來做很合適,例如日志處理、文件系統(tǒng)、監(jiān)控系統(tǒng)等;
2、DevOps:運維生態(tài)中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發(fā);
3、網(wǎng)絡(luò)編程:大量優(yōu)秀的Web框架如Echo、Gin、Iris、beego等,而且Go內(nèi)置的 net/http包十分的優(yōu)秀;
4、Paas云平臺領(lǐng)域:Kubernetes和Docker Swarm等;
5、分布式存儲領(lǐng)域:etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、區(qū)塊鏈領(lǐng)域:區(qū)塊鏈里面有兩個明星項目以太坊和fabric都使用Go語言;
7、容器虛擬化:大名鼎鼎的Docker就是使用Go語言實現(xiàn)的;
8、爬蟲及大數(shù)據(jù):Go語言天生支持并發(fā),所以十分適合編寫分布式爬蟲及大數(shù)據(jù)處理。
在前一小節(jié)中介紹了點亮第一個LED燈,這里我們準(zhǔn)備進階嘗試下,輸出第一段PWM波形。(PWM也就是脈寬調(diào)制,一種可調(diào)占空比的技術(shù),得到的效果就是:如果用示波器測量引腳會發(fā)現(xiàn)有方波輸出,而且高電平、低電平的時間是可調(diào)的。)
這里爪爪熊準(zhǔn)備寫成一個golang的庫,并開源到github上,后續(xù)更新將直接更新到github中,如果你有興趣可以和我聯(lián)系。 github.com/dpawsbear/bear_rpi_go
我在很多的教程中都看到說樹莓派的PWM(硬件)只有一個GPIO能夠輸出,就是 GPIO1 。這可是不小的打擊,因為我想使用至少四個 PWM ,還是不死心,想通過硬件手冊上找尋蛛絲馬跡,看看究竟怎么回事。
手冊上找尋東西稍等下講述,這里先提供一種方法測試 樹莓派3B 的 PWM 方法:用指令控制硬件PWM。
這里通過指令的方式掌握了基本的pwm設(shè)置技巧,決定去翻一下手冊看看到底PWM怎么回事,這里因為沒有 BCM2837 的手冊,根據(jù)之前文章引用官網(wǎng)所說, BCM2835 和 BCM2837 應(yīng)該是一樣的。這里我們直接翻閱 BCM2835 的手冊,直接找到 PWM 章節(jié)。找到了如下圖:
圖中可以看到在博通的命名規(guī)則中 GPIO 12、13、18、19、40、41、45、52、53 均可以作為PWM輸出。但是只有兩路PWM0 PWM1。根據(jù)我之前所學(xué)知識,不出意外應(yīng)該是PWM0 和 PWM1可以輸出不一樣的占空比,但是頻率應(yīng)該是一樣的。因為沒有示波器,暫時不好測試。先找到下面對應(yīng)圖:
根據(jù)以上兩個圖對比可以發(fā)現(xiàn)如下規(guī)律:
對照上面的表可以看出從 BCM2837 中印出來的能夠使用在PWM上的就這幾個了。
為了驗證個人猜想是否正確,這里先直接使用指令的模式,模擬配置下是否能夠正常輸出。
通過上面一系列指令模擬發(fā)現(xiàn),(GPIO1、GPIO26)、(GPIO23、GPIO24)是綁定在一起的,調(diào)節(jié)任意一個,另外一個也會發(fā)生變化。也即是PWM0、PWM1雖然輸出了兩路,可以理解成兩路其實都是連在一個輸出口上。這里由于沒有示波器或者邏輯分析儀這類設(shè)備(僅有一個LED燈),所以測試很簡陋,下一步是使用示波器這類東西對頻率以及信號穩(wěn)定性進行下測試。
小節(jié):樹莓派具有四路硬件輸出PWM能力,但是四路中只能輸出兩個獨立(占空比獨立)的PWM,同時四路輸出的頻率均是恒定的。
上面大概了解清楚了樹莓派3B的PWM結(jié)構(gòu),接下來就是探究如何使用Go語言進行設(shè)置。
因為拿到了手冊,這里我想直接操作寄存器的方式進行設(shè)置,也是順便學(xué)習(xí)下Go語言處理寄存器的過程。首先需要拿到pwm 系列寄存器的基地址,但是翻了一圈手冊,發(fā)現(xiàn)只有偏移,沒有找到基地址。
經(jīng)過了一段時間的努力后,決定寫一個 樹莓派3B golang包開源放在github上,只需要寫相關(guān)程序進行調(diào)用就可以了,以下是相關(guān)demo(pwm)(在GPIO.12 上輸出PWM波,放上LED燈會有呼吸燈的效果,具體多少頻率還沒有進行測試)
以下是demo(pwm) 源碼
基本設(shè)計思路:
類型轉(zhuǎn)換、類型斷言、動態(tài)派發(fā)。iface,eface。
反射對象具有的方法:
編譯優(yōu)化:
內(nèi)部實現(xiàn):
實現(xiàn) Context 接口有以下幾個類型(空實現(xiàn)就忽略了):
互斥鎖的控制邏輯:
設(shè)計思路:
(以上為寫被讀阻塞,下面是讀被寫阻塞)
總結(jié),讀寫鎖的設(shè)計還是非常巧妙的:
設(shè)計思路:
WaitGroup 有三個暴露的函數(shù):
部件:
設(shè)計思路:
結(jié)構(gòu):
Once 只暴露了一個方法:
實現(xiàn):
三個關(guān)鍵點:
細(xì)節(jié):
讓多協(xié)程任務(wù)的開始執(zhí)行時間可控(按順序或歸一)。(Context 是控制結(jié)束時間)
設(shè)計思路: 通過一個鎖和內(nèi)置的 notifyList 隊列實現(xiàn),Wait() 會生成票據(jù),并將等待協(xié)程信息加入鏈表中,等待控制協(xié)程中發(fā)送信號通知一個(Signal())或所有(Boardcast())等待者(內(nèi)部實現(xiàn)是通過票據(jù)通知的)來控制協(xié)程解除阻塞。
暴露四個函數(shù):
實現(xiàn)細(xì)節(jié):
部件:
包: golang.org/x/sync/errgroup
作用:開啟 func() error 函數(shù)簽名的協(xié)程,在同 Group 下協(xié)程并發(fā)執(zhí)行過程并收集首次 err 錯誤。通過 Context 的傳入,還可以控制在首次 err 出現(xiàn)時就終止組內(nèi)各協(xié)程。
設(shè)計思路:
結(jié)構(gòu):
暴露的方法:
實現(xiàn)細(xì)節(jié):
注意問題:
包: "golang.org/x/sync/semaphore"
作用:排隊借資源(如錢,有借有還)的一種場景。此包相當(dāng)于對底層信號量的一種暴露。
設(shè)計思路:有一定數(shù)量的資源 Weight,每一個 waiter 攜帶一個 channel 和要借的數(shù)量 n。通過隊列排隊執(zhí)行借貸。
結(jié)構(gòu):
暴露方法:
細(xì)節(jié):
部件:
細(xì)節(jié):
包: "golang.org/x/sync/singleflight"
作用:防擊穿。瞬時的相同請求只調(diào)用一次,response 被所有相同請求共享。
設(shè)計思路:按請求的 key 分組(一個 *call 是一個組,用 map 映射存儲組),每個組只進行一次訪問,組內(nèi)每個協(xié)程會獲得對應(yīng)結(jié)果的一個拷貝。
結(jié)構(gòu):
邏輯:
細(xì)節(jié):
部件:
如有錯誤,請批評指正。
這個問題說來話長,我先表達一下我的觀點,Go語言從語法層面提供區(qū)分錯誤和異常的機制是很好的做法,比自己用單個返回值做值判斷要方便很多。
上面看到很多知乎大牛把異常和錯誤混在一起說,有認(rèn)為Go沒有異常機制的,有認(rèn)為Go純粹只有異常機制的,我覺得這些觀點都太片面了。
具體對于錯誤和異常的討論,我轉(zhuǎn)發(fā)一下前陣子寫的一篇日志拋磚引玉吧。
============================
最近連續(xù)遇到朋友問我項目里錯誤和異常管理的事情,之前也多次跟團隊強調(diào)過錯誤和異常管理的一些概念,所以趁今天有動力就趕緊寫一篇Go語言項目錯誤和異常管理的經(jīng)驗分享。
首先我們要理清:什么是錯誤、什么是異常、為什么需要管理。然后才是怎樣管理。
錯誤和異常從語言機制上面講,就是error和panic的區(qū)別,放到別的語言也一樣,別的語言沒有error類型,但是有錯誤碼之類的,沒有panic,但是有throw之類的。
在語言層面它們是兩種概念,導(dǎo)致的是兩種不同的結(jié)果。如果程序遇到錯誤不處理,那么可能進一步的產(chǎn)生業(yè)務(wù)上的錯誤,比如給用戶多扣錢了,或者進一步產(chǎn)生了異常;如果程序遇到異常不處理,那么結(jié)果就是進程異常退出。
在項目里面是不是應(yīng)該處理所有的錯誤情況和捕捉所有的異常呢?我只能說,你可以這么做,但是估計效果不會太好。我的理由是:
如果所有東西都處理和記錄,那么重要信息可能被淹沒在信息的海洋里。
不應(yīng)該處理的錯誤被處理了,很容易導(dǎo)出BUG暴露不出來,直到出現(xiàn)更嚴(yán)重錯誤的時候才暴露出問題,到時候排查就很困難了,因為已經(jīng)不是錯誤的第一現(xiàn)場。
所以錯誤和異常最好能按一定的規(guī)則進行分類和管理,在第一時間能暴露錯誤和還原現(xiàn)場。
對于錯誤處理,Erlang有一個很好的概念叫速錯,就是有錯誤第一時間暴露它。我們的項目從Erlang到Go一直是沿用這一設(shè)計原則。但是應(yīng)用這個原則的前提是先得區(qū)分錯誤和異常這兩個概念。
錯誤和異常上面已經(jīng)提到了,從語言機制層面比較容易區(qū)分它們,但是語言取決于人為,什么情況下用錯誤表達,什么情況下用異常表達,就得有一套規(guī)則,否則很容易出現(xiàn)全部靠異常來做錯誤處理的情況,似乎Java項目特別容易出現(xiàn)這樣的設(shè)計。
這里我先假想有這樣一個業(yè)務(wù):游戲玩家通過購買按鈕,用銅錢購買寶石。
在實現(xiàn)這個業(yè)務(wù)的時候,程序邏輯會進一步分化成客戶端邏輯和服務(wù)端邏輯,客戶端邏輯又進一步因為設(shè)計方式的不同分化成兩種結(jié)構(gòu):胖客戶端結(jié)構(gòu)、瘦客戶端結(jié)構(gòu)。
胖客戶端結(jié)構(gòu),有更多的本地數(shù)據(jù)和懂得更多的業(yè)務(wù)邏輯,所以在胖客戶端結(jié)構(gòu)的應(yīng)用中,以上的業(yè)務(wù)會實現(xiàn)成這樣:客戶端檢查緩存中的銅錢數(shù)量,銅錢數(shù)量足夠的時候購買按鈕為可用的亮起狀態(tài),用戶點擊購買按鈕后客戶端發(fā)送購買請求到服務(wù)端;服務(wù)端收到請求后校驗用戶的銅錢數(shù)量,如果銅錢數(shù)量不足就拋出異常,終止請求過程并斷開客戶端的連接,如果銅錢數(shù)量足夠就進一步完成寶石購買過程,這里不繼續(xù)描述正常過程。
因為正常的客戶端是有一步數(shù)據(jù)校驗的過程的,所以當(dāng)服務(wù)端收到不合理的請求(銅錢不足以購買寶石)時,拋出異常比返回錯誤更為合理,因為這個請求只可能來自兩種客戶端:外掛或者有BUG的客戶端。如果不通過拋出異常來終止業(yè)務(wù)過程和斷開客戶端連接,那么程序的錯誤就很難被第一時間發(fā)現(xiàn),攻擊行為也很難被發(fā)現(xiàn)。
我們再回頭看瘦客戶端結(jié)構(gòu)的設(shè)計,瘦客戶端不會存有太多狀態(tài)數(shù)據(jù)和用戶數(shù)據(jù)也不清楚業(yè)務(wù)邏輯,所以客戶端的設(shè)計會是這樣:用戶點擊購買按鈕,客戶端發(fā)送購買請求;服務(wù)端收到請求后檢查銅錢數(shù)量,數(shù)量不足就返回數(shù)量不足的錯誤碼,數(shù)量足夠就繼續(xù)完成業(yè)務(wù)并返回成功信息;客戶端收到服務(wù)端的處理結(jié)果后,在界面上做出反映。
在這種結(jié)構(gòu)下,銅錢不足就變成了業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,但不能提升為異常,否則銅錢不足的用戶一點購買按鈕都會出錯掉線。
所以,異常和錯誤在不同程序結(jié)構(gòu)下是互相轉(zhuǎn)換的,我們沒辦法一句話的給所有類型所有結(jié)構(gòu)的程序一個統(tǒng)一的異常和錯誤分類規(guī)則。
但是,異常和錯誤的分類是有跡可循的。比如上面提到的痩客戶端結(jié)構(gòu),銅錢不足是業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,它屬于業(yè)務(wù)錯誤,再比如程序邏輯上嘗試請求某個URL,最多三次,重試三次的過程中請求失敗是錯誤,重試到第三次,失敗就被提升為異常了。
所以我們可以這樣來歸類異常和錯誤:不會終止程序邏輯運行的歸類為錯誤,會終止程序邏輯運行的歸類為異常。
因為錯誤不會終止邏輯運行,所以錯誤是邏輯的一部分,比如上面提到的瘦客戶端結(jié)構(gòu),銅錢不足的錯誤就是業(yè)務(wù)邏輯處理過程中需要考慮和處理的一個邏輯分支。而異常就是那些不應(yīng)該出現(xiàn)在業(yè)務(wù)邏輯中的東西,比如上面提到的胖客戶端結(jié)構(gòu),銅錢不足已經(jīng)不是業(yè)務(wù)邏輯需要考慮的一部分了,所以它應(yīng)該是一個異常。
錯誤和異常的分類需要通過一定的思維訓(xùn)練來強化分類能力,就類似于面向?qū)ο蟮脑O(shè)計方式一樣的,技術(shù)實現(xiàn)就擺在那邊,但是要用好需要不斷的思維訓(xùn)練不斷的歸類和總結(jié),以上提到的歸類方式希望可以作為一個參考,期待大家能發(fā)現(xiàn)更多更有效的歸類方式。
接下來我們講一下速錯和Go語言里面怎么做到速錯。
速錯我最早接觸是在做的時候就體驗到的,當(dāng)然跟Erlang的速錯不完全一致,那時候也沒有那么高大上的一個名字,但是對待異常的理念是一樣的。
在.NET項目開發(fā)的時候,有經(jīng)驗的程序員都應(yīng)該知道,不能隨便re-throw,就是catch錯誤再拋出,原因是異常的第一現(xiàn)場會被破壞,堆棧跟蹤信息會丟失,因為外部最后拿到異常的堆棧跟蹤信息,是最后那次throw的異常的堆棧跟蹤信息;其次,不能隨便try catch,隨便catch很容易導(dǎo)出異常暴露不出來,升級為更嚴(yán)重的業(yè)務(wù)漏洞。
到了Erlang時期,大家學(xué)到了速錯概念,簡單來講就是:讓它掛。只有掛了你才會第一時間知道錯誤,但是Erlang的掛,只是Erlang進程的異常退出,不會導(dǎo)致整個Erlang節(jié)點退出,所以它掛的影響層面比較低。
在Go語言項目中,雖然有類似Erlang進程的Goroutine,但是Goroutine如果panic了,并且沒有recover,那么整個Go進程就會異常退出。所以我們在Go語言項目中要應(yīng)用速錯的設(shè)計理念,就要對Goroutine做一定的管理。
在我們的游戲服務(wù)端項目中,我把Goroutine按掛掉后的結(jié)果分為兩類:1、掛掉后不影響其他業(yè)務(wù)或功能的;2、掛掉后業(yè)務(wù)就無法正常進行的。
第一類Goroutine典型的有:處理各個玩家請求的Goroutine,因為每個玩家連接各自有一個Goroutine,所以掛掉了只會影響單個玩家,不會影響整體業(yè)務(wù)進行。
第二類Goroutine典型的有:數(shù)據(jù)庫同步用的Goroutine,如果它掛了,數(shù)據(jù)就無法同步到數(shù)據(jù)庫,游戲如果繼續(xù)運行下去只會導(dǎo)致數(shù)據(jù)回檔,還不如讓整個游戲都異常退出。
這樣一分類,就可以比較清楚哪些Goroutine該做recover處理,哪些不該做recover處理了。
那么在做recover處理時,要怎樣才能盡量保留第一現(xiàn)場來幫組開發(fā)者排查問題原因呢?我們項目中通常是會在最外層的recover中把錯誤和堆棧跟蹤信息記進日志,同時把關(guān)鍵的業(yè)務(wù)信息,比如:用戶ID、來源IP、請求數(shù)據(jù)等也一起記錄進去。
為此,我們還特地設(shè)計了一個庫,用來格式化輸出堆棧跟蹤信息和對象信息,項目地址:funny/debug · GitHub
通篇寫下來發(fā)現(xiàn)比我預(yù)期的長很多,所以這里我做一下歸納總結(jié),幫組大家理解這篇文章所要表達的:
錯誤和異常需要分類和管理,不能一概而論
錯誤和異常的分類可以以是否終止業(yè)務(wù)過程作為標(biāo)準(zhǔn)
錯誤是業(yè)務(wù)過程的一部分,異常不是
不要隨便捕獲異常,更不要隨便捕獲再重新拋出異常
Go語言項目需要把Goroutine分為兩類,區(qū)別處理異常
在捕獲到異常時,需要盡可能的保留第一現(xiàn)場的關(guān)鍵數(shù)據(jù)
以上僅為一家之言,拋磚引玉,希望對大家有所幫助。
1、簡單易學(xué)。
Go語言的作者本身就很懂C語言,所以同樣Go語言也會有C語言的基因,所以對于程序員來說,Go語言天生就會讓人很熟悉,容易上手。
2、并發(fā)性好。
Go語言天生支持并發(fā),可以充分利用多核,輕松地使用并發(fā)。 這是Go語言最大的特點。
描述
Go的語法接近C語言,但對于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進程(CSP)為基礎(chǔ),采取類似模型的其他語言包括Occam和Limbo,但它也具有Pi運算的特征,比如通道傳輸。
在1.8版本中開放插件(Plugin)的支持,這意味著現(xiàn)在能從Go中動態(tài)加載部分函數(shù)。
與C++相比,Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數(shù)等功能,但增加了 切片(Slice) 型、并發(fā)、管道、垃圾回收、接口(Interface)等特性的語言級支持。