切換到新語言始終是一大步,尤其是當(dāng)您的團(tuán)隊(duì)成員只有一個(gè)時(shí)有該語言的先前經(jīng)驗(yàn)?,F(xiàn)在,Stream 的主要編程語言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉(zhuǎn)向 Go 的一些原因。
成都創(chuàng)新互聯(lián)公司專注于烏魯木齊網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供烏魯木齊營銷型網(wǎng)站建設(shè),烏魯木齊網(wǎng)站制作、烏魯木齊網(wǎng)頁設(shè)計(jì)、烏魯木齊網(wǎng)站官網(wǎng)定制、小程序定制開發(fā)服務(wù),打造烏魯木齊網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供烏魯木齊網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
Go 非???。性能類似于 Java 或 C++。對(duì)于用例,Go 通常比 Python 快 40 倍。
對(duì)于許多應(yīng)用程序來說,編程語言只是應(yīng)用程序和數(shù)據(jù)庫之間的粘合劑。語言本身的性能通常并不重要。然而,Stream 是一個(gè)API 提供商,為 700 家公司和超過 5 億最終用戶提供提要和聊天平臺(tái)。多年來,我們一直在優(yōu)化 Cassandra、PostgreSQL、Redis 等,但最終,您會(huì)達(dá)到所使用語言的極限。Python 是一門很棒的語言,但對(duì)于序列化/反序列化、排名和聚合等用例,它的性能相當(dāng)緩慢。我們經(jīng)常遇到性能問題,Cassandra 需要 1 毫秒來檢索數(shù)據(jù),而 Python 會(huì)花費(fèi)接下來的 10 毫秒將其轉(zhuǎn)換為對(duì)象。
看看我如何開始 Go 教程中的一小段 Go 代碼。(這是一個(gè)很棒的教程,也是學(xué)習(xí) Go 的一個(gè)很好的起點(diǎn)。)
如果您是 Go 新手,那么在閱讀那個(gè)小代碼片段時(shí)不會(huì)有太多讓您感到驚訝的事情。它展示了多個(gè)賦值、數(shù)據(jù)結(jié)構(gòu)、指針、格式和一個(gè)內(nèi)置的 HTTP 庫。當(dāng)我第一次開始編程時(shí),我一直喜歡使用 Python 更高級(jí)的功能。Python 允許您在編寫代碼時(shí)獲得相當(dāng)?shù)膭?chuàng)意。例如,您可以:
這些功能玩起來很有趣,但是,正如大多數(shù)程序員會(huì)同意的那樣,在閱讀別人的作品時(shí),它們通常會(huì)使代碼更難理解。Go 迫使你堅(jiān)持基礎(chǔ)。這使得閱讀任何人的代碼并立即了解發(fā)生了什么變得非常容易。 注意:當(dāng)然,它實(shí)際上有多“容易”取決于您的用例。如果你想創(chuàng)建一個(gè)基本的 CRUD API,我仍然推薦 Django + DRF或 Rails。
作為一門語言,Go 試圖讓事情變得簡單。它沒有引入許多新概念。重點(diǎn)是創(chuàng)建一種非常快速且易于使用的簡單語言。它唯一具有創(chuàng)新性的領(lǐng)域是 goroutine 和通道。(100% 正確CSP的概念始于 1977 年,所以這項(xiàng)創(chuàng)新更多是對(duì)舊思想的一種新方法。)Goroutines 是 Go 的輕量級(jí)線程方法,通道是 goroutines 之間通信的首選方式。Goroutines 的創(chuàng)建非常便宜,并且只需要幾 KB 的額外內(nèi)存。因?yàn)?Goroutine 非常輕量,所以有可能同時(shí)運(yùn)行數(shù)百甚至數(shù)千個(gè)。您可以使用通道在 goroutine 之間進(jìn)行通信。Go 運(yùn)行時(shí)處理所有復(fù)雜性。goroutines 和基于通道的并發(fā)方法使得使用所有可用的 CPU 內(nèi)核和處理并發(fā) IO 變得非常容易——所有這些都不會(huì)使開發(fā)復(fù)雜化。與 Python/Java 相比,在 goroutine 上運(yùn)行函數(shù)需要最少的樣板代碼。您只需在函數(shù)調(diào)用前加上關(guān)鍵字“go”:
Go 的并發(fā)方法很容易使用。與 Node 相比,這是一種有趣的方法,開發(fā)人員必須密切關(guān)注異步代碼的處理方式。Go 中并發(fā)的另一個(gè)重要方面是競爭檢測器。這樣可以很容易地確定異步代碼中是否存在任何競爭條件。
我們目前用 Go 編寫的最大的微服務(wù)編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語言相比,Go 的快速編譯時(shí)間是一項(xiàng)重大的生產(chǎn)力勝利。我喜歡在程序編譯的時(shí)候摸魚,但在我還記得代碼應(yīng)該做什么的同時(shí)完成事情會(huì)更好。
首先,讓我們從顯而易見的開始:與 C++ 和 Java 等舊語言相比,Go 開發(fā)人員的數(shù)量并不多。根據(jù)StackOverflow的數(shù)據(jù), 38% 的開發(fā)人員知道 Java, 19.3% 的人知道 C++,只有 4.6% 的人知道 Go。GitHub 數(shù)據(jù)顯示了類似的趨勢:Go 比 Erlang、Scala 和 Elixir 等語言使用更廣泛,但不如 Java 和 C++ 流行。幸運(yùn)的是,Go 是一種非常簡單易學(xué)的語言。它提供了您需要的基本功能,僅此而已。它引入的新概念是“延遲”聲明和內(nèi)置的并發(fā)管理與“goroutines”和通道。(對(duì)于純粹主義者來說:Go 并不是第一種實(shí)現(xiàn)這些概念的語言,只是第一種使它們流行起來的語言。)任何加入團(tuán)隊(duì)的 Python、Elixir、C++、Scala 或 Java 開發(fā)人員都可以在一個(gè)月內(nèi)在 Go 上發(fā)揮作用,因?yàn)樗暮唵涡浴Ec許多其他語言相比,我們發(fā)現(xiàn)組建 Go 開發(fā)人員團(tuán)隊(duì)更容易。如果您在博爾德和阿姆斯特丹等競爭激烈的生態(tài)系統(tǒng)中招聘人員,這是一項(xiàng)重要的優(yōu)勢。
對(duì)于我們這樣規(guī)模的團(tuán)隊(duì)(約 20 人)來說,生態(tài)系統(tǒng)很重要。如果您必須重新發(fā)明每一個(gè)小功能,您根本無法為您的客戶創(chuàng)造價(jià)值。Go 對(duì)我們使用的工具有很好的支持。實(shí)體庫已經(jīng)可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務(wù)調(diào)度、表達(dá)式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語言相比,Go 的生態(tài)系統(tǒng)是一個(gè)重大勝利。它當(dāng)然不如 Java、Python 或 Node 之類的語言好,但它很可靠,而且對(duì)于許多基本需求,你會(huì)發(fā)現(xiàn)已經(jīng)有高質(zhì)量的包可用。
Gofmt 是一個(gè)很棒的命令行實(shí)用程序,內(nèi)置在 Go 編譯器中,用于格式化代碼。就功能而言,它與 Python 的 autopep8 非常相似。我們大多數(shù)人并不真正喜歡爭論制表符與空格。格式的一致性很重要,但實(shí)際的格式標(biāo)準(zhǔn)并不那么重要。Gofmt 通過使用一種正式的方式來格式化您的代碼來避免所有這些討論。
Go 對(duì)協(xié)議緩沖區(qū)和 gRPC 具有一流的支持。這兩個(gè)工具非常適合構(gòu)建需要通過 RPC 通信的微服務(wù)。您只需要編寫一個(gè)清單,在其中定義可以進(jìn)行的 RPC 調(diào)用以及它們采用的參數(shù)。然后從這個(gè)清單中自動(dòng)生成服務(wù)器和客戶端代碼。生成的代碼既快速又具有非常小的網(wǎng)絡(luò)占用空間并且易于使用。從同一個(gè)清單中,您甚至可以為許多不同的語言生成客戶端代碼,例如 C++、Java、Python 和 Ruby。因此,內(nèi)部流量不再有模棱兩可的 REST 端點(diǎn),您每次都必須編寫幾乎相同的客戶端和服務(wù)器代碼。.
Go 沒有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導(dǎo)框架。這是 Go 社區(qū)內(nèi)激烈爭論的話題,因?yàn)樵S多人主張你不應(yīng)該一開始就使用框架。我完全同意這對(duì)于某些用例是正確的。但是,如果有人想構(gòu)建一個(gè)簡單的 CRUD API,他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對(duì)于 Stream 的用例,我們更喜歡不使用框架。然而,對(duì)于許多希望提供簡單 CRUD API 的新項(xiàng)目來說,缺乏主導(dǎo)框架將是一個(gè)嚴(yán)重的劣勢。
Go 通過簡單地從函數(shù)返回錯(cuò)誤并期望調(diào)用代碼來處理錯(cuò)誤(或?qū)⑵浞祷氐秸{(diào)用堆棧)來處理錯(cuò)誤。雖然這種方法有效,但很容易失去問題的范圍,以確保您可以向用戶提供有意義的錯(cuò)誤。錯(cuò)誤包通過允許您向錯(cuò)誤添加上下文和堆棧跟蹤來解決此問題。另一個(gè)問題是很容易忘記處理錯(cuò)誤。像 errcheck 和 megacheck 這樣的靜態(tài)分析工具可以方便地避免犯這些錯(cuò)誤。雖然這些變通辦法效果很好,但感覺不太對(duì)勁。您希望該語言支持正確的錯(cuò)誤處理。
Go 的包管理絕不是完美的。默認(rèn)情況下,它無法指定特定版本的依賴項(xiàng),也無法創(chuàng)建可重現(xiàn)的構(gòu)建。Python、Node 和 Ruby 都有更好的包管理系統(tǒng)。但是,使用正確的工具,Go 的包管理工作得很好。您可以使用Dep來管理您的依賴項(xiàng),以允許指定和固定版本。除此之外,我們還貢獻(xiàn)了一個(gè)名為的開源工具VirtualGo,它可以更輕松地處理用 Go 編寫的多個(gè)項(xiàng)目。
我們進(jìn)行的一個(gè)有趣的實(shí)驗(yàn)是在 Python 中使用我們的排名提要功能并在 Go 中重寫它??纯催@個(gè)排名方法的例子:
Python 和 Go 代碼都需要執(zhí)行以下操作來支持這種排名方法:
開發(fā) Python 版本的排名代碼大約花了 3 天時(shí)間。這包括編寫代碼、單元測試和文檔。接下來,我們花了大約 2 周的時(shí)間優(yōu)化代碼。其中一項(xiàng)優(yōu)化是將分?jǐn)?shù)表達(dá)式 (simple_gauss(time)*popularity) 轉(zhuǎn)換為抽象語法樹. 我們還實(shí)現(xiàn)了緩存邏輯,可以在未來的特定時(shí)間預(yù)先計(jì)算分?jǐn)?shù)。相比之下,開發(fā)此代碼的 Go 版本大約需要 4 天時(shí)間。性能不需要任何進(jìn)一步的優(yōu)化。因此,雖然 Python 的最初開發(fā)速度更快,但基于 Go 的版本最終需要我們團(tuán)隊(duì)的工作量大大減少。另外一個(gè)好處是,Go 代碼的執(zhí)行速度比我們高度優(yōu)化的 Python 代碼快大約 40 倍?,F(xiàn)在,這只是我們通過切換到 Go 體驗(yàn)到的性能提升的一個(gè)示例。
與 Python 相比,我們系統(tǒng)的其他一些組件在 Go 中構(gòu)建所需的時(shí)間要多得多。作為一個(gè)總體趨勢,我們看到 開發(fā) Go 代碼需要更多的努力。但是,我們花更少的時(shí)間 優(yōu)化 代碼以提高性能。
我們?cè)u(píng)估的另一種語言是Elixir.。Elixir 建立在 Erlang 虛擬機(jī)之上。這是一種迷人的語言,我們之所以考慮它,是因?yàn)槲覀兊囊幻麍F(tuán)隊(duì)成員在 Erlang 方面擁有豐富的經(jīng)驗(yàn)。對(duì)于我們的用例,我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務(wù)數(shù)千個(gè)并發(fā)請(qǐng)求。但是,如果您查看單個(gè)請(qǐng)求的性能,Go 對(duì)于我們的用例來說要快得多。我們選擇 Go 而不是 Elixir 的另一個(gè)原因是生態(tài)系統(tǒng)。對(duì)于我們需要的組件,Go 有更成熟的庫,而在許多情況下,Elixir 庫還沒有準(zhǔn)備好用于生產(chǎn)環(huán)境。培訓(xùn)/尋找開發(fā)人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來很棒,絕對(duì)值得一看。
Go 是一種非常高性能的語言,對(duì)并發(fā)有很好的支持。它幾乎與 C++ 和 Java 等語言一樣快。雖然與 Python 或 Ruby 相比,使用 Go 構(gòu)建東西確實(shí)需要更多時(shí)間,但您將節(jié)省大量用于優(yōu)化代碼的時(shí)間。我們?cè)赟tream有一個(gè)小型開發(fā)團(tuán)隊(duì),為超過 5 億最終用戶提供動(dòng)力和聊天。Go 結(jié)合了 強(qiáng)大的生態(tài)系統(tǒng) 、新開發(fā)人員的 輕松入門、快速的性能 、對(duì)并發(fā)的 可靠支持和高效的編程環(huán)境 ,使其成為一個(gè)不錯(cuò)的選擇。Stream 仍然在我們的儀表板、站點(diǎn)和機(jī)器學(xué)習(xí)中利用 Python 來提供個(gè)性化的訂閱源. 我們不會(huì)很快與 Python 說再見,但今后所有性能密集型代碼都將使用 Go 編寫。我們新的聊天 API也完全用 Go 編寫。
這個(gè)問題說來話長,我先表達(dá)一下我的觀點(diǎn),Go語言從語法層面提供區(qū)分錯(cuò)誤和異常的機(jī)制是很好的做法,比自己用單個(gè)返回值做值判斷要方便很多。
上面看到很多知乎大牛把異常和錯(cuò)誤混在一起說,有認(rèn)為Go沒有異常機(jī)制的,有認(rèn)為Go純粹只有異常機(jī)制的,我覺得這些觀點(diǎn)都太片面了。
具體對(duì)于錯(cuò)誤和異常的討論,我轉(zhuǎn)發(fā)一下前陣子寫的一篇日志拋磚引玉吧。
============================
最近連續(xù)遇到朋友問我項(xiàng)目里錯(cuò)誤和異常管理的事情,之前也多次跟團(tuán)隊(duì)強(qiáng)調(diào)過錯(cuò)誤和異常管理的一些概念,所以趁今天有動(dòng)力就趕緊寫一篇Go語言項(xiàng)目錯(cuò)誤和異常管理的經(jīng)驗(yàn)分享。
首先我們要理清:什么是錯(cuò)誤、什么是異常、為什么需要管理。然后才是怎樣管理。
錯(cuò)誤和異常從語言機(jī)制上面講,就是error和panic的區(qū)別,放到別的語言也一樣,別的語言沒有error類型,但是有錯(cuò)誤碼之類的,沒有panic,但是有throw之類的。
在語言層面它們是兩種概念,導(dǎo)致的是兩種不同的結(jié)果。如果程序遇到錯(cuò)誤不處理,那么可能進(jìn)一步的產(chǎn)生業(yè)務(wù)上的錯(cuò)誤,比如給用戶多扣錢了,或者進(jìn)一步產(chǎn)生了異常;如果程序遇到異常不處理,那么結(jié)果就是進(jìn)程異常退出。
在項(xiàng)目里面是不是應(yīng)該處理所有的錯(cuò)誤情況和捕捉所有的異常呢?我只能說,你可以這么做,但是估計(jì)效果不會(huì)太好。我的理由是:
如果所有東西都處理和記錄,那么重要信息可能被淹沒在信息的海洋里。
不應(yīng)該處理的錯(cuò)誤被處理了,很容易導(dǎo)出BUG暴露不出來,直到出現(xiàn)更嚴(yán)重錯(cuò)誤的時(shí)候才暴露出問題,到時(shí)候排查就很困難了,因?yàn)橐呀?jīng)不是錯(cuò)誤的第一現(xiàn)場。
所以錯(cuò)誤和異常最好能按一定的規(guī)則進(jìn)行分類和管理,在第一時(shí)間能暴露錯(cuò)誤和還原現(xiàn)場。
對(duì)于錯(cuò)誤處理,Erlang有一個(gè)很好的概念叫速錯(cuò),就是有錯(cuò)誤第一時(shí)間暴露它。我們的項(xiàng)目從Erlang到Go一直是沿用這一設(shè)計(jì)原則。但是應(yīng)用這個(gè)原則的前提是先得區(qū)分錯(cuò)誤和異常這兩個(gè)概念。
錯(cuò)誤和異常上面已經(jīng)提到了,從語言機(jī)制層面比較容易區(qū)分它們,但是語言取決于人為,什么情況下用錯(cuò)誤表達(dá),什么情況下用異常表達(dá),就得有一套規(guī)則,否則很容易出現(xiàn)全部靠異常來做錯(cuò)誤處理的情況,似乎Java項(xiàng)目特別容易出現(xiàn)這樣的設(shè)計(jì)。
這里我先假想有這樣一個(gè)業(yè)務(wù):游戲玩家通過購買按鈕,用銅錢購買寶石。
在實(shí)現(xiàn)這個(gè)業(yè)務(wù)的時(shí)候,程序邏輯會(huì)進(jìn)一步分化成客戶端邏輯和服務(wù)端邏輯,客戶端邏輯又進(jìn)一步因?yàn)樵O(shè)計(jì)方式的不同分化成兩種結(jié)構(gòu):胖客戶端結(jié)構(gòu)、瘦客戶端結(jié)構(gòu)。
胖客戶端結(jié)構(gòu),有更多的本地?cái)?shù)據(jù)和懂得更多的業(yè)務(wù)邏輯,所以在胖客戶端結(jié)構(gòu)的應(yīng)用中,以上的業(yè)務(wù)會(huì)實(shí)現(xiàn)成這樣:客戶端檢查緩存中的銅錢數(shù)量,銅錢數(shù)量足夠的時(shí)候購買按鈕為可用的亮起狀態(tài),用戶點(diǎn)擊購買按鈕后客戶端發(fā)送購買請(qǐng)求到服務(wù)端;服務(wù)端收到請(qǐng)求后校驗(yàn)用戶的銅錢數(shù)量,如果銅錢數(shù)量不足就拋出異常,終止請(qǐng)求過程并斷開客戶端的連接,如果銅錢數(shù)量足夠就進(jìn)一步完成寶石購買過程,這里不繼續(xù)描述正常過程。
因?yàn)檎5目蛻舳耸怯幸徊綌?shù)據(jù)校驗(yàn)的過程的,所以當(dāng)服務(wù)端收到不合理的請(qǐng)求(銅錢不足以購買寶石)時(shí),拋出異常比返回錯(cuò)誤更為合理,因?yàn)檫@個(gè)請(qǐng)求只可能來自兩種客戶端:外掛或者有BUG的客戶端。如果不通過拋出異常來終止業(yè)務(wù)過程和斷開客戶端連接,那么程序的錯(cuò)誤就很難被第一時(shí)間發(fā)現(xiàn),攻擊行為也很難被發(fā)現(xiàn)。
我們?cè)倩仡^看瘦客戶端結(jié)構(gòu)的設(shè)計(jì),瘦客戶端不會(huì)存有太多狀態(tài)數(shù)據(jù)和用戶數(shù)據(jù)也不清楚業(yè)務(wù)邏輯,所以客戶端的設(shè)計(jì)會(huì)是這樣:用戶點(diǎn)擊購買按鈕,客戶端發(fā)送購買請(qǐng)求;服務(wù)端收到請(qǐng)求后檢查銅錢數(shù)量,數(shù)量不足就返回?cái)?shù)量不足的錯(cuò)誤碼,數(shù)量足夠就繼續(xù)完成業(yè)務(wù)并返回成功信息;客戶端收到服務(wù)端的處理結(jié)果后,在界面上做出反映。
在這種結(jié)構(gòu)下,銅錢不足就變成了業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,但不能提升為異常,否則銅錢不足的用戶一點(diǎn)購買按鈕都會(huì)出錯(cuò)掉線。
所以,異常和錯(cuò)誤在不同程序結(jié)構(gòu)下是互相轉(zhuǎn)換的,我們沒辦法一句話的給所有類型所有結(jié)構(gòu)的程序一個(gè)統(tǒng)一的異常和錯(cuò)誤分類規(guī)則。
但是,異常和錯(cuò)誤的分類是有跡可循的。比如上面提到的痩客戶端結(jié)構(gòu),銅錢不足是業(yè)務(wù)邏輯范圍內(nèi)的一種失敗情況,它屬于業(yè)務(wù)錯(cuò)誤,再比如程序邏輯上嘗試請(qǐng)求某個(gè)URL,最多三次,重試三次的過程中請(qǐng)求失敗是錯(cuò)誤,重試到第三次,失敗就被提升為異常了。
所以我們可以這樣來歸類異常和錯(cuò)誤:不會(huì)終止程序邏輯運(yùn)行的歸類為錯(cuò)誤,會(huì)終止程序邏輯運(yùn)行的歸類為異常。
因?yàn)殄e(cuò)誤不會(huì)終止邏輯運(yùn)行,所以錯(cuò)誤是邏輯的一部分,比如上面提到的瘦客戶端結(jié)構(gòu),銅錢不足的錯(cuò)誤就是業(yè)務(wù)邏輯處理過程中需要考慮和處理的一個(gè)邏輯分支。而異常就是那些不應(yīng)該出現(xiàn)在業(yè)務(wù)邏輯中的東西,比如上面提到的胖客戶端結(jié)構(gòu),銅錢不足已經(jīng)不是業(yè)務(wù)邏輯需要考慮的一部分了,所以它應(yīng)該是一個(gè)異常。
錯(cuò)誤和異常的分類需要通過一定的思維訓(xùn)練來強(qiáng)化分類能力,就類似于面向?qū)ο蟮脑O(shè)計(jì)方式一樣的,技術(shù)實(shí)現(xiàn)就擺在那邊,但是要用好需要不斷的思維訓(xùn)練不斷的歸類和總結(jié),以上提到的歸類方式希望可以作為一個(gè)參考,期待大家能發(fā)現(xiàn)更多更有效的歸類方式。
接下來我們講一下速錯(cuò)和Go語言里面怎么做到速錯(cuò)。
速錯(cuò)我最早接觸是在做的時(shí)候就體驗(yàn)到的,當(dāng)然跟Erlang的速錯(cuò)不完全一致,那時(shí)候也沒有那么高大上的一個(gè)名字,但是對(duì)待異常的理念是一樣的。
在.NET項(xiàng)目開發(fā)的時(shí)候,有經(jīng)驗(yàn)的程序員都應(yīng)該知道,不能隨便re-throw,就是catch錯(cuò)誤再拋出,原因是異常的第一現(xiàn)場會(huì)被破壞,堆棧跟蹤信息會(huì)丟失,因?yàn)橥獠孔詈竽玫疆惓5亩褩8櫺畔?,是最后那次throw的異常的堆棧跟蹤信息;其次,不能隨便try catch,隨便catch很容易導(dǎo)出異常暴露不出來,升級(jí)為更嚴(yán)重的業(yè)務(wù)漏洞。
到了Erlang時(shí)期,大家學(xué)到了速錯(cuò)概念,簡單來講就是:讓它掛。只有掛了你才會(huì)第一時(shí)間知道錯(cuò)誤,但是Erlang的掛,只是Erlang進(jìn)程的異常退出,不會(huì)導(dǎo)致整個(gè)Erlang節(jié)點(diǎn)退出,所以它掛的影響層面比較低。
在Go語言項(xiàng)目中,雖然有類似Erlang進(jìn)程的Goroutine,但是Goroutine如果panic了,并且沒有recover,那么整個(gè)Go進(jìn)程就會(huì)異常退出。所以我們?cè)贕o語言項(xiàng)目中要應(yīng)用速錯(cuò)的設(shè)計(jì)理念,就要對(duì)Goroutine做一定的管理。
在我們的游戲服務(wù)端項(xiàng)目中,我把Goroutine按掛掉后的結(jié)果分為兩類:1、掛掉后不影響其他業(yè)務(wù)或功能的;2、掛掉后業(yè)務(wù)就無法正常進(jìn)行的。
第一類Goroutine典型的有:處理各個(gè)玩家請(qǐng)求的Goroutine,因?yàn)槊總€(gè)玩家連接各自有一個(gè)Goroutine,所以掛掉了只會(huì)影響單個(gè)玩家,不會(huì)影響整體業(yè)務(wù)進(jìn)行。
第二類Goroutine典型的有:數(shù)據(jù)庫同步用的Goroutine,如果它掛了,數(shù)據(jù)就無法同步到數(shù)據(jù)庫,游戲如果繼續(xù)運(yùn)行下去只會(huì)導(dǎo)致數(shù)據(jù)回檔,還不如讓整個(gè)游戲都異常退出。
這樣一分類,就可以比較清楚哪些Goroutine該做recover處理,哪些不該做recover處理了。
那么在做recover處理時(shí),要怎樣才能盡量保留第一現(xiàn)場來幫組開發(fā)者排查問題原因呢?我們項(xiàng)目中通常是會(huì)在最外層的recover中把錯(cuò)誤和堆棧跟蹤信息記進(jìn)日志,同時(shí)把關(guān)鍵的業(yè)務(wù)信息,比如:用戶ID、來源IP、請(qǐng)求數(shù)據(jù)等也一起記錄進(jìn)去。
為此,我們還特地設(shè)計(jì)了一個(gè)庫,用來格式化輸出堆棧跟蹤信息和對(duì)象信息,項(xiàng)目地址:funny/debug · GitHub
通篇寫下來發(fā)現(xiàn)比我預(yù)期的長很多,所以這里我做一下歸納總結(jié),幫組大家理解這篇文章所要表達(dá)的:
錯(cuò)誤和異常需要分類和管理,不能一概而論
錯(cuò)誤和異常的分類可以以是否終止業(yè)務(wù)過程作為標(biāo)準(zhǔn)
錯(cuò)誤是業(yè)務(wù)過程的一部分,異常不是
不要隨便捕獲異常,更不要隨便捕獲再重新拋出異常
Go語言項(xiàng)目需要把Goroutine分為兩類,區(qū)別處理異常
在捕獲到異常時(shí),需要盡可能的保留第一現(xiàn)場的關(guān)鍵數(shù)據(jù)
以上僅為一家之言,拋磚引玉,希望對(duì)大家有所幫助。
go語言調(diào)取包會(huì)先找vendor下的包 ,這個(gè)錯(cuò)說明vendor下有sirupsen這個(gè)包
github.com/Sirupsen/logrus" and "github.com/sirupsen/logrus,
直接把Sirupsen換為sirupsen就可以使用了
云和安全管理服務(wù)專家新鈦云服 張春翻譯
這種方法有幾個(gè)缺點(diǎn)。首先,它可以對(duì)程序員隱藏錯(cuò)誤處理路徑,特別是在捕獲異常不是強(qiáng)制性的情況下,例如在 Python 中。即使在具有必須處理的 Java 風(fēng)格的檢查異常的語言中,如果在與原始調(diào)用不同的級(jí)別上處理錯(cuò)誤,也并不總是很明顯錯(cuò)誤是從哪里引發(fā)的。
我們都見過長長的代碼塊包裝在一個(gè) try-catch 塊中。在這種情況下,catch 塊實(shí)際上充當(dāng) goto 語句,這通常被認(rèn)為是有害的(奇怪的是,C 中的關(guān)鍵字被認(rèn)為可以接受的少數(shù)用例之一是錯(cuò)誤后清理,因?yàn)樵撜Z言沒有 Golang- 樣式延遲語句)。
如果你確實(shí)從源頭捕獲異常,你會(huì)得到一個(gè)不太優(yōu)雅的 Go 錯(cuò)誤模式版本。這可能會(huì)解決混淆代碼的問題,但會(huì)遇到另一個(gè)問題:性能。在諸如 Java 之類的語言中,拋出異??赡鼙群瘮?shù)的常規(guī)返回慢數(shù)百倍。
Java 中最大的性能成本是由打印異常的堆棧跟蹤造成的,這是昂貴的,因?yàn)檫\(yùn)行的程序必須檢查編譯它的源代碼 。僅僅進(jìn)入一個(gè) try 塊也不是空閑的,因?yàn)樾枰4?CPU 內(nèi)存寄存器的先前狀態(tài),因?yàn)樗鼈兛赡苄枰趻伋霎惓5那闆r下恢復(fù)。
如果您將異常視為通常不會(huì)發(fā)生的異常情況,那么異常的缺點(diǎn)并不重要。這可能是傳統(tǒng)的單體應(yīng)用程序的情況,其中大部分代碼庫不必進(jìn)行網(wǎng)絡(luò)調(diào)用——一個(gè)操作格式良好的數(shù)據(jù)的函數(shù)不太可能遇到錯(cuò)誤(除了錯(cuò)誤的情況)。一旦您在代碼中添加 I/O,無錯(cuò)誤代碼的夢(mèng)想就會(huì)破滅:您可以忽略錯(cuò)誤,但不能假裝它們不存在!
try {
doSometing()
} catch (IOException e) {
// ignore it
}
與大多數(shù)其他編程語言不同,Golang 接受錯(cuò)誤是不可避免的。 如果在單體架構(gòu)時(shí)代還不是這樣,那么在今天的模塊化后端服務(wù)中,服務(wù)通常和外部 API 調(diào)用、數(shù)據(jù)庫讀取和寫入以及與其他服務(wù)通信 。
以上所有方法都可能失敗,解析或驗(yàn)證從它們接收到的數(shù)據(jù)(通常在無模式 JSON 中)也可能失敗。Golang 使可以從這些調(diào)用返回的錯(cuò)誤顯式化,與普通返回值的等級(jí)相同。從函數(shù)調(diào)用返回多個(gè)值的能力支持這一點(diǎn),這在大多數(shù)語言中通常是不可能的。Golang 的錯(cuò)誤處理系統(tǒng)不僅僅是一種語言怪癖,它是一種將錯(cuò)誤視為替代返回值的完全不同的方式!
重復(fù) if err != nil
對(duì) Go 錯(cuò)誤處理的一個(gè)常見批評(píng)是被迫重復(fù)以下代碼塊:
res, err := doSomething()
if err != nil {
// Handle error
}
對(duì)于新用戶來說,這可能會(huì)覺得沒用而且浪費(fèi)行數(shù):在其他語言中需要 3 行的函數(shù)很可能會(huì)增長到 12 行 :
這么多行代碼!這么低效!如果您認(rèn)為上述內(nèi)容不優(yōu)雅或浪費(fèi)代碼,您可能忽略了我們檢查代碼中的錯(cuò)誤的全部原因:我們需要能夠以不同的方式處理它們!對(duì) API 或數(shù)據(jù)庫的調(diào)用可能會(huì)被重試。
有時(shí)事件的順序很重要:調(diào)用外部 API 之前發(fā)生的錯(cuò)誤可能不是什么大問題(因?yàn)閿?shù)據(jù)從未通過發(fā)送),而 API 調(diào)用和寫入本地?cái)?shù)據(jù)庫之間的錯(cuò)誤可能需要立即注意,因?yàn)?這可能意味著系統(tǒng)最終處于不一致的狀態(tài)。即使我們只想將錯(cuò)誤傳播給調(diào)用者,我們也可能希望用失敗的解釋來包裝它們,或者為每個(gè)錯(cuò)誤返回一個(gè)自定義錯(cuò)誤類型。
并非所有錯(cuò)誤都是相同的,并且向調(diào)用者返回適當(dāng)?shù)腻e(cuò)誤是 API 設(shè)計(jì)的重要部分,無論是對(duì)于內(nèi)部包還是 REST API 。
不必?fù)?dān)心在你的代碼中重復(fù) if err != nil ——這就是 Go 中的代碼應(yīng)該看起來的樣子。
自定義錯(cuò)誤類型和錯(cuò)誤包裝
從導(dǎo)出的方法返回錯(cuò)誤時(shí),請(qǐng)考慮指定自定義錯(cuò)誤類型,而不是單獨(dú)使用錯(cuò)誤字符串。字符串在意外代碼中是可以的,但在導(dǎo)出的函數(shù)中,它們成為函數(shù)公共 API 的一部分。更改錯(cuò)誤字符串將是一項(xiàng)重大更改——如果沒有明確的錯(cuò)誤類型,需要檢查返回錯(cuò)誤類型的單元測試將不得不依賴原始字符串值!事實(shí)上,基于字符串的錯(cuò)誤也使得在私有方法中測試不同的錯(cuò)誤案例變得困難,因此您也應(yīng)該考慮在包中使用它們?;氐藉e(cuò)誤與異常的爭論,返回錯(cuò)誤也使代碼比拋出異常更容易測試,因?yàn)殄e(cuò)誤只是要檢查的返回值。不需要測試框架或在測試中捕獲異常 。
可以在 database/sql 包中找到簡單自定義錯(cuò)誤類型的一個(gè)很好的示例。它定義了一個(gè)導(dǎo)出常量列表,表示包可以返回的錯(cuò)誤類型,最著名的是 sql.ErrNoRows。雖然從 API 設(shè)計(jì)的角度來看,這種特定的錯(cuò)誤類型有點(diǎn)問題(您可能會(huì)爭辯說 API 應(yīng)該返回一個(gè)空結(jié)構(gòu)而不是錯(cuò)誤),但任何需要檢查空行的應(yīng)用程序都可以導(dǎo)入該常量并在代碼中使用它不必?fù)?dān)心錯(cuò)誤消息本身會(huì)改變和破壞代碼。
對(duì)于更復(fù)雜的錯(cuò)誤處理,您可以通過實(shí)現(xiàn)返回錯(cuò)誤字符串的 Error() 方法來定義自定義錯(cuò)誤類型。自定義錯(cuò)誤可以包括元數(shù)據(jù),例如錯(cuò)誤代碼或原始請(qǐng)求參數(shù)。如果您想表示錯(cuò)誤類別,它們很有用。DigitalOcean 的本教程展示了如何使用自定義錯(cuò)誤類型來表示可以重試的一類臨時(shí)錯(cuò)誤。
通常,錯(cuò)誤會(huì)通過將低級(jí)錯(cuò)誤與更高級(jí)別的解釋包裝起來,從而在程序的調(diào)用堆棧中傳播。例如,數(shù)據(jù)庫錯(cuò)誤可能會(huì)以下列格式記錄在 API 調(diào)用處理程序中:調(diào)用 CreateUser 端點(diǎn)時(shí)出錯(cuò):查詢數(shù)據(jù)庫時(shí)出錯(cuò):pq:檢測到死鎖。這很有用,因?yàn)樗梢詭椭覀兏欏e(cuò)誤在系統(tǒng)中傳播的過程,向我們展示根本原因(數(shù)據(jù)庫事務(wù)引擎中的死鎖)以及它對(duì)更廣泛系統(tǒng)的影響(調(diào)用者無法創(chuàng)建新用戶)。
自 Go 1.13 以來,此模式具有特殊的語言支持,并帶有錯(cuò)誤包裝。通過在創(chuàng)建字符串錯(cuò)誤時(shí)使用 %w 動(dòng)詞,可以使用 Unwrap() 方法訪問底層錯(cuò)誤。除了比較錯(cuò)誤相等性的函數(shù) errors.Is() 和 errors.As() 外,程序還可以獲取包裝錯(cuò)誤的原始類型或標(biāo)識(shí)。這在某些情況下可能很有用,盡管我認(rèn)為在確定如何處理所述錯(cuò)誤時(shí)最好使用頂級(jí)錯(cuò)誤的類型。
Panics
不要 panic()!長時(shí)間運(yùn)行的應(yīng)用程序應(yīng)該優(yōu)雅地處理錯(cuò)誤而不是panic。即使在無法恢復(fù)的情況下(例如在啟動(dòng)時(shí)驗(yàn)證配置),最好記錄一個(gè)錯(cuò)誤并優(yōu)雅地退出。panic比錯(cuò)誤消息更難診斷,并且可能會(huì)跳過被推遲的重要關(guān)閉代碼。
Logging
我還想簡要介紹一下日志記錄,因?yàn)樗翘幚礤e(cuò)誤的關(guān)鍵部分。通常你能做的最好的事情就是記錄收到的錯(cuò)誤并繼續(xù)下一個(gè)請(qǐng)求。
除非您正在構(gòu)建簡單的命令行工具或個(gè)人項(xiàng)目,否則您的應(yīng)用程序應(yīng)該使用結(jié)構(gòu)化的日志庫,該庫可以為日志添加時(shí)間戳,并提供對(duì)日志級(jí)別的控制。最后一部分特別重要,因?yàn)樗鼘⒃试S您突出顯示應(yīng)用程序記錄的所有錯(cuò)誤和警告。通過幫助將它們與信息級(jí)日志分開,這將為您節(jié)省無數(shù)時(shí)間。
微服務(wù)架構(gòu)還應(yīng)該在日志行中包含服務(wù)的名稱以及機(jī)器實(shí)例的名稱。默認(rèn)情況下記錄這些時(shí),程序代碼不必?fù)?dān)心包含它們。您也可以在日志的結(jié)構(gòu)化部分中記錄其他字段,例如收到的錯(cuò)誤(如果您不想將其嵌入日志消息本身)或有問題的請(qǐng)求或響應(yīng)。只需確保您的日志沒有泄露任何敏感數(shù)據(jù),例如密碼、API 密鑰或用戶的個(gè)人數(shù)據(jù)!
對(duì)于日志庫,我過去使用過 logrus 和 zerolog,但您也可以選擇其他結(jié)構(gòu)化日志庫。如果您想了解更多信息,互聯(lián)網(wǎng)上有許多關(guān)于如何使用這些的指南。如果您將應(yīng)用程序部署到云中,您可能需要日志庫上的適配器來根據(jù)您的云平臺(tái)的日志 API 格式化日志 - 沒有它,云平臺(tái)可能無法檢測到日志級(jí)別等某些功能。
如果您在應(yīng)用程序中使用調(diào)試級(jí)別日志(默認(rèn)情況下通常不記錄),請(qǐng)確保您的應(yīng)用程序可以輕松更改日志級(jí)別,而無需更改代碼。更改日志級(jí)別還可以暫時(shí)使信息級(jí)別甚至警告級(jí)別的日志靜音,以防它們突然變得過于嘈雜并開始淹沒錯(cuò)誤。您可以使用在啟動(dòng)時(shí)檢查以設(shè)置日志級(jí)別的環(huán)境變量來實(shí)現(xiàn)這一點(diǎn)。
原文: