切換到新語(yǔ)言始終是一大步，尤其是當(dāng)您的團(tuán)隊(duì)成員只有一個(gè)時(shí)有該語(yǔ)言的先前經(jīng)驗(yàn)。現(xiàn)在，Stream 的主要編程語(yǔ)言從 Python 切換到了 Go。這篇文章將解釋stream決定放棄 Python 并轉(zhuǎn)向 Go 的一些原因。
公司主營(yíng)業(yè)務(wù)：做網(wǎng)站、成都網(wǎng)站制作、移動(dòng)網(wǎng)站開(kāi)發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競(jìng)爭(zhēng)能力。創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開(kāi)放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來(lái)的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來(lái)驚喜。創(chuàng)新互聯(lián)公司推出亭湖免費(fèi)做網(wǎng)站回饋大家。
Go 非常快。性能類(lèi)似于 Java 或 C++。對(duì)于用例，Go 通常比 Python 快 40 倍。
對(duì)于許多應(yīng)用程序來(lái)說(shuō)，編程語(yǔ)言只是應(yīng)用程序和數(shù)據(jù)庫(kù)之間的粘合劑。語(yǔ)言本身的性能通常并不重要。然而，Stream 是一個(gè)API 提供商，為 700 家公司和超過(guò) 5 億最終用戶提供提要和聊天平臺(tái)。多年來(lái)，我們一直在優(yōu)化 Cassandra、PostgreSQL、Redis 等，但最終，您會(huì)達(dá)到所使用語(yǔ)言的極限。Python 是一門(mén)很棒的語(yǔ)言，但對(duì)于序列化/反序列化、排名和聚合等用例，它的性能相當(dāng)緩慢。我們經(jīng)常遇到性能問(wèn)題，Cassandra 需要 1 毫秒來(lái)檢索數(shù)據(jù)，而 Python 會(huì)花費(fèi)接下來(lái)的 10 毫秒將其轉(zhuǎn)換為對(duì)象。
看看我如何開(kāi)始 Go 教程中的一小段 Go 代碼。（這是一個(gè)很棒的教程，也是學(xué)習(xí) Go 的一個(gè)很好的起點(diǎn)。）
如果您是 Go 新手，那么在閱讀那個(gè)小代碼片段時(shí)不會(huì)有太多讓您感到驚訝的事情。它展示了多個(gè)賦值、數(shù)據(jù)結(jié)構(gòu)、指針、格式和一個(gè)內(nèi)置的 HTTP 庫(kù)。當(dāng)我第一次開(kāi)始編程時(shí)，我一直喜歡使用 Python 更高級(jí)的功能。Python 允許您在編寫(xiě)代碼時(shí)獲得相當(dāng)?shù)膭?chuàng)意。例如，您可以：
這些功能玩起來(lái)很有趣，但是，正如大多數(shù)程序員會(huì)同意的那樣，在閱讀別人的作品時(shí)，它們通常會(huì)使代碼更難理解。Go 迫使你堅(jiān)持基礎(chǔ)。這使得閱讀任何人的代碼并立即了解發(fā)生了什么變得非常容易。 注意：當(dāng)然，它實(shí)際上有多“容易”取決于您的用例。如果你想創(chuàng)建一個(gè)基本的 CRUD API，我仍然推薦 Django + DRF或 Rails。
作為一門(mén)語(yǔ)言，Go 試圖讓事情變得簡(jiǎn)單。它沒(méi)有引入許多新概念。重點(diǎn)是創(chuàng)建一種非?？焖偾乙子谑褂玫暮?jiǎn)單語(yǔ)言。它唯一具有創(chuàng)新性的領(lǐng)域是 goroutine 和通道。（100% 正確CSP的概念始于 1977 年，所以這項(xiàng)創(chuàng)新更多是對(duì)舊思想的一種新方法。）Goroutines 是 Go 的輕量級(jí)線程方法，通道是 goroutines 之間通信的首選方式。Goroutines 的創(chuàng)建非常便宜，并且只需要幾 KB 的額外內(nèi)存。因?yàn)?Goroutine 非常輕量，所以有可能同時(shí)運(yùn)行數(shù)百甚至數(shù)千個(gè)。您可以使用通道在 goroutine 之間進(jìn)行通信。Go 運(yùn)行時(shí)處理所有復(fù)雜性。goroutines 和基于通道的并發(fā)方法使得使用所有可用的 CPU 內(nèi)核和處理并發(fā) IO 變得非常容易——所有這些都不會(huì)使開(kāi)發(fā)復(fù)雜化。與 Python/Java 相比，在 goroutine 上運(yùn)行函數(shù)需要最少的樣板代碼。您只需在函數(shù)調(diào)用前加上關(guān)鍵字“go”：
Go 的并發(fā)方法很容易使用。與 Node 相比，這是一種有趣的方法，開(kāi)發(fā)人員必須密切關(guān)注異步代碼的處理方式。Go 中并發(fā)的另一個(gè)重要方面是競(jìng)爭(zhēng)檢測(cè)器。這樣可以很容易地確定異步代碼中是否存在任何競(jìng)爭(zhēng)條件。
我們目前用 Go 編寫(xiě)的最大的微服務(wù)編譯需要 4 秒。與以編譯速度慢而聞名的 Java 和 C++ 等語(yǔ)言相比，Go 的快速編譯時(shí)間是一項(xiàng)重大的生產(chǎn)力勝利。我喜歡在程序編譯的時(shí)候摸魚(yú)，但在我還記得代碼應(yīng)該做什么的同時(shí)完成事情會(huì)更好。
首先，讓我們從顯而易見(jiàn)的開(kāi)始：與 C++ 和 Java 等舊語(yǔ)言相比，Go 開(kāi)發(fā)人員的數(shù)量并不多。根據(jù)StackOverflow的數(shù)據(jù)， 38% 的開(kāi)發(fā)人員知道 Java， 19.3% 的人知道 C++，只有 4.6% 的人知道 Go。GitHub 數(shù)據(jù)顯示了類(lèi)似的趨勢(shì)：Go 比 Erlang、Scala 和 Elixir 等語(yǔ)言使用更廣泛，但不如 Java 和 C++ 流行。幸運(yùn)的是，Go 是一種非常簡(jiǎn)單易學(xué)的語(yǔ)言。它提供了您需要的基本功能，僅此而已。它引入的新概念是“延遲”聲明和內(nèi)置的并發(fā)管理與“goroutines”和通道。（對(duì)于純粹主義者來(lái)說(shuō)：Go 并不是第一種實(shí)現(xiàn)這些概念的語(yǔ)言，只是第一種使它們流行起來(lái)的語(yǔ)言。）任何加入團(tuán)隊(duì)的 Python、Elixir、C++、Scala 或 Java 開(kāi)發(fā)人員都可以在一個(gè)月內(nèi)在 Go 上發(fā)揮作用，因?yàn)樗暮?jiǎn)單性。與許多其他語(yǔ)言相比，我們發(fā)現(xiàn)組建 Go 開(kāi)發(fā)人員團(tuán)隊(duì)更容易。如果您在博爾德和阿姆斯特丹等競(jìng)爭(zhēng)激烈的生態(tài)系統(tǒng)中招聘人員，這是一項(xiàng)重要的優(yōu)勢(shì)。
對(duì)于我們這樣規(guī)模的團(tuán)隊(duì)（約 20 人）來(lái)說(shuō)，生態(tài)系統(tǒng)很重要。如果您必須重新發(fā)明每一個(gè)小功能，您根本無(wú)法為您的客戶創(chuàng)造價(jià)值。Go 對(duì)我們使用的工具有很好的支持。實(shí)體庫(kù)已經(jīng)可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任務(wù)調(diào)度、表達(dá)式解析和 RocksDB。與 Rust 或 Elixir 等其他較新的語(yǔ)言相比，Go 的生態(tài)系統(tǒng)是一個(gè)重大勝利。它當(dāng)然不如 Java、Python 或 Node 之類(lèi)的語(yǔ)言好，但它很可靠，而且對(duì)于許多基本需求，你會(huì)發(fā)現(xiàn)已經(jīng)有高質(zhì)量的包可用。
Gofmt 是一個(gè)很棒的命令行實(shí)用程序，內(nèi)置在 Go 編譯器中，用于格式化代碼。就功能而言，它與 Python 的 autopep8 非常相似。我們大多數(shù)人并不真正喜歡爭(zhēng)論制表符與空格。格式的一致性很重要，但實(shí)際的格式標(biāo)準(zhǔn)并不那么重要。Gofmt 通過(guò)使用一種正式的方式來(lái)格式化您的代碼來(lái)避免所有這些討論。
Go 對(duì)協(xié)議緩沖區(qū)和 gRPC 具有一流的支持。這兩個(gè)工具非常適合構(gòu)建需要通過(guò) RPC 通信的微服務(wù)。您只需要編寫(xiě)一個(gè)清單，在其中定義可以進(jìn)行的 RPC 調(diào)用以及它們采用的參數(shù)。然后從這個(gè)清單中自動(dòng)生成服務(wù)器和客戶端代碼。生成的代碼既快速又具有非常小的網(wǎng)絡(luò)占用空間并且易于使用。從同一個(gè)清單中，您甚至可以為許多不同的語(yǔ)言生成客戶端代碼，例如 C++、Java、Python 和 Ruby。因此，內(nèi)部流量不再有模棱兩可的 REST 端點(diǎn)，您每次都必須編寫(xiě)幾乎相同的客戶端和服務(wù)器代碼。.
Go 沒(méi)有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那樣的單一主導(dǎo)框架。這是 Go 社區(qū)內(nèi)激烈爭(zhēng)論的話題，因?yàn)樵S多人主張你不應(yīng)該一開(kāi)始就使用框架。我完全同意這對(duì)于某些用例是正確的。但是，如果有人想構(gòu)建一個(gè)簡(jiǎn)單的 CRUD API，他們將更容易使用 Django/DJRF、Rails Laravel 或Phoenix。對(duì)于 Stream 的用例，我們更喜歡不使用框架。然而，對(duì)于許多希望提供簡(jiǎn)單 CRUD API 的新項(xiàng)目來(lái)說(shuō)，缺乏主導(dǎo)框架將是一個(gè)嚴(yán)重的劣勢(shì)。
Go 通過(guò)簡(jiǎn)單地從函數(shù)返回錯(cuò)誤并期望調(diào)用代碼來(lái)處理錯(cuò)誤（或?qū)⑵浞祷氐秸{(diào)用堆棧）來(lái)處理錯(cuò)誤。雖然這種方法有效，但很容易失去問(wèn)題的范圍，以確保您可以向用戶提供有意義的錯(cuò)誤。錯(cuò)誤包通過(guò)允許您向錯(cuò)誤添加上下文和堆棧跟蹤來(lái)解決此問(wèn)題。另一個(gè)問(wèn)題是很容易忘記處理錯(cuò)誤。像 errcheck 和 megacheck 這樣的靜態(tài)分析工具可以方便地避免犯這些錯(cuò)誤。雖然這些變通辦法效果很好，但感覺(jué)不太對(duì)勁。您希望該語(yǔ)言支持正確的錯(cuò)誤處理。
Go 的包管理絕不是完美的。默認(rèn)情況下，它無(wú)法指定特定版本的依賴(lài)項(xiàng)，也無(wú)法創(chuàng)建可重現(xiàn)的構(gòu)建。Python、Node 和 Ruby 都有更好的包管理系統(tǒng)。但是，使用正確的工具，Go 的包管理工作得很好。您可以使用Dep來(lái)管理您的依賴(lài)項(xiàng)，以允許指定和固定版本。除此之外，我們還貢獻(xiàn)了一個(gè)名為的開(kāi)源工具VirtualGo，它可以更輕松地處理用 Go 編寫(xiě)的多個(gè)項(xiàng)目。
我們進(jìn)行的一個(gè)有趣的實(shí)驗(yàn)是在 Python 中使用我們的排名提要功能并在 Go 中重寫(xiě)它。看看這個(gè)排名方法的例子：
Python 和 Go 代碼都需要執(zhí)行以下操作來(lái)支持這種排名方法：
開(kāi)發(fā) Python 版本的排名代碼大約花了 3 天時(shí)間。這包括編寫(xiě)代碼、單元測(cè)試和文檔。接下來(lái)，我們花了大約 2 周的時(shí)間優(yōu)化代碼。其中一項(xiàng)優(yōu)化是將分?jǐn)?shù)表達(dá)式 (simple_gauss(time)*popularity) 轉(zhuǎn)換為抽象語(yǔ)法樹(shù). 我們還實(shí)現(xiàn)了緩存邏輯，可以在未來(lái)的特定時(shí)間預(yù)先計(jì)算分?jǐn)?shù)。相比之下，開(kāi)發(fā)此代碼的 Go 版本大約需要 4 天時(shí)間。性能不需要任何進(jìn)一步的優(yōu)化。因此，雖然 Python 的最初開(kāi)發(fā)速度更快，但基于 Go 的版本最終需要我們團(tuán)隊(duì)的工作量大大減少。另外一個(gè)好處是，Go 代碼的執(zhí)行速度比我們高度優(yōu)化的 Python 代碼快大約 40 倍?，F(xiàn)在，這只是我們通過(guò)切換到 Go 體驗(yàn)到的性能提升的一個(gè)示例。
與 Python 相比，我們系統(tǒng)的其他一些組件在 Go 中構(gòu)建所需的時(shí)間要多得多。作為一個(gè)總體趨勢(shì)，我們看到 開(kāi)發(fā) Go 代碼需要更多的努力。但是，我們花更少的時(shí)間 優(yōu)化 代碼以提高性能。
我們?cè)u(píng)估的另一種語(yǔ)言是Elixir.。Elixir 建立在 Erlang 虛擬機(jī)之上。這是一種迷人的語(yǔ)言，我們之所以考慮它，是因?yàn)槲覀兊囊幻麍F(tuán)隊(duì)成員在 Erlang 方面擁有豐富的經(jīng)驗(yàn)。對(duì)于我們的用例，我們注意到 Go 的原始性能要好得多。Go 和 Elixir 都可以很好地服務(wù)數(shù)千個(gè)并發(fā)請(qǐng)求。但是，如果您查看單個(gè)請(qǐng)求的性能，Go 對(duì)于我們的用例來(lái)說(shuō)要快得多。我們選擇 Go 而不是 Elixir 的另一個(gè)原因是生態(tài)系統(tǒng)。對(duì)于我們需要的組件，Go 有更成熟的庫(kù)，而在許多情況下，Elixir 庫(kù)還沒(méi)有準(zhǔn)備好用于生產(chǎn)環(huán)境。培訓(xùn)/尋找開(kāi)發(fā)人員使用 Elixir 也更加困難。這些原因使天平向 Go 傾斜。Elixir 的 Phoenix 框架看起來(lái)很棒，絕對(duì)值得一看。
Go 是一種非常高性能的語(yǔ)言，對(duì)并發(fā)有很好的支持。它幾乎與 C++ 和 Java 等語(yǔ)言一樣快。雖然與 Python 或 Ruby 相比，使用 Go 構(gòu)建東西確實(shí)需要更多時(shí)間，但您將節(jié)省大量用于優(yōu)化代碼的時(shí)間。我們?cè)赟tream有一個(gè)小型開(kāi)發(fā)團(tuán)隊(duì)，為超過(guò) 5 億最終用戶提供動(dòng)力和聊天。Go 結(jié)合了 強(qiáng)大的生態(tài)系統(tǒng) 、新開(kāi)發(fā)人員的 輕松入門(mén)、快速的性能 、對(duì)并發(fā)的 可靠支持和高效的編程環(huán)境 ，使其成為一個(gè)不錯(cuò)的選擇。Stream 仍然在我們的儀表板、站點(diǎn)和機(jī)器學(xué)習(xí)中利用 Python 來(lái)提供個(gè)性化的訂閱源. 我們不會(huì)很快與 Python 說(shuō)再見(jiàn)，但今后所有性能密集型代碼都將使用 Go 編寫(xiě)。我們新的聊天 API也完全用 Go 編寫(xiě)。
1. 介紹
最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個(gè)基于Go語(yǔ)言的分布式實(shí)時(shí)消息平臺(tái)，它基于MIT開(kāi)源協(xié)議發(fā)布，由bitly公司開(kāi)源出來(lái)的一款簡(jiǎn)單易用的消息中間件。
官方和第三方還為NSQ開(kāi)發(fā)了眾多客戶端功能庫(kù)，如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語(yǔ)言的眾多第三方客戶端功能庫(kù)。
1.1 Features
1). Distributed
NSQ提供了分布式的，去中心化，且沒(méi)有單點(diǎn)故障的拓?fù)浣Y(jié)構(gòu)，穩(wěn)定的消息傳輸發(fā)布保障，能夠具有高容錯(cuò)和HA（高可用）特性。
2). Scalable易于擴(kuò)展
NSQ支持水平擴(kuò)展，沒(méi)有中心化的brokers。內(nèi)置的發(fā)現(xiàn)服務(wù)簡(jiǎn)化了在集群中增加節(jié)點(diǎn)。同時(shí)支持pub-sub和load-balanced 的消息分發(fā)。
3). Ops Friendly
NSQ非常容易配置和部署，生來(lái)就綁定了一個(gè)管理界面。二進(jìn)制包沒(méi)有運(yùn)行時(shí)依賴(lài)。官方有Docker image。
4.Integrated高度集成
官方的 Go 和 Python庫(kù)都有提供。而且為大多數(shù)語(yǔ)言提供了庫(kù)。
1.2 組件
1.3 拓?fù)浣Y(jié)構(gòu)
NSQ推薦通過(guò)他們相應(yīng)的nsqd實(shí)例使用協(xié)同定位發(fā)布者，這意味著即使面對(duì)網(wǎng)絡(luò)分區(qū)，消息也會(huì)被保存在本地，直到它們被一個(gè)消費(fèi)者讀取。更重要的是，發(fā)布者不必去發(fā)現(xiàn)其他的nsqd節(jié)點(diǎn)，他們總是可以向本地實(shí)例發(fā)布消息。
NSQ
首先，一個(gè)發(fā)布者向它的本地nsqd發(fā)送消息，要做到這點(diǎn)，首先要先打開(kāi)一個(gè)連接，然后發(fā)送一個(gè)包含topic和消息主體的發(fā)布命令，在這種情況下，我們將消息發(fā)布到事件topic上以分散到我們不同的worker中。
事件topic會(huì)復(fù)制這些消息并且在每一個(gè)連接topic的channel上進(jìn)行排隊(duì)，在我們的案例中，有三個(gè)channel，它們其中之一作為檔案channel。消費(fèi)者會(huì)獲取這些消息并且上傳到S3。
nsqd
每個(gè)channel的消息都會(huì)進(jìn)行排隊(duì)，直到一個(gè)worker把他們消費(fèi)，如果此隊(duì)列超出了內(nèi)存限制，消息將會(huì)被寫(xiě)入到磁盤(pán)中。Nsqd節(jié)點(diǎn)首先會(huì)向nsqlookup廣播他們的位置信息，一旦它們注冊(cè)成功，worker將會(huì)從nsqlookup服務(wù)器節(jié)點(diǎn)上發(fā)現(xiàn)所有包含事件topic的nsqd節(jié)點(diǎn)。
nsqlookupd
2. Internals
2.1 消息傳遞擔(dān)保
1）客戶表示已經(jīng)準(zhǔn)備好接收消息
2）NSQ 發(fā)送一條消息，并暫時(shí)將數(shù)據(jù)存儲(chǔ)在本地（在 re-queue 或 timeout）
3）客戶端回復(fù) FIN（結(jié)束）或 REQ（重新排隊(duì)）分別指示成功或失敗。如果客戶端沒(méi)有回復(fù), NSQ 會(huì)在設(shè)定的時(shí)間超時(shí)，自動(dòng)重新排隊(duì)消息
這確保了消息丟失唯一可能的情況是不正常結(jié)束 nsqd 進(jìn)程。在這種情況下，這是在內(nèi)存中的任何信息（或任何緩沖未刷新到磁盤(pán)）都將丟失。
如何防止消息丟失是最重要的，即使是這個(gè)意外情況可以得到緩解。一種解決方案是構(gòu)成冗余 nsqd對(duì)（在不同的主機(jī)上）接收消息的相同部分的副本。因?yàn)槟銓?shí)現(xiàn)的消費(fèi)者是冪等的，以兩倍時(shí)間處理這些消息不會(huì)對(duì)下游造成影響，并使得系統(tǒng)能夠承受任何單一節(jié)點(diǎn)故障而不會(huì)丟失信息。
2.2 簡(jiǎn)化配置和管理
單個(gè) nsqd 實(shí)例被設(shè)計(jì)成可以同時(shí)處理多個(gè)數(shù)據(jù)流。流被稱(chēng)為“話題”和話題有 1 個(gè)或多個(gè)“通道”。每個(gè)通道都接收到一個(gè)話題中所有消息的拷貝。在實(shí)踐中，一個(gè)通道映射到下行服務(wù)消費(fèi)一個(gè)話題。
在更底的層面，每個(gè) nsqd 有一個(gè)與 nsqlookupd 的長(zhǎng)期 TCP 連接，定期推動(dòng)其狀態(tài)。這個(gè)數(shù)據(jù)被 nsqlookupd 用于給消費(fèi)者通知 nsqd 地址。對(duì)于消費(fèi)者來(lái)說(shuō)，一個(gè)暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個(gè)新的消費(fèi)者，只需啟動(dòng)一個(gè)配置了 nsqlookup 實(shí)例地址的 NSQ 客戶端。無(wú)需為添加任何新的消費(fèi)者或生產(chǎn)者更改配置，大大降低了開(kāi)銷(xiāo)和復(fù)雜性。
2.3 消除單點(diǎn)故障
NSQ被設(shè)計(jì)以分布的方式被使用。nsqd 客戶端（通過(guò) TCP ）連接到指定話題的所有生產(chǎn)者實(shí)例。沒(méi)有中間人，沒(méi)有消息代理，也沒(méi)有單點(diǎn)故障。
這種拓?fù)浣Y(jié)構(gòu)消除單鏈，聚合，反饋。相反，你的消費(fèi)者直接訪問(wèn)所有生產(chǎn)者。從技術(shù)上講，哪個(gè)客戶端連接到哪個(gè) NSQ 不重要，只要有足夠的消費(fèi)者連接到所有生產(chǎn)者，以滿足大量的消息，保證所有東西最終將被處理。對(duì)于 nsqlookupd，高可用性是通過(guò)運(yùn)行多個(gè)實(shí)例來(lái)實(shí)現(xiàn)。他們不直接相互通信和數(shù)據(jù)被認(rèn)為是最終一致。消費(fèi)者輪詢所有的配置的 nsqlookupd 實(shí)例和合并 response。失敗的，無(wú)法訪問(wèn)的，或以其他方式故障的節(jié)點(diǎn)不會(huì)讓系統(tǒng)陷于停頓。
2.4 效率
對(duì)于數(shù)據(jù)的協(xié)議，通過(guò)推送數(shù)據(jù)到客戶端最大限度地提高性能和吞吐量的，而不是等待客戶端拉數(shù)據(jù)。這個(gè)概念，稱(chēng)之為 RDY 狀態(tài)，基本上是客戶端流量控制的一種形式。
efficiency
2.5 心跳和超時(shí)
組合應(yīng)用級(jí)別的心跳和 RDY 狀態(tài)，避免頭阻塞現(xiàn)象，也可能使心跳無(wú)用（即，如果消費(fèi)者是在后面的處理消息流的接收緩沖區(qū)中，操作系統(tǒng)將被填滿，堵心跳）為了保證進(jìn)度，所有的網(wǎng)絡(luò) IO 時(shí)間上限勢(shì)必與配置的心跳間隔相關(guān)聯(lián)。這意味著，你可以從字面上拔掉之間的網(wǎng)絡(luò)連接 nsqd 和消費(fèi)者，它會(huì)檢測(cè)并正確處理錯(cuò)誤。當(dāng)檢測(cè)到一個(gè)致命錯(cuò)誤，客戶端連接被強(qiáng)制關(guān)閉。在傳輸中的消息會(huì)超時(shí)而重新排隊(duì)等待傳遞到另一個(gè)消費(fèi)者。最后，錯(cuò)誤會(huì)被記錄并累計(jì)到各種內(nèi)部指標(biāo)。
2.6 分布式
因?yàn)镹SQ沒(méi)有在守護(hù)程序之間共享信息，所以它從一開(kāi)始就是為了分布式操作而生。個(gè)別的機(jī)器可以隨便宕機(jī)隨便啟動(dòng)而不會(huì)影響到系統(tǒng)的其余部分，消息發(fā)布者可以在本地發(fā)布，即使面對(duì)網(wǎng)絡(luò)分區(qū)。
這種“分布式優(yōu)先”的設(shè)計(jì)理念意味著NSQ基本上可以永遠(yuǎn)不斷地?cái)U(kuò)展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態(tài)就是保存在lookup節(jié)點(diǎn)上，甚至它們不需要全局視圖，配置某些nsqd注冊(cè)到某些lookup節(jié)點(diǎn)上這是很簡(jiǎn)單的配置，唯一關(guān)鍵的地方就是消費(fèi)者可以通過(guò)lookup節(jié)點(diǎn)獲取所有完整的節(jié)點(diǎn)集。清晰的故障事件——NSQ在組件內(nèi)建立了一套明確關(guān)于可能導(dǎo)致故障的的故障權(quán)衡機(jī)制，這對(duì)消息傳遞和恢復(fù)都有意義。雖然它們可能不像Kafka系統(tǒng)那樣提供嚴(yán)格的保證級(jí)別，但NSQ簡(jiǎn)單的操作使故障情況非常明顯。
2.7 no replication
不像其他的隊(duì)列組件，NSQ并沒(méi)有提供任何形式的復(fù)制和集群，也正是這點(diǎn)讓它能夠如此簡(jiǎn)單地運(yùn)行，但它確實(shí)對(duì)于一些高保證性高可靠性的消息發(fā)布沒(méi)有足夠的保證。我們可以通過(guò)降低文件同步的時(shí)間來(lái)部分避免，只需通過(guò)一個(gè)標(biāo)志配置，通過(guò)EBS支持我們的隊(duì)列。但是這樣仍然存在一個(gè)消息被發(fā)布后馬上死亡，丟失了有效的寫(xiě)入的情況。
2.8 沒(méi)有嚴(yán)格的順序
雖然Kafka由一個(gè)有序的日志構(gòu)成，但NSQ不是。消息可以在任何時(shí)間以任何順序進(jìn)入隊(duì)列。在我們使用的案例中，這通常沒(méi)有關(guān)系，因?yàn)樗械臄?shù)據(jù)都被加上了時(shí)間戳，但它并不適合需要嚴(yán)格順序的情況。
2.9 無(wú)數(shù)據(jù)重復(fù)刪除功能
NSQ對(duì)于超時(shí)系統(tǒng)，它使用了心跳檢測(cè)機(jī)制去測(cè)試消費(fèi)者是否存活還是死亡。很多原因會(huì)導(dǎo)致我們的consumer無(wú)法完成心跳檢測(cè)，所以在consumer中必須有一個(gè)單獨(dú)的步驟確保冪等性。
3. 實(shí)踐安裝過(guò)程
本文將nsq集群具體的安裝過(guò)程略去，大家可以自行參考官網(wǎng)，比較簡(jiǎn)單。這部分介紹下筆者實(shí)驗(yàn)的拓?fù)?，以及nsqadmin的相關(guān)信息。
3.1 拓?fù)浣Y(jié)構(gòu)
topology
實(shí)驗(yàn)采用3臺(tái)NSQD服務(wù)，2臺(tái)LOOKUPD服務(wù)。
采用官方推薦的拓?fù)洌l(fā)布的服務(wù)和NSQD在一臺(tái)主機(jī)。一共5臺(tái)機(jī)器。
NSQ基本沒(méi)有配置文件，配置通過(guò)命令行指定參數(shù)。
主要命令如下:
LOOKUPD命令
NSQD命令
工具類(lèi)，消費(fèi)后存儲(chǔ)到本地文件。
發(fā)布一條消息
3.2 nsqadmin
對(duì)Streams的詳細(xì)信息進(jìn)行查看，包括NSQD節(jié)點(diǎn)，具體的channel，隊(duì)列中的消息數(shù)，連接數(shù)等信息。
nsqadmin
channel
列出所有的NSQD節(jié)點(diǎn):
nodes
消息的統(tǒng)計(jì):
msgs
lookup主機(jī)的列表:
hosts
4. 總結(jié)
NSQ基本核心就是簡(jiǎn)單性，是一個(gè)簡(jiǎn)單的隊(duì)列，這意味著它很容易進(jìn)行故障推理和很容易發(fā)現(xiàn)bug。消費(fèi)者可以自行處理故障事件而不會(huì)影響系統(tǒng)剩下的其余部分。
事實(shí)上，簡(jiǎn)單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護(hù)，通過(guò)引入隊(duì)列使我們得到了堪稱(chēng)完美的表現(xiàn)，通過(guò)隊(duì)列甚至讓我們?cè)黾恿藥讉€(gè)數(shù)量級(jí)的吞吐量。越來(lái)越多的consumer需要一套嚴(yán)格可靠性和順序性保障，這已經(jīng)超過(guò)了NSQ提供的簡(jiǎn)單功能。
結(jié)合我們的業(yè)務(wù)系統(tǒng)來(lái)看，對(duì)于我們所需要傳輸?shù)陌l(fā)票消息，相對(duì)比較敏感，無(wú)法容忍某個(gè)nsqd宕機(jī)，或者磁盤(pán)無(wú)法使用的情況，該節(jié)點(diǎn)堆積的消息無(wú)法找回。這是我們沒(méi)有選擇該消息中間件的主要原因。簡(jiǎn)單性和可靠性似乎并不能完全滿足。相比Kafka，ops肩負(fù)起更多負(fù)責(zé)的運(yùn)營(yíng)。另一方面，它擁有一個(gè)可復(fù)制的、有序的日志可以提供給我們更好的服務(wù)。但對(duì)于其他適合NSQ的consumer，它為我們服務(wù)的相當(dāng)好，我們期待著繼續(xù)鞏固它的堅(jiān)實(shí)的基礎(chǔ)。
很多朋友可能知道Go語(yǔ)言的優(yōu)勢(shì)在哪，卻不知道Go語(yǔ)言適合用于哪些地方。
1、 Go語(yǔ)言作為服務(wù)器編程語(yǔ)言，很適合處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫(kù)代理等；網(wǎng)絡(luò)編程方面。Go語(yǔ)言廣泛應(yīng)用于Web應(yīng)用、API應(yīng)用、下載應(yīng)用等；除此之外，Go語(yǔ)言還可用于內(nèi)存數(shù)據(jù)庫(kù)和云平臺(tái)領(lǐng)域，目前國(guó)外很多云平臺(tái)都是采用Go開(kāi)發(fā)。
2、 其實(shí)Go語(yǔ)言主要用作服務(wù)器端開(kāi)發(fā)。其定位是用來(lái)開(kāi)發(fā)"大型軟件"的，適合于很多程序員一起開(kāi)發(fā)大型軟件，并且開(kāi)發(fā)周期長(zhǎng)，支持云計(jì)算的網(wǎng)絡(luò)服務(wù)。Go語(yǔ)言能夠讓程序員快速開(kāi)發(fā)，并且在軟件不斷的增長(zhǎng)過(guò)程中，它能讓程序員更容易地進(jìn)行維護(hù)和修改。它融合了傳統(tǒng)編譯型語(yǔ)言的高效性和腳本語(yǔ)言的易用性和富于表達(dá)性。
3、 Go語(yǔ)言成功案例。Nsq：Nsq是由Go語(yǔ)言開(kāi)發(fā)的高性能、高可用消息隊(duì)列系統(tǒng)，性能非常高，每天能處理數(shù)十億條的消息；
4、 Docker：基于lxc的一個(gè)虛擬打包工具，能夠?qū)崿F(xiàn)PAAS平臺(tái)的組建。
5、 Packer：用來(lái)生成不同平臺(tái)的鏡像文件，例如VM、vbox、AWS等，作者是vagrant的作者
6、 Skynet：分布式調(diào)度框架。
7、 Doozer：分布式同步工具，類(lèi)似ZooKeeper。
8、 Heka：mazila開(kāi)源的日志處理系統(tǒng)。
9、 Cbfs：couchbase開(kāi)源的分布式文件系統(tǒng)。
10、 Tsuru：開(kāi)源的PAAS平臺(tái)，和SAE實(shí)現(xiàn)的功能一模一樣。
11、 Groupcache：memcahe作者寫(xiě)的用于Google下載系統(tǒng)的緩存系統(tǒng)。
12、 God：類(lèi)似redis的緩存系統(tǒng)，但是支持分布式和擴(kuò)展性。
13、 Gor：網(wǎng)絡(luò)流量抓包和重放工具。
以上的就是關(guān)于go語(yǔ)言能做什么的內(nèi)容介紹了。
學(xué)完了 net/http 和 fasthttp 兩個(gè)HTTP協(xié)議接口的客戶端實(shí)現(xiàn)，接下來(lái)就要開(kāi)始Server的開(kāi)發(fā)，不學(xué)不知道一學(xué)嚇一跳，居然這兩個(gè)庫(kù)還支持Server的開(kāi)發(fā)，太方便了。
相比于Java的HTTPServer開(kāi)發(fā)基本上都是使用Spring或者Springboot框架，總是要配置各種配置類(lèi)，各種 handle 對(duì)象。Golang的Server開(kāi)發(fā)顯得非常簡(jiǎn)單，就是因?yàn)樘貏e簡(jiǎn)單，或者說(shuō)沒(méi)有形成特別統(tǒng)一的規(guī)范或者框架，我發(fā)現(xiàn)了很多實(shí)現(xiàn)方式，HTTP協(xié)議基于還是 net/http 和 fasthttp ，但是 handle 語(yǔ)法就多種多樣了。
先復(fù)習(xí)一下： Golang語(yǔ)言HTTP客戶端實(shí)踐 、 Golang fasthttp實(shí)踐 。
在Golang語(yǔ)言方面，實(shí)現(xiàn)某個(gè)功能的庫(kù)可能會(huì)比較多，有機(jī)會(huì)還是要多跟同行交流，指不定就發(fā)現(xiàn)了更好用的庫(kù)。下面我分享我學(xué)到的六種Server開(kāi)發(fā)的實(shí)現(xiàn)Demo。
基于 net/http 實(shí)現(xiàn)，這是一種比較基礎(chǔ)的，對(duì)于接口和 handle 映射關(guān)系處理并不優(yōu)雅，不推薦使用。
第二種也是基于 net/http ，這種編寫(xiě)語(yǔ)法可以很好地解決第一種的問(wèn)題，handle和path有了類(lèi)似配置的語(yǔ)法，可讀性提高了很多。
第三個(gè)基于 net/http 和 github.com/labstack/echo ，后者主要提供了 Echo 對(duì)象用來(lái)處理各類(lèi)配置包括接口和handle映射，功能很豐富，可讀性最佳。
第四種依然基于 net/http 實(shí)現(xiàn)，引入了 github.com/gin-gonic/gin 的路由，看起來(lái)接口和 handle 映射關(guān)系比較明晰了。
第五種基于 fasthttp 開(kāi)發(fā)，使用都是 fasthttp 提供的API，可讀性尚可，handle配置倒是更像Java了。
第六種依然基于 fasthttp ，用到了 github.com/buaazp/fasthttprouter ，有點(diǎn)奇怪兩個(gè)居然不在一個(gè)GitHub倉(cāng)庫(kù)里。使用語(yǔ)法跟第三種方式有點(diǎn)類(lèi)似，比較有條理，有利于閱讀。
由于工作的契機(jī)，最近學(xué)習(xí)了下Gossip，以及go語(yǔ)言的實(shí)現(xiàn)版本HashiCorp/memberlist。網(wǎng)上有個(gè)最基本的memberlist使用的example，在下邊的鏈接中，感興趣可以按照文檔運(yùn)行下感受感受。本文主要講解memberlist v0.1.5 的使用細(xì)節(jié)。
Gossip是最終一致性協(xié)議，是目前性能最好，容錯(cuò)性最好的分布式協(xié)議。目前Prometheus的告警組件alertmanager、redis、s3、區(qū)塊鏈等項(xiàng)目都有使用Gossip。本文不介紹Gossip原理，大家自行谷歌。
簡(jiǎn)單的幾步即可搭建gossip集群
感謝已經(jīng)有網(wǎng)友為我們實(shí)現(xiàn)了一個(gè)example（
）。
哪里有問(wèn)題，還請(qǐng)大家多多指正
重慶分公司
重慶分公司
