為什么要使用 Go 語(yǔ)言？Go 語(yǔ)言的優(yōu)勢(shì)在哪里

1、學(xué)習(xí)曲線(xiàn)

成都創(chuàng)新互聯(lián)公司是一家集網(wǎng)站建設(shè),天寧企業(yè)網(wǎng)站建設(shè),天寧品牌網(wǎng)站建設(shè),網(wǎng)站定制,天寧網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷(xiāo),網(wǎng)絡(luò)優(yōu)化,天寧網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿(mǎn)足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專(zhuān)業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶(hù)成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

它包含了類(lèi)C語(yǔ)法、GC內(nèi)置和工程工具。這一點(diǎn)非常重要，因?yàn)镚o語(yǔ)言容易學(xué)習(xí)，所以一個(gè)普通的大學(xué)生花一個(gè)星期就能寫(xiě)出來(lái)可以上手的、高性能的應(yīng)用。在國(guó)內(nèi)大家都追求快，這也是為什么國(guó)內(nèi)Go流行的原因之一。

2、效率

Go擁有接近C的運(yùn)行效率和接近PHP的開(kāi)發(fā)效率，這就很有利的支撐了上面大家追求快速的需求。

3、出身名門(mén)、血統(tǒng)純正

之所以說(shuō)Go語(yǔ)言出身名門(mén)，是因?yàn)槲覀冎繥o語(yǔ)言出自Google公司，這個(gè)公司在業(yè)界的知名度和實(shí)力自然不用多說(shuō)。Google公司聚集了一批牛人，在各種編程語(yǔ)言稱(chēng)雄爭(zhēng)霸的局面下推出新的編程語(yǔ)言，自然有它的戰(zhàn)略考慮。而且從Go語(yǔ)言的發(fā)展態(tài)勢(shì)來(lái)看，Google對(duì)它這個(gè)新的寵兒還是很看重的，Go自然有一個(gè)良好的發(fā)展前途。我們看看Go語(yǔ)言的主要?jiǎng)?chuàng)造者，血統(tǒng)純正這點(diǎn)就可見(jiàn)端倪了。

4、組合的思想、無(wú)侵入式的接口

Go語(yǔ)言可以說(shuō)是開(kāi)發(fā)效率和運(yùn)行效率二者的完美融合，天生的并發(fā)編程支持。Go語(yǔ)言支持當(dāng)前所有的編程范式，包括過(guò)程式編程、面向?qū)ο缶幊桃约昂瘮?shù)式編程。

5、強(qiáng)大的標(biāo)準(zhǔn)庫(kù)

這包括互聯(lián)網(wǎng)應(yīng)用、系統(tǒng)編程和網(wǎng)絡(luò)編程。Go里面的標(biāo)準(zhǔn)庫(kù)基本上已經(jīng)是非常穩(wěn)定，特別是我這里提到的三個(gè)，網(wǎng)絡(luò)層、系統(tǒng)層的庫(kù)非常實(shí)用。

6、部署方便

我相信這一點(diǎn)是很多人選擇Go的最大理由，因?yàn)椴渴鹛奖?，所以現(xiàn)在也有很多人用Go開(kāi)發(fā)運(yùn)維程序。

7、簡(jiǎn)單的并發(fā)

它包含降低心智的并發(fā)和簡(jiǎn)易的數(shù)據(jù)同步，我覺(jué)得這是Go最大的特色。之所以寫(xiě)正確的并發(fā)、容錯(cuò)和可擴(kuò)展的程序如此之難，是因?yàn)槲覀冇昧隋e(cuò)誤的工具和錯(cuò)誤的抽象，Go可以說(shuō)這一塊做的相當(dāng)簡(jiǎn)單。

8、穩(wěn)定性

Go擁有強(qiáng)大的編譯檢查、嚴(yán)格的編碼規(guī)范和完整的軟件生命周期工具，具有很強(qiáng)的穩(wěn)定性，穩(wěn)定壓倒一切。那么為什么Go相比于其他程序會(huì)更穩(wěn)定呢?這是因?yàn)镚o提供了軟件生命周期的各個(gè)環(huán)節(jié)的工具，如go

tool、gofmt、go test。

為什么要使用 Go 語(yǔ)言?Go 語(yǔ)言的優(yōu)勢(shì)在哪里?

1、簡(jiǎn)單易學(xué)。

Go語(yǔ)言的作者本身就很懂C語(yǔ)言，所以同樣Go語(yǔ)言也會(huì)有C語(yǔ)言的基因，所以對(duì)于程序員來(lái)說(shuō)，Go語(yǔ)言天生就會(huì)讓人很熟悉，容易上手。

2、并發(fā)性好。

Go語(yǔ)言天生支持并發(fā)，可以充分利用多核，輕松地使用并發(fā)。 這是Go語(yǔ)言最大的特點(diǎn)。

描述

Go的語(yǔ)法接近C語(yǔ)言，但對(duì)于變量的聲明有所不同。Go支持垃圾回收功能。Go的并行模型是以東尼·霍爾的通信順序進(jìn)程（CSP）為基礎(chǔ)，采取類(lèi)似模型的其他語(yǔ)言包括Occam和Limbo，但它也具有Pi運(yùn)算的特征，比如通道傳輸。

在1.8版本中開(kāi)放插件（Plugin）的支持，這意味著現(xiàn)在能從Go中動(dòng)態(tài)加載部分函數(shù)。

與C++相比，Go并不包括如枚舉、異常處理、繼承、泛型、斷言、虛函數(shù)等功能，但增加了 切片(Slice) 型、并發(fā)、管道、垃圾回收、接口（Interface）等特性的語(yǔ)言級(jí)支持。

golang使用Nsq

1. 介紹

最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個(gè)基于Go語(yǔ)言的分布式實(shí)時(shí)消息平臺(tái)，它基于MIT開(kāi)源協(xié)議發(fā)布，由bitly公司開(kāi)源出來(lái)的一款簡(jiǎn)單易用的消息中間件。

官方和第三方還為NSQ開(kāi)發(fā)了眾多客戶(hù)端功能庫(kù)，如官方提供的基于HTTP的nsqd、Go客戶(hù)端go-nsq、Python客戶(hù)端pynsq、基于Node.js的JavaScript客戶(hù)端nsqjs、異步C客戶(hù)端libnsq、Java客戶(hù)端nsq-java以及基于各種語(yǔ)言的眾多第三方客戶(hù)端功能庫(kù)。

1.1 Features

1). Distributed

NSQ提供了分布式的，去中心化，且沒(méi)有單點(diǎn)故障的拓?fù)浣Y(jié)構(gòu)，穩(wěn)定的消息傳輸發(fā)布保障，能夠具有高容錯(cuò)和HA（高可用）特性。

2). Scalable易于擴(kuò)展

NSQ支持水平擴(kuò)展，沒(méi)有中心化的brokers。內(nèi)置的發(fā)現(xiàn)服務(wù)簡(jiǎn)化了在集群中增加節(jié)點(diǎn)。同時(shí)支持pub-sub和load-balanced 的消息分發(fā)。

3). Ops Friendly

NSQ非常容易配置和部署，生來(lái)就綁定了一個(gè)管理界面。二進(jìn)制包沒(méi)有運(yùn)行時(shí)依賴(lài)。官方有Docker image。

4.Integrated高度集成

官方的 Go 和 Python庫(kù)都有提供。而且為大多數(shù)語(yǔ)言提供了庫(kù)。

1.2 組件

1.3 拓?fù)浣Y(jié)構(gòu)

NSQ推薦通過(guò)他們相應(yīng)的nsqd實(shí)例使用協(xié)同定位發(fā)布者，這意味著即使面對(duì)網(wǎng)絡(luò)分區(qū)，消息也會(huì)被保存在本地，直到它們被一個(gè)消費(fèi)者讀取。更重要的是，發(fā)布者不必去發(fā)現(xiàn)其他的nsqd節(jié)點(diǎn)，他們總是可以向本地實(shí)例發(fā)布消息。

NSQ

首先，一個(gè)發(fā)布者向它的本地nsqd發(fā)送消息，要做到這點(diǎn)，首先要先打開(kāi)一個(gè)連接，然后發(fā)送一個(gè)包含topic和消息主體的發(fā)布命令，在這種情況下，我們將消息發(fā)布到事件topic上以分散到我們不同的worker中。

事件topic會(huì)復(fù)制這些消息并且在每一個(gè)連接topic的channel上進(jìn)行排隊(duì)，在我們的案例中，有三個(gè)channel，它們其中之一作為檔案channel。消費(fèi)者會(huì)獲取這些消息并且上傳到S3。

nsqd

每個(gè)channel的消息都會(huì)進(jìn)行排隊(duì)，直到一個(gè)worker把他們消費(fèi)，如果此隊(duì)列超出了內(nèi)存限制，消息將會(huì)被寫(xiě)入到磁盤(pán)中。Nsqd節(jié)點(diǎn)首先會(huì)向nsqlookup廣播他們的位置信息，一旦它們注冊(cè)成功，worker將會(huì)從nsqlookup服務(wù)器節(jié)點(diǎn)上發(fā)現(xiàn)所有包含事件topic的nsqd節(jié)點(diǎn)。

nsqlookupd

2. Internals

2.1 消息傳遞擔(dān)保

1）客戶(hù)表示已經(jīng)準(zhǔn)備好接收消息

2）NSQ 發(fā)送一條消息，并暫時(shí)將數(shù)據(jù)存儲(chǔ)在本地（在 re-queue 或 timeout）

3）客戶(hù)端回復(fù) FIN（結(jié)束）或 REQ（重新排隊(duì)）分別指示成功或失敗。如果客戶(hù)端沒(méi)有回復(fù), NSQ 會(huì)在設(shè)定的時(shí)間超時(shí)，自動(dòng)重新排隊(duì)消息

這確保了消息丟失唯一可能的情況是不正常結(jié)束 nsqd 進(jìn)程。在這種情況下，這是在內(nèi)存中的任何信息（或任何緩沖未刷新到磁盤(pán)）都將丟失。

如何防止消息丟失是最重要的，即使是這個(gè)意外情況可以得到緩解。一種解決方案是構(gòu)成冗余 nsqd對(duì)（在不同的主機(jī)上）接收消息的相同部分的副本。因?yàn)槟銓?shí)現(xiàn)的消費(fèi)者是冪等的，以?xún)杀稌r(shí)間處理這些消息不會(huì)對(duì)下游造成影響，并使得系統(tǒng)能夠承受任何單一節(jié)點(diǎn)故障而不會(huì)丟失信息。

2.2 簡(jiǎn)化配置和管理

單個(gè) nsqd 實(shí)例被設(shè)計(jì)成可以同時(shí)處理多個(gè)數(shù)據(jù)流。流被稱(chēng)為“話(huà)題”和話(huà)題有 1 個(gè)或多個(gè)“通道”。每個(gè)通道都接收到一個(gè)話(huà)題中所有消息的拷貝。在實(shí)踐中，一個(gè)通道映射到下行服務(wù)消費(fèi)一個(gè)話(huà)題。

在更底的層面，每個(gè) nsqd 有一個(gè)與 nsqlookupd 的長(zhǎng)期 TCP 連接，定期推動(dòng)其狀態(tài)。這個(gè)數(shù)據(jù)被 nsqlookupd 用于給消費(fèi)者通知 nsqd 地址。對(duì)于消費(fèi)者來(lái)說(shuō)，一個(gè)暴露的 HTTP /lookup 接口用于輪詢(xún)。為話(huà)題引入一個(gè)新的消費(fèi)者，只需啟動(dòng)一個(gè)配置了 nsqlookup 實(shí)例地址的 NSQ 客戶(hù)端。無(wú)需為添加任何新的消費(fèi)者或生產(chǎn)者更改配置，大大降低了開(kāi)銷(xiāo)和復(fù)雜性。

2.3 消除單點(diǎn)故障

NSQ被設(shè)計(jì)以分布的方式被使用。nsqd 客戶(hù)端（通過(guò) TCP ）連接到指定話(huà)題的所有生產(chǎn)者實(shí)例。沒(méi)有中間人，沒(méi)有消息代理，也沒(méi)有單點(diǎn)故障。

這種拓?fù)浣Y(jié)構(gòu)消除單鏈，聚合，反饋。相反，你的消費(fèi)者直接訪(fǎng)問(wèn)所有生產(chǎn)者。從技術(shù)上講，哪個(gè)客戶(hù)端連接到哪個(gè) NSQ 不重要，只要有足夠的消費(fèi)者連接到所有生產(chǎn)者，以滿(mǎn)足大量的消息，保證所有東西最終將被處理。對(duì)于 nsqlookupd，高可用性是通過(guò)運(yùn)行多個(gè)實(shí)例來(lái)實(shí)現(xiàn)。他們不直接相互通信和數(shù)據(jù)被認(rèn)為是最終一致。消費(fèi)者輪詢(xún)所有的配置的 nsqlookupd 實(shí)例和合并 response。失敗的，無(wú)法訪(fǎng)問(wèn)的，或以其他方式故障的節(jié)點(diǎn)不會(huì)讓系統(tǒng)陷于停頓。

2.4 效率

對(duì)于數(shù)據(jù)的協(xié)議，通過(guò)推送數(shù)據(jù)到客戶(hù)端最大限度地提高性能和吞吐量的，而不是等待客戶(hù)端拉數(shù)據(jù)。這個(gè)概念，稱(chēng)之為 RDY 狀態(tài)，基本上是客戶(hù)端流量控制的一種形式。

efficiency

2.5 心跳和超時(shí)

組合應(yīng)用級(jí)別的心跳和 RDY 狀態(tài)，避免頭阻塞現(xiàn)象，也可能使心跳無(wú)用（即，如果消費(fèi)者是在后面的處理消息流的接收緩沖區(qū)中，操作系統(tǒng)將被填滿(mǎn)，堵心跳）為了保證進(jìn)度，所有的網(wǎng)絡(luò) IO 時(shí)間上限勢(shì)必與配置的心跳間隔相關(guān)聯(lián)。這意味著，你可以從字面上拔掉之間的網(wǎng)絡(luò)連接 nsqd 和消費(fèi)者，它會(huì)檢測(cè)并正確處理錯(cuò)誤。當(dāng)檢測(cè)到一個(gè)致命錯(cuò)誤，客戶(hù)端連接被強(qiáng)制關(guān)閉。在傳輸中的消息會(huì)超時(shí)而重新排隊(duì)等待傳遞到另一個(gè)消費(fèi)者。最后，錯(cuò)誤會(huì)被記錄并累計(jì)到各種內(nèi)部指標(biāo)。

2.6 分布式

因?yàn)镹SQ沒(méi)有在守護(hù)程序之間共享信息，所以它從一開(kāi)始就是為了分布式操作而生。個(gè)別的機(jī)器可以隨便宕機(jī)隨便啟動(dòng)而不會(huì)影響到系統(tǒng)的其余部分，消息發(fā)布者可以在本地發(fā)布，即使面對(duì)網(wǎng)絡(luò)分區(qū)。

這種“分布式優(yōu)先”的設(shè)計(jì)理念意味著NSQ基本上可以永遠(yuǎn)不斷地?cái)U(kuò)展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態(tài)就是保存在lookup節(jié)點(diǎn)上，甚至它們不需要全局視圖，配置某些nsqd注冊(cè)到某些lookup節(jié)點(diǎn)上這是很簡(jiǎn)單的配置，唯一關(guān)鍵的地方就是消費(fèi)者可以通過(guò)lookup節(jié)點(diǎn)獲取所有完整的節(jié)點(diǎn)集。清晰的故障事件——NSQ在組件內(nèi)建立了一套明確關(guān)于可能導(dǎo)致故障的的故障權(quán)衡機(jī)制，這對(duì)消息傳遞和恢復(fù)都有意義。雖然它們可能不像Kafka系統(tǒng)那樣提供嚴(yán)格的保證級(jí)別，但NSQ簡(jiǎn)單的操作使故障情況非常明顯。

2.7 no replication

不像其他的隊(duì)列組件，NSQ并沒(méi)有提供任何形式的復(fù)制和集群，也正是這點(diǎn)讓它能夠如此簡(jiǎn)單地運(yùn)行，但它確實(shí)對(duì)于一些高保證性高可靠性的消息發(fā)布沒(méi)有足夠的保證。我們可以通過(guò)降低文件同步的時(shí)間來(lái)部分避免，只需通過(guò)一個(gè)標(biāo)志配置，通過(guò)EBS支持我們的隊(duì)列。但是這樣仍然存在一個(gè)消息被發(fā)布后馬上死亡，丟失了有效的寫(xiě)入的情況。

2.8 沒(méi)有嚴(yán)格的順序

雖然Kafka由一個(gè)有序的日志構(gòu)成，但NSQ不是。消息可以在任何時(shí)間以任何順序進(jìn)入隊(duì)列。在我們使用的案例中，這通常沒(méi)有關(guān)系，因?yàn)樗械臄?shù)據(jù)都被加上了時(shí)間戳，但它并不適合需要嚴(yán)格順序的情況。

2.9 無(wú)數(shù)據(jù)重復(fù)刪除功能

NSQ對(duì)于超時(shí)系統(tǒng)，它使用了心跳檢測(cè)機(jī)制去測(cè)試消費(fèi)者是否存活還是死亡。很多原因會(huì)導(dǎo)致我們的consumer無(wú)法完成心跳檢測(cè)，所以在consumer中必須有一個(gè)單獨(dú)的步驟確保冪等性。

3. 實(shí)踐安裝過(guò)程

本文將nsq集群具體的安裝過(guò)程略去，大家可以自行參考官網(wǎng)，比較簡(jiǎn)單。這部分介紹下筆者實(shí)驗(yàn)的拓?fù)洌约皀sqadmin的相關(guān)信息。

3.1 拓?fù)浣Y(jié)構(gòu)

topology

實(shí)驗(yàn)采用3臺(tái)NSQD服務(wù)，2臺(tái)LOOKUPD服務(wù)。

采用官方推薦的拓?fù)洌l(fā)布的服務(wù)和NSQD在一臺(tái)主機(jī)。一共5臺(tái)機(jī)器。

NSQ基本沒(méi)有配置文件，配置通過(guò)命令行指定參數(shù)。

主要命令如下:

LOOKUPD命令

NSQD命令

工具類(lèi)，消費(fèi)后存儲(chǔ)到本地文件。

發(fā)布一條消息

3.2 nsqadmin

對(duì)Streams的詳細(xì)信息進(jìn)行查看，包括NSQD節(jié)點(diǎn)，具體的channel，隊(duì)列中的消息數(shù)，連接數(shù)等信息。

nsqadmin

channel

列出所有的NSQD節(jié)點(diǎn):

nodes

消息的統(tǒng)計(jì):

msgs

lookup主機(jī)的列表:

hosts

4. 總結(jié)

NSQ基本核心就是簡(jiǎn)單性，是一個(gè)簡(jiǎn)單的隊(duì)列，這意味著它很容易進(jìn)行故障推理和很容易發(fā)現(xiàn)bug。消費(fèi)者可以自行處理故障事件而不會(huì)影響系統(tǒng)剩下的其余部分。

事實(shí)上，簡(jiǎn)單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護(hù)，通過(guò)引入隊(duì)列使我們得到了堪稱(chēng)完美的表現(xiàn)，通過(guò)隊(duì)列甚至讓我們?cè)黾恿藥讉€(gè)數(shù)量級(jí)的吞吐量。越來(lái)越多的consumer需要一套嚴(yán)格可靠性和順序性保障，這已經(jīng)超過(guò)了NSQ提供的簡(jiǎn)單功能。

結(jié)合我們的業(yè)務(wù)系統(tǒng)來(lái)看，對(duì)于我們所需要傳輸?shù)陌l(fā)票消息，相對(duì)比較敏感，無(wú)法容忍某個(gè)nsqd宕機(jī)，或者磁盤(pán)無(wú)法使用的情況，該節(jié)點(diǎn)堆積的消息無(wú)法找回。這是我們沒(méi)有選擇該消息中間件的主要原因。簡(jiǎn)單性和可靠性似乎并不能完全滿(mǎn)足。相比Kafka，ops肩負(fù)起更多負(fù)責(zé)的運(yùn)營(yíng)。另一方面，它擁有一個(gè)可復(fù)制的、有序的日志可以提供給我們更好的服務(wù)。但對(duì)于其他適合NSQ的consumer，它為我們服務(wù)的相當(dāng)好，我們期待著繼續(xù)鞏固它的堅(jiān)實(shí)的基礎(chǔ)。