1. 介紹
我們提供的服務(wù)有：成都網(wǎng)站設(shè)計、做網(wǎng)站、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、克東ssl等。為上1000+企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學管理、有技術(shù)的克東網(wǎng)站制作公司
最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個基于Go語言的分布式實時消息平臺，它基于MIT開源協(xié)議發(fā)布，由bitly公司開源出來的一款簡單易用的消息中間件。
官方和第三方還為NSQ開發(fā)了眾多客戶端功能庫，如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語言的眾多第三方客戶端功能庫。
1.1 Features
1). Distributed
NSQ提供了分布式的，去中心化，且沒有單點故障的拓撲結(jié)構(gòu)，穩(wěn)定的消息傳輸發(fā)布保障，能夠具有高容錯和HA（高可用）特性。
2). Scalable易于擴展
NSQ支持水平擴展，沒有中心化的brokers。內(nèi)置的發(fā)現(xiàn)服務(wù)簡化了在集群中增加節(jié)點。同時支持pub-sub和load-balanced 的消息分發(fā)。
3). Ops Friendly
NSQ非常容易配置和部署，生來就綁定了一個管理界面。二進制包沒有運行時依賴。官方有Docker image。
4.Integrated高度集成
官方的 Go 和 Python庫都有提供。而且為大多數(shù)語言提供了庫。
1.2 組件
1.3 拓撲結(jié)構(gòu)
NSQ推薦通過他們相應的nsqd實例使用協(xié)同定位發(fā)布者，這意味著即使面對網(wǎng)絡(luò)分區(qū)，消息也會被保存在本地，直到它們被一個消費者讀取。更重要的是，發(fā)布者不必去發(fā)現(xiàn)其他的nsqd節(jié)點，他們總是可以向本地實例發(fā)布消息。
NSQ
首先，一個發(fā)布者向它的本地nsqd發(fā)送消息，要做到這點，首先要先打開一個連接，然后發(fā)送一個包含topic和消息主體的發(fā)布命令，在這種情況下，我們將消息發(fā)布到事件topic上以分散到我們不同的worker中。
事件topic會復制這些消息并且在每一個連接topic的channel上進行排隊，在我們的案例中，有三個channel，它們其中之一作為檔案channel。消費者會獲取這些消息并且上傳到S3。
nsqd
每個channel的消息都會進行排隊，直到一個worker把他們消費，如果此隊列超出了內(nèi)存限制，消息將會被寫入到磁盤中。Nsqd節(jié)點首先會向nsqlookup廣播他們的位置信息，一旦它們注冊成功，worker將會從nsqlookup服務(wù)器節(jié)點上發(fā)現(xiàn)所有包含事件topic的nsqd節(jié)點。
nsqlookupd
2. Internals
2.1 消息傳遞擔保
1）客戶表示已經(jīng)準備好接收消息
2）NSQ 發(fā)送一條消息，并暫時將數(shù)據(jù)存儲在本地（在 re-queue 或 timeout）
3）客戶端回復 FIN（結(jié)束）或 REQ（重新排隊）分別指示成功或失敗。如果客戶端沒有回復, NSQ 會在設(shè)定的時間超時，自動重新排隊消息
這確保了消息丟失唯一可能的情況是不正常結(jié)束 nsqd 進程。在這種情況下，這是在內(nèi)存中的任何信息（或任何緩沖未刷新到磁盤）都將丟失。
如何防止消息丟失是最重要的，即使是這個意外情況可以得到緩解。一種解決方案是構(gòu)成冗余 nsqd對（在不同的主機上）接收消息的相同部分的副本。因為你實現(xiàn)的消費者是冪等的，以兩倍時間處理這些消息不會對下游造成影響，并使得系統(tǒng)能夠承受任何單一節(jié)點故障而不會丟失信息。
2.2 簡化配置和管理
單個 nsqd 實例被設(shè)計成可以同時處理多個數(shù)據(jù)流。流被稱為“話題”和話題有 1 個或多個“通道”。每個通道都接收到一個話題中所有消息的拷貝。在實踐中，一個通道映射到下行服務(wù)消費一個話題。
在更底的層面，每個 nsqd 有一個與 nsqlookupd 的長期 TCP 連接，定期推動其狀態(tài)。這個數(shù)據(jù)被 nsqlookupd 用于給消費者通知 nsqd 地址。對于消費者來說，一個暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個新的消費者，只需啟動一個配置了 nsqlookup 實例地址的 NSQ 客戶端。無需為添加任何新的消費者或生產(chǎn)者更改配置，大大降低了開銷和復雜性。
2.3 消除單點故障
NSQ被設(shè)計以分布的方式被使用。nsqd 客戶端（通過 TCP ）連接到指定話題的所有生產(chǎn)者實例。沒有中間人，沒有消息代理，也沒有單點故障。
這種拓撲結(jié)構(gòu)消除單鏈，聚合，反饋。相反，你的消費者直接訪問所有生產(chǎn)者。從技術(shù)上講，哪個客戶端連接到哪個 NSQ 不重要，只要有足夠的消費者連接到所有生產(chǎn)者，以滿足大量的消息，保證所有東西最終將被處理。對于 nsqlookupd，高可用性是通過運行多個實例來實現(xiàn)。他們不直接相互通信和數(shù)據(jù)被認為是最終一致。消費者輪詢所有的配置的 nsqlookupd 實例和合并 response。失敗的，無法訪問的，或以其他方式故障的節(jié)點不會讓系統(tǒng)陷于停頓。
2.4 效率
對于數(shù)據(jù)的協(xié)議，通過推送數(shù)據(jù)到客戶端最大限度地提高性能和吞吐量的，而不是等待客戶端拉數(shù)據(jù)。這個概念，稱之為 RDY 狀態(tài)，基本上是客戶端流量控制的一種形式。
efficiency
2.5 心跳和超時
組合應用級別的心跳和 RDY 狀態(tài)，避免頭阻塞現(xiàn)象，也可能使心跳無用（即，如果消費者是在后面的處理消息流的接收緩沖區(qū)中，操作系統(tǒng)將被填滿，堵心跳）為了保證進度，所有的網(wǎng)絡(luò) IO 時間上限勢必與配置的心跳間隔相關(guān)聯(lián)。這意味著，你可以從字面上拔掉之間的網(wǎng)絡(luò)連接 nsqd 和消費者，它會檢測并正確處理錯誤。當檢測到一個致命錯誤，客戶端連接被強制關(guān)閉。在傳輸中的消息會超時而重新排隊等待傳遞到另一個消費者。最后，錯誤會被記錄并累計到各種內(nèi)部指標。
2.6 分布式
因為NSQ沒有在守護程序之間共享信息，所以它從一開始就是為了分布式操作而生。個別的機器可以隨便宕機隨便啟動而不會影響到系統(tǒng)的其余部分，消息發(fā)布者可以在本地發(fā)布，即使面對網(wǎng)絡(luò)分區(qū)。
這種“分布式優(yōu)先”的設(shè)計理念意味著NSQ基本上可以永遠不斷地擴展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態(tài)就是保存在lookup節(jié)點上，甚至它們不需要全局視圖，配置某些nsqd注冊到某些lookup節(jié)點上這是很簡單的配置，唯一關(guān)鍵的地方就是消費者可以通過lookup節(jié)點獲取所有完整的節(jié)點集。清晰的故障事件——NSQ在組件內(nèi)建立了一套明確關(guān)于可能導致故障的的故障權(quán)衡機制，這對消息傳遞和恢復都有意義。雖然它們可能不像Kafka系統(tǒng)那樣提供嚴格的保證級別，但NSQ簡單的操作使故障情況非常明顯。
2.7 no replication
不像其他的隊列組件，NSQ并沒有提供任何形式的復制和集群，也正是這點讓它能夠如此簡單地運行，但它確實對于一些高保證性高可靠性的消息發(fā)布沒有足夠的保證。我們可以通過降低文件同步的時間來部分避免，只需通過一個標志配置，通過EBS支持我們的隊列。但是這樣仍然存在一個消息被發(fā)布后馬上死亡，丟失了有效的寫入的情況。
2.8 沒有嚴格的順序
雖然Kafka由一個有序的日志構(gòu)成，但NSQ不是。消息可以在任何時間以任何順序進入隊列。在我們使用的案例中，這通常沒有關(guān)系，因為所有的數(shù)據(jù)都被加上了時間戳，但它并不適合需要嚴格順序的情況。
2.9 無數(shù)據(jù)重復刪除功能
NSQ對于超時系統(tǒng)，它使用了心跳檢測機制去測試消費者是否存活還是死亡。很多原因會導致我們的consumer無法完成心跳檢測，所以在consumer中必須有一個單獨的步驟確保冪等性。
3. 實踐安裝過程
本文將nsq集群具體的安裝過程略去，大家可以自行參考官網(wǎng)，比較簡單。這部分介紹下筆者實驗的拓撲，以及nsqadmin的相關(guān)信息。
3.1 拓撲結(jié)構(gòu)
topology
實驗采用3臺NSQD服務(wù)，2臺LOOKUPD服務(wù)。
采用官方推薦的拓撲，消息發(fā)布的服務(wù)和NSQD在一臺主機。一共5臺機器。
NSQ基本沒有配置文件，配置通過命令行指定參數(shù)。
主要命令如下:
LOOKUPD命令
NSQD命令
工具類，消費后存儲到本地文件。
發(fā)布一條消息
3.2 nsqadmin
對Streams的詳細信息進行查看，包括NSQD節(jié)點，具體的channel，隊列中的消息數(shù)，連接數(shù)等信息。
nsqadmin
channel
列出所有的NSQD節(jié)點:
nodes
消息的統(tǒng)計:
msgs
lookup主機的列表:
hosts
4. 總結(jié)
NSQ基本核心就是簡單性，是一個簡單的隊列，這意味著它很容易進行故障推理和很容易發(fā)現(xiàn)bug。消費者可以自行處理故障事件而不會影響系統(tǒng)剩下的其余部分。
事實上，簡單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護，通過引入隊列使我們得到了堪稱完美的表現(xiàn)，通過隊列甚至讓我們增加了幾個數(shù)量級的吞吐量。越來越多的consumer需要一套嚴格可靠性和順序性保障，這已經(jīng)超過了NSQ提供的簡單功能。
結(jié)合我們的業(yè)務(wù)系統(tǒng)來看，對于我們所需要傳輸?shù)陌l(fā)票消息，相對比較敏感，無法容忍某個nsqd宕機，或者磁盤無法使用的情況，該節(jié)點堆積的消息無法找回。這是我們沒有選擇該消息中間件的主要原因。簡單性和可靠性似乎并不能完全滿足。相比Kafka，ops肩負起更多負責的運營。另一方面，它擁有一個可復制的、有序的日志可以提供給我們更好的服務(wù)。但對于其他適合NSQ的consumer，它為我們服務(wù)的相當好，我們期待著繼續(xù)鞏固它的堅實的基礎(chǔ)。
在開始之前，希望你計算一下 Part1 共占用的大小是多少呢？
輸出結(jié)果：
這么一算， Part1 這一個結(jié)構(gòu)體的占用內(nèi)存大小為 1+4+1+8+1 = 15 個字節(jié)。相信有的小伙伴是這么算的，看上去也沒什么毛病
真實情況是怎么樣的呢？我們實際調(diào)用看看，如下：
輸出結(jié)果：
最終輸出為占用 32 個字節(jié)。這與前面所預期的結(jié)果完全不一樣。這充分地說明了先前的計算方式是錯誤的。為什么呢？
在這里要提到 “內(nèi)存對齊” 這一概念，才能夠用正確的姿勢去計算，接下來我們詳細的講講它是什么
有的小伙伴可能會認為內(nèi)存讀取，就是一個簡單的字節(jié)數(shù)組擺放
上圖表示一個坑一個蘿卜的內(nèi)存讀取方式。但實際上 CPU 并不會以一個一個字節(jié)去讀取和寫入內(nèi)存。相反 CPU 讀取內(nèi)存是 一塊一塊讀取 的，塊的大小可以為 2、4、6、8、16 字節(jié)等大小。塊大小我們稱其為 內(nèi)存訪問粒度 。如下圖：
在樣例中，假設(shè)訪問粒度為 4。 CPU 是以每 4 個字節(jié)大小的訪問粒度去讀取和寫入內(nèi)存的。這才是正確的姿勢
另外作為一個工程師，你也很有必要學習這塊知識點哦 :)
在上圖中，假設(shè)從 Index 1 開始讀取，將會出現(xiàn)很崩潰的問題。因為它的內(nèi)存訪問邊界是不對齊的。因此 CPU 會做一些額外的處理工作。如下：
從上述流程可得出，不做 “內(nèi)存對齊” 是一件有點 "麻煩" 的事。因為它會增加許多耗費時間的動作
而假設(shè)做了內(nèi)存對齊，從 Index 0 開始讀取 4 個字節(jié)，只需要讀取一次，也不需要額外的運算。這顯然高效很多，是標準的 空間換時間 做法
在不同平臺上的編譯器都有自己默認的 “對齊系數(shù)”，可通過預編譯命令 #pragma pack(n) 進行變更，n 就是代指 “對齊系數(shù)”。一般來講，我們常用的平臺的系數(shù)如下：
另外要注意，不同硬件平臺占用的大小和對齊值都可能是不一樣的。因此本文的值不是唯一的，調(diào)試的時候需按本機的實際情況考慮
輸出結(jié)果：
在 Go 中可以調(diào)用 unsafe.Alignof 來返回相應類型的對齊系數(shù)。通過觀察輸出結(jié)果，可得知基本都是 2^n ，最大也不會超過 8。這是因為我手提（64 位）編譯器默認對齊系數(shù)是 8，因此最大值不會超過這個數(shù)
在上小節(jié)中，提到了結(jié)構(gòu)體中的成員變量要做字節(jié)對齊。那么想當然身為最終結(jié)果的結(jié)構(gòu)體，也是需要做字節(jié)對齊的
接下來我們一起分析一下，“它” 到底經(jīng)歷了些什么，影響了 “預期” 結(jié)果
在每個成員變量進行對齊后，根據(jù)規(guī)則 2，整個結(jié)構(gòu)體本身也要進行字節(jié)對齊，因為可發(fā)現(xiàn)它可能并不是 2^n ，不是偶數(shù)倍。顯然不符合對齊的規(guī)則
根據(jù)規(guī)則 2，可得出對齊值為 8?，F(xiàn)在的偏移量為 25，不是 8 的整倍數(shù)。因此確定偏移量為 32。對結(jié)構(gòu)體進行對齊
Part1 內(nèi)存布局：axxx|bbbb|cxxx|xxxx|dddd|dddd|exxx|xxxx
通過本節(jié)的分析，可得知先前的 “推算” 為什么錯誤？
是因為實際內(nèi)存管理并非 “一個蘿卜一個坑” 的思想。而是一塊一塊。通過空間換時間（效率）的思想來完成這塊讀取、寫入。另外也需要兼顧不同平臺的內(nèi)存操作情況
在上一小節(jié)，可得知根據(jù)成員變量的類型不同，其結(jié)構(gòu)體的內(nèi)存會產(chǎn)生對齊等動作。那假設(shè)字段順序不同，會不會有什么變化呢？我們一起來試試吧 :-)
輸出結(jié)果：
通過結(jié)果可以驚喜的發(fā)現(xiàn)，只是 “簡單” 對成員變量的字段順序進行改變，就改變了結(jié)構(gòu)體占用大小
接下來我們一起剖析一下 Part2 ，看看它的內(nèi)部到底和上一位之間有什么區(qū)別，才導致了這樣的結(jié)果？
符合規(guī)則 2，不需要額外對齊
Part2 內(nèi)存布局：ecax|bbbb|dddd|dddd
通過對比 Part1 和 Part2 的內(nèi)存布局，你會發(fā)現(xiàn)兩者有很大的不同。如下：
仔細一看， Part1 存在許多 Padding。顯然它占據(jù)了不少空間，那么 Padding 是怎么出現(xiàn)的呢？
通過本文的介紹，可得知是由于不同類型導致需要進行字節(jié)對齊，以此保證內(nèi)存的訪問邊界
那么也不難理解，為什么 調(diào)整結(jié)構(gòu)體內(nèi)成員變量的字段順序 就能達到縮小結(jié)構(gòu)體占用大小的疑問了，是因為巧妙地減少了 Padding 的存在。讓它們更 “緊湊” 了。這一點對于加深 Go 的內(nèi)存布局印象和大對象的優(yōu)化非常有幫
英文原文鏈接【Go, the unwritten parts】 發(fā)表于2017/05/22 作者JBD是Go語言開發(fā)小組成員
檢查程序的執(zhí)行路徑和當前狀態(tài)是非常有用的調(diào)試手段。核心文件（core file）包含了一個運行進程的內(nèi)存轉(zhuǎn)儲和狀態(tài)。它主要是用來作為事后調(diào)試程序用的。它也可以被用來查看一個運行中的程序的狀態(tài)。這兩個使用場景使調(diào)試文件轉(zhuǎn)儲成為一個非常好的診斷手段。我們可以用這個方法來做事后診斷和分析線上的服務(wù)（production services）。
在這篇文章中，我們將用一個簡單的hello world網(wǎng)站服務(wù)作為例子。在現(xiàn)實中，我們的程序很容易就會變得很復雜。分析核心轉(zhuǎn)儲給我們提供了一個機會去重構(gòu)程序的狀態(tài)并且查看只有在某些條件／環(huán)境下才能重現(xiàn)的案例。
作者注 : 這個調(diào)試流程只在Linux上可行。我不是很確定它是否在其它Unixs系統(tǒng)上工作。macOS對此還不支持。Windows現(xiàn)在也不支持。
在我們開始前，需要確保核心轉(zhuǎn)儲的ulimit設(shè)置在合適的范圍。它的缺省值是0，意味著最大的核心文件大小是0。我通常在我的開發(fā)機器上將它設(shè)置成unlimited。使用以下命令：
接下來，你需要在你的機器上安裝 delve 。
下面我們使用的 main.go 文件。它注冊了一個簡單的請求處理函數(shù)（handler）然后啟動了HTTP服務(wù)。
讓我們編譯并生產(chǎn)二進制文件。
現(xiàn)在讓我們假設(shè)，這個服務(wù)器出了些問題，但是我們并不是很確定問題的根源。你可能已經(jīng)在程序里加了很多輔助信息，但還是無法從這些調(diào)試信息中找出線索。通常在這種情況下，當前進程的快照會非常有用。我們可以用這個快照深入查看程序的當前狀態(tài)。
有幾個方式來獲取核心文件。你可能已經(jīng)熟悉了奔潰轉(zhuǎn)儲（crash dumps）。它們是在一個程序奔潰的時候?qū)懭氪疟P的核心轉(zhuǎn)儲。Go語言在缺省設(shè)置下不會生產(chǎn)奔潰轉(zhuǎn)儲。但是當你把 GOTRACEBACK 環(huán)境變量設(shè)置成“crash”，你就可以用 Ctrl+backslash 才觸發(fā)奔潰轉(zhuǎn)儲。如下圖所示：
上面的操作會使程序終止，將堆棧跟蹤（stack trace）打印出來，并把核心轉(zhuǎn)儲文件寫入磁盤。
另外個方法可以從一個運行的程序獲得核心轉(zhuǎn)儲而不需要終止相應的進程。 gcore 可以生產(chǎn)核心文件而無需使運行中的程序退出。
根據(jù)上面的操作，我們獲得了轉(zhuǎn)儲而沒有終止對應的進程。下一步就是把核心文件加載進delve并開始分析。
差不多就這些。delve的常用操作都可以使用。你可以backtrace，list，查看變量等等。有些功能不可用因為我們使用的核心轉(zhuǎn)儲是一個快照而不是正在運行的進程。但是程序執(zhí)行路徑和狀態(tài)全部可以訪問。
數(shù)組是一個由 固定長度 的 特定類型元素 組成的序列，一個數(shù)組可以由零個或多個元素組成。 數(shù)組是值類型
數(shù)組的每個元素都可以通過索引下標來訪問，索引下標的范圍是從0開始到數(shù)組長度減1的位置，內(nèi)置函數(shù) len() 可以返回數(shù)組中元素的個數(shù)。
2.類型的打印，結(jié)果的第二種打印方式
3.對元素的修改或者賦值
4.判斷數(shù)組是否相等：長度、類型
4.數(shù)組的地址：連續(xù)存儲的空間
5.數(shù)組的賦值、地址、取值
6.數(shù)組的默認值
7.數(shù)組的初始化
8.數(shù)組的逆置
9.求數(shù)組的最大值、最小值、平均值
10.對數(shù)組字符串進行連接
11.冒泡排序法的實現(xiàn)
12.數(shù)組做函數(shù)的參數(shù)
13.二維數(shù)組：賦值和地址
14.二維數(shù)組：打印和輸出
15. 指針數(shù)組，每一個元素都是地址
17.數(shù)組的內(nèi)存分配
應用程序發(fā)生異常 未知的軟件異常
1.病毒木馬造成的，在當今互聯(lián)網(wǎng)時代，病毒坐著為了獲得更多的牟利，常用病毒綁架應用程序和系統(tǒng)文件，然后某些安全殺毒軟件把被病毒木馬感染的應用程序和系統(tǒng)文件當病毒殺了導致的。
2.應用程序組件丟失，應用程序完整的運行需要一些系統(tǒng)文件或者某些ll文件支持的，如果應用程序組件不完整也會導致的。
3.系統(tǒng)文件損壞或丟失，盜版系統(tǒng)或Ghost版本系統(tǒng)，很容易出現(xiàn)該問題。
4.操作系統(tǒng)自身的問題，操作系統(tǒng)本身也會有bug 。
5.硬件問題，例如內(nèi)存條壞了或者存在質(zhì)量問題，或者內(nèi)存條的金手指的灰塵特別多。
應用程序發(fā)生異常怎么辦
1.檢查電腦是否存在病毒，請使用百度衛(wèi)士進行木馬查殺。
2.系統(tǒng)文件損壞或丟失，盜版系統(tǒng)或Ghost版本系統(tǒng)，很容易出現(xiàn)該問題。建議：使用完整版或正版系統(tǒng)。
3.安裝的軟件與系統(tǒng)或其它軟件發(fā)生沖突，找到發(fā)生沖突的軟件，卸載它。如果更新下載補丁不是該軟件的錯誤補丁，也會引起軟件異常，解決辦法：卸載該軟件，重新下載重新安裝試試。順便檢查開機啟動項，把沒必要啟動的啟動項禁止開機啟動。
4.如果檢查上面的都沒問題，可以試試下面的方法。
打開開始菜單→運行→輸入cmd→回車，在命令提示符下輸入下面命令 for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1回車。
完成后，在輸入下面
for %i in (%windir%\system32\*.ocx) do regsvr32.exe /s %i 回車。
如果怕輸入錯誤，可以復制這兩條指令，然后在命令提示符后擊鼠標右鍵，打“粘貼”，回車，耐心等待，直到屏幕滾動停止為止。（重啟電腦）。
重慶分公司
重慶分公司
