深入理解golang

最近三年，在工作中使用go開發(fā)了不少服務。深感go的便捷，以及它的runtime的復雜。我覺得需要定期的進行總結，因此決定寫這篇文章，也許更準確的，應該叫筆記。

創(chuàng)新互聯(lián)公司專注于企業(yè)全網(wǎng)營銷推廣、網(wǎng)站重做改版、城關網(wǎng)站定制設計、自適應品牌網(wǎng)站建設、H5場景定制、商城網(wǎng)站建設、集團公司官網(wǎng)建設、成都外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應式網(wǎng)頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為城關等各大城市提供網(wǎng)站開發(fā)制作服務。

最近終于解決了一個和cgo有關的問題。這個問題從發(fā)現(xiàn)到解決前后經(jīng)歷了接近4個月，當然，和人手不足也有關系。而對于我個人而言，這個問題其實歷時2年！這得從頭說起。

在上一家公司的一個項目里，有一個服務做音視頻數(shù)據(jù)的提取，這個服務運行在嵌入式設備TX2上。音視頻提取這一關鍵功能主要利用nvidia基于gstreamer開發(fā)的插件，這個插件可以發(fā)揮nvidia gpu的硬件解碼功能。當時這個服務使用go和c混編的方式，問題的癥狀是服務運行一段時間后，不輸出音視頻數(shù)據(jù)。遺憾的是，由于疫情，項目停止，因此沒有機會繼續(xù)研究這個問題。

時間來到去年底。當前這個項目進行壓力測試，發(fā)現(xiàn)關鍵的語音處理服務運行一段時間后，會出現(xiàn)不拉流的情況，因此也沒有后續(xù)的結果輸出。癥狀和上一個項目非常像。雖然使用的第三方SDK不一樣，但同樣用了go和c混編的方式。一開始，焦點就放在go的運行時上，覺得可能是go和c相互調(diào)用的方式不對。經(jīng)過合理猜測，并用測試進行驗證后，發(fā)現(xiàn)問題還是在第三方拉流的SDK上，它們的回調(diào)函數(shù)必須要快，否則有可能會阻塞它們的回調(diào)線程。當然，在go調(diào)用c的時候，如果耗時比較長，會對go的運行時造成一些副作用；在c回調(diào)go的時候，go的運行時也有可能阻塞c的回調(diào)線程。但go的運行時已經(jīng)比較成熟，因此我覺得它對這個問題的貢獻不大。以上采用了假設-驗證的方法，主要的原因還是第三方的拉流SDK不開源。在定位問題的過程中，使用了gdb的gcore來生成堆棧；也搭建了灰度環(huán)境來進行壓力測試，以及完善監(jiān)控，這些都是解決方法的一部分。

正是這一問題，促使我更多的了解go的運行時。而我看得越多，越覺得go的運行時是一個龐大的怪物。因此，抱著能了解一點是一點的心態(tài)，不斷的完善這篇筆記。

rtsp流瀏覽器播放方案

rtsp流在主流瀏覽器并不支持直接播放。比如大華的視頻流：rtsp://admin:123456@

192.168.10.129/cam/realmonitor?channel=1subtype=0，用vlc可以直接播放。但在瀏覽器會報ERR_UNKNOWN_URL_SCHEME。那如何在瀏覽器中播放呢。

以下列出幾種方案。

1、安裝插件（chrome最新版基本都不支持）

類如：kurento，vlc插件（谷歌瀏覽器版本41以下),vgx插件(不支持高版本，chrome72.0版本可用)等。

2、安裝軟件（中間件，基本都付費）

類如：Appemit（調(diào)用vlc插件播放rtsp），可以免安裝的，目前只能windows,免費版會有提示。

猿大師中間件（底層調(diào)用VLC的ActiveX控件，實現(xiàn)在主流瀏覽器網(wǎng)頁中內(nèi)嵌播放多路RTSP的實時視頻流），中間件收費的。

PluginOK(牛插)中間件。底層調(diào)用ActiveX控件VlcOcx.dll。（商業(yè)用途需付費使用）

3、服務器拉流轉(zhuǎn)發(fā)及協(xié)議轉(zhuǎn)換

示意圖如下所示：

推流--------------服務器轉(zhuǎn)發(fā)--------------拉流

方法一覽：

a,vlc軟件串流到http協(xié)議 ，網(wǎng)頁顯示幾個視頻需啟動幾個vlc,只適合應急場景。

b,html5 + websocket_rtsp_proxy 實現(xiàn)視頻流直播 ，基于MSE（Media Source Extensions,W3C），擴展H5的功能。

步驟：服務器安裝streamedian服務器，客戶端通過video標簽播放。

原型圖：

價格：

c.基于nginx的rsmp轉(zhuǎn)發(fā)

基于nginx實現(xiàn)rtmp轉(zhuǎn)化，用flash實現(xiàn)播放。由于flash目前大多瀏覽器默認禁用，不推薦此方式。

步驟：安裝ffmpeg工具,安裝nginx。

另外nginx-rtmp-module也支持HLS協(xié)議,可以搭建基于hls的直播服務器。

d.rtsp轉(zhuǎn)hls播放,通過ffmpeg轉(zhuǎn)碼

步驟：安裝ffmpeg工具，ffmpeg轉(zhuǎn)碼。

形如：

ffmpeg -i "rtsp://admin:123456@192.168.10.129/cam/realmonitor?channel=1subtype=0" -c copy -f hls -hls_time 2.0 -hls_list_size 0 -hls_wrap 15 "D:/hls/test.m3u8"

缺點是直播流延時很大，對實時要求比較高的不滿足要求。

案例：基于EasyDarwin拾建轉(zhuǎn)碼服務器。參考地址:

通過存儲的m3u8去讀取。

e.websocket代理推送，F(xiàn)FMPEG轉(zhuǎn)碼

此方法與a，b類似。但更實用。

以下提供兩種方案：

（1）Gin+WebSocket+FFMPEG實現(xiàn)rtsp轉(zhuǎn)碼,參考：

通過FFMPEG把rstp轉(zhuǎn)成http，ginrtsp作為轉(zhuǎn)發(fā)服務器，但需要自己寫相應接口，需要了解go語言。

（2）node + ffmpeg + websocket + flv.js，參考：

步驟：在node服務中建立websocket；通過fluent-ffmpeg轉(zhuǎn)碼，將RTSP 流轉(zhuǎn)為flv格式；通過flv.js連接websocket，并對獲取的flv格式視頻數(shù)據(jù)進行渲染播放。

import WebSocket from 'ws'import webSocketStream from 'websocket-stream/stream'import ffmpeg from 'fluent-ffmpeg'// 建立WebSocket服務const wss = new WebSocket.Server({ port: 8888, perMessageDeflate: false })// 監(jiān)聽連接wss.on('connection', handleConnection)// 連接時觸發(fā)事件function handleConnection (ws, req) {? // 獲取前端請求的流地址（前端websocket連接時后面帶上流地址）? const url = req.url.slice(1)? // 傳入連接的ws客戶端 實例化一個流? const stream = webSocketStream(ws, { binary: true })? // 通過ffmpeg命令 對實時流進行格式轉(zhuǎn)換 輸出flv格式? const ffmpegCommand = ffmpeg(url)? ? .addInputOption('-analyzeduration', '100000', '-max_delay', '1000000')? ? .on('start', function () { console.log('Stream started.') })? ? .on('codecData', function () { console.log('Stream codecData.') })? ? .on('error', function (err) {? ? ? console.log('An error occured: ', err.message)? ? ? stream.end()? ? })? ? .on('end', function () {? ? ? console.log('Stream end!')? ? ? stream.end()? ? })? ? .outputFormat('flv').videoCodec('copy').noAudio()? stream.on('close', function () {? ? ffmpegCommand.kill('SIGKILL')? })? try {? ? // 執(zhí)行命令 傳輸?shù)綄嵗髦蟹祷亟o客戶端? ? ffmpegCommand.pipe(stream)? } catch (error) {? ? console.log(error)? }}

優(yōu)點全部基于js。前端即可搞定。

參考:

go語言能做什么？

很多朋友可能知道Go語言的優(yōu)勢在哪，卻不知道Go語言適合用于哪些地方。

1、 Go語言作為服務器編程語言，很適合處理日志、數(shù)據(jù)打包、虛擬機處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫代理等；網(wǎng)絡編程方面。Go語言廣泛應用于Web應用、API應用、下載應用等；除此之外，Go語言還可用于內(nèi)存數(shù)據(jù)庫和云平臺領域，目前國外很多云平臺都是采用Go開發(fā)。

2、 其實Go語言主要用作服務器端開發(fā)。其定位是用來開發(fā)"大型軟件"的，適合于很多程序員一起開發(fā)大型軟件，并且開發(fā)周期長，支持云計算的網(wǎng)絡服務。Go語言能夠讓程序員快速開發(fā)，并且在軟件不斷的增長過程中，它能讓程序員更容易地進行維護和修改。它融合了傳統(tǒng)編譯型語言的高效性和腳本語言的易用性和富于表達性。

3、 Go語言成功案例。Nsq：Nsq是由Go語言開發(fā)的高性能、高可用消息隊列系統(tǒng)，性能非常高，每天能處理數(shù)十億條的消息；

4、 Docker：基于lxc的一個虛擬打包工具，能夠?qū)崿F(xiàn)PAAS平臺的組建。

5、 Packer：用來生成不同平臺的鏡像文件，例如VM、vbox、AWS等，作者是vagrant的作者

6、 Skynet：分布式調(diào)度框架。

7、 Doozer：分布式同步工具，類似ZooKeeper。

8、 Heka：mazila開源的日志處理系統(tǒng)。

9、 Cbfs：couchbase開源的分布式文件系統(tǒng)。

10、 Tsuru：開源的PAAS平臺，和SAE實現(xiàn)的功能一模一樣。

11、 Groupcache：memcahe作者寫的用于Google下載系統(tǒng)的緩存系統(tǒng)。

12、 God：類似redis的緩存系統(tǒng)，但是支持分布式和擴展性。

13、 Gor：網(wǎng)絡流量抓包和重放工具。

以上的就是關于go語言能做什么的內(nèi)容介紹了。