Go 語言極速入門13 - 實(shí)戰(zhàn)項(xiàng)目之并發(fā)版爬蟲

爬取器 fetcher 和解析器 parser 與之前相同，模型類也不變。

站在用戶的角度思考問題，與客戶深入溝通，找到郊區(qū)網(wǎng)站設(shè)計(jì)與郊區(qū)網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名與空間、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋郊區(qū)地區(qū)。

注意：

見本小節(jié)文末分析。

Q1. 為什么在 scheduler 中每一個(gè)將 Request 添加到 chan 的任務(wù)都開啟一個(gè) Goroutine 來執(zhí)行？

A：在 Go 語言學(xué)習(xí)9 - Channel 一節(jié)描述過，對(duì)于無緩沖的 channel， 如果兩個(gè) goroutine 沒有同時(shí)準(zhǔn)備好，通道會(huì)導(dǎo)致先執(zhí)行發(fā)送或接收操作的 goroutine 阻塞等待 ，假設(shè)使用 s.workerChan - request 而不是 go func() { s.workerChan - request }() ，假設(shè)開啟了 10 個(gè) Worker Goroutine，這 10 個(gè) goroutine 阻塞在 r := -in 阻塞等待獲取 Request 上，假設(shè) seeds 大于 10，例如 11，那么當(dāng) Engine 的這個(gè)循環(huán)執(zhí)行到底 11 個(gè)的時(shí)候，將陷入等待

，因?yàn)樗械?0個(gè) Worker goroutine 此時(shí)都可能也處于等待中，即 in chan 沒有接收方準(zhǔn)備好接收數(shù)據(jù)，所以 engine 作為發(fā)送方也要阻塞等待；那么為什么10個(gè) Worker goroutine 都會(huì)處于等待中呢？

因?yàn)?0個(gè) Worker Goroutine 都處理完了請(qǐng)求，并阻塞在 out - result ，由于 Engine 阻塞在 “將第11個(gè) Request 發(fā)送到 in” 上，所以其無法進(jìn)行后續(xù)的死循環(huán)去開啟 result := -out ，到此為止，相互等待死鎖形成?。?！Engine 等待 Worker 準(zhǔn)備好 r := -in ，而10個(gè) Worker 等待 Engine 的 result := -out 。

當(dāng)使用 go func() { s.workerChan - request }() 之后，Engine Goroutine 將不再阻塞，死鎖等待被打破?。?！

Q2. scheduler 方法為何使用指針接收者而不是值接收者？

A：在 Go 語言學(xué)習(xí)5 - 面向接口 中我們?cè)敿?xì)的介紹了什么時(shí)候使用指針接收者，什么時(shí)候使用值接收者，其中最重要的兩條就是 “ 1. 如果要改變接收者內(nèi)部的屬性值，必須使用指針接收者，因?yàn)橹到邮照呤菍?duì)接收者副本的操作；2. 如果 struct 內(nèi)一個(gè)方法是指針接收者，那么其全部方法都是用指針接收者 ”，在 scheduler 中，我們要將外界的 in chan 賦值給 scheduler 的 workChann，所以需要改變 workChann 的值，需要使用指針接收者。

go語言--Goroutines

1、goroutine：在go語言中，每一個(gè)并發(fā)的執(zhí)行單元叫做goroutine，如果一個(gè)程序中包含多個(gè)goroutine，對(duì)兩個(gè)函數(shù)的調(diào)用則可能發(fā)生在同一時(shí)刻

2、main goroutine：當(dāng)一個(gè)程序啟動(dòng)時(shí)，其主函數(shù)即在一個(gè)單獨(dú)的goroutine中運(yùn)行，我們叫他為main gorountine

3、go goroutine：新的goroutine會(huì)用go語句來創(chuàng)建，go+函數(shù)名，go語句會(huì)使其語句中的函數(shù)在一新創(chuàng)建的goroutine中運(yùn)行，而go語句本身會(huì)迅速地完成

4、goroutine的退出：主函數(shù)返回時(shí)，所有的goroutine都會(huì)被直接打斷，程序退出，除了從主函數(shù)退出或者終止程序之外，沒有其他方法能夠讓一個(gè)goroutine來打斷另一個(gè)的執(zhí)行，但是可以通過另一種方式來實(shí)現(xiàn)這個(gè)目的，通過goroutine之間的通信來讓一個(gè)goroutine請(qǐng)求其他的goroutine，并讓請(qǐng)求的goroutine自行結(jié)束執(zhí)行

Go語言的應(yīng)用

Go語言由Google公司開發(fā)，并于2009年開源，相比Java/Python/C等語言，Go尤其擅長并發(fā)編程，性能堪比C語言，開發(fā)效率肩比Python，被譽(yù)為“21世紀(jì)的C語言”。

Go語言在云計(jì)算、大數(shù)據(jù)、微服務(wù)、高并發(fā)領(lǐng)域應(yīng)用應(yīng)用非常廣泛。BAT大廠正在把Go作為新項(xiàng)目開發(fā)的首選語言。

Go語言應(yīng)用范圍：

1、服務(wù)端開發(fā)：以前你使用C或者C++做的那些事情，用Go來做很合適，例如日志處理、文件系統(tǒng)、監(jiān)控系統(tǒng)等;

2、DevOps：運(yùn)維生態(tài)中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發(fā);

3、網(wǎng)絡(luò)編程：大量優(yōu)秀的Web框架如Echo、Gin、Iris、beego等，而且Go內(nèi)置的 net/http包十分的優(yōu)秀;

4、Paas云平臺(tái)領(lǐng)域：Kubernetes和Docker Swarm等;

5、分布式存儲(chǔ)領(lǐng)域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、區(qū)塊鏈領(lǐng)域：區(qū)塊鏈里面有兩個(gè)明星項(xiàng)目以太坊和fabric都使用Go語言;

7、容器虛擬化：大名鼎鼎的Docker就是使用Go語言實(shí)現(xiàn)的;

8、爬蟲及大數(shù)據(jù)：Go語言天生支持并發(fā)，所以十分適合編寫分布式爬蟲及大數(shù)據(jù)處理。

Go CSP并發(fā)模型

Go的CSP并發(fā)模型

Go實(shí)現(xiàn)了兩種并發(fā)形式。第一種是大家普遍認(rèn)知的：多線程共享內(nèi)存。其實(shí)就是Java或者C++等語言中的多線程開發(fā)。另外一種是Go語言特有的，也是Go語言推薦的：CSP（communicating sequential processes）并發(fā)模型。

CSP 是 Communicating Sequential Process 的簡(jiǎn)稱，中文可以叫做通信順序進(jìn)程，是一種并發(fā)編程模型，由 Tony Hoare 于 1977 年提出。簡(jiǎn)單來說，CSP 模型由并發(fā)執(zhí)行的實(shí)體（線程或者進(jìn)程）所組成，實(shí)體之間通過發(fā)送消息進(jìn)行通信，這里發(fā)送消息時(shí)使用的就是通道，或者叫 channel。CSP 模型的關(guān)鍵是關(guān)注 channel，而不關(guān)注發(fā)送消息的實(shí)體。 Go 語言實(shí)現(xiàn)了 CSP 部分理論 。

“ 不要以共享內(nèi)存的方式來通信，相反， 要通過通信來共享內(nèi)存。”

Go的CSP并發(fā)模型，是通過 goroutine和channel 來實(shí)現(xiàn)的。

goroutine 是Go語言中并發(fā)的執(zhí)行單位。其實(shí)就是協(xié)程。

channel是Go語言中各個(gè)并發(fā)結(jié)構(gòu)體(goroutine)之前的通信機(jī)制。 通俗的講，就是各個(gè)goroutine之間通信的”管道“，有點(diǎn)類似于Linux中的管道。

Channel

Goroutine

Go語言——goroutine并發(fā)模型

參考：

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線程初始棧為2MB。Go語言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長，最大1G。此外GC會(huì)收縮?？臻g。

BTW，增長擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問題。

更多關(guān)于stack的內(nèi)容，可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調(diào)度以及生命周期管理都是用戶層面，Go語言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語言采用兩級(jí)線程模型，即用戶線程與內(nèi)核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見 Golang - 調(diào)度剖析【第二部分】

Linux可以通過epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱網(wǎng)絡(luò)輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長，不會(huì)被gc，來自os線程的棧。

go1.10\src\runtime\proc.go

G沒辦法自己運(yùn)行，必須通過M運(yùn)行

M通過通過調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G