Go語言由Google公司開發(fā)，并于2009年開源，相比Java/Python/C等語言，Go尤其擅長(zhǎng)并發(fā)編程，性能堪比C語言，開發(fā)效率肩比Python，被譽(yù)為“21世紀(jì)的C語言”。
讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡(jiǎn)單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長(zhǎng)期合作伙伴，公司提供的服務(wù)項(xiàng)目有：申請(qǐng)域名、網(wǎng)站空間、營(yíng)銷軟件、網(wǎng)站建設(shè)、華容網(wǎng)站維護(hù)、網(wǎng)站推廣。
Go語言在云計(jì)算、大數(shù)據(jù)、微服務(wù)、高并發(fā)領(lǐng)域應(yīng)用應(yīng)用非常廣泛。BAT大廠正在把Go作為新項(xiàng)目開發(fā)的首選語言。
Go語言能干什么?
1、服務(wù)端開發(fā)：以前你使用C或者C++做的那些事情，用Go來做很合適，例如日志處理、文件系統(tǒng)、監(jiān)控系統(tǒng)等;
2、DevOps：運(yùn)維生態(tài)中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發(fā);
3、網(wǎng)絡(luò)編程：大量?jī)?yōu)秀的Web框架如Echo、Gin、Iris、beego等，而且Go內(nèi)置的 net/http包十分的優(yōu)秀;
4、Paas云平臺(tái)領(lǐng)域：Kubernetes和Docker Swarm等;
5、分布式存儲(chǔ)領(lǐng)域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、區(qū)塊鏈領(lǐng)域：區(qū)塊鏈里面有兩個(gè)明星項(xiàng)目以太坊和fabric都使用Go語言;
7、容器虛擬化：大名鼎鼎的Docker就是使用Go語言實(shí)現(xiàn)的;
8、爬蟲及大數(shù)據(jù)：Go語言天生支持并發(fā)，所以十分適合編寫分布式爬蟲及大數(shù)據(jù)處理。
1、服務(wù)器編程：以前你如果使用C或者C++做的那些事情，用Go來做很合適，例如處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)等。
2、分布式系統(tǒng)、數(shù)據(jù)庫代理器、中間件：例如Etcd。
3、網(wǎng)絡(luò)編程：這一塊目前應(yīng)用最廣，包括Web應(yīng)用、API應(yīng)用、下載應(yīng)用，而且Go內(nèi)置的net/http包基本上把我們平常用到的網(wǎng)絡(luò)功能都實(shí)現(xiàn)了。
4、開發(fā)云平臺(tái)：目前國外很多云平臺(tái)在采用Go開發(fā)，我們所熟知的七牛云、華為云等等都有使用Go進(jìn)行開發(fā)并且開源的成型的產(chǎn)品。
5、區(qū)塊鏈：目前有一種說法，技術(shù)從業(yè)人員把Go語言稱作為區(qū)塊鏈行業(yè)的開發(fā)語言。如果大家學(xué)習(xí)區(qū)塊鏈技術(shù)的話，就會(huì)發(fā)現(xiàn)現(xiàn)在有很多很多的區(qū)塊鏈的系統(tǒng)和應(yīng)用都是采用Go進(jìn)行開發(fā)的，比如ehtereum是目前知名度最大的公鏈，再比如fabric是目前最知名的聯(lián)盟鏈，兩者都有g(shù)o語言的版本，且go-ehtereum還是以太坊官方推薦的版本。
自1.0版發(fā)布以來，go語言引起了眾多開發(fā)者的關(guān)注，并得到了廣泛的應(yīng)用。go語言簡(jiǎn)單、高效、并發(fā)的特點(diǎn)吸引了許多傳統(tǒng)的語言開發(fā)人員，其數(shù)量也在不斷增加。
使用 Go 語言開發(fā)的開源項(xiàng)目非常多。早期的 Go 語言開源項(xiàng)目只是通過 Go 語言與傳統(tǒng)項(xiàng)目進(jìn)行C語言庫綁定實(shí)現(xiàn)，例如 Qt、Sqlite 等。
后期的很多項(xiàng)目都使用 Go 語言進(jìn)行重新原生實(shí)現(xiàn)，這個(gè)過程相對(duì)于其他語言要簡(jiǎn)單一些，這也促成了大量使用 Go 語言原生開發(fā)項(xiàng)目的出現(xiàn)。
很多朋友可能知道Go語言的優(yōu)勢(shì)在哪，卻不知道Go語言適合用于哪些地方。
1、 Go語言作為服務(wù)器編程語言，很適合處理日志、數(shù)據(jù)打包、虛擬機(jī)處理、文件系統(tǒng)、分布式系統(tǒng)、數(shù)據(jù)庫代理等；網(wǎng)絡(luò)編程方面。Go語言廣泛應(yīng)用于Web應(yīng)用、API應(yīng)用、下載應(yīng)用等；除此之外，Go語言還可用于內(nèi)存數(shù)據(jù)庫和云平臺(tái)領(lǐng)域，目前國外很多云平臺(tái)都是采用Go開發(fā)。
2、 其實(shí)Go語言主要用作服務(wù)器端開發(fā)。其定位是用來開發(fā)"大型軟件"的，適合于很多程序員一起開發(fā)大型軟件，并且開發(fā)周期長(zhǎng)，支持云計(jì)算的網(wǎng)絡(luò)服務(wù)。Go語言能夠讓程序員快速開發(fā)，并且在軟件不斷的增長(zhǎng)過程中，它能讓程序員更容易地進(jìn)行維護(hù)和修改。它融合了傳統(tǒng)編譯型語言的高效性和腳本語言的易用性和富于表達(dá)性。
3、 Go語言成功案例。Nsq：Nsq是由Go語言開發(fā)的高性能、高可用消息隊(duì)列系統(tǒng)，性能非常高，每天能處理數(shù)十億條的消息；
4、 Docker：基于lxc的一個(gè)虛擬打包工具，能夠?qū)崿F(xiàn)PAAS平臺(tái)的組建。
5、 Packer：用來生成不同平臺(tái)的鏡像文件，例如VM、vbox、AWS等，作者是vagrant的作者
6、 Skynet：分布式調(diào)度框架。
7、 Doozer：分布式同步工具，類似ZooKeeper。
8、 Heka：mazila開源的日志處理系統(tǒng)。
9、 Cbfs：couchbase開源的分布式文件系統(tǒng)。
10、 Tsuru：開源的PAAS平臺(tái)，和SAE實(shí)現(xiàn)的功能一模一樣。
11、 Groupcache：memcahe作者寫的用于Google下載系統(tǒng)的緩存系統(tǒng)。
12、 God：類似redis的緩存系統(tǒng)，但是支持分布式和擴(kuò)展性。
13、 Gor：網(wǎng)絡(luò)流量抓包和重放工具。
以上的就是關(guān)于go語言能做什么的內(nèi)容介紹了。
WAP速度慢，一般是代理上網(wǎng)
NET速度快，直連
CMWAP類：支持百寶箱、MO手機(jī)上網(wǎng)、彩信業(yè)務(wù)等；
CMNET類：支持登錄互聯(lián)網(wǎng)；
還可以這么說： WAP就是上WAP開頭的網(wǎng)址。 NET就是上WWW開頭的網(wǎng)址。
上周從零學(xué)習(xí)了golang，語法簡(jiǎn)單關(guān)鍵字少，寫個(gè)爬蟲熟悉一下語法結(jié)構(gòu)。
首先選用了原生的net/http包，基本上涵蓋了所有的get/post請(qǐng)求，各種參數(shù)都可以設(shè)置，網(wǎng)上google到html頁面解析goquery神器，很輕松就可以解決頁面解析問題。
首先就寫了個(gè)爬取匯率的爬蟲。然后重寫之前php的一個(gè)請(qǐng)求類，請(qǐng)求類的邏輯有點(diǎn)混亂不清晰，往往把兩個(gè)不同的功能合并到一起寫，粒度大，后來發(fā)現(xiàn)了一個(gè)好用的框架——colly，之后再試試好不好用
Windows 10 Golang
依賴包：goquery
較常用的方法有Find和Each
爬取中國銀行的匯率牌價(jià)表，golang依賴net/http包和goquery包
唯一的難點(diǎn)是對(duì)于goquery方法的使用，需要閱讀官方文檔：
使用原生的net/http包基本上可以解決大多數(shù)的網(wǎng)頁請(qǐng)求，使用goquery可以解決頁面解析問題
可以利用golang的協(xié)程特性進(jìn)行異步多協(xié)程爬取
增加安全性可以通過幾個(gè)方面進(jìn)行改進(jìn)：
1.首先可以限制爬蟲的爬取速度
2.每次對(duì)網(wǎng)頁的請(qǐng)求都隨機(jī)選用一個(gè)客戶端
3.選用IP代理池，防止IP誤封（及限制ip訪問次數(shù)）
構(gòu)造請(qǐng)求代理ip網(wǎng)站的鏈接→獲取網(wǎng)頁內(nèi)容→ 提取網(wǎng)頁中IP地址和端口號(hào)→驗(yàn)證IP的有效性并存儲(chǔ)
輕量級(jí)反爬蟲方案
淺談JSP
golang帶json的Http請(qǐng)求
Get/Post
HTTP請(qǐng)求中的Form Data和Request Payload的區(qū)別
HTTP Json請(qǐng)求
net/http：
golang HTTP操作
python建立爬蟲代理ip池
爬蟲黑科技之讓你的爬蟲程序更像人類用戶的行為
特點(diǎn)：事件監(jiān)聽，通過callback執(zhí)行事件處理
基于colly開發(fā)的web管理界面
先配置Header最長(zhǎng)讀取時(shí)間、req最長(zhǎng)讀取時(shí)間、req最大讀取長(zhǎng)度默認(rèn)6M。
RFC7230禁止\r\n參數(shù)，Url中只允許包含英文字母（a-zA-Z）、數(shù)字（0-9）、-_.~4個(gè)特殊字符以及所有保留字符。但go net/http包放寬了這個(gè)要求。
先構(gòu)建newTextprotoReader，由于緩沖區(qū)是對(duì)象復(fù)用的，用完后要defer put。共完以以下解析任務(wù)：
TextprotoReader數(shù)據(jù)結(jié)構(gòu)，將字節(jié)碼Reader轉(zhuǎn)成文本Reader。
第一步，從第一行解析出method uri prototype。
第二步解析URL。url.URL數(shù)據(jù)結(jié)構(gòu)：
解析Scheme，協(xié)議前綴（小寫）。有查詢參數(shù)?，則配置url.ForceQuery url.RawQuery。有認(rèn)證信息///...//，則解析url.User url.Host。最后配置url.Path和url.RawPath，如果Path==RawPath，則RawPath=""。
第三步解析MIMEHeader。
第四步readTransfer。重新配置如下參數(shù)：RequestMethod ProtoMajor ProtoMinor Header Trailer ContentLength Close。對(duì)于Body，如果encodings支持chunked，讀取流用chunkedReader包裹。默認(rèn)情況用LimitedReader，無body賦空的struct{}。
以下情況返回非空err，示得到正確的請(qǐng)求：
最后配置req.ctx req.RemoteAddr req.TLS body.doEarlyClose = true。
構(gòu)建Response:
其中closeNotifyCh必須在構(gòu)建時(shí)初始化，沒有content所以先置contentLength為-1。
配置w.cw并被w.w包裹。w.cw緩沖默認(rèn)大小2M。
獲取Request可能出現(xiàn)如下錯(cuò)誤：
先上響應(yīng)數(shù)據(jù)結(jié)構(gòu)：
response字段可以分類為：大對(duì)象、緩沖、KV對(duì)或bool型的狀態(tài)參數(shù)。
大對(duì)象有：
狀態(tài)字段：
chunkWriter數(shù)據(jù)結(jié)構(gòu)：
chunkWriter包裹了Response，功能之一是完成Header設(shè)置，包括Content-Type Content-Length chunk-header。bufio.Writer是chunkWriter是緩沖包裹。
handler將響應(yīng)寫入到response.w。
調(diào)用w.w.Flush()將w寫入到cw，注意到Flush()操作，如果未刷空緩存并報(bào)錯(cuò)，觸發(fā)拷貝操作。報(bào)錯(cuò)不會(huì)退回已寫出的數(shù)據(jù)。
進(jìn)而調(diào)用cw.Write()，根據(jù)cw.chunking參數(shù)。
putBufioWriter(w.w)清空resp.w緩沖，如果池化放回sync.pool。
根據(jù)chunkWriter的定義，w.cw.close()負(fù)責(zé)cw的結(jié)束工作：寫入換行符和resp.trailers數(shù)據(jù)。
最后刷新TCP緩沖w.conn.bufw.Flush()，完成響應(yīng)包發(fā)送。并正確關(guān)閉request。
重慶分公司
重慶分公司
