Golang net/http 爬蟲[1]

上周從零學(xué)習(xí)了golang，語法簡單關(guān)鍵字少，寫個(gè)爬蟲熟悉一下語法結(jié)構(gòu)。

公司主營業(yè)務(wù)：網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)推出河源免費(fèi)做網(wǎng)站回饋大家。

首先選用了原生的net/http包，基本上涵蓋了所有的get/post請求，各種參數(shù)都可以設(shè)置，網(wǎng)上google到html頁面解析goquery神器，很輕松就可以解決頁面解析問題。

首先就寫了個(gè)爬取匯率的爬蟲。然后重寫之前php的一個(gè)請求類，請求類的邏輯有點(diǎn)混亂不清晰，往往把兩個(gè)不同的功能合并到一起寫，粒度大，后來發(fā)現(xiàn)了一個(gè)好用的框架——colly，之后再試試好不好用

Windows 10 Golang

依賴包：goquery

較常用的方法有Find和Each

爬取中國銀行的匯率牌價(jià)表，golang依賴net/http包和goquery包

唯一的難點(diǎn)是對于goquery方法的使用，需要閱讀官方文檔：

使用原生的net/http包基本上可以解決大多數(shù)的網(wǎng)頁請求，使用goquery可以解決頁面解析問題

可以利用golang的協(xié)程特性進(jìn)行異步多協(xié)程爬取

增加安全性可以通過幾個(gè)方面進(jìn)行改進(jìn)：

1.首先可以限制爬蟲的爬取速度

2.每次對網(wǎng)頁的請求都隨機(jī)選用一個(gè)客戶端

3.選用IP代理池，防止IP誤封（及限制ip訪問次數(shù)）

構(gòu)造請求代理ip網(wǎng)站的鏈接→獲取網(wǎng)頁內(nèi)容→ 提取網(wǎng)頁中IP地址和端口號→驗(yàn)證IP的有效性并存儲

輕量級反爬蟲方案

淺談JSP

golang帶json的Http請求

Get/Post

HTTP請求中的Form Data和Request Payload的區(qū)別

HTTP Json請求

net/http：

golang HTTP操作

python建立爬蟲代理ip池

爬蟲黑科技之讓你的爬蟲程序更像人類用戶的行為

特點(diǎn)：事件監(jiān)聽，通過callback執(zhí)行事件處理

基于colly開發(fā)的web管理界面

Go語言的應(yīng)用

Go語言由Google公司開發(fā)，并于2009年開源，相比Java/Python/C等語言，Go尤其擅長并發(fā)編程，性能堪比C語言，開發(fā)效率肩比Python，被譽(yù)為“21世紀(jì)的C語言”。

Go語言在云計(jì)算、大數(shù)據(jù)、微服務(wù)、高并發(fā)領(lǐng)域應(yīng)用應(yīng)用非常廣泛。BAT大廠正在把Go作為新項(xiàng)目開發(fā)的首選語言。

Go語言應(yīng)用范圍：

1、服務(wù)端開發(fā)：以前你使用C或者C++做的那些事情，用Go來做很合適，例如日志處理、文件系統(tǒng)、監(jiān)控系統(tǒng)等;

2、DevOps：運(yùn)維生態(tài)中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go語言開發(fā);

3、網(wǎng)絡(luò)編程：大量優(yōu)秀的Web框架如Echo、Gin、Iris、beego等，而且Go內(nèi)置的 net/http包十分的優(yōu)秀;

4、Paas云平臺領(lǐng)域：Kubernetes和Docker Swarm等;

5、分布式存儲領(lǐng)域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、區(qū)塊鏈領(lǐng)域：區(qū)塊鏈里面有兩個(gè)明星項(xiàng)目以太坊和fabric都使用Go語言;

7、容器虛擬化：大名鼎鼎的Docker就是使用Go語言實(shí)現(xiàn)的;

8、爬蟲及大數(shù)據(jù)：Go語言天生支持并發(fā)，所以十分適合編寫分布式爬蟲及大數(shù)據(jù)處理。

go語言實(shí)現(xiàn)一個(gè)簡單的簡單網(wǎng)關(guān)

網(wǎng)關(guān)=反向代理+負(fù)載均衡+各種策略，技術(shù)實(shí)現(xiàn)也有多種多樣，有基于 nginx 使用 lua 的實(shí)現(xiàn)，比如 openresty、kong；也有基于 zuul 的通用網(wǎng)關(guān)；還有就是 golang 的網(wǎng)關(guān)，比如 tyk。

這篇文章主要是講如何基于 golang 實(shí)現(xiàn)一個(gè)簡單的網(wǎng)關(guān)。

轉(zhuǎn)自： troy.wang/docs/golang/posts/golang-gateway/

整理：go語言鐘文文檔:

啟動(dòng)兩個(gè)后端 web 服務(wù)（代碼）

這里使用命令行工具進(jìn)行測試

具體代碼

直接使用基礎(chǔ)庫 httputil 提供的NewSingleHostReverseProxy即可，返回的reverseProxy對象實(shí)現(xiàn)了serveHttp方法，因此可以直接作為 handler。

具體代碼

director中定義回調(diào)函數(shù)，入?yún)?http.Request，決定如何構(gòu)造向后端的請求，比如 host 是否向后傳遞，是否進(jìn)行 url 重寫，對于 header 的處理，后端 target 的選擇等，都可以在這里完成。

director在這里具體做了：

modifyResponse中定義回調(diào)函數(shù)，入?yún)?http.Response，用于修改響應(yīng)的信息，比如響應(yīng)的 Body，響應(yīng)的 Header 等信息。

最終依舊是返回一個(gè)ReverseProxy，然后將這個(gè)對象作為 handler 傳入即可。

參考 2.2 中的NewSingleHostReverseProxy，只需要實(shí)現(xiàn)一個(gè)類似的、支持多 targets 的方法即可，具體實(shí)現(xiàn)見后面。

作為一個(gè)網(wǎng)關(guān)服務(wù)，在上面 2.3 的基礎(chǔ)上，需要支持必要的負(fù)載均衡策略，比如：

隨便 random 一個(gè)整數(shù)作為索引，然后取對應(yīng)的地址即可，實(shí)現(xiàn)比較簡單。

具體代碼

使用curIndex進(jìn)行累加計(jì)數(shù)，一旦超過 rss 數(shù)組的長度，則重置。

具體代碼

輪詢帶權(quán)重，如果使用計(jì)數(shù)遞減的方式，如果權(quán)重是5,1,1那么后端 rs 依次為a,a,a,a,a,b,c,a,a,a,a…，其中 a 后端會(huì)瞬間壓力過大；參考 nginx 內(nèi)部的加權(quán)輪詢，或者應(yīng)該稱之為平滑加權(quán)輪詢，思路是：

后端真實(shí)節(jié)點(diǎn)包含三個(gè)權(quán)重：

操作步驟：

具體代碼

一致性 hash 算法，主要是用于分布式 cache 熱點(diǎn)/命中問題；這里用于基于某 key 的 hash 值，路由到固定后端，但是只能是基本滿足流量綁定，一旦后端目標(biāo)節(jié)點(diǎn)故障，會(huì)自動(dòng)平移到環(huán)上最近的那么個(gè)節(jié)點(diǎn)。

實(shí)現(xiàn)：

具體代碼

每一種不同的負(fù)載均衡算法，只需要實(shí)現(xiàn)添加以及獲取的接口即可。

然后使用工廠方法，根據(jù)傳入的參數(shù)，決定使用哪種負(fù)載均衡策略。

具體代碼

作為網(wǎng)關(guān)，中間件必不可少，這類包括請求響應(yīng)的模式，一般稱作洋蔥模式，每一層都是中間件，一層層進(jìn)去，然后一層層出來。

中間件的實(shí)現(xiàn)一般有兩種，一種是使用數(shù)組，然后配合 index 計(jì)數(shù)；一種是鏈?zhǔn)秸{(diào)用。

具體代碼

求教 吧里的各位大神 Go語言如何寫界面

首先你應(yīng)該建立一個(gè)WIN32程序項(xiàng)目，而不是控制臺項(xiàng)目。在添加這些代碼：#include#include#include#include#definepi3.1415LRESULTCALLBACKWndProc(HWND,UINT,WPARAM,LPARAM);//窗口函數(shù)說明//--------------------以下初始化窗口類-----------------//intWINAPIWinMain(HINSTANCEhInstance,//WinMain函數(shù)說明HINSTANCEhPrevInst,LPSTRlpszCmdLine,intnCmdShow){HWNDhwnd;MSGMsg;WNDCLASSwndclass;charlpszClassName[]="窗口";//窗口類名charlpszTitle[]="窗口示例程序";//窗口標(biāo)題名//窗口類的定義wndclass.style=0;//窗口類型為默認(rèn)類型wndclass.lpfnWndProc=WndProc;//窗口處理函數(shù)為WndProcwndclass.cbClsExtra=0;//窗口類無擴(kuò)展wndclass.cbWndExtra=0;//窗口實(shí)例無擴(kuò)展wndclass.hInstance=hInstance;//當(dāng)前實(shí)例句柄wndclass.hIcon=LoadIcon(NULL,IDI_APPLICATION);//使用默認(rèn)圖標(biāo)wndclass.hCursor=LoadCursor(NULL,IDC_ARROW);//窗口采用箭頭光標(biāo)wndclass.hbrBackground=(HBRUSH)GetStockObject(WHITE_BRUSH);//窗口背景為白色wndclass.lpszMenuName=NULL;//窗口中無菜單wndclass.lpszClassName=lpszClassName;//窗口類名為“窗口示例”//--------------------以下進(jìn)行窗口類的注冊-------------if(!RegisterClass(wndclass))//若注冊失敗則發(fā)出警告聲音{MessageBeep(0);returnFALSE;}//創(chuàng)建窗口操作hwnd=CreateWindow(lpszClassName,//窗口類名lpszTitle,//窗口實(shí)例的標(biāo)題名WS_OVERLAPPEDWINDOW,//窗口的風(fēng)格CW_USEDEFAULT,CW_USEDEFAULT,//窗口左上角的坐標(biāo)為默認(rèn)值CW_USEDEFAULT,CW_USEDEFAULT,//窗口的高和寬為默認(rèn)值NULL,//此窗口無父窗口NULL,//此窗口無主菜單hInstance,//應(yīng)用程序的當(dāng)前句柄NULL);//不使用該值ShowWindow(hwnd,nCmdShow);//顯示窗口UpdateWindow(hwnd);//繪制用戶區(qū)while(GetMessage(Msg,NULL,0,0))//消息循環(huán){TranslateMessage(Msg);DispatchMessage(Msg);}returnMsg.wParam;//程序終止時(shí)將信息返回系統(tǒng)}//窗口函數(shù)LRESULTCALLBACKWndProc(HWNDhWnd,UINTiMessage,WPARAMwParam,LPARAMlParam){switch(iMessage){//此處添加消息處理代碼}switch(iMessage){caseWM_DESTROY:PostQuitMessage(0);//調(diào)用該函數(shù)發(fā)出WM_QUIT消息default:returnDefWindowProc(hWnd,iMessage,wParam,lParam);}return0;}