簡介

站在用戶的角度思考問題，與客戶深入溝通，找到慶元網(wǎng)站設(shè)計與慶元網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗，讓設(shè)計與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個性化、用戶體驗好的作品，建站類型包括：成都網(wǎng)站設(shè)計、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣、主機域名、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋慶元地區(qū)。

用node.js寫了一個簡單的小爬蟲，用來爬取拉勾網(wǎng)上的招聘信息，共爬取了北京、上海、廣州、深圳、杭州、西安、成都7個城市的數(shù)據(jù)，分別以前端、PHP、java、c++、python、Android、ios作為關(guān)鍵詞進行爬取，爬到的數(shù)據(jù)以json格式儲存到本地，為了方便觀察，我將數(shù)據(jù)整理了一下供大家參考

數(shù)據(jù)結(jié)果

上述數(shù)據(jù)為3月13日22時爬取的數(shù)據(jù)，可大致反映各個城市對不同語言的需求量。

爬取過程展示

控制并發(fā)進行爬取

爬取到的數(shù)據(jù)文件

json數(shù)據(jù)文件

爬蟲程序

實現(xiàn)思路

請求拉鉤網(wǎng)的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=關(guān)鍵詞&pn=頁數(shù)”可以返回一個json格式的數(shù)據(jù)，該數(shù)據(jù)包含所要請求職位的信息，省去了使用chreio解析的麻煩，所以直接用superagent來進行請求上述地址，并將數(shù)據(jù)儲存在本地即可，其中參數(shù)city是為城市，kd為所要搜索的關(guān)鍵詞，pn為要請求的頁數(shù)，當(dāng)中使用到了async來控制異步流程，使得并發(fā)數(shù)不超過3，防止被封ip。

代碼地址及使用

github：https://github.com/zsqosos/positionAnalysis

代碼請在github上查看，使用該程序需要安裝node環(huán)境，如果覺得還不錯的話煩請給個star，歡迎大家修改使用該程序。

以上就是本文的全部內(nèi)容，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，同時也希望多多支持創(chuàng)新互聯(lián)建站！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)建站www.cdcxhl.com，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、建站服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

標題名稱：node.js爬蟲爬取拉勾網(wǎng)職位信息-創(chuàng)新互聯(lián)
分享網(wǎng)址：http://weahome.cn/article/gpcoi.html