這篇文章主要為大家展示了“如何使用nodejs爬取前程無憂前端技能排行”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何使用nodejs爬取前程無憂前端技能排行”這篇文章吧。

成都創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為松溪企業(yè)提供專業(yè)的成都做網(wǎng)站、成都網(wǎng)站設(shè)計，松溪網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

具體步驟：

1．  先用fiddler分析請求需要的header和body。

2．  再用superagent構(gòu)建上述數(shù)據(jù)發(fā)送客戶端請求。

3．  最后對返回的數(shù)據(jù)使用cheerio整理。

折騰了幾個晚上，只搞出了個架子，剩余工作等有時間再繼續(xù)開發(fā)。

/*使用fiddler抓包，需要配置lan代理，且設(shè)置如下參數(shù)*/
process.env.https_proxy = "http://127.0.0.1:8888";
process.env.http_proxy = "http://127.0.0.1:8888";
process.env.NODE_TLS_REJECT_UNAUTHORIZED = "0";
/*使用到的模塊*/
var request = require('superagent');  //發(fā)送客戶端請求
require('superagent-proxy')(request);  //使用代理發(fā)送請求
var cheerio = require('cheerio');    //以jq類似的方法操作返回的字符，不需要用正則
require('superagent-charset')(request);//node不支持gbk,gb2312,this will add request.Request.prototype.charset.
var async = require('async');      //異步流控制模塊
var fs = require('fs');
/*相關(guān)參數(shù)，通過fiddler抓包后復(fù)制過來*/
var ws = fs.createWriteStream('res.html',{flags:'w+'}); //a+追加的讀寫模式，w+覆蓋
var loginUrl = "https://login.51job.com/login.php";
var searchUrl = "http://search.51job.com/jobsearch/search_result.php";
var queryStrings = "fromJs=1&jobarea=020000&keyword=%E5%89%8D%E7%AB%AF%E5%BC%80%E5%8F%91&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9";
var loginForms = {
  lang: 'c',
  action: 'save',
  from_domain: 'i',
  loginname: '***',  //自己的用戶名和密碼
  password: '***',
  verifycode: '',
  isread: 'on'
};
var searchForms = {
  lang: 'c',
  stype: '2',
  postchannel: '0000',
  fromType: '1',
  line: '',
  confirmdate: '9',
  from: '',
  keywordtype: '2',
  keyword: '%E5%89%8D%E7%AB%AF%E5%BC%80%E5%8F%91',
  jobarea: '020000',
  industrytype: '',
  funtype: ''
};
var searchFormsString='lang=c&stype=2&postchannel=0000&fromType=1&line=&confirmdate=9&from=&keywordtype=2&keyword=%C7%B0%B6%CB%BF%AA%B7%A2&jobarea=020000&industrytype=&funtype=';
var proxy0 = process.env.https_proxy;
var proxy = process.env.http_proxy;
const agent = request.agent();     //agent()方法產(chǎn)生的實例會保存cookie供后續(xù)使用
request.post(loginUrl).proxy(proxy0).send(loginForms).end(function (err,res0) {
  agent.post(searchUrl)
    .proxy(proxy)          //proxy()方法需緊跟在method方法之后調(diào)用，否則fiddler抓不到數(shù)據(jù)包
    .type('application/x-www-form-urlencoded')
    .query(queryStrings)  　　　　//使用字符串格式
    .send(searchFormsString)
    .charset('gbk')        //通過charset可知編碼字符格式，不設(shè)置會有亂碼
    .end(function (err, res) {
      /* 以下是處理返回數(shù)據(jù)的邏輯代碼*/
      var $ = cheerio.load(res.text);  //res.text是返回的報文主體
      async.each($('.el.title').nextAll('.el'), function(v, callback) {
        //將多余的內(nèi)容刪除，保留崗位、公司鏈接
        $(v).prepend($(v).find('.t1 a'));
        $(v).find('.t1').remove();
        ws.write($.html(v), 'utf8');
      }, function(err) {
        console.log(err);
      });
      console.log('successful');
    })
});
//jquery內(nèi)置document元素為root，cheerio需要通過load方法傳入，然后用選擇器查找指定元素，再執(zhí)行相應(yīng)操作。
// $.html(el);靜態(tài)方法，返回el元素的outerHtml
//TODO
// 1.當前只請求到一頁數(shù)據(jù)，還需構(gòu)建所有頁數(shù)的請求列表
// 2.向每條數(shù)據(jù)的崗位鏈接發(fā)送請求，獲取技能關(guān)鍵字，存入文件中
// 3.node中io操作是異步的，且沒有鎖的概念，如何并發(fā)地向同一個文件正確地寫入數(shù)據(jù)

結(jié)果顯示如下：

以上是“如何使用nodejs爬取前程無憂前端技能排行”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！