概要

本文將介紹使用GoldData半自動登錄功能，來采集需要登錄網(wǎng)站的數(shù)據(jù)。GoldData半自動登錄功能，就是指通過腳本來執(zhí)行登錄，如果需要驗證碼或者其它內(nèi)容需要人工輸入時，可以通過收發(fā)郵件來執(zhí)行登錄流程。

網(wǎng)站前端頁面設(shè)計會用DIV+CSS架構(gòu)，布局出來的網(wǎng)站外觀簡潔大氣。HTML靜態(tài)，H5技術(shù)+CSS3網(wǎng)站，自適應(yīng)電腦、手機、平板，符合用戶體驗的習(xí)慣，更容易與用戶產(chǎn)生互動。專業(yè)網(wǎng)絡(luò)公司的服務(wù)理念是“高性價比建站，讓企業(yè)網(wǎng)站具備營銷價值，促進長期合作共贏模式”。

下載例子

為了講解方便，我們以采集mydict的單詞數(shù)據(jù)來講解采集需要登錄的網(wǎng)站數(shù)據(jù)。這個mydict例子程序可以從開源網(wǎng)站下載到（ https://github.com/TheGoldData/mydict/releases ，或 https://gitee.com/golddata/mydict/attach_files ）。

下載之后，打開命令行，運行下面的命令就可以啟動例子程序。

java -jar mydict.war

啟動之后，打開瀏覽器，輸入網(wǎng)址http://localhost:8080/打開一個登錄頁面。如下圖所示：

輸入用戶名和密碼（都是admin），就可以打開首頁單詞列表。

編寫登錄和檢查會話腳本

點擊“采集管理》網(wǎng)站管理”，點擊“添加”按扭，添加名為mydict的站點。如下所示：

接下來配制登錄和檢查會話腳本，點擊“設(shè)置半自動登錄”，會打開站點半自動登錄配制頁面，如下圖所示：

登錄腳本如下：

//發(fā)送ajax請求驗證碼
var va=$ajax('http://localhost:8080/code/vcode?timestamp=1554001708730',{encoding:false});

var arg_={
label:site.name+"驗證碼",
type:1,
content:va.content
}
//waitForInput內(nèi)置函數(shù)將發(fā)送郵件，并等待輸入
//（回復(fù)郵件，或者goldData平臺輸入），
//并把輸入內(nèi)容當(dāng)作驗證碼返回。
var code=waitForInput(arg_);

var data="username=admin&password=admin&vcode="+code

var m=new  Map()
m.put('Cookie',va.cookie)
//發(fā)送ajax請求執(zhí)行登錄
var content=$ajax('http://localhost:8080/doLogin',{method:'POST',headers:m,data:data})

//如果正確，將返回狀態(tài)1（登錄成功），和headers信息給GoldData，
//否則返回0（登錄失?。?if(content.headers){
m.putAll(content.headers)
}

var ret={status:1,headers:m}

if(content.status!=200){
    ret.status=0
}
ret

檢查腳本如下：

var ret=true;
if(html.contains("我的單詞-登錄")){
ret=false
}
ret;

配制好之后，我們回到網(wǎng)站管理頁面，點擊“啟動登錄”，則會開始執(zhí)行“自動登錄”，這之后，點擊“查詢”按扭來刷新頁面，可以看到“等待輸入”的狀態(tài)。如下圖所示：

此時，您設(shè)置的通知郵箱，也應(yīng)該同時收到了郵件。點開郵件，或者點擊頁面上的“錄入等待輸入”按扭，將會看到如下內(nèi)容：

依據(jù)郵件內(nèi)容，回復(fù)郵件“{{qcxe}}”,就可以讓程序繼續(xù)執(zhí)行。在golddata頁面里輸入"qcxe",效果是一樣的。程序?qū)氐健皐aitForInput()”，并且返回輸入的內(nèi)容。

回復(fù)之后，我們將在golddata頁面里，點擊“查詢”刷新頁面，mydict的登錄狀態(tài)會變?yōu)椤耙训卿洝?。如下圖所示：

接下來，我們可以定義抓取規(guī)則。

定義抓取規(guī)則

在添加規(guī)則之前，我們還需要定義類似于表結(jié)構(gòu)的數(shù)據(jù)集。如下圖所示：

接下來，點擊“采集管理》規(guī)則管理”，添加規(guī)則，打開添加規(guī)則頁面，如下圖所示：

抓取規(guī)則腳本如下：

[
  {
    __sample: http://localhost:8080/word/index?pageNum=2
    match0: http\:\/\/localhost\:8080\/word\/index(\?pageNum=\d+)?
    fields0:
    {
      __model: true
      __dataset: word
      __node: "#content  ul >li"
      sn:
      {
        expr: ""
        attr: ""
        js: md5(item.name)
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: s1
      }
      name:
      {
        expr: h6
        attr: ""
        js: ""
        __label: ""
        __showOnList: true
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: s1
      }
      uk:
      {
        expr: li span.uk
        attr: ""
        js: source.replace("uk: ",'')
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: s1
      }
      us:
      {
        expr: li span.us
        attr: ""
        js: source.replace("us: ",'')
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: s1
      }
    }
    fields1:
    {
      __node: .pagination a
      href:
      {
        expr: a
        attr: abs:href
        js: ""
        __label: ""
        __showOnList: false
        __type: ""
        down: "0"
        accessPathJs: ""
        uploadConf: s1
      }
    }
  }
]

然后點擊測試，將會進行測試抓取。我們發(fā)現(xiàn)數(shù)據(jù)的確被抓取到了，如下圖所示：

配制抓取器抓取

這和之前是一樣的，將抓取器設(shè)置抓取站點“mydict”.然后點擊開始抓取。然后會在數(shù)據(jù)管理里面查看抓取的數(shù)據(jù)。

結(jié)論

GoldData半自動登錄實質(zhì)是提供了一個可以人工介入來異步獲取會話的框架，既可以調(diào)用AI接口做到完全自動登錄；也可以將類似于驗證碼需要復(fù)雜識別需要提供輸入時，直接將cookie或者token信息通過郵件收發(fā)到GoldData平臺（這樣可以不管CAPTCHA多復(fù)雜 ），都可以讓GoldData抓取數(shù)據(jù)的動作持續(xù)進行下去。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享標(biāo)題：Golddata如何采集需要登錄/會話的數(shù)據(jù)？-創(chuàng)新互聯(lián)
標(biāo)題鏈接：http://weahome.cn/article/dgpged.html