Java_爬蟲，如何抓取Js動態(tài)生成數(shù)據(jù)的頁面？

用nodejs+puppeteer，解析dom結(jié)構(gòu)獲取，或者直接觀察返回?cái)?shù)據(jù)的接口，看能不能直接調(diào)用

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比鹽都網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式鹽都網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋鹽都地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

java爬蟲怎么抓取js動態(tài)生成的內(nèi)容

我用Jsoup寫爬蟲，一般遇到html返回沒有的內(nèi)容。但是瀏覽器顯示有的內(nèi)容。都是分析頁面的http請求日志。分析頁面JS代碼來解決。

1、有些頁面元素被隱藏起來了-換selector解決

2、有些數(shù)據(jù)保存在js/json對象中-截取對應(yīng)的串，分析解決

3、通過api接口調(diào)用-偽造請求獲得數(shù)據(jù)

還有一個終極方法

4、使用phantomjs或者casperjs這種headless瀏覽器

java爬蟲中怎么訪問瀏覽器中定義的js函數(shù)

在JS中函數(shù)的定義可以分為兩種：

1. 函數(shù)聲明

2. 函數(shù)表達(dá)式

根據(jù)你的代碼，下面的代碼就是函數(shù)的聲明（當(dāng)然另外一段代碼是函數(shù)表達(dá)式）：

function a (){

alert(123);

}

根據(jù)JS中的語法特性（注意哦，是js的語法特點(diǎn)，要記?。?/p>

在javascript函數(shù)體內(nèi)（執(zhí)行作用域）聲明的變量，無論在函數(shù)體何處聲明，它將都會被提升到函數(shù)的頂部，我們稱這種現(xiàn)象為變量提升。 函數(shù)呢，它也有這種特性，即無論在函數(shù)體何處聲明另一個函數(shù)，它將都會被提升到函數(shù)的頂部。只是采用函數(shù)表達(dá)式和函數(shù)聲明所體現(xiàn)的函數(shù)提升的內(nèi)容是有差別的：函數(shù)表達(dá)式和變量提升類似，只會提升函數(shù)的變量，不提升函數(shù)的定義；而函數(shù)聲明提升時，不僅僅會提升函數(shù)的聲明，函數(shù)的定義也會被提升

根據(jù)以上特性，你的代碼在執(zhí)行時，

function a (){

alert(123);

}

這段代碼被提升到執(zhí)行作用域的頂端，最開始被執(zhí)行；

然后，在執(zhí)行

var a =function(){

alert('234');

}

這段代碼，導(dǎo)致該代碼覆蓋了前面的函數(shù)聲明代碼；

不信你可以做個測試：

將a()放到j(luò)s代碼的最頂端，可以看看會打印什么結(jié)果，此時你就明白了！