php如何采集js生成的內(nèi)容

訪問(wèn)需要采集的頁(yè)面，如果數(shù)據(jù)是用js輸出的html，那么必定有接口或者本身頁(yè)面中給js提供了數(shù)據(jù)，來(lái)遍歷輸出html。

在徐聞等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),成都全網(wǎng)營(yíng)銷,外貿(mào)營(yíng)銷網(wǎng)站建設(shè),徐聞網(wǎng)站建設(shè)費(fèi)用合理。

用chrome的審查元素中的network，可以單獨(dú)看xhr，看看是否是ajax請(qǐng)求的接口，如果數(shù)據(jù)是從接口來(lái)的，直接用PHP去獲取那個(gè)接口的數(shù)據(jù)就可以了。

如果沒(méi)有ajax請(qǐng)求，查看html源代碼，在里面找數(shù)據(jù)。

如何用php調(diào)用外部接口json數(shù)據(jù)

一般使用php發(fā)送請(qǐng)求，獲取返回的數(shù)據(jù)，進(jìn)行解析；

?php

$url="接口地址";

//發(fā)送請(qǐng)求獲取返回值,file_get_contents只支持get請(qǐng)求，post使用curl

$json = file_get_contents($url);

//把json數(shù)據(jù)轉(zhuǎn)化成數(shù)組

$data = json_decode($json,true);

//打印看看

print_r($data);

?

php如何獲取接口資源的IP地址？

php獲取接口資源的IP地址:

?php

function getIPLoc_sina($queryIP){ ?

$url = ';ip='.$queryIP; ?

$ch = curl_init($url); ?

curl_setopt($ch,CURLOPT_ENCODING ,'utf8'); ?

curl_setopt($ch, CURLOPT_TIMEOUT, 5);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true) ; // 獲取數(shù)據(jù)返回

$location = curl_exec($ch); ?

$location = json_decode($location); ?

curl_close($ch); ? ? ?

$loc = "";

if($location===FALSE) return ""; ?

if (empty($location-desc)) { ?

$loc = $location-province.$location-city.$location-district.$location-isp;

}else{ ? ? ? ? $loc = $location-desc; ?

} ?

return $loc;

}

echo getIPLoc_sina("183.37.209.57");

?

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

比如說(shuō)，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來(lái)的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來(lái)，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒(méi)有啟動(dòng)，比如說(shuō)這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒(méi)有

php wss接口怎么獲取數(shù)據(jù)

一種傳值方式是：wc.php?a=32；另一個(gè)頁(yè)面用$_POST[$a]接受即可。另一個(gè)傳值方式是：$a=32； 另一個(gè)頁(yè)面用$_POST[$a]接受即可。請(qǐng)問(wèn)：1。二者有什么不同？2。二者的使用范圍有何不一樣？即何時(shí)用方法一方便，何時(shí)用方法二較好。并說(shuō)明原因。3。二者的優(yōu)點(diǎn)與不足點(diǎn)。

建議你去后盾人那找找答案，最近他們?cè)诟闶裁磳?shí)訓(xùn)班培訓(xùn)的活動(dòng)