PHP怎樣抓取網(wǎng)頁(yè)代碼中動(dòng)態(tài)顯示的數(shù)據(jù)

PHP Simple HTML DOM或者phpQuery可以直接取得某些div中的內(nèi)容，里面有幾個(gè)例子專(zhuān)門(mén)針對(duì)于網(wǎng)頁(yè)抓取，調(diào)整好抓取頻次，舍去已經(jīng)存在的數(shù)據(jù)，你可以參考下

站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到金溪網(wǎng)站設(shè)計(jì)與金溪網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類(lèi)型包括：做網(wǎng)站、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、空間域名、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋金溪地區(qū)。

;id=57class=2

php怎么抓取其它網(wǎng)站數(shù)據(jù)

可以用以下4個(gè)方法來(lái)抓取網(wǎng)站 的數(shù)據(jù)：

1. 用 file_get_contents 以 get 方式獲取內(nèi)容：

?

$url = '';

$html = file_get_contents($url);

echo $html;

2. 用fopen打開(kāi)url，以get方式獲取內(nèi)容

?

$url = '';

$fp = fopen($url, 'r');

stream_get_meta_data($fp);

$result = '';

while(!feof($fp))

{

$result .= fgets($fp, 1024);

}

echo "url body: $result";

fclose($fp);

3. 用file_get_contents函數(shù),以post方式獲取url

?

$data = array(

'foo'='bar',

'baz'='boom',

'site'='',

'name'='nowa magic');

$data = http_build_query($data);

//$postdata = http_build_query($data);

$options = array(

'http' = array(

'method' = 'POST',

'header' = 'Content-type:application/x-www-form-urlencoded',

'content' = $data

//'timeout' = 60 * 60 // 超時(shí)時(shí)間（單位:s）

)

);

$url = "";

$context = stream_context_create($options);

$result = file_get_contents($url, false, $context);

echo $result;

4、使用curl庫(kù)，使用curl庫(kù)之前，可能需要查看一下php.ini是否已經(jīng)打開(kāi)了curl擴(kuò)展

$url = '';

$ch = curl_init();

$timeout = 5;

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents = curl_exec($ch);

curl_close($ch);

echo $file_contents;

php每天抓取數(shù)據(jù)并更新新

以前我用過(guò)querylist插件抓數(shù)據(jù)，服務(wù)器寫(xiě)和定時(shí)器，每天固定時(shí)間去運(yùn)行腳本。朝這個(gè)方式試試

高并發(fā)下數(shù)據(jù)的更新，應(yīng)該 update table xxx set num = num - 1 的方式，這種方式可以保證數(shù)據(jù)的正確性。

但是會(huì)出現(xiàn) num 為負(fù)數(shù)的問(wèn)題，如果庫(kù)存為負(fù)數(shù)，顯然是不合理的。

于是，需要將 num 字段設(shè)置為 無(wú)符號(hào)整型，這樣就不會(huì)出現(xiàn)負(fù)數(shù)了，因?yàn)?，如果減到負(fù)數(shù)，就會(huì)更新失敗。

但是這種依然會(huì)造成很多無(wú)用的更新語(yǔ)句的執(zhí)行，是不合理的。

于是，update table xxx set num = num - 1 where num 0，

這樣當(dāng) num 等于0之后就不會(huì)去更新數(shù)據(jù)庫(kù)了，減少了很多無(wú)用的開(kāi)銷(xiāo)。

這種方式被稱作“樂(lè)觀鎖”

此外，對(duì)于搶紅包這種非整數(shù)的操作，我們應(yīng)該轉(zhuǎn)換為整數(shù)的操作。

關(guān)于搶購(gòu)超賣(mài)的控制

一般搶購(gòu)功能是一個(gè)相對(duì)于正常售賣(mài)系統(tǒng)來(lái)說(shuō)獨(dú)立的子系統(tǒng)，這樣既可以防止搶購(gòu)時(shí)的高并發(fā)影響到正常系統(tǒng)，

也可以做到針對(duì)于搶購(gòu)業(yè)務(wù)的特殊處理。

在后臺(tái)設(shè)計(jì)一些功能，可以就昂正常的商品加入到搶購(gòu)活動(dòng)中并編輯成為搶購(gòu)商品，寫(xiě)入到搶購(gòu)商品表，當(dāng)然

也可以把搶購(gòu)商品表寫(xiě)入redis而不是數(shù)據(jù)表。并且在原商品表寫(xiě)入一個(gè)同樣的商品（id相同，用于訂單查看，

此商品不可購(gòu)買(mǎi)）

如果是數(shù)據(jù)表，為了控制超賣(mài)，需要對(duì)表進(jìn)行行鎖，更新的時(shí)候帶上 where goods_amount 0。

如果是redis，使用 hincrby 一個(gè)負(fù)數(shù)來(lái)減庫(kù)存，并且 hincrby 會(huì)返回改變后的值，再來(lái)判斷返回值是否大于0，

因?yàn)閞edis每個(gè)命令都是原子性的，這樣不用鎖表就可控制超賣(mài)。