抓取網(wǎng)頁數(shù)據(jù)怎么保存到數(shù)據(jù)庫 php

給一個例子你看看吧.

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序定制開發(fā)、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了臺州免費建站歡迎大家使用！

if($pro_list_contents=@file_get_contents(''))

{

preg_match_all("/td width=\"50%\" valign=\"top\"(.*)td width=\"10\"img src=\"images\/spacer.gif\"/isU", $pro_list_contents, $pro_list_contents_ary);

for($i=0; $icount($pro_list_contents_ary[1]); $i++)

{

preg_match_all("/a href=\"(.*)\"img src=\"(.*)\".*span(.*)\/span/isU", $pro_list_contents_ary[1][$i], $url_img_price);

$url=addslashes($url_img_price[1][0]);

$img=str_replace(' ', '20%', trim(''.$url_img_price[2][0]));

$price=(float)str_replace('$', '', $url_img_price[3][0]);

preg_match_all("/a class=\"ml1\" href=\".*\"(.*)\/a/isU", $pro_list_contents_ary[1][$i], $proname_ary);

$proname=addslashes($proname_ary[1][0]);

include("inc/db_connections.php");

$rs=mysql_query("select * from pro where Url='$url' and CateId='{$cate_row['CateId']}'"); //是否已經(jīng)采集了

if(mysql_num_rows($rs))

{

echo "跳過：{$url}br";

continue;

}

$basedir='/u_file/pro/img/'.date('H/');

$save_dir=Build_dir($basedir); //創(chuàng)建目錄函數(shù)

$ext_name = GetFileExtName( $img ); //取得圖片后輟名

$SaveName = date( 'mdHis' ) . rand( 10000, 99999 ) . '.' . $ext_name;

if( $get_file=@file_get_contents( $img ) )

{

$fp = @fopen( $save_dir . $SaveName, 'w' );

@fwrite( $fp, $get_file );

@fclose( $fp );

@chmod( $save_dir . $SaveName, 0777 );

@copy( $save_dir . $SaveName, $save_dir . 'small_'.$SaveName );

$imgpath=$basedir.'small_'.$SaveName;

}

else

{

$imgpath='';

}

if($pro_intro_contents=@file_get_contents($url))

{

preg_match_all("/\/h1(.*)\/td\/tr/isU", $pro_intro_contents, $pro_intro_contents_ary);

$p_contents=addslashes(str_replace('src="', 'src="', $pro_intro_contents_ary[1][0]));

$p_contents=SaveRemoteImg($p_contents, '/u_file/pro/intro/'.date('H/')); //把遠程html代碼里的圖片保存到本地

}

$t=time();

mysql_query("insert into pro(CateId, ProName, PicPath_0, S_PicPath_0, Price_0, Contents, AddTime, Url) values('{$cate_row['CateId']}', '$proname', '$imgpath', '$img', '$price', '$p_contents', '$t', '$url')");

echo $url.$img.$cate."br\r\n";

}

}

php怎么抓取其它網(wǎng)站數(shù)據(jù)

可以用以下4個方法來抓取網(wǎng)站 的數(shù)據(jù)：

1. 用 file_get_contents 以 get 方式獲取內(nèi)容：

?

$url = '';

$html = file_get_contents($url);

echo $html;

2. 用fopen打開url，以get方式獲取內(nèi)容

?

$url = '';

$fp = fopen($url, 'r');

stream_get_meta_data($fp);

$result = '';

while(!feof($fp))

{

$result .= fgets($fp, 1024);

}

echo "url body: $result";

fclose($fp);

3. 用file_get_contents函數(shù),以post方式獲取url

?

$data = array(

'foo'='bar',

'baz'='boom',

'site'='',

'name'='nowa magic');

$data = http_build_query($data);

//$postdata = http_build_query($data);

$options = array(

'http' = array(

'method' = 'POST',

'header' = 'Content-type:application/x-www-form-urlencoded',

'content' = $data

//'timeout' = 60 * 60 // 超時時間（單位:s）

)

);

$url = "";

$context = stream_context_create($options);

$result = file_get_contents($url, false, $context);

echo $result;

4、使用curl庫，使用curl庫之前，可能需要查看一下php.ini是否已經(jīng)打開了curl擴展

$url = '';

$ch = curl_init();

$timeout = 5;

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents = curl_exec($ch);

curl_close($ch);

echo $file_contents;

php如何爬取天貓和淘寶商品數(shù)據(jù)

直接用Curl就行，具體爬取的數(shù)據(jù)可以穿參查看結(jié)果，方法不區(qū)分淘寶和天貓鏈接，但是前提是必須是PC端鏈接，另外正則寫的不規(guī)范，所以可以自己重寫正則來匹配數(shù)據(jù)。

php每天抓取數(shù)據(jù)并更新新

以前我用過querylist插件抓數(shù)據(jù)，服務(wù)器寫和定時器，每天固定時間去運行腳本。朝這個方式試試

高并發(fā)下數(shù)據(jù)的更新，應(yīng)該 update table xxx set num = num - 1 的方式，這種方式可以保證數(shù)據(jù)的正確性。

但是會出現(xiàn) num 為負數(shù)的問題，如果庫存為負數(shù)，顯然是不合理的。

于是，需要將 num 字段設(shè)置為 無符號整型，這樣就不會出現(xiàn)負數(shù)了，因為，如果減到負數(shù)，就會更新失敗。

但是這種依然會造成很多無用的更新語句的執(zhí)行，是不合理的。

于是，update table xxx set num = num - 1 where num 0，

這樣當(dāng) num 等于0之后就不會去更新數(shù)據(jù)庫了，減少了很多無用的開銷。

這種方式被稱作“樂觀鎖”

此外，對于搶紅包這種非整數(shù)的操作，我們應(yīng)該轉(zhuǎn)換為整數(shù)的操作。

關(guān)于搶購超賣的控制

一般搶購功能是一個相對于正常售賣系統(tǒng)來說獨立的子系統(tǒng)，這樣既可以防止搶購時的高并發(fā)影響到正常系統(tǒng)，

也可以做到針對于搶購業(yè)務(wù)的特殊處理。

在后臺設(shè)計一些功能，可以就昂正常的商品加入到搶購活動中并編輯成為搶購商品，寫入到搶購商品表，當(dāng)然

也可以把搶購商品表寫入redis而不是數(shù)據(jù)表。并且在原商品表寫入一個同樣的商品（id相同，用于訂單查看，

此商品不可購買）

如果是數(shù)據(jù)表，為了控制超賣，需要對表進行行鎖，更新的時候帶上 where goods_amount 0。

如果是redis，使用 hincrby 一個負數(shù)來減庫存，并且 hincrby 會返回改變后的值，再來判斷返回值是否大于0，

因為redis每個命令都是原子性的，這樣不用鎖表就可控制超賣。

用php怎樣從數(shù)據(jù)庫中直接讀取數(shù)據(jù)下載？

你能存進數(shù)據(jù)庫,說明你就能取數(shù)據(jù).將取出的數(shù)據(jù)進行base64_decode,然后再根據(jù)文件格式發(fā)出一個http head,再直接echo出去.

如:一個jpg的圖片.經(jīng)過header后瀏覽器就會認為那是一個圖片了.

//$db_img 這個是從數(shù)據(jù)庫取出的base64編碼格式的二進制圖片數(shù)據(jù).

$img = base64_decode($db_img);

header("Content-type: image/jpg");

echo $img;

其他格式的文件類型就根據(jù)實際情況改header里面的Content-type