先上個(gè)單個(gè)采集的curl訪問(wèn)案例

成都創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站建設(shè)、成都做網(wǎng)站與策劃設(shè)計(jì),福貢網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:福貢等地區(qū)。福貢做網(wǎng)站價(jià)格咨詢:13518219792

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');

curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);

curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);

curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0');

curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);

curl_setopt($curl, CURLOPT_AUTOREFERER, 0);

curl_setopt($curl, CURLOPT_HTTPGET, 0);

//curl_setopt($curl, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件

curl_setopt($curl, CURLOPT_TIMEOUT, 0); // 設(shè)置超時(shí)限制防止死循環(huán)

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 0); // 在發(fā)起連接前等待的時(shí)間，如果設(shè)置為0，則無(wú)限等待。

curl_setopt($curl, CURLOPT_CONNECTTIMEOUT_MS, 0); // 嘗試連接等待的時(shí)間，以毫秒為單位。如果設(shè)置為0，則無(wú)限等待。

curl_setopt($curl, CURLOPT_HEADER, 0);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

$tmpInfo = curl_exec($curl);

var_dump($tmpInfo); exit;

?>

在php開(kāi)發(fā)中,會(huì)涉及到一些數(shù)據(jù)方面的采集工作.那么在我們采集的時(shí)候,避不可免的會(huì)碰到要批量采集的時(shí)候.

舉個(gè)粟子.

當(dāng)我們要采集新聞的時(shí)候,到了一個(gè)新聞的列表頁(yè),那么我們分析了這個(gè)列表的鏈接后,當(dāng)然可以通過(guò)循環(huán)的方法,一個(gè)個(gè)的按普通的方式來(lái)采集.但是,這很影響效率.執(zhí)行超慢.于是,翻開(kāi)php手冊(cè),發(fā)現(xiàn)還可以批量采集 批量采集神器 curl_multi_init 登場(chǎng);

假如需要同時(shí)采集兩個(gè)地址,怎么辦?

下面這個(gè)例子,我想你看了就會(huì)明白了

$urls = array('http://www.baidu.com/','http://www.sogou.com/');

$queue = curl_multi_init(); //允許并行地處理批處理cURL句柄。

foreach($urls as $url) {

  $ch = curl_init();

  curl_setopt($ch,  CURLOPT_URL, $url);      //這個(gè)curl只是說(shuō)明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也沒(méi)有去干,也就是說(shuō)沒(méi)有去模擬訪問(wèn)

  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);

  curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);

  curl_setopt($ch,  CURLOPT_TIMEOUT, 25000);//超時(shí)

  curl_setopt($ch,  CURLOPT_RETURNTRANSFER, 1);

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的瀏覽器,這是我的

  //curl_setopt($ch, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陸才能采集的話,需要加上你登陸后得到的cookie文件

  curl_setopt($ch, CURLOPT_HEADER, 0);

  curl_setopt($ch, CURLOPT_NOSIGNAL, true);

  curl_multi_add_handle($queue,$ch);  //向批處理句柄中,添加句柄  后面批量的去模擬訪問(wèn),抓取回資源

}

$responses = array();  //事先聲名一個(gè)數(shù)組

do{

  while(($code = curl_multi_exec($queue,$active)) == CURLM_CALL_MULTI_PERFORM);  //返回值如果是0,那就得繼續(xù)

}while($active);   //一直到資源里還有0條為止

//經(jīng)過(guò)了剛才的循環(huán)指抓取 此時(shí) $queue 就是一個(gè)批量的資源集了 這只是資源集,你需要把它讀取出來(lái).好,讀取在下面閃亮登場(chǎng)

while($done = curl_multi_info_read($queue)){// 用這個(gè)專門讀取批量資源集的函數(shù),可以把這個(gè)資源集的內(nèi)容一條條的讀出來(lái)

  //用上面的函數(shù)讀出來(lái)的,是一個(gè)數(shù)組,數(shù)組中有批量資源中的一條資源,而且被放在 handle 鍵上

  $str = curl_multi_getcontent($done['handle']);    //要讀取資源集的資源條抓取回來(lái)的內(nèi)容,還得用專門的curl_multi_getcontent函數(shù)才能完成

  curl_multi_remove_handle($queue,$done['handle']);  //讀取了資源,別忘記把該資源從資源集中移除

  curl_close($done['handle']);             //也別忘記把這個(gè)資源句柄關(guān)閉,減小內(nèi)存開(kāi)銷

  $responses[] = $str;

}

curl_multi_close($queue);  //把總句柄關(guān)閉

var_dump($responses);     //好,打印一下你剛才批量抓取的內(nèi)容

?>

試著把代碼拷到你的電腦上運(yùn)行一下.

看明白了嗎?

不明白,可以問(wèn)我.樂(lè)意為你解答. 注:==>>老鳥匆噴,感覺(jué)對(duì)你有用,留點(diǎn)話,呵呵

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站欄目：關(guān)于用php的curl批量抓取內(nèi)容-創(chuàng)新互聯(lián)
鏈接URL：http://weahome.cn/article/dhgigs.html