其實(shí)用PHP來爬會非常方便，主要是PHP的正則表達(dá)式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及l(fā)ibcur的函數(shù)非常方便的下載網(wǎng)頁內(nèi)容。
成都創(chuàng)新互聯(lián)公司是一家業(yè)務(wù)范圍包括IDC托管業(yè)務(wù),網(wǎng)絡(luò)空間、主機(jī)租用、主機(jī)托管，四川、重慶、廣東電信服務(wù)器租用,成都服務(wù)器托管，成都網(wǎng)通服務(wù)器托管,成都服務(wù)器租用,業(yè)務(wù)范圍遍及中國大陸、港澳臺以及歐美等多個國家及地區(qū)的互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)公司。
具體處理方式就是建立就一個任務(wù)隊(duì)列，往隊(duì)列里面插入一些種子任務(wù)和可以開始爬行，爬行的過程就是循環(huán)的從隊(duì)列里面提取一個URL，打開后獲取連接插入隊(duì)列中，進(jìn)行相關(guān)的保存。隊(duì)列可以使用數(shù)組實(shí)現(xiàn)。
當(dāng)然PHP作為但線程的東西，慢慢爬還是可以，怕的就是有的URL打不開，會死在那里。
本文承接上面兩篇，本篇中的示例要調(diào)用到前兩篇中的函數(shù)，做一個簡單的URL采集。一般php采集網(wǎng)絡(luò)數(shù)據(jù)會用file_get_contents、file和cURL。不過據(jù)說cURL會比file_get_contents、file更快更專業(yè)，更適合采集。今天就試試用cURL來獲取網(wǎng)頁上的所有鏈接。示例如下：
?php
/*
* 使用curl 采集hao123.com下的所有鏈接。
*/
include_once('function.php');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
// 只需返回HTTP header
curl_setopt($ch, CURLOPT_HEADER, 1);
// 頁面內(nèi)容我們并不需要
// curl_setopt($ch, CURLOPT_NOBODY, 1);
// 返回結(jié)果，而不是輸出它
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
if ($html === false) {
echo "cURL Error: " . curl_error($ch);
}
curl_close($ch);
$linkarr = _striplinks($html);
// 主機(jī)部分，補(bǔ)全用
$host = '';
if (is_array($linkarr)) {
foreach ($linkarr as $k = $v) {
$linkresult[$k] = _expandlinks($v, $host);
}
}
printf("p此頁面的所有鏈接為：/ppre%s/pren", var_export($linkresult , true));
?
function.php內(nèi)容如下（即為上兩篇中兩個函數(shù)的合集）：
?php
function _striplinks($document) {
preg_match_all("'s*as.*?hrefs*=s*(["'])?(?(1) (.*?)\1 | ([^s]+))'isx", $document, $links);
// catenate the non-empty matches from the conditional subpattern
while (list($key, $val) = each($links[2])) {
if (!empty($val))
$match[] = $val;
} while (list($key, $val) = each($links[3])) {
if (!empty($val))
$match[] = $val;
}
// return the links
return $match;
}
/*===================================================================*
Function: _expandlinks
Purpose: expand each link into a fully qualified URL
Input: $links the links to qualify
$URI the full URI to get the base from
Output: $expandedLinks the expanded links
*===================================================================*/
function _expandlinks($links,$URI)
{
$URI_PARTS = parse_url($URI);
$host = $URI_PARTS["host"];
preg_match("/^[^?]+/",$URI,$match);
$match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]);
$match = preg_replace("|/$|","",$match);
$match_part = parse_url($match);
$match_root =
$match_part["scheme"]."://".$match_part["host"];
$search = array( "|^http://".preg_quote($host)."|i",
"|^(/)|i",
"|^(?!http://)(?!mailto:)|i",
"|/./|",
"|/[^/]+/../|"
);
$replace = array( "",
$match_root."/",
$match."/",
"/",
"/"
);
$expandedLinks = preg_replace($search,$replace,$links);
return $expandedLinks;
}
?
pcntl_fork或者swoole_process實(shí)現(xiàn)多進(jìn)程并發(fā)。按照每個網(wǎng)頁抓取耗時500ms，開200個進(jìn)程，可以實(shí)現(xiàn)每秒400個頁面的抓取。
curl實(shí)現(xiàn)頁面抓取，設(shè)置cookie可以實(shí)現(xiàn)模擬登錄
simple_html_dom 實(shí)現(xiàn)頁面的解析和DOM處理
如果想要模擬瀏覽器，可以使用casperJS。用swoole擴(kuò)展封裝一個服務(wù)接口給PHP層調(diào)用
在這里有一套爬蟲系統(tǒng)就是基于上述技術(shù)方案實(shí)現(xiàn)的，每天會抓取幾千萬個頁面。
直接用Curl就行，具體爬取的數(shù)據(jù)可以穿參查看結(jié)果，方法不區(qū)分淘寶和天貓鏈接，但是前提是必須是PC端鏈接，另外正則寫的不規(guī)范，所以可以自己重寫正則來匹配數(shù)據(jù)。
重慶分公司
重慶分公司
