本文承接上面兩篇，本篇中的示例要調(diào)用到前兩篇中的函數(shù)，做一個(gè)簡(jiǎn)單的URL采集。一般php采集網(wǎng)絡(luò)數(shù)據(jù)會(huì)用file_get_contents、file和cURL。不過(guò)據(jù)說(shuō)cURL會(huì)比f(wàn)ile_get_contents、file更快更專業(yè)，更適合采集。今天就試試用cURL來(lái)獲取網(wǎng)頁(yè)上的所有鏈接。示例如下：
波密ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書(shū)未來(lái)市場(chǎng)廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書(shū)銷(xiāo)售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18980820575（備注：SSL證書(shū)合作）期待與您的合作！
?php
/*
* 使用curl 采集hao123.com下的所有鏈接。
*/
include_once('function.php');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
// 只需返回HTTP header
curl_setopt($ch, CURLOPT_HEADER, 1);
// 頁(yè)面內(nèi)容我們并不需要
// curl_setopt($ch, CURLOPT_NOBODY, 1);
// 返回結(jié)果，而不是輸出它
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
if ($html === false) {
echo "cURL Error: " . curl_error($ch);
}
curl_close($ch);
$linkarr = _striplinks($html);
// 主機(jī)部分，補(bǔ)全用
$host = '';
if (is_array($linkarr)) {
foreach ($linkarr as $k = $v) {
$linkresult[$k] = _expandlinks($v, $host);
}
}
printf("p此頁(yè)面的所有鏈接為：/ppre%s/pren", var_export($linkresult , true));
?
function.php內(nèi)容如下（即為上兩篇中兩個(gè)函數(shù)的合集）：
?php
function _striplinks($document) {
preg_match_all("'s*as.*?hrefs*=s*(["'])?(?(1) (.*?)\1 | ([^s]+))'isx", $document, $links);
// catenate the non-empty matches from the conditional subpattern
while (list($key, $val) = each($links[2])) {
if (!empty($val))
$match[] = $val;
} while (list($key, $val) = each($links[3])) {
if (!empty($val))
$match[] = $val;
}
// return the links
return $match;
}
/*===================================================================*
Function: _expandlinks
Purpose: expand each link into a fully qualified URL
Input: $links the links to qualify
$URI the full URI to get the base from
Output: $expandedLinks the expanded links
*===================================================================*/
function _expandlinks($links,$URI)
{
$URI_PARTS = parse_url($URI);
$host = $URI_PARTS["host"];
preg_match("/^[^?]+/",$URI,$match);
$match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]);
$match = preg_replace("|/$|","",$match);
$match_part = parse_url($match);
$match_root =
$match_part["scheme"]."://".$match_part["host"];
$search = array( "|^http://".preg_quote($host)."|i",
"|^(/)|i",
"|^(?!http://)(?!mailto:)|i",
"|/./|",
"|/[^/]+/../|"
);
$replace = array( "",
$match_root."/",
$match."/",
"/",
"/"
);
$expandedLinks = preg_replace($search,$replace,$links);
return $expandedLinks;
}
?
方法1、最常見(jiàn)的方法是：$_POST['fieldname'];
說(shuō)明：只能接收Content-Type: application/x-www-form-urlencoded提交的數(shù)據(jù)
解釋：也就是表單POST過(guò)來(lái)的數(shù)據(jù)
方法2、file_get_contents("php://input");
說(shuō)明：
允許讀取 POST 的原始數(shù)據(jù)。
和 $HTTP_RAW_POST_DATA 比起來(lái)，它給內(nèi)存帶來(lái)的壓力較小，并且不需要任何特殊的 php.ini 設(shè)置。
php://input 不能用于 enctype="multipart/form-data"。
解釋：
對(duì)于未指定 Content-Type 的POST數(shù)據(jù)，則可以使用file_get_contents(“php://input”);來(lái)獲取原始數(shù)據(jù)。
事實(shí)上，用PHP接收POST的任何數(shù)據(jù)都可以使用本方法。而不用考慮Content-Type,包括二進(jìn)制文件流也可以。
所以用方法二是最保險(xiǎn)的方法
pcntl_fork或者swoole_process實(shí)現(xiàn)多進(jìn)程并發(fā)。按照每個(gè)網(wǎng)頁(yè)抓取耗時(shí)500ms，開(kāi)200個(gè)進(jìn)程，可以實(shí)現(xiàn)每秒400個(gè)頁(yè)面的抓取。
curl實(shí)現(xiàn)頁(yè)面抓取，設(shè)置cookie可以實(shí)現(xiàn)模擬登錄
simple_html_dom 實(shí)現(xiàn)頁(yè)面的解析和DOM處理
如果想要模擬瀏覽器，可以使用casperJS。用swoole擴(kuò)展封裝一個(gè)服務(wù)接口給PHP層調(diào)用
在這里有一套爬蟲(chóng)系統(tǒng)就是基于上述技術(shù)方案實(shí)現(xiàn)的，每天會(huì)抓取幾千萬(wàn)個(gè)頁(yè)面。
直接用Curl就行，具體爬取的數(shù)據(jù)可以穿參查看結(jié)果，方法不區(qū)分淘寶和天貓鏈接，但是前提是必須是PC端鏈接，另外正則寫(xiě)的不規(guī)范，所以可以自己重寫(xiě)正則來(lái)匹配數(shù)據(jù)。
其實(shí)用PHP來(lái)爬會(huì)非常方便，主要是PHP的正則表達(dá)式功能在搜集頁(yè)面連接方面很方便，另外PHP的fopen、file_get_contents以及l(fā)ibcur的函數(shù)非常方便的下載網(wǎng)頁(yè)內(nèi)容。
具體處理方式就是建立就一個(gè)任務(wù)隊(duì)列，往隊(duì)列里面插入一些種子任務(wù)和可以開(kāi)始爬行，爬行的過(guò)程就是循環(huán)的從隊(duì)列里面提取一個(gè)URL，打開(kāi)后獲取連接插入隊(duì)列中，進(jìn)行相關(guān)的保存。隊(duì)列可以使用數(shù)組實(shí)現(xiàn)。
當(dāng)然PHP作為但線程的東西，慢慢爬還是可以，怕的就是有的URL打不開(kāi)，會(huì)死在那里。
重慶分公司
重慶分公司
