首先你提問的問題描述不夠清楚，我就當你用php去訪問其他網(wǎng)站的接口，返回的是api數(shù)據(jù)
成都創(chuàng)新互聯(lián)公司是一家專注網(wǎng)站建設、網(wǎng)絡營銷策劃、微信小程序開發(fā)、電子商務建設、網(wǎng)絡推廣、移動互聯(lián)開發(fā)、研究、服務為一體的技術(shù)型公司。公司成立十多年以來，已經(jīng)為上1000家成都效果圖設計各業(yè)的企業(yè)公司提供互聯(lián)網(wǎng)服務。現(xiàn)在，服務的上1000家客戶與我們一路同行，見證我們的成長；未來，我們一起分享成功的喜悅。
使用php的curl相關(guān)函數(shù)去訪問（不同接口不同的請求驗證或者直接get）
使用php內(nèi)置函數(shù)json_decode()解析并處理返回數(shù)據(jù)
在這里openUser.php相當于一個接口，其中g(shù)et_user_list 是一個API（獲取用戶列表），講求返回的數(shù)據(jù)類型為JSON格式。
需要在PHP代碼中執(zhí)行這條鏈接他就會返回。
GET方式的直接使用
$file_contents = file_get_content(';type=json')
POST方式得用下面的。
$url = ';type=json';
$ch = acurl_init ();
acurl_setopt ( $ch, CURLOPT_URL, $url );
acurl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
acurl_setopt ( $ch, CURLOPT_CONNECTTIMEOUT, 10 );
acurl_setopt ( $ch, CURLOPT_POST, 1 ); //啟用POST提交
$file_contents = curl_exec ( $ch );
本文承接上面兩篇，本篇中的示例要調(diào)用到前兩篇中的函數(shù)，做一個簡單的URL采集。一般php采集網(wǎng)絡數(shù)據(jù)會用file_get_contents、file和cURL。不過據(jù)說cURL會比file_get_contents、file更快更專業(yè)，更適合采集。今天就試試用cURL來獲取網(wǎng)頁上的所有鏈接。示例如下：
?php
/*
* 使用curl 采集hao123.com下的所有鏈接。
*/
include_once('function.php');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, '');
// 只需返回HTTP header
curl_setopt($ch, CURLOPT_HEADER, 1);
// 頁面內(nèi)容我們并不需要
// curl_setopt($ch, CURLOPT_NOBODY, 1);
// 返回結(jié)果，而不是輸出它
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
if ($html === false) {
echo "cURL Error: " . curl_error($ch);
}
curl_close($ch);
$linkarr = _striplinks($html);
// 主機部分，補全用
$host = '';
if (is_array($linkarr)) {
foreach ($linkarr as $k = $v) {
$linkresult[$k] = _expandlinks($v, $host);
}
}
printf("p此頁面的所有鏈接為：/ppre%s/pren", var_export($linkresult , true));
?
function.php內(nèi)容如下（即為上兩篇中兩個函數(shù)的合集）：
?php
function _striplinks($document) {
preg_match_all("'s*as.*?hrefs*=s*(["'])?(?(1) (.*?)\1 | ([^s]+))'isx", $document, $links);
// catenate the non-empty matches from the conditional subpattern
while (list($key, $val) = each($links[2])) {
if (!empty($val))
$match[] = $val;
} while (list($key, $val) = each($links[3])) {
if (!empty($val))
$match[] = $val;
}
// return the links
return $match;
}
/*===================================================================*
Function: _expandlinks
Purpose: expand each link into a fully qualified URL
Input: $links the links to qualify
$URI the full URI to get the base from
Output: $expandedLinks the expanded links
*===================================================================*/
function _expandlinks($links,$URI)
{
$URI_PARTS = parse_url($URI);
$host = $URI_PARTS["host"];
preg_match("/^[^?]+/",$URI,$match);
$match = preg_replace("|/[^/.]+.[^/.]+$|","",$match[0]);
$match = preg_replace("|/$|","",$match);
$match_part = parse_url($match);
$match_root =
$match_part["scheme"]."://".$match_part["host"];
$search = array( "|^http://".preg_quote($host)."|i",
"|^(/)|i",
"|^(?!http://)(?!mailto:)|i",
"|/./|",
"|/[^/]+/../|"
);
$replace = array( "",
$match_root."/",
$match."/",
"/",
"/"
);
$expandedLinks = preg_replace($search,$replace,$links);
return $expandedLinks;
}
?
pcntl_fork或者swoole_process實現(xiàn)多進程并發(fā)。按照每個網(wǎng)頁抓取耗時500ms，開200個進程，可以實現(xiàn)每秒400個頁面的抓取。
curl實現(xiàn)頁面抓取，設置cookie可以實現(xiàn)模擬登錄
simple_html_dom 實現(xiàn)頁面的解析和DOM處理
如果想要模擬瀏覽器，可以使用casperJS。用swoole擴展封裝一個服務接口給PHP層調(diào)用
在這里有一套爬蟲系統(tǒng)就是基于上述技術(shù)方案實現(xiàn)的，每天會抓取幾千萬個頁面。
其實用PHP來爬會非常方便，主要是PHP的正則表達式功能在搜集頁面連接方面很方便，另外PHP的fopen、file_get_contents以及l(fā)ibcur的函數(shù)非常方便的下載網(wǎng)頁內(nèi)容。
具體處理方式就是建立就一個任務隊列，往隊列里面插入一些種子任務和可以開始爬行，爬行的過程就是循環(huán)的從隊列里面提取一個URL，打開后獲取連接插入隊列中，進行相關(guān)的保存。隊列可以使用數(shù)組實現(xiàn)。
當然PHP作為但線程的東西，慢慢爬還是可以，怕的就是有的URL打不開，會死在那里。
重慶分公司
重慶分公司
