PHP的curl()在抓取網(wǎng)頁的效率方面是比較高的，而且支持多線程，而file_get_contents()效率就要稍低些，當(dāng)然，使用curl時(shí)需要開啟下curl擴(kuò)展。
成都創(chuàng)新互聯(lián)公司自成立以來，一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、電子商務(wù)、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開發(fā)等基于互聯(lián)網(wǎng)的全面整合營(yíng)銷服務(wù)。公司擁有豐富的網(wǎng)站建設(shè)和互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開發(fā)管理經(jīng)驗(yàn)、成熟的應(yīng)用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開發(fā)工程師團(tuán)隊(duì)及專業(yè)的網(wǎng)站設(shè)計(jì)師團(tuán)隊(duì)。
代碼實(shí)戰(zhàn)
先來看登錄部分的代碼：
//模擬登錄
function
login_post($url,
$cookie,
$post)
{
$curl
=
curl_init();//初始化curl模塊
curl_setopt($curl,
CURLOPT_URL,
$url);//登錄提交的地址
curl_setopt($curl,
CURLOPT_HEADER,
0);//是否顯示頭信息
curl_setopt($curl,
CURLOPT_RETURNTRANSFER,
0);//是否自動(dòng)顯示返回的信息
curl_setopt($curl,
CURLOPT_COOKIEJAR,
$cookie);
//設(shè)置Cookie信息保存在指定的文件中
curl_setopt($curl,
CURLOPT_POST,
1);//post方式提交
curl_setopt($curl,
CURLOPT_POSTFIELDS,
http_build_query($post));//要提交的信息
curl_exec($curl);//執(zhí)行cURL
curl_close($curl);//關(guān)閉cURL資源，并且釋放系統(tǒng)資源
}
函數(shù)login_post()首先初始化curl_init()，然后使用curl_setopt()設(shè)置相關(guān)選項(xiàng)信息，包括要提交的url地址，保存的cookie文件，post的數(shù)據(jù)（用戶名和密碼等信息），是否返回信息等等，然后curl_exec執(zhí)行curl，最后curl_close()釋放資源。注意PHP自帶的http_build_query()可以將數(shù)組轉(zhuǎn)換成相連接的字符串。
接下來如果登錄成功后，我們要獲取登錄成功后的頁面信息。
//登錄成功后獲取數(shù)據(jù)
function
get_content($url,
$cookie)
{
$ch
=
curl_init();
curl_setopt($ch,
CURLOPT_URL,
$url);
curl_setopt($ch,
CURLOPT_HEADER,
0);
curl_setopt($ch,
CURLOPT_RETURNTRANSFER,
1);
curl_setopt($ch,
CURLOPT_COOKIEFILE,
$cookie);
//讀取cookie
$rs
=
curl_exec($ch);
//執(zhí)行cURL抓取頁面內(nèi)容
curl_close($ch);
return
$rs;
}
函數(shù)get_content()中也是先初始化curl，然后設(shè)置相關(guān)選項(xiàng)，執(zhí)行curl，釋放資源。其中我們?cè)O(shè)置CURLOPT_RETURNTRANSFER為1即自動(dòng)返回信息，而CURLOPT_COOKIEFILE可以讀取到登錄時(shí)保存的cookie信息，最后將頁面內(nèi)容返回。
我們的最終目的是要獲取到模擬登錄后的信息，也就是只有正常登錄成功后才能獲取的有用信息。接下來我們以登錄開源中國(guó)的移動(dòng)版為例，看看如何抓取到登錄成功后的信息。
//設(shè)置post的數(shù)據(jù)
$post
=
array
(
'email'
=
'oschina賬戶',
'pwd'
=
'oschina密碼',
'goto_page'
=
'/my',
'error_page'
=
'/login',
'save_login'
=
'1',
'submit'
=
'現(xiàn)在登錄'
);
//登錄地址
$url
=
"";
//設(shè)置cookie保存路徑
$cookie
=
dirname(__FILE__)
.
'/cookie_oschina.txt';
//登錄后要獲取信息的地址
$url2
=
"";
//模擬登錄
login_post($url,
$cookie,
$post);
//獲取登錄頁的信息
$content
=
get_content($url2,
$cookie);
//刪除cookie文件
@
unlink($cookie);
//匹配頁面信息
$preg
=
"/td
class='portrait'(.*)\/td/i";
preg_match_all($preg,
$content,
$arr);
$str
=
$arr[1][0];
//輸出內(nèi)容
echo
$str;
使用總結(jié)
1、初始化curl；
2、使用curl_setopt設(shè)置目標(biāo)url，和其他選項(xiàng)；
3、curl_exec，執(zhí)行curl；
4、執(zhí)行后，關(guān)閉curl；
5、輸出數(shù)據(jù)。
感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！
有以下幾種可能：
1、服務(wù)器端確實(shí)沒有數(shù)據(jù)返回；
2、curl寫錯(cuò)了；
3、試試下面這個(gè)，我在用的
function?curl($url,$post?=?'POST',$data?=?array()){
$ch?=?curl_init();
$headers[]?=?"Accept-Charset:?utf-8";
curl_setopt($ch,?CURLOPT_URL,?$url);
curl_setopt($ch,?CURLOPT_CUSTOMREQUEST,?$post);
curl_setopt($ch,?CURLOPT_POSTFIELDS,?$data);
curl_setopt($ch,?CURLOPT_SSL_VERIFYPEER,?FALSE);
curl_setopt($ch,?CURLOPT_SSL_VERIFYHOST,?FALSE);
curl_setopt($ch,?CURLOPT_SSLVERSION,?1);
curl_setopt($ch,?CURLOPT_HTTPHEADER,?$headers);
curl_setopt($ch,?CURLOPT_USERAGENT,?'Mozilla/5.0?(compatible;?MSIE?5.01;?Windows?NT?5.0)');
curl_setopt($ch,?CURLOPT_FOLLOWLOCATION,?1);
curl_setopt($ch,?CURLOPT_AUTOREFERER,?1);
curl_setopt($ch,?CURLOPT_RETURNTRANSFER,?true);
$result?=?curl_exec($ch);
curl_close($ch);
return?json_decode($result,1);
}
因?yàn)椋琍HP CURL庫(kù)默認(rèn)1024字節(jié)的長(zhǎng)度不等待數(shù)據(jù)的返回，所以你那段代碼需增加一項(xiàng)配置：
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Expect:'));
給你一個(gè)更全面的封裝方法：
function req_curl($url, $status = null, $options = array())
{
$res = '';
$options = array_merge(array(
'follow_local' = true,
'timeout' = 30,
'max_redirects' = 4,
'binary_transfer' = false,
'include_header' = false,
'no_body' = false,
'cookie_location' = dirname(__FILE__) . '/cookie',
'useragent' = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1',
'post' = array() ,
'referer' = null,
'ssl_verifypeer' = 0,
'ssl_verifyhost' = 0,
'headers' = array(
'Expect:'
) ,
'auth_name' = '',
'auth_pass' = '',
'session' = false
) , $options);
$options['url'] = $url;
$s = curl_init();
if (!$s) return false;
curl_setopt($s, CURLOPT_URL, $options['url']);
curl_setopt($s, CURLOPT_HTTPHEADER, $options['headers']);
curl_setopt($s, CURLOPT_SSL_VERIFYPEER, $options['ssl_verifypeer']);
curl_setopt($s, CURLOPT_SSL_VERIFYHOST, $options['ssl_verifyhost']);
curl_setopt($s, CURLOPT_TIMEOUT, $options['timeout']);
curl_setopt($s, CURLOPT_MAXREDIRS, $options['max_redirects']);
curl_setopt($s, CURLOPT_RETURNTRANSFER, true);
curl_setopt($s, CURLOPT_FOLLOWLOCATION, $options['follow_local']);
curl_setopt($s, CURLOPT_COOKIEJAR, $options['cookie_location']);
curl_setopt($s, CURLOPT_COOKIEFILE, $options['cookie_location']);
if (!empty($options['auth_name']) is_string($options['auth_name']))
{
curl_setopt($s, CURLOPT_USERPWD, $options['auth_name'] . ':' . $options['auth_pass']);
}
if (!empty($options['post']))
{
curl_setopt($s, CURLOPT_POST, true);
curl_setopt($s, CURLOPT_POSTFIELDS, $options['post']);
//curl_setopt($s, CURLOPT_POSTFIELDS, array('username' = 'aeon', 'password' = '111111'));
}
if ($options['include_header'])
{
curl_setopt($s, CURLOPT_HEADER, true);
}
if ($options['no_body'])
{
curl_setopt($s, CURLOPT_NOBODY, true);
}
if ($options['session'])
{
curl_setopt($s, CURLOPT_COOKIESESSION, true);
curl_setopt($s, CURLOPT_COOKIE, $options['session']);
}
curl_setopt($s, CURLOPT_USERAGENT, $options['useragent']);
curl_setopt($s, CURLOPT_REFERER, $options['referer']);
$res = curl_exec($s);
$status = curl_getinfo($s, CURLINFO_HTTP_CODE);
curl_close($s);
return $res;
}
重慶分公司
重慶分公司
