php模擬session登陸的問題，數(shù)據(jù)采集

你用PHP模擬模擬瀏覽器發(fā)送HTTP協(xié)議就是可以登錄了，不管是cookie，還是session! session 也是有session_id的！希望可以幫助你！

成都創(chuàng)新互聯(lián)公司專注于井陘礦企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),商城開發(fā)。井陘礦網(wǎng)站建設(shè)公司,為井陘礦等地區(qū)提供建站服務(wù)。全流程按需求定制網(wǎng)站，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

php模擬登陸抓取數(shù)據(jù)，無法用正則表達(dá)式匹配中文

header()函數(shù)是輸出到HTTP頭，和你這個(gè)問題是沒有關(guān)系的。

真正相關(guān)的，是你的源代碼的編碼方式。

我舉個(gè)例子，若源代碼文件是采用UTF8編碼，那么你在抓取到頁面后，先要進(jìn)行編碼轉(zhuǎn)換到UTF8！

如，使用iconv：

若抓取到的頁面存放在$contents中：那么運(yùn)行$contents=iconv('gb2312','utf-8//IGNORE',$contents);//參數(shù)中的IGNORE是忽略錯(cuò)誤

這樣再進(jìn)行正則匹配才行。

當(dāng)然匹配出來的結(jié)果也需要用UTF8來正常顯示，所以header()那部分就不用去掉了。

用PHP模擬登陸抓取信息，當(dāng)用PHPStorm配合MAMP測試可以正確返回，而用Submit配合Server卻總是返回空

?php

echo ' web-root = '.$_SERVER['DOCUMENT_ROOT'].'br';

echo ' current-file = '.__FILE__.'br';

echo ' current-dir = '.dirname(__FILE__).'br';

echo ' http-root = '.$_SERVER['HTTP_HOST'].'br';

echo ' web-position = '.$_SERVER['PHP_SELF'].'br';

$file='c:/webroot/index.php';

echo ' file-position = '.$file.'br';

$fileWebAddress='http://'.str_replace($_SERVER['DOCUMENT_ROOT'],$_SERVER['HTTP_HOST'],$file);

echo ' file-web-position = '.$fileWebAddress.'br';

?

我用PHP模擬登陸了然后抓取了數(shù)據(jù) 怎么提前內(nèi)容保存到數(shù)據(jù)庫，看下面截圖是抓取的網(wǎng)頁數(shù)據(jù)

登陸后抓取所有的html代碼。

然后通過正則匹配html標(biāo)簽來獲取自己需要的東西，最主要的是你獲取到html源碼后，想要什么不就是看你需求了嘛，正則有問題可以繼續(xù)問我。

php curl 模擬登錄并獲取數(shù)據(jù)實(shí)例詳解

PHP的curl()在抓取網(wǎng)頁的效率方面是比較高的，而且支持多線程，而file_get_contents()效率就要稍低些，當(dāng)然，使用curl時(shí)需要開啟下curl擴(kuò)展。

代碼實(shí)戰(zhàn)

先來看登錄部分的代碼：

//模擬登錄

function

login_post($url,

$cookie,

$post)

{

$curl

=

curl_init();//初始化curl模塊

curl_setopt($curl,

CURLOPT_URL,

$url);//登錄提交的地址

curl_setopt($curl,

CURLOPT_HEADER,

0);//是否顯示頭信息

curl_setopt($curl,

CURLOPT_RETURNTRANSFER,

0);//是否自動(dòng)顯示返回的信息

curl_setopt($curl,

CURLOPT_COOKIEJAR,

$cookie);

//設(shè)置Cookie信息保存在指定的文件中

curl_setopt($curl,

CURLOPT_POST,

1);//post方式提交

curl_setopt($curl,

CURLOPT_POSTFIELDS,

http_build_query($post));//要提交的信息

curl_exec($curl);//執(zhí)行cURL

curl_close($curl);//關(guān)閉cURL資源，并且釋放系統(tǒng)資源

}

函數(shù)login_post()首先初始化curl_init()，然后使用curl_setopt()設(shè)置相關(guān)選項(xiàng)信息，包括要提交的url地址，保存的cookie文件，post的數(shù)據(jù)（用戶名和密碼等信息），是否返回信息等等，然后curl_exec執(zhí)行curl，最后curl_close()釋放資源。注意PHP自帶的http_build_query()可以將數(shù)組轉(zhuǎn)換成相連接的字符串。

接下來如果登錄成功后，我們要獲取登錄成功后的頁面信息。

//登錄成功后獲取數(shù)據(jù)

function

get_content($url,

$cookie)

{

$ch

=

curl_init();

curl_setopt($ch,

CURLOPT_URL,

$url);

curl_setopt($ch,

CURLOPT_HEADER,

0);

curl_setopt($ch,

CURLOPT_RETURNTRANSFER,

1);

curl_setopt($ch,

CURLOPT_COOKIEFILE,

$cookie);

//讀取cookie

$rs

=

curl_exec($ch);

//執(zhí)行cURL抓取頁面內(nèi)容

curl_close($ch);

return

$rs;

}

函數(shù)get_content()中也是先初始化curl，然后設(shè)置相關(guān)選項(xiàng)，執(zhí)行curl，釋放資源。其中我們?cè)O(shè)置CURLOPT_RETURNTRANSFER為1即自動(dòng)返回信息，而CURLOPT_COOKIEFILE可以讀取到登錄時(shí)保存的cookie信息，最后將頁面內(nèi)容返回。

我們的最終目的是要獲取到模擬登錄后的信息，也就是只有正常登錄成功后才能獲取的有用信息。接下來我們以登錄開源中國的移動(dòng)版為例，看看如何抓取到登錄成功后的信息。

//設(shè)置post的數(shù)據(jù)

$post

=

array

(

'email'

=

'oschina賬戶',

'pwd'

=

'oschina密碼',

'goto_page'

=

'/my',

'error_page'

=

'/login',

'save_login'

=

'1',

'submit'

=

'現(xiàn)在登錄'

);

//登錄地址

$url

=

"";

//設(shè)置cookie保存路徑

$cookie

=

dirname(__FILE__)

.

'/cookie_oschina.txt';

//登錄后要獲取信息的地址

$url2

=

"";

//模擬登錄

login_post($url,

$cookie,

$post);

//獲取登錄頁的信息

$content

=

get_content($url2,

$cookie);

//刪除cookie文件

@

unlink($cookie);

//匹配頁面信息

$preg

=

"/td

class='portrait'(.*)\/td/i";

preg_match_all($preg,

$content,

$arr);

$str

=

$arr[1][0];

//輸出內(nèi)容

echo

$str;

使用總結(jié)

1、初始化curl；

2、使用curl_setopt設(shè)置目標(biāo)url，和其他選項(xiàng)；

3、curl_exec，執(zhí)行curl；

4、執(zhí)行后，關(guān)閉curl；

5、輸出數(shù)據(jù)。

感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！