php怎么抓取其它網(wǎng)站數(shù)據(jù)

可冊(cè)念以用以下4個(gè)方法來(lái)抓取網(wǎng)站 的數(shù)據(jù)：

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比利津網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式利津網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋利津地區(qū)。費(fèi)用合理售后完善，十年實(shí)體公司更值得信賴。

1. 用 file_get_contents 以 get 方式獲取內(nèi)容：

?

$url = '';

$html = file_get_contents($url);

echo $html;

2. 用fopen打開(kāi)url，以get方式獲取內(nèi)州局困容

?

$url = '';

$fp = fopen($url, 'r');

stream_get_meta_data($fp);

$result = '';

while(!feof($fp))

{

$result .= fgets($fp, 1024);

}

echo "url body: $result";

fclose($fp);

3. 用file_get_contents函數(shù),以post方式獲取url

?

$data = array(

'foo'='bar',

'baz'='boom',

'site'='',

'name'='nowa magic');

$data = http_build_query($data);

//$postdata = http_build_query($data);

$options = array(

'http' = array(

'method' = 'POST',

'header' = 'Content-type:application/x-www-form-urlencoded',

'content' = $data

//'timeout' = 60 * 60 // 超時(shí)時(shí)間（單位臘模:s）

)

);

$url = "";

$context = stream_context_create($options);

$result = file_get_contents($url, false, $context);

echo $result;

4、使用curl庫(kù)，使用curl庫(kù)之前，可能需要查看一下php.ini是否已經(jīng)打開(kāi)了curl擴(kuò)展

$url = '';

$ch = curl_init();

$timeout = 5;

curl_setopt ($ch, CURLOPT_URL, $url);

curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);

$file_contents = curl_exec($ch);

curl_close($ch);

echo $file_contents;

php采集大數(shù)據(jù)的方案

1、建議你讀寫(xiě)數(shù)據(jù)和下載圖片分開(kāi)，各用不同的進(jìn)程完成。

比如說(shuō)，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫(xiě)代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫(xiě)一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來(lái)的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫(xiě)一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)亂肆老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫(xiě)一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便鄭磨你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來(lái)，下載圖片

4、常駐進(jìn)程的話，就是嘩叢轎在代碼里寫(xiě)個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒(méi)有啟動(dòng)，比如說(shuō)這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒(méi)有

php 百度 知道數(shù)據(jù)采集

問(wèn)題其實(shí)不難，自己都能寫(xiě)。給你幾個(gè)思路吧：

1.在百度知銷弊亮道中，輸入linux，然后會(huì)出現(xiàn)列虧寬表。復(fù)制瀏覽器地址欄內(nèi)容。

然后翻頁(yè)，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁(yè)的i值。

當(dāng)然這個(gè)是笨方法。

2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。

3.通過(guò)php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。

4.寫(xiě)入數(shù)據(jù)庫(kù)。

需要注意的是，百度知道有可能做了防抓取的功能，你剛一卜枯抓幾個(gè)頁(yè)面，可能會(huì)被禁止。

建議也就抓10頁(yè)數(shù)據(jù)。

其實(shí)不難，你肯定寫(xiě)的出來(lái)。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來(lái)的數(shù)據(jù)

在做分析。寫(xiě)入數(shù)據(jù)庫(kù)。

用PHP進(jìn)行數(shù)據(jù)采集

$strPreg = "|td[^]+([^]+)\/戚賣(mài)肆td\s*td[^]+([^]+)\/td\s*td[^]+([^]+)\/td|U";

搞定了才高轎配橡發(fā)現(xiàn)你都沒(méi)懸賞分。。。