問題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：
10年積累的成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站制作后付款的網(wǎng)站建設(shè)流程，更有奈曼免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。
然后翻頁(yè)，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁(yè)的i值。
當(dāng)然這個(gè)是笨方法。
2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。
3.通過php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。
4.寫入數(shù)據(jù)庫(kù)。
需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁(yè)面，可能會(huì)被禁止。
建議也就抓10頁(yè)數(shù)據(jù)。
其實(shí)不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)
在做分析。寫入數(shù)據(jù)庫(kù)。
其實(shí)用不著這么麻煩的，采集時(shí)，你看到的圖片路徑是相對(duì)地址，是相對(duì)當(dāng)前域名的一個(gè)相對(duì)路徑而已，你只要在前面加上
http://當(dāng)前域名（采集內(nèi)容的域名，比如zhidao.baidu.com）/
就是它的絕對(duì)地址了，
就像/abc.jpg一樣
http://當(dāng)前域名（采集內(nèi)容的域名，比如zhidao.baidu.com）/abc.jpg就是絕對(duì)地址了
沒必要搞復(fù)雜
可以用以下4個(gè)方法來抓取網(wǎng)站 的數(shù)據(jù)：
1. 用 file_get_contents 以 get 方式獲取內(nèi)容：
?
$url = '';
$html = file_get_contents($url);
echo $html;
2. 用fopen打開url，以get方式獲取內(nèi)容
?
$url = '';
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
3. 用file_get_contents函數(shù),以post方式獲取url
?
$data = array(
'foo'='bar',
'baz'='boom',
'site'='',
'name'='nowa magic');
$data = http_build_query($data);
//$postdata = http_build_query($data);
$options = array(
'http' = array(
'method' = 'POST',
'header' = 'Content-type:application/x-www-form-urlencoded',
'content' = $data
//'timeout' = 60 * 60 // 超時(shí)時(shí)間（單位:s）
)
);
$url = "";
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
echo $result;
4、使用curl庫(kù)，使用curl庫(kù)之前，可能需要查看一下php.ini是否已經(jīng)打開了curl擴(kuò)展
$url = '';
$ch = curl_init();
$timeout = 5;
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。
比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。
2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。
但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。
3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；
然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。
（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片
4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒有
這是因?yàn)?，PHP腳本是一般情況下只能運(yùn)行30秒左右，
具體數(shù)據(jù)與服務(wù)器的設(shè)置有關(guān)。
如果你的腳本超時(shí)，就要對(duì)任務(wù)對(duì)進(jìn)分解。
做成任務(wù)接力的形式。
當(dāng)PHP頁(yè)面處理大事務(wù)時(shí)，頁(yè)面往往會(huì)發(fā)生超時(shí)的錯(cuò)誤，我解決此問題的方法如下：
1.優(yōu)化程序代碼：
這種方法可能有時(shí)立竿見影，但對(duì)一些已經(jīng)很優(yōu)化或者第三方開發(fā)的程序，可能用處不大，但我個(gè)人覺得這個(gè)辦法還是應(yīng)該優(yōu)先考慮，這個(gè)一個(gè)優(yōu)秀程序員必需有的工作美德。
2.對(duì)多個(gè)任務(wù)進(jìn)行拆分：
對(duì)于一些程序，可能問題并不出現(xiàn)在代碼效率上，如Paypal的SOAP調(diào)用，大量時(shí)間花費(fèi)在網(wǎng)絡(luò)的數(shù)據(jù)傳遞上了，（此問題在Web Services的遠(yuǎn)程調(diào)用時(shí)經(jīng)常發(fā)生），我們當(dāng)然不能等將來網(wǎng)速的提高來解決這個(gè)問題。其實(shí)我們可以查看一下在一個(gè)POST動(dòng)作中是否包含了多個(gè)任務(wù)，如付費(fèi)、發(fā)Email、發(fā)貨等等。如是這樣其實(shí)可以對(duì)這些任務(wù)進(jìn)行拆分，把這個(gè)工作拆分成多個(gè)子工作來實(shí)現(xiàn)。如執(zhí)行完付費(fèi)任務(wù)時(shí)，使用PHP的 Header函數(shù)重定向到發(fā)送Email的頁(yè)面，完成后再定向到其他頁(yè)面，采用redirect頁(yè)面的方式來接力地完成任務(wù)。
設(shè)計(jì)三個(gè)PHP文件，分別是s2.php s3.php s4.php
讓這三個(gè)文件進(jìn)行接力，
s2.php的內(nèi)容如下
?php
ob_start();
sleep(3);//代表做某些任務(wù)所用的時(shí)間
echo "在做第一件事。";
header("Location: ");
ob_end_flush();
?
s3.php的內(nèi)容如下：
?php
ob_start();
$i=$_GET['i']+1;
echo “在做第二件事”;
sleep(3);//用來代表做了某件事件
header("Location: ");
ob_end_flush();
?
s4.php
?php
ob_start();
$i=$_GET['i']+1;
sleep(3);
echo "在做第三件事";
ob_end_flush();
?
變量i用來傳送文件之間的參數(shù)。
重慶分公司
重慶分公司
