簡單的分了幾個步驟：
目前創(chuàng)新互聯(lián)公司已為上1000家的企業(yè)提供了網(wǎng)站建設、域名、網(wǎng)絡空間、綿陽服務器托管、企業(yè)網(wǎng)站設計、華寧網(wǎng)站維護等服務，公司將堅持客戶導向、應用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
1、確定采集目標
2、獲取目標遠程頁面內容（curl、file_get_contents）
3、分析頁面html源碼，正則匹配你需要的內容（preg_match、preg_match_all），這一步最為重要，不同頁面正則匹配規(guī)則不一樣
4、入庫
一頁一頁采啊，你要是想把N個網(wǎng)頁一下子采下來，在瀏覽器中肯定不行，你可以用php.exe在命令行下運行你的采集腳本。如果你想在瀏覽器上采，你得一次采集一個頁面，然后用window.location.href轉向，把下一個要采集的地址傳過去，這樣一頁一頁的循環(huán)來采集。
1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進程完成。
比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。
2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進程。
但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。
3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫一個get-data.php，在crontab里設置它每5分鐘執(zhí)行一次，只負責讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；
然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進行你的業(yè)務邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。
（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進程也常駐內存運行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片
4、常駐進程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運行好了。如果怕內存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒有
問題其實不難，自己都能寫。給你幾個思路吧：
1.在百度知道中，輸入linux，然后會出現(xiàn)列表。復制瀏覽器地址欄內容。
然后翻頁，在復制地址欄內容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。
當然這個是笨方法。
2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內容。
3.通過php正則表達式，獲取你需要的3個字段內容。
4.寫入數(shù)據(jù)庫。
需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個頁面，可能會被禁止。
建議也就抓10頁數(shù)據(jù)。
其實不難，你肯定寫的出來。 還有，網(wǎng)上應該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)
在做分析。寫入數(shù)據(jù)庫。
重慶分公司
重慶分公司
