兄弟。。服務(wù)器是不能操作數(shù)據(jù)庫的，只有php才能操作數(shù)據(jù)庫。。應(yīng)該是服務(wù)器定期執(zhí)行某個(gè)php程序，這個(gè)php程序刷新數(shù)據(jù)庫。。linux下面可以用crontab命令，把你的php程序?qū)懺谝粋€(gè)文件里面，然后用crontab命令定期調(diào)用。。
創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計(jì)制作、網(wǎng)站設(shè)計(jì)、十堰鄖陽網(wǎng)絡(luò)推廣、成都微信小程序、十堰鄖陽網(wǎng)絡(luò)營銷、十堰鄖陽企業(yè)策劃、十堰鄖陽品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供十堰鄖陽建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com
1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。
比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。
2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。
但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。
3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；
然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。
（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片
4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒有
問題其實(shí)不難，自己都能寫。給你幾個(gè)思路吧：
1.在百度知道中，輸入linux，然后會(huì)出現(xiàn)列表。復(fù)制瀏覽器地址欄內(nèi)容。
然后翻頁，在復(fù)制地址欄內(nèi)容，看看有什么不同，不同之處，就是你要循環(huán)分頁的i值。
當(dāng)然這個(gè)是笨方法。
2.使用php的file或者file_get_contents函數(shù)，獲取鏈接URL的內(nèi)容。
3.通過php正則表達(dá)式，獲取你需要的3個(gè)字段內(nèi)容。
4.寫入數(shù)據(jù)庫。
需要注意的是，百度知道有可能做了防抓取的功能，你剛一抓幾個(gè)頁面，可能會(huì)被禁止。
建議也就抓10頁數(shù)據(jù)。
其實(shí)不難，你肯定寫的出來。 還有，網(wǎng)上應(yīng)該有很多抓取工具，你找找看，然后將抓下來的數(shù)據(jù)
在做分析。寫入數(shù)據(jù)庫。
這個(gè)系統(tǒng)是PHP寫的，雖然PHP可以寫計(jì)劃任務(wù)的程序，但是他需要有人訪問站點(diǎn)進(jìn)行觸發(fā)執(zhí)行，否則他自己不會(huì)執(zhí)行。
這是因?yàn)?，PHP腳本是一般情況下只能運(yùn)行30秒左右，
具體數(shù)據(jù)與服務(wù)器的設(shè)置有關(guān)。
如果你的腳本超時(shí)，就要對(duì)任務(wù)對(duì)進(jìn)分解。
做成任務(wù)接力的形式。
當(dāng)PHP頁面處理大事務(wù)時(shí)，頁面往往會(huì)發(fā)生超時(shí)的錯(cuò)誤，我解決此問題的方法如下：
1.優(yōu)化程序代碼：
這種方法可能有時(shí)立竿見影，但對(duì)一些已經(jīng)很優(yōu)化或者第三方開發(fā)的程序，可能用處不大，但我個(gè)人覺得這個(gè)辦法還是應(yīng)該優(yōu)先考慮，這個(gè)一個(gè)優(yōu)秀程序員必需有的工作美德。
2.對(duì)多個(gè)任務(wù)進(jìn)行拆分：
對(duì)于一些程序，可能問題并不出現(xiàn)在代碼效率上，如Paypal的SOAP調(diào)用，大量時(shí)間花費(fèi)在網(wǎng)絡(luò)的數(shù)據(jù)傳遞上了，（此問題在Web Services的遠(yuǎn)程調(diào)用時(shí)經(jīng)常發(fā)生），我們當(dāng)然不能等將來網(wǎng)速的提高來解決這個(gè)問題。其實(shí)我們可以查看一下在一個(gè)POST動(dòng)作中是否包含了多個(gè)任務(wù)，如付費(fèi)、發(fā)Email、發(fā)貨等等。如是這樣其實(shí)可以對(duì)這些任務(wù)進(jìn)行拆分，把這個(gè)工作拆分成多個(gè)子工作來實(shí)現(xiàn)。如執(zhí)行完付費(fèi)任務(wù)時(shí)，使用PHP的 Header函數(shù)重定向到發(fā)送Email的頁面，完成后再定向到其他頁面，采用redirect頁面的方式來接力地完成任務(wù)。
設(shè)計(jì)三個(gè)PHP文件，分別是s2.php s3.php s4.php
讓這三個(gè)文件進(jìn)行接力，
s2.php的內(nèi)容如下
?php
ob_start();
sleep(3);//代表做某些任務(wù)所用的時(shí)間
echo "在做第一件事。";
header("Location: ");
ob_end_flush();
?
s3.php的內(nèi)容如下：
?php
ob_start();
$i=$_GET['i']+1;
echo “在做第二件事”;
sleep(3);//用來代表做了某件事件
header("Location: ");
ob_end_flush();
?
s4.php
?php
ob_start();
$i=$_GET['i']+1;
sleep(3);
echo "在做第三件事";
ob_end_flush();
?
變量i用來傳送文件之間的參數(shù)。
重慶分公司
重慶分公司
