1W條數(shù)據(jù)量也不是特別大，那就直接讀取，然后在foreach入庫(kù)就可以了
創(chuàng)新互聯(lián)是一家專(zhuān)注于網(wǎng)站設(shè)計(jì)、網(wǎng)站制作與策劃設(shè)計(jì),仙桃網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專(zhuān)注于網(wǎng)站建設(shè)十多年,網(wǎng)設(shè)計(jì)領(lǐng)域的專(zhuān)業(yè)建站公司;建站業(yè)務(wù)涵蓋:仙桃等地區(qū)。仙桃做網(wǎng)站價(jià)格咨詢:028-86922220
如果數(shù)據(jù)量非常大的時(shí)候，那就分段讀取，然后入庫(kù)~
考慮到php超時(shí)，那就網(wǎng)頁(yè)端打開(kāi)，第一部分執(zhí)行完，刷新頁(yè)面，開(kāi)始執(zhí)行第二部分，依次進(jìn)行...
當(dāng)然，直接在命令行下執(zhí)行也可以~
你用網(wǎng)頁(yè)的方式，讓人點(diǎn)擊，服務(wù)器采集，簡(jiǎn)直是弱爆了。每個(gè)人的點(diǎn)擊循環(huán)1000次，來(lái)個(gè)100人同時(shí)點(diǎn)，你要用的是普通的虛擬機(jī)就不行了。
最好是換種方式實(shí)現(xiàn)，不要通過(guò)網(wǎng)頁(yè)進(jìn)行采集。
可以非常簡(jiǎn)單的在數(shù)據(jù)庫(kù)的表，創(chuàng)建一個(gè)采集隊(duì)列，后臺(tái)執(zhí)行一個(gè)crontab的計(jì)劃任務(wù)，去完成隊(duì)列里的采集任務(wù)。
1.PHP基本上就是一種數(shù)組語(yǔ)言。時(shí)常要進(jìn)行大量的數(shù)組循環(huán)操作，主要有兩種方式，
一種是foreach，另一種是while，
代碼如下：
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
foreach ($array as $value) {
echo $value;
}
while (list($key) = each($array)) {
echo $array[$key];
}
2.在循環(huán)里進(jìn)行的是數(shù)組“寫(xiě)”操作，則while比f(wàn)oreach快：
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
foreach ($array as $key = $value) {
echo $array[$key] = $value . '...';
}
while (list($key) = each($array)) {
$array[$key] = $array[$key] . '...';
}
1、建議你讀寫(xiě)數(shù)據(jù)和下載圖片分開(kāi)，各用不同的進(jìn)程完成。
比如說(shuō)，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。
2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。
但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫(xiě)代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。
3、綜上，解決方案這樣：
（1）安裝gearman worker。
（2）寫(xiě)一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來(lái)的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；
然后再寫(xiě)一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。
（3）再寫(xiě)一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來(lái)，下載圖片
4、常駐進(jìn)程的話，就是在代碼里寫(xiě)個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒(méi)有啟動(dòng)，比如說(shuō)這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒(méi)有
重慶分公司
重慶分公司
