php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營(yíng)銷推廣、網(wǎng)站重做改版、柳河網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5場(chǎng)景定制、購(gòu)物商城網(wǎng)站建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為柳河等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

PHP-大數(shù)據(jù)量怎么處理優(yōu)化

大數(shù)據(jù)的話可以進(jìn)行以下操作：

減少對(duì)數(shù)據(jù)庫(kù)的讀取，也就是減少調(diào)用數(shù)據(jù)庫(kù)，

進(jìn)行數(shù)據(jù)緩存，

利用數(shù)據(jù)庫(kù)的自身優(yōu)化技術(shù)，如索引等

精確查詢條件，有利于提高查找速度

php數(shù)據(jù)庫(kù)的問題，織夢(mèng)

建立數(shù)據(jù)庫(kù)：

步驟：核心-頻道模式-內(nèi)容模型管理，添加一個(gè)內(nèi)容模塊（手動(dòng)添加你需要的數(shù)據(jù)字段）然后建立.demo.php文件（demo自己命名），寫一個(gè)數(shù)據(jù)入庫(kù)操作（如果你的網(wǎng)站要處理大數(shù)據(jù)量的訪問的話，建議封裝函數(shù)）。其中（數(shù)據(jù)主表：dede_archives

數(shù)據(jù)索引：dede_arctiny）和你添加的新表對(duì)應(yīng)字段才能進(jìn)行入庫(kù)操作，但織夢(mèng)的各個(gè)版本不同，字段也不同，需要樓主自己考慮，數(shù)據(jù)入庫(kù)之后，就好辦了。

添加

核心-網(wǎng)站欄目管理，添加你的需求欄目，這樣就可以在織夢(mèng)后臺(tái)讀取你的訂單了。

如果想前臺(tái)讀取的話，我想這個(gè)就比較簡(jiǎn)單了，你自己可以解決的。

不懂的話，請(qǐng)?jiān)僮穯?/p>
網(wǎng)頁名稱：php大數(shù)據(jù)demo php大數(shù)據(jù)搜索
轉(zhuǎn)載來于：http://weahome.cn/article/dogghsg.html