phpcms中如何從前臺(tái)讀取后臺(tái)的數(shù)據(jù)

使用phpcms標(biāo)簽

創(chuàng)新互聯(lián)建站網(wǎng)站建設(shè)服務(wù)商，為中小企業(yè)提供網(wǎng)站制作、做網(wǎng)站服務(wù)，網(wǎng)站設(shè)計(jì)，網(wǎng)站托管、服務(wù)器托管等一站式綜合服務(wù)型公司，專業(yè)打造企業(yè)形象網(wǎng)站，讓您在眾多競(jìng)爭(zhēng)對(duì)手中脫穎而出創(chuàng)新互聯(lián)建站。

類似于：

{pc:content action="position" posid="9" order="id" num="10" cache="3600"}

pc標(biāo)簽{pc:content 參數(shù)名="參數(shù)值"參數(shù)名="參數(shù)值"參數(shù)名="參數(shù)值"}

{loop $data $k $v}

lia href="{$v[url]}"{$v[title]}/a/li

{/loop}

怎么用php采集網(wǎng)站數(shù)據(jù)

簡(jiǎn)單的分了幾個(gè)步驟：

1、確定采集目標(biāo)

2、獲取目標(biāo)遠(yuǎn)程頁(yè)面內(nèi)容（curl、file_get_contents）

3、分析頁(yè)面html源碼，正則匹配你需要的內(nèi)容（preg_match、preg_match_all），這一步最為重要，不同頁(yè)面正則匹配規(guī)則不一樣

4、入庫(kù)

php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進(jìn)程完成。

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進(jìn)程的話，php可以簡(jiǎn)單的用pcntl_fork()。這樣可以并發(fā)多個(gè)子進(jìn)程。

但是我不建議你用fork，我建議你安裝一個(gè)gearman worker。這樣你要并發(fā)幾個(gè)，就啟幾個(gè)worker，寫代碼簡(jiǎn)單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個(gè)get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來(lái)的數(shù)據(jù)一條一條的扔到 gearman worker的隊(duì)列里；

然后再寫一個(gè)處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個(gè)腳本常駐內(nèi)存。它作為worker從geraman 隊(duì)列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫(kù)老數(shù)據(jù)比較，進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個(gè)并發(fā)，那就啟動(dòng)10個(gè)process-data.php好了。處理完后，如果圖片地址有變動(dòng)需要下載圖片，就把圖片地址扔到 gearman worker的另一個(gè)隊(duì)列里。

（3）再寫一個(gè)download-data.php，作為下載圖片的worker，同樣，你啟動(dòng)10個(gè)20個(gè)并發(fā)隨便你。這個(gè)進(jìn)程也常駐內(nèi)存運(yùn)行，從gearman worker的圖片數(shù)據(jù)隊(duì)列里取數(shù)據(jù)出來(lái)，下載圖片

4、常駐進(jìn)程的話，就是在代碼里寫個(gè)while(true)死循環(huán)，讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬(wàn)次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進(jìn)程有沒有啟動(dòng)，比如說這樣啟動(dòng)3個(gè)process-data worker進(jìn)程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有