php采集大數(shù)據(jù)的方案

1、建議你讀寫數(shù)據(jù)和下載圖片分開，各用不同的進程完成。

創(chuàng)新互聯(lián)為企業(yè)級客戶提高一站式互聯(lián)網(wǎng)+設(shè)計服務(wù)，主要包括網(wǎng)站設(shè)計、成都網(wǎng)站設(shè)計、app軟件開發(fā)、微信小程序定制開發(fā)、宣傳片制作、LOGO設(shè)計等，幫助客戶快速提升營銷能力和企業(yè)形象，創(chuàng)新互聯(lián)各部門都有經(jīng)驗豐富的經(jīng)驗，可以確保每一個作品的質(zhì)量和創(chuàng)作周期，同時每年都有很多新員工加入，為我們帶來大量新的創(chuàng)意。 

比如說，取數(shù)據(jù)用get-data.php，下載圖片用get-image.php。

2、多進程的話，php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進程。

但是我不建議你用fork，我建議你安裝一個gearman worker。這樣你要并發(fā)幾個，就啟幾個worker，寫代碼簡單，根本不用在代碼里考慮thread啊，process等等。

3、綜上，解決方案這樣：

（1）安裝gearman worker。

（2）寫一個get-data.php，在crontab里設(shè)置它每5分鐘執(zhí)行一次，只負(fù)責(zé)讀數(shù)據(jù)，然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里；

然后再寫一個處理數(shù)據(jù)的腳本作為worker，例如叫process-data.php，這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù)，然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較，進行你的業(yè)務(wù)邏輯。如果你要10個并發(fā)，那就啟動10個process-data.php好了。處理完后，如果圖片地址有變動需要下載圖片，就把圖片地址扔到 gearman worker的另一個隊列里。

（3）再寫一個download-data.php，作為下載圖片的worker，同樣，你啟動10個20個并發(fā)隨便你。這個進程也常駐內(nèi)存運行，從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來，下載圖片

4、常駐進程的話，就是在代碼里寫個while(true)死循環(huán)，讓它一直運行好了。如果怕內(nèi)存泄露啥的，你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置，每分鐘檢查一下進程有沒有啟動，比如說這樣啟動3個process-data worker進程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了沒有

求關(guān)于php excel導(dǎo)入大數(shù)據(jù)到mysql的解決辦法

下載 PHPExcel

require_once(?'./PHPExcel/IOFactory.php');

$filePath?=?'D:/xxx.xlsx';?//excel?文件名?

$objReader?=?new?PHPExcel_Reader_Excel2007();??//具體查看（Documentation/Examples/Reader/exampleReader01.php）

$objPHPExcel?=?$objReader-load($filePath);

$sheetData?=?$objPHPExcel-getActiveSheet()-toArray(null,true,true,true);

$insql?=?'insert?into?表名(x,x,x)?valeus';

//遍歷數(shù)組?$sheetData

//如果有標(biāo)題?先刪除?unset($sheetData[1]);

foreach($sheetData?as?$k?=?$data){

$insql?.=?'('.$data['A'].','.$data['B'].','.$data['C'].'),';

//一次插入100條數(shù)據(jù)??減少數(shù)據(jù)庫壓力

if(($k+1?/?100)?==?0){

$insql?=?rtrim($insql,',').';';?//將最后的逗號替換成分好

//插入數(shù)據(jù)庫?并且重置?字符串?$insql??

//或者保存到文件中?利用source?命令插入數(shù)據(jù)庫

}

}

php+Mysql 大數(shù)據(jù)導(dǎo)入怎樣提高效率

優(yōu)化SQL插入語句；

比如循環(huán)一條一條插入，改成鏈接多個值進行插入。

將：

foreach($re as $it){

$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";

mysql_query($sql);

}

改為：

$sql="insert into table (id,name) values";

foreach($re as $it){

$str= "'".$it['id']."','".$it['name']."'";

}

$sql .= "(".$str."),";

$sql2 = substr($sql,0,-1);

mysql_query($sql);

打開mysql的配置文件，my.ini文件，并找到：max_allowed_packet項；

將值修改大一點，具體根據(jù)自己需要修改。比如這里修改為：1G。

重啟mysql服務(wù)；

5

如果運行頁面提示內(nèi)存溢出，可將值設(shè)大一點。

Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)

步驟閱讀

6

這樣，面對千萬數(shù)據(jù)導(dǎo)入的時候，比原來那種方法至少快好多倍。