php處理數(shù)據(jù)時(shí)會(huì)有一個(gè)等待時(shí)間,就是所說(shuō)的超時(shí)時(shí)間,而且如果使用mysql的話,它也有一個(gè)超時(shí)時(shí)間,運(yùn)行一串代碼時(shí)間如果超過(guò)配置文件的時(shí)間,會(huì)被中斷不運(yùn)行。第一種你可以修改php配置文件timeout的運(yùn)行時(shí)間,第二你可以分批處理大量數(shù)據(jù),注意是分批處理,就OK了。
凌河ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景,ssl證書(shū)未來(lái)市場(chǎng)廣闊!成為成都創(chuàng)新互聯(lián)公司的ssl證書(shū)銷(xiāo)售渠道,可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書(shū)合作)期待與您的合作!
項(xiàng)目需要批量導(dǎo)入excel文件,如果里面有重復(fù)的數(shù)據(jù)要怎么處理呢?每插入一次數(shù)據(jù)都要到數(shù)據(jù)庫(kù)查詢么?
回復(fù)內(nèi)容:
項(xiàng)目需要批量導(dǎo)入excel文件,如果里面有重復(fù)的數(shù)據(jù)要怎么處理呢?每插入一次數(shù)據(jù)都要到數(shù)據(jù)庫(kù)查詢么?
1、如果里面有重復(fù)的數(shù)據(jù)要怎么處理呢?
1
code可以先判斷數(shù)據(jù)庫(kù)是否有該數(shù)據(jù)。/code
2、每插入一次數(shù)據(jù)都要到數(shù)據(jù)庫(kù)查詢么
1
code是的。/code
先去重得到?jīng)]有重復(fù)的數(shù)據(jù),再批量插入數(shù)據(jù)庫(kù)。也可以嘗試MYSQL中的insert ignore into或 replace into
如果查詢比較慢,對(duì)不能重復(fù)的字段加唯一鍵,然后用INSERT IGNORE INTO
php批量導(dǎo)入數(shù)據(jù)出錯(cuò)
我現(xiàn)在要做的是,把一個(gè)產(chǎn)品數(shù)據(jù)從EXCEL中導(dǎo)入到PHP的MYSQL中,導(dǎo)入的過(guò)程中,總是會(huì)提示“Allowed memory size of 167772160 bytes exhausted (tried to allocate 689919 bytes) in D:\wamp\www\Company\product\admin\uploadOrder.php on line 167”這個(gè)錯(cuò)誤,然后我分成第100條導(dǎo)入時(shí),就不會(huì)提示這個(gè)錯(cuò)誤,這個(gè)是不是內(nèi)存溢出,有沒(méi)有好的解決方法呢?
------解決方案--------------------
php.ini中講memory_limit選項(xiàng)設(shè)置大一點(diǎn),然后重啟apache或nginx就行了
------解決方案--------------------
文件太大了,這樣的話可以用source命令直接導(dǎo)入!
------解決方案--------------------
mysql_query函數(shù)查詢的方式是查詢出全部結(jié)果后緩存到內(nèi)存中,這樣就會(huì)出現(xiàn)超內(nèi)存的現(xiàn)象,使用另外一個(gè)函數(shù)mysql_unbuffered_query可以解決這個(gè)問(wèn)題,mysql_unbuffered_query不會(huì)緩存結(jié)果集,而是查詢出來(lái)數(shù)據(jù)后立馬對(duì)結(jié)果集進(jìn)行操作,也就是便查詢邊返回,這樣就不會(huì)出現(xiàn)超出內(nèi)存的現(xiàn)象,但是使用mysql_unbuffered_query的是時(shí)候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 發(fā)送一條新的 SQL 查詢之前,必須提取掉所有未緩存的 SQL 查詢所產(chǎn)生的結(jié)果行。例如:
使用緩存結(jié)果集的代碼:
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用緩存結(jié)果集方式
// $pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用內(nèi)存大?。? . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i 10) {
break;
}
sleep(1);
print_r($result);
echo '占用內(nèi)存大?。? . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
執(zhí)行時(shí)將會(huì)報(bào)超出內(nèi)存的錯(cuò)誤:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
將上面代碼中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注釋去掉后將不在緩存結(jié)果集,這時(shí)運(yùn)行該函數(shù)的結(jié)果如下:
最初占用內(nèi)存大?。?44808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用內(nèi)存大?。?45544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用內(nèi)存大?。?45544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用內(nèi)存大?。?45536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用內(nèi)存大?。?45536
可以看到,這時(shí)返回一條數(shù)據(jù)內(nèi)存占用非常的小,也就700多字節(jié),這樣就不會(huì)出現(xiàn)超出內(nèi)存的錯(cuò)誤了。