PHP實(shí)現(xiàn)在有限內(nèi)存中的大文件讀取

方法一：通過yield的生成器實(shí)現(xiàn)有限內(nèi)存中的大文件讀取

創(chuàng)新互聯(lián)是一家以網(wǎng)絡(luò)技術(shù)公司，為中小企業(yè)提供網(wǎng)站維護(hù)、網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作、網(wǎng)站備案、服務(wù)器租用、申請域名、軟件開發(fā)、小程序制作等企業(yè)互聯(lián)網(wǎng)相關(guān)業(yè)務(wù)，是一家有著豐富的互聯(lián)網(wǎng)運(yùn)營推廣經(jīng)驗(yàn)的科技公司，有著多年的網(wǎng)站建站經(jīng)驗(yàn)，致力于幫助中小企業(yè)在互聯(lián)網(wǎng)讓打出自已的品牌和口碑，讓企業(yè)在互聯(lián)網(wǎng)上打開一個面向全國乃至全球的業(yè)務(wù)窗口：建站歡迎來電：18980820575

方法二：使用SPL 庫 提供的 SplFileObject 類

PHP-大數(shù)據(jù)量怎么處理優(yōu)化

大數(shù)據(jù)的話可以進(jìn)行以下操作：

減少對數(shù)據(jù)庫的讀取，也就是減少調(diào)用數(shù)據(jù)庫，

進(jìn)行數(shù)據(jù)緩存，

利用數(shù)據(jù)庫的自身優(yōu)化技術(shù)，如索引等

精確查詢條件，有利于提高查找速度

怎么用php讀取數(shù)據(jù)庫內(nèi)容并輸出

讀取內(nèi)容一般使用select語句，輸出的話方法比較多，具體的可以參考網(wǎng)上的教程，根據(jù)自己的實(shí)際需要來選用其中一種，一般都是把數(shù)據(jù)讀取到一個數(shù)組參數(shù)里面，然后再輸出這個數(shù)組內(nèi)容。具體的可以參考下w3school的教程：

php如何讀取CSV大文件并且將其導(dǎo)入數(shù)據(jù)庫示例

思路：

讀取csv文件，每讀取一行數(shù)據(jù)，就插入數(shù)據(jù)庫

示例

文件夾結(jié)構(gòu)

/

file.csv????//csv大文件，這里只模擬三行數(shù)據(jù)，不考慮運(yùn)行效率（PS：csv文件格式很簡單，文件一般較小，解析很快，運(yùn)行效率的瓶頸主要在寫入數(shù)據(jù)庫操作）

index.php????//php文件

file.csv

singi,20

lily,19

daming,23

index.php

/**

*?讀取csv文件，每讀取一行數(shù)據(jù)，就插入數(shù)據(jù)庫

*/

//獲取數(shù)據(jù)庫實(shí)例

$dsn?=?'mysql:dbname=test;host=127.0.0.1';

$user?=?'root';

$password?=?'';

try?{

$db?=?new?PDO($dsn,?$user,?$password);

}?catch?(PDOException?$e)?{

echo?'Connection?failed:?'?.?$e-getMessage();

}

//讀取file.csv文件

if?(($handle?=?fopen("file.csv",?"r"))?!==?FALSE)?{

while?(($row?=?fgetcsv($handle,?1000,?","))?!==?FALSE)?{

//寫入數(shù)據(jù)庫

$sth?=?$db-prepare('insert?into?test?set?name=:name,age=:age');

$sth-bindParam(':name',$row[0],PDO::PARAM_STR,255);

$sth-bindParam(':age',$row[1],PDO::PARAM_INT);

$sth-execute();

}

fclose($handle);

}

數(shù)據(jù)表

CREATE?TABLE?`test`?(

`id`?INT(10)?UNSIGNED?NOT?NULL?AUTO_INCREMENT,

`name`?VARCHAR(255)?NULL?DEFAULT?''?COLLATE?'utf8mb4_bin',

`age`?INT(10)?NULL?DEFAULT?'0',

PRIMARY?KEY?(`id`)

)

COLLATE='utf8mb4_bin'

ENGINE=InnoDB;

運(yùn)行結(jié)束后，數(shù)據(jù)庫中會插入csv中的三行數(shù)據(jù)

求關(guān)于php excel導(dǎo)入大數(shù)據(jù)到mysql的解決辦法

下載 PHPExcel

require_once(?'./PHPExcel/IOFactory.php');

$filePath?=?'D:/xxx.xlsx';?//excel?文件名?

$objReader?=?new?PHPExcel_Reader_Excel2007();??//具體查看（Documentation/Examples/Reader/exampleReader01.php）

$objPHPExcel?=?$objReader-load($filePath);

$sheetData?=?$objPHPExcel-getActiveSheet()-toArray(null,true,true,true);

$insql?=?'insert?into?表名(x,x,x)?valeus';

//遍歷數(shù)組?$sheetData

//如果有標(biāo)題?先刪除?unset($sheetData[1]);

foreach($sheetData?as?$k?=?$data){

$insql?.=?'('.$data['A'].','.$data['B'].','.$data['C'].'),';

//一次插入100條數(shù)據(jù)??減少數(shù)據(jù)庫壓力

if(($k+1?/?100)?==?0){

$insql?=?rtrim($insql,',').';';?//將最后的逗號替換成分好

//插入數(shù)據(jù)庫?并且重置?字符串?$insql??

//或者保存到文件中?利用source?命令插入數(shù)據(jù)庫

}

}

為什么PHP不能從從mysql讀取大數(shù)據(jù)

多大的數(shù)據(jù)叫大數(shù)據(jù)?。恐荒苷f數(shù)據(jù)越大讀得越慢，但只要給足夠的內(nèi)存、足夠的時間，再大的數(shù)據(jù)也能讀出來。

你所說的這個問題，應(yīng)該不是PHP和mysql的問題，任何程序語言，任何數(shù)據(jù)庫，在硬件限制和執(zhí)行時間限制的情況下，數(shù)據(jù)無限增大，都終究會讀不出來。