php導(dǎo)出大量數(shù)據(jù)Excel的具體操作步驟如下:
創(chuàng)新互聯(lián)公司專注骨干網(wǎng)絡(luò)服務(wù)器租用十余年,服務(wù)更有保障!服務(wù)器租用,BGP機(jī)房服務(wù)器托管 成都服務(wù)器租用,成都服務(wù)器托管,骨干網(wǎng)絡(luò)帶寬,享受低延遲,高速訪問。靈活、實(shí)現(xiàn)低成本的共享或公網(wǎng)數(shù)據(jù)中心高速帶寬的專屬高性能服務(wù)器。
1、使用phpstudy搭建一個(gè)測(cè)試平臺(tái),直接訪問數(shù)據(jù)庫(kù)。
2、下載的phpcms安裝包拷貝到IIS目錄,開通訪問,即可搭建成功。
3、登錄網(wǎng)站后臺(tái),系統(tǒng)權(quán)限,文件目錄以及數(shù)據(jù)庫(kù)等功能,進(jìn)行管理。
4、在phpcms后臺(tái),擴(kuò)展,數(shù)據(jù)庫(kù)工具,數(shù)據(jù)庫(kù)導(dǎo)出,程序池選擇phpcmsv9,開始備份數(shù)據(jù)。
5、打開IIS網(wǎng)站目錄,在D:\wwwroot\kmxy\wwwroot\caches\bakup\default文件夾,查看導(dǎo)出的數(shù)據(jù)庫(kù)文件。
6、登錄phpmyadmin,選擇數(shù)據(jù)庫(kù)導(dǎo)出,選擇Excel格式,即可導(dǎo)出。
方法一:通過(guò)yield的生成器實(shí)現(xiàn)有限內(nèi)存中的大文件讀取
方法二:使用SPL 庫(kù) 提供的 SplFileObject 類
我前幾天有一個(gè)面試,面試題就是有這樣一道題。先把自己的思路說(shuō)一下,因?yàn)樾畔⒘糠浅5拇?,所以我采用了分表,分?4張表,每個(gè)小時(shí)一張,雖然凌晨時(shí)刻的表可能很少數(shù)據(jù),但這樣sum字段的問題就容易解決了,我理解的sum字段是一個(gè)小時(shí)同一個(gè)用戶在相同的環(huán)境的登陸次數(shù)。這樣理解不知對(duì)否,請(qǐng)網(wǎng)友自行甄辨。然后我通過(guò)PHP中的fgets函數(shù)一行一行的數(shù)據(jù)取出,入表。實(shí)驗(yàn)了幾萬(wàn)條數(shù)據(jù)是沒有問題的,但是上億條數(shù)據(jù)可能夠嗆。這一點(diǎn)也請(qǐng)網(wǎng)友注意,我也是新手。只是看到這里沒有答案,給大家一個(gè)參考。廢話不多,看流程:
日志文件(access.log)格式:
200?/alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.832ip=127.0.0.1user_agent=Mozilla/5.0?(X11;?Linux?x86_64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/31.0.1650.48?Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79
502?/alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.904ip=127.0.0.1user_agent=Mozilla/5.0?(X11;?Linux?x86_64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/31.0.1650.48?Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79
配置文件cfg.php:
define(HOST,'localhost');//主機(jī)名
define(USER,'root');//數(shù)據(jù)庫(kù)賬號(hào)
define(PASS,'111111');//數(shù)據(jù)庫(kù)密碼
define(DBNAME,'test');//所用的數(shù)據(jù)庫(kù)
define(CHARSET,'utf8');//使用的字符集
具體代碼test.php:
?php
header("content-type:text/html;charset=utf-8");
require?'./cfg.php';
$link?=?mysql_connect(HOST,USER,PASS)?or?die('連接數(shù)據(jù)庫(kù)失敗');
//程序中自動(dòng)建庫(kù)和建表,這樣一定程度上拖慢了程序的速度
//創(chuàng)建數(shù)據(jù)庫(kù)
$crdb="create?database?if?not?exists?".DBNAME;
if(!mysql_query($crdb)){
die('創(chuàng)建數(shù)據(jù)庫(kù)失敗');
}
//鏈接數(shù)據(jù)庫(kù)
mysql_select_db(DBNAME)?or?die('選擇數(shù)據(jù)庫(kù)失敗');
mysql_set_charset(CHARSET);
//因?yàn)閿?shù)據(jù)量很大我將數(shù)據(jù)按小時(shí)分表,分成24個(gè)表,每小時(shí)一個(gè)表,這樣num字段的值也好做統(tǒng)計(jì)
//數(shù)據(jù)循環(huán)建表
for($i=0;$i24;$i++){
if($i10){
$tbhz='0'.$i;//如果前10張表,表后綴應(yīng)該是00-09
}else{
$tbhz=$i;
}
$ctbsql="create?table?if?not?exists?logininfo_{$tbhz}(
id?int?not?null?auto_increment?primary?key,
zoneid?int?not?null?default?0,
bannerid?int?not?null?default?0,
clentid?int?not?null?default?0,
materialid?int?not?null?default?0,
redirect?char(200)?not?null?default?'',
time?char(16)?not?null?default?'',
user_agent?char(200)?not?null?default?'',
utrace?char(32)?not?null?default?'',
sum?int?not?null?default?0
)TYPE=MyISAM?DEFAULT?CHARACTER?SET?utf8?COLLATE?utf8_general_ci";
mysql_query($ctbsql);
}
//打開文件
$file=fopen("./access.log",'r')?or?die("打開文件失敗");
//對(duì)文件內(nèi)容進(jìn)行循環(huán),直到文件末尾才停止
while?(!feof($file)){
//每次讀取一行
$line?=?fgets($file,1024);
//狀態(tài)是200的進(jìn)行寫入數(shù)據(jù)庫(kù)操作
if(preg_match('/^200/',$line)){
$pinfo=parse_url($line);//url信息
$ext=$pinfo['query'];//取得傳遞的各個(gè)參數(shù)
$parray=explode('',$ext);//根據(jù)分解為數(shù)組
//因?yàn)榉纸鉃閿?shù)組后并不是要的值,所以要對(duì)值進(jìn)行一次截取,將等號(hào)及等號(hào)左邊的都去掉
foreach($parray?as?$val){
$narray[]=ltrim(strstr($val,'='),'=');
}
$narray[8]=rtrim($narray[8],'_');
//截取時(shí)間的秒數(shù)
$getmun=substr($parray[5],5,10);
$time=date('Y-m-d?H',$getmun);//將秒數(shù)轉(zhuǎn)化為時(shí)間類型。
//得到表后綴
$tbhz=date('H',$getmun);
$sql="insert?into?logininfo_{$tbhz}?values(null,'{$narray[0]}','{$narray[1]}','{$narray[2]}','{$narray[3]}','{$narray[4]}','{$time}','{$narray[7]}','{$narray[8]}',0)";
//echo?$sql;
$res=mysql_query($sql);//執(zhí)行插入
if(!$res?||?!mysql_affected_rows()0){
die('寫入數(shù)據(jù)庫(kù)失敗');
}
unset($narray);//循環(huán)一次將narray銷毀,為下一次循環(huán)做準(zhǔn)備
//var_dump(parse_url($line)['query']);
}
}
fclose($file);//關(guān)閉
//因?yàn)閟um字段還是0,下面代碼段需要處理sum字段的值
//24張表循環(huán)處理
for($i=0;$i24;$i++){
if($i10){
$tbhz='0'.$i;//如果前10張表,表后綴應(yīng)該是00-09
}else{
$tbhz=$i;
}
//該sql語(yǔ)句是把同一個(gè)小時(shí)內(nèi),并且符合條件相等的登陸的總次數(shù)和需要的登陸信息查出,為下面修改sum做準(zhǔn)備
$sql="SELECT?COUNT('zoneid')?AS?sum,zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace?FROM?logininfo_{$tbhz}?GROUP?BY?zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace";
//發(fā)送查詢sql
$res=mysql_query($sql);
if($res??mysql_num_rows($res)0){
while($row=mysql_fetch_assoc($res)){
//修改sum字段,即同一小時(shí)內(nèi)的登陸次數(shù)
$upsql="update?logininfo_{$tbhz}?set?sum='{$row['sum']}'?where?zoneid='{$row['zoneid']}'?and?bannerid='{$row['bannerid']}'?and?clentid='{$row['clentid']}'?and?materialid='{$row['materialid']}'?and?redirect='{$row['redirect']}'?and?user_agent='{$row['user_agent']}'?and?utrace='{$row['utrace']}'";
//發(fā)送修改sql,執(zhí)行修改sum
$upres=mysql_query($upsql);
if(!$upres){
die('修改登陸sum失敗');
}
}
}
}
echo?'數(shù)據(jù)成功入表';
使用說(shuō)明:
將配置文件cfg.php中的連接數(shù)據(jù)庫(kù)賬號(hào)、密碼修改為自己本機(jī)的(默認(rèn)新增的庫(kù)名是test)
直接運(yùn)行test1.php