本篇內(nèi)容主要講解“怎么保證快速且安全大批量插入數(shù)據(jù)到數(shù)據(jù)庫(kù)”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“怎么保證快速且安全大批量插入數(shù)據(jù)到數(shù)據(jù)庫(kù)”吧!
創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站建設(shè)、碑林網(wǎng)絡(luò)推廣、微信小程序、碑林網(wǎng)絡(luò)營(yíng)銷、碑林企業(yè)策劃、碑林品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供碑林建站搭建服務(wù)，24小時(shí)服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com
最近有個(gè)需求解析一個(gè)訂單文件，并且說(shuō)明文件可達(dá)到千萬(wàn)條數(shù)據(jù)，每條數(shù)據(jù)大概在20個(gè)字段左右，每個(gè)字段使用逗號(hào)分隔，需要盡量在半小時(shí)內(nèi)入庫(kù)。
因?yàn)楦嬖V文件有千萬(wàn)條，同時(shí)每條記錄大概在20個(gè)字段左右，所以可以大致估算一下整個(gè)訂單文件的大小，方法也很簡(jiǎn)單使用FileWriter往文件中插入一千萬(wàn)條數(shù)據(jù)，查看文件大小，經(jīng)測(cè)試大概在1.5G左右；
由上可知文件比較大，一次性讀取內(nèi)存肯定不行，方法是每次從當(dāng)前訂單文件中截取一部分?jǐn)?shù)據(jù)，然后進(jìn)行批量插入，如何批次插入可以使用insert(...)values(...),(...)的方式，經(jīng)測(cè)試這種方式效率還是挺高的；
截取數(shù)據(jù)的時(shí)候需要注意，需要保證數(shù)據(jù)的完整性，每條記錄最后都是一個(gè)換行符，需要根據(jù)這個(gè)標(biāo)識(shí)保證每次截取都是整條數(shù)，不要出現(xiàn)半條數(shù)據(jù)這種情況；
因?yàn)樾枰M(jìn)行批次數(shù)據(jù)的插入，數(shù)據(jù)庫(kù)是否支持大量數(shù)據(jù)寫(xiě)入，比如這邊使用的MySQL，可以通過(guò)設(shè)置max_allowed_packet來(lái)保證批次提交的數(shù)據(jù)量；
因?yàn)槭谴笪募馕?，如果中途出現(xiàn)錯(cuò)誤，比如數(shù)據(jù)剛好插入到900w的時(shí)候，數(shù)據(jù)庫(kù)連接失敗，這種情況不可能重新來(lái)插一遍，所有需要記錄每次插入數(shù)據(jù)的位置，并且需要保證和批次插入的數(shù)據(jù)在同一個(gè)事務(wù)中，這樣恢復(fù)之后可以從記錄的位置開(kāi)始繼續(xù)插入。
這里需要準(zhǔn)備兩張表分別是：訂單狀態(tài)位置信息表，訂單表；
CREATE TABLE `file_analysis` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `file_type` varchar(255) NOT NULL COMMENT '文件類型 01:類型1，02:類型2', `file_name` varchar(255) NOT NULL COMMENT '文件名稱', `file_path` varchar(255) NOT NULL COMMENT '文件路徑', `status` varchar(255) NOT NULL COMMENT '文件狀態(tài) 0初始化；1成功；2失?。?處理中', `position` bigint(20) NOT NULL COMMENT '上一次處理完成的位置', `crt_time` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間', `upd_time` datetime NOT NULL COMMENT '更新時(shí)間', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8
CREATE TABLE `file_order` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `file_id` bigint(20) DEFAULT NULL, `field1` varchar(255) DEFAULT NULL, `field2` varchar(255) DEFAULT NULL, `field3` varchar(255) DEFAULT NULL, `field4` varchar(255) DEFAULT NULL, `field5` varchar(255) DEFAULT NULL, `field6` varchar(255) DEFAULT NULL, `field7` varchar(255) DEFAULT NULL, `field8` varchar(255) DEFAULT NULL, `field9` varchar(255) DEFAULT NULL, `field10` varchar(255) DEFAULT NULL, `field11` varchar(255) DEFAULT NULL, `field12` varchar(255) DEFAULT NULL, `field13` varchar(255) DEFAULT NULL, `field14` varchar(255) DEFAULT NULL, `field15` varchar(255) DEFAULT NULL, `field16` varchar(255) DEFAULT NULL, `field17` varchar(255) DEFAULT NULL, `field18` varchar(255) DEFAULT NULL, `crt_time` datetime NOT NULL COMMENT '創(chuàng)建時(shí)間', `upd_time` datetime NOT NULL COMMENT '更新時(shí)間', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=10000024 DEFAULT CHARSET=utf8
mysql> show VARIABLES like '%max_allowed_packet%'; +--------------------------+------------+ | Variable_name | Value | +--------------------------+------------+ | max_allowed_packet | 1048576 | | slave_max_allowed_packet | 1073741824 | +--------------------------+------------+ 2 rows in set mysql> set global max_allowed_packet = 1024*1024*10; Query OK, 0 rows affected
通過(guò)設(shè)置max_allowed_packet，保證數(shù)據(jù)庫(kù)能夠接收批次插入的數(shù)據(jù)包大??；不然會(huì)出現(xiàn)如下錯(cuò)誤：
Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (4980577 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable. at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3915) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2598) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2778) at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2834)
重慶分公司
重慶分公司
public static void main(String[] args) throws IOException {
FileWriter out = new FileWriter(new File("D://xxxxxxx//orders.txt"));
for (int i = 0; i < 10000000; i++) {
out.write(
"vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
out.write(System.getProperty("line.separator"));
}
out.close();
}使用FileWriter遍歷往一個(gè)文件里插入1000w條數(shù)據(jù)即可，這個(gè)速度還是很快的，不要忘了在每條數(shù)據(jù)的后面添加換行符(\n\r)；
除了需要設(shè)置每次讀取文件的大小，同時(shí)還需要設(shè)置一個(gè)參數(shù)，用來(lái)每次獲取一小部分?jǐn)?shù)據(jù)，從這小部分?jǐn)?shù)據(jù)中獲取換行符(\n\r)，如果獲取不到一直累加直接獲取為止，這個(gè)值設(shè)置大小大致同每條數(shù)據(jù)的大小差不多合適，部分實(shí)現(xiàn)如下：
ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize); // 申請(qǐng)一個(gè)緩存區(qū)
long endPosition = batchFileSize + startPosition - buffSize;// 子文件結(jié)束位置
long startTime, endTime;
for (int i = 0; i < count; i++) {
startTime = System.currentTimeMillis();
if (i + 1 != count) {
int read = inputChannel.read(byteBuffer, endPosition);// 讀取數(shù)據(jù)
readW: while (read != -1) {
byteBuffer.flip();// 切換讀模式
byte[] array = byteBuffer.array();
for (int j = 0; j < array.length; j++) {
byte b = array[j];
if (b == 10 || b == 13) { // 判斷\n\r
endPosition += j;
break readW;
}
}
endPosition += buffSize;
byteBuffer.clear(); // 重置緩存塊指針
read = inputChannel.read(byteBuffer, endPosition);
}
} else {
endPosition = fileSize; // 最后一個(gè)文件直接指向文件末尾
}
...省略，更多可以查看Github完整代碼...
}如上代碼所示開(kāi)辟了一個(gè)緩沖區(qū)，根據(jù)每行數(shù)據(jù)大小來(lái)定大概在200字節(jié)左右，然后通過(guò)遍歷查找換行符(\n\r)，找到以后將當(dāng)前的位置加到之前的結(jié)束位置上，保證了數(shù)據(jù)的完整性；
通過(guò)insert(...)values(...),(...)的方式批次插入數(shù)據(jù)，部分代碼如下：
// 保存訂單和解析位置保證在一個(gè)事務(wù)中
SqlSession session = sqlSessionFactory.openSession();
try {
long startTime = System.currentTimeMillis();
FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
fileOrderMapper.batchInsert(orderList);
// 更新上次解析到的位置，同時(shí)指定更新時(shí)間
fileAnalysis.setPosition(endPosition + 1);
fileAnalysis.setStatus("3");
fileAnalysis.setUpdTime(new Date());
fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
session.commit();
long endTime = System.currentTimeMillis();
System.out.println("===插入數(shù)據(jù)花費(fèi):" + (endTime - startTime) + "ms===");
} catch (Exception e) {
session.rollback();
} finally {
session.close();
}
...省略，更多可以查看Github完整代碼...如上代碼在一個(gè)事務(wù)中同時(shí)保存批次訂單數(shù)據(jù)和文件解析位置信息，batchInsert通過(guò)使用mybatis的
以上展示了部分代碼，完整的代碼可以查看Github地址中的batchInsert模塊，本地設(shè)置每次截取的文件大小為2M，經(jīng)測(cè)試1000w條數(shù)據(jù)(大小1.5G左右)插入mysql數(shù)據(jù)庫(kù)中，大概花費(fèi)時(shí)間在20分鐘左右，當(dāng)然可以通過(guò)設(shè)置截取的文件大小，花費(fèi)的時(shí)間也會(huì)相應(yīng)的改變。
到此，相信大家對(duì)“怎么保證快速且安全大批量插入數(shù)據(jù)到數(shù)據(jù)庫(kù)”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！
