如何把大文件的CSV文件寫入MYSQL數(shù)據(jù)庫？

#!/usr/bin/env?python

目前累計服務(wù)客戶千余家，積累了豐富的產(chǎn)品開發(fā)及服務(wù)經(jīng)驗。以網(wǎng)站設(shè)計水平和技術(shù)實力，樹立企業(yè)形象，為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)站策劃、網(wǎng)頁設(shè)計、網(wǎng)絡(luò)營銷、VI設(shè)計、網(wǎng)站改版、漏洞修補等服務(wù)。創(chuàng)新互聯(lián)始終以務(wù)實、誠信為根本，不斷創(chuàng)新和提高建站品質(zhì)，通過對領(lǐng)先技術(shù)的掌握、對創(chuàng)意設(shè)計的研究、對客戶形象的視覺傳遞、對應(yīng)用系統(tǒng)的結(jié)合，為客戶提供更好的一站式互聯(lián)網(wǎng)解決方案，攜手廣大客戶，共同發(fā)展進步。

#?coding:?utf-8

#

#?filename:?csv2db.py

import?DBUtils.PooledDB

import?MySQLdb

def?parser(ln):

"""your?business?csv?file?define"""

return?ln.split(",")

def?csvpage(csvfile,?pagesize=256):

import?codecs

with?codecs.open(csvfile,?'r',?'utf-8')?as?handle:

buff?=?[]

for?ln?in?handle:

data?=?parser(ln)

if?data:

buff.append(data)

if?len(buff)?=?256:

todo,?buff?=?buff,?[]

yield?todo

def?store(sql,?datas):

conn?=?conn_pool.connection()

curr?=?conn.cursor()

curr.execute(sql,?datas)

conn.commit()

curr.close()

conn.close()

if?__name__?==?"__main__":

config?=?loadconfig("dbi.ini")

conn_pool?=?DBUtils.PooledDB.PooledDB(MySQLdb,?2,?5,?**config)

insert_sql?=?"""insert?into?table

(field_id,?field_a,?field_b)

values?(%s,?%s,?%s)"""

for?page?in?csvpage("data.csv"):

store(insert_sql,?page)

如何把取得的CSV數(shù)據(jù)，存入到MySQL數(shù)據(jù)庫中

CSV

格式導(dǎo)入到MYSQL中。

執(zhí)行語句：

load

data

infile

'你的CSV文件路徑'

into

table

你的表

fields

terminated

by

','

lines

terminated

by

'\n';

實例：

庫：pc2phone

表：cms_rate

文件路徑：C:/A-Z.csv

一：Xls轉(zhuǎn)化(另存)為

.csv格式（A-Z.csv）。存放到C盤根目錄下

二：MySQL

Command

Line

Client執(zhí)行操作。

1:

mysql

use

pc2phone;

Database

Changed

2:

mysql

load

data

infile

'C:/A-Z.csv'

into

table

cms_rate

fields

terminated

by

','

lines

terminated

by

'\n';

如果編碼正確，導(dǎo)入成功！

如果出現(xiàn)下邊情況，則說明編碼格式錯誤。需要對C:/A-Z.csv文件的編碼進行轉(zhuǎn)換。

ERROR

1366

hy000:Incorrect

string

value:

'\xB9\xFA\xBC\xCA\xB3\xA4...'

for

column

'rate_type'

at

row

1

如何把csv文件導(dǎo)入mysql

mysql導(dǎo)入csv文件，用到的工具phpmyadmin，步驟如下：

登錄phpmyadmin（以本地localhost/phpmyadmin為示例），輸入數(shù)據(jù)庫賬號和密碼進行登錄。

2.登錄以后選擇具體的數(shù)據(jù)庫，以test為示例導(dǎo)入csv文件，選中test數(shù)據(jù)庫，選擇導(dǎo)入，然后選擇格式為csv，其它選項默認，選擇好文件點擊執(zhí)行。

注意事項:mysql導(dǎo)出sql文件兼容性比較好。