刪除大量數(shù)據(jù)速度是正常的。
網(wǎng)站建設(shè)哪家好,找成都創(chuàng)新互聯(lián)公司!專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、重慶小程序開(kāi)發(fā)公司、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了武進(jìn)免費(fèi)建站歡迎大家使用!
如果表里面數(shù)據(jù)都不要了,可以直接truncate
如果表里面數(shù)據(jù)只有一小部分要得,可以把小的備份出來(lái),然后truncate表,然后再把備份的數(shù)據(jù)導(dǎo)回來(lái)
如果只是刪除表中部分?jǐn)?shù)據(jù),可以寫(xiě)成循環(huán)小批量刪除腳本;如果服務(wù)器性能好,百萬(wàn)數(shù)據(jù)刪除還是很快的
解決版本:3.0.6
原因分析:mybatis-plus默認(rèn)使用Jdbc3KeyGenerator進(jìn)行添加,但是sqlserver不支持批量返回id,所以會(huì)拋出如下異常
解決方案: 重寫(xiě)默認(rèn)saveBatch和saveOrUpdateBatch(缺點(diǎn)是批量添加不能返回id,對(duì)于不需要返回id的場(chǎng)景適用)將Jdbc3KeyGenerator替換為NoKeyGenerator
第一步: 建立NoahSqlMethod(也可以不寫(xiě),但是項(xiàng)目盡量不出現(xiàn)魔法值)
第二步: 建立InsertBatch對(duì)象
第三步: 建立NoahSqlInjector對(duì)象
第四步: 重寫(xiě)ServiceImpl超類(lèi)為AbstractNoahServiceImpl
第五步: 將業(yè)務(wù)service繼承類(lèi)改為AbstractNoahServiceImpl
第六步: 將SqlInjector注入系統(tǒng)中
方案一、循環(huán)導(dǎo)入
實(shí)現(xiàn)方式是利用數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)類(lèi)調(diào)用存儲(chǔ)過(guò)程,利用循環(huán)逐條插入。很明顯,這種方式效率并不高
方案二、使用Bulk插入
bulk方法主要思想是通過(guò)在客戶(hù)端把數(shù)據(jù)都緩存在Table中,然后利用SqlBulkCopy一次性把Table中的數(shù)據(jù)插入到數(shù)據(jù)庫(kù),效率非常高
方案三:
利用SQLServer2008的新特性--表值參數(shù)(Table-Valued Parameter)。表值參數(shù)是SQLServer2008才有的一個(gè)新特性,使用這個(gè)新特性,我們可以把一個(gè)表類(lèi)型作為參數(shù)傳遞到函數(shù)或存儲(chǔ)過(guò)程里。
方案四:
對(duì)于單列字段,可以把要插入的數(shù)據(jù)進(jìn)行字符串拼接,最后再在存儲(chǔ)過(guò)程中拆分成數(shù)組,然后逐條插入。查了一下存儲(chǔ)過(guò)程中參數(shù)的字符串的最大長(zhǎng)度,然后除以字段的長(zhǎng)度,算出一個(gè)值,很明顯是可以滿(mǎn)足要求的,只是這種方式跟第一種方式比起來(lái),似乎沒(méi)什么提高,因?yàn)樵矶际且粯拥摹?/p>
方案五:
考慮異步創(chuàng)建、消息隊(duì)列等等。這種方案無(wú)論從設(shè)計(jì)上還是開(kāi)發(fā)上,難度都是有的。
我們通過(guò)SQL腳本來(lái)插入數(shù)據(jù),常見(jiàn)如下四種方式。
方式一:一條一條插入,性能最差,不建議使用。
INSERT INTO Product(Id,Name,Price) VALUES(newid(),'牛欄1段',160);INSERT INTO Product(Id,Name,Price) VALUES(newid(),'牛欄2段',260);
......
方式二:insert bulk
語(yǔ)法如下:
BULK INSERT [ [ 'database_name'.][ 'owner' ].]{ 'table_name' FROM 'data_file' }
WITH ?(
[ BATCHSIZE [ = batch_size ] ],
[ CHECK_CONSTRAINTS ],
[ CODEPAGE [ = 'ACP' | 'OEM' | 'RAW' | 'code_page' ] ],
[ DATAFILETYPE [ = 'char' | 'native'| 'widechar' | 'widenative' ] ],
[ FIELDTERMINATOR [ = 'field_terminator' ] ],
[ FIRSTROW [ = first_row ] ],
[ FIRE_TRIGGERS ],
[ FORMATFILE = 'format_file_path' ],
[ KEEPIDENTITY ],
[ KEEPNULLS ],
[ KILOBYTES_PER_BATCH [ = kilobytes_per_batch ] ],
[ LASTROW [ = last_row ] ],
[ MAXERRORS [ = max_errors ] ],
[ ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ],
[ ROWS_PER_BATCH [ = rows_per_batch ] ],
[ ROWTERMINATOR [ = 'row_terminator' ] ],
[ TABLOCK ],
) ?
相關(guān)參數(shù)說(shuō)明:
BULK INSERT
[ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]
FROM 'data_file'
[ WITH
(
[ [ , ] BATCHSIZE = batch_size ] ? ?--BATCHSIZE指令來(lái)設(shè)置在單個(gè)事務(wù)中可以插入到表中的記錄的數(shù)量
[ [ , ] CHECK_CONSTRAINTS ] ? ? --指定在大容量導(dǎo)入操作期間,必須檢查所有對(duì)目標(biāo)表或視圖的約束。若沒(méi)有 CHECK_CONSTRAINTS 選項(xiàng),則所有 CHECK 和 FOREIGN KEY 約束都將被忽略,并且在此操作之后表的約束將標(biāo)記為不可信。
[ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ] ?--指定該數(shù)據(jù)文件中數(shù)據(jù)的代碼頁(yè)
[ [ , ] DATAFILETYPE =
{ 'char' | 'native'| 'widechar' | 'widenative' } ] ?--指定 BULK INSERT 使用指定的數(shù)據(jù)文件類(lèi)型值執(zhí)行導(dǎo)入操作。
[ [ , ] FIELDTERMINATOR = 'field_terminator' ] ?--標(biāo)識(shí)分隔內(nèi)容的符號(hào)
[ [ , ] FIRSTROW = first_row ] ? ?--指定要加載的第一行的行號(hào)。默認(rèn)值是指定數(shù)據(jù)文件中的第一行
[ [ , ] FIRE_TRIGGERS ] ? ? --是否啟動(dòng)觸發(fā)器
[ [ , ] FORMATFILE = 'format_file_path' ]
[ [ , ] KEEPIDENTITY ] ? --指定導(dǎo)入數(shù)據(jù)文件中的標(biāo)識(shí)值用于標(biāo)識(shí)列
[ [ , ] KEEPNULLS ] ? ?--指定在大容量導(dǎo)入操作期間空列應(yīng)保留一個(gè)空值,而不插入用于列的任何默認(rèn)值
[ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]
[ [ , ] LASTROW = last_row ] ? --指定要加載的最后一行的行號(hào)
[ [ , ] MAXERRORS = max_errors ] ? --指定允許在數(shù)據(jù)中出現(xiàn)的最多語(yǔ)法錯(cuò)誤數(shù),超過(guò)該數(shù)量后將取消大容量導(dǎo)入操作。
[ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ] ?--指定數(shù)據(jù)文件中的數(shù)據(jù)如何排序
[ [ , ] ROWS_PER_BATCH = rows_per_batch ]
[ [ , ] ROWTERMINATOR = 'row_terminator' ] ? --標(biāo)識(shí)分隔行的符號(hào)
[ [ , ] TABLOCK ] ? ? --指定為大容量導(dǎo)入操作持續(xù)時(shí)間獲取一個(gè)表級(jí)鎖
[ [ , ] ERRORFILE = 'file_name' ] ? --指定用于收集格式有誤且不能轉(zhuǎn)換為 OLE DB 行集的行的文件。
)] ?
方式三:INSERT INTO xx select...
INSERT INTO Product(Id,Name,Price) SELECT NEWID(),'牛欄1段',160
UNION ALL
SELECT NEWID(),'牛欄2段',180 UNION ALL......
方式四:拼接SQL
INSERT INTO Product(Id,Name,Price) VALUES(newid(),'牛欄1段',160)
,(newid(),'牛欄2段',260)
......
好像解決辦法有點(diǎn)愚蠢,但是確實(shí)可以這么用
先把那1000多個(gè)號(hào)碼導(dǎo)出成文本
然后在sqlserver里建一張表
create
table
shenfenzheng
(shengfenzheng_id
varchar(18));
然后把導(dǎo)出的文本用UE編輯成
insert
into
shenfenzheng
values
('xxxxxxxxxxxxxxxxxx');
insert
into
shenfenzheng
values
('yyyyyyyyyyyyyyyyyy');
.
.
.
共1000條
然后在sqlserver里執(zhí)行上述語(yǔ)句,記得后邊一定要帶分號(hào)
然后寫(xiě)個(gè)查詢(xún)
select
*
from
工資表
where
身份證號(hào)
in(select
shenfenzheng_id
from
shenfenzheng);
得到的就是你想要的結(jié)果
---------補(bǔ)充---------
你所說(shuō)的用戶(hù)是指客戶(hù)端程序的用戶(hù),和數(shù)據(jù)庫(kù)用戶(hù)關(guān)系應(yīng)該不大,各個(gè)客戶(hù)端應(yīng)該在程序里都有連接數(shù)據(jù)庫(kù)的文件,也就是實(shí)際操作的用戶(hù)連接數(shù)據(jù)庫(kù)時(shí)用的都是數(shù)據(jù)庫(kù)同一個(gè)用戶(hù),所以不用在每個(gè)用戶(hù)下都建臨時(shí)表
2.SqlBulkCopy是個(gè)不錯(cuò)的選擇,直接由DataTable可以導(dǎo)入到數(shù)據(jù)庫(kù),但要注意(1)列名與目標(biāo)表一致(2)數(shù)據(jù)類(lèi)型一致(3)空值容錯(cuò)處理,參考代碼:///summary///將see cref="DataTable"/
的數(shù)據(jù)批量插入到數(shù)據(jù)庫(kù)中。////summary///param name="dataTable"
要批量插入的
see cref="DataTable"/。
/param///param name="batchSize"
每批次寫(xiě)入的數(shù)據(jù)量。
/parampublicboolInsertBatchDataTable(DataTable dataTable,
stringtableName,
intbatchSize =10000){using(SqlConnection connection =newSqlConnection(myConnectionString)){try{connection.Open();//給表名加上前后導(dǎo)符using(varbulk =newSqlBulkCopy(connection, SqlBulkCopyOptions.KeepIdentity,
null){DestinationTableName=tableName,
BatchSize=batchSize}){//循環(huán)所有列,為bulk添加映射//dataTable.EachColumn(c = bulk.ColumnMappings.Add(c.ColumnName, c.ColumnName), c = !c.AutoIncrement);foreach(DataColumn dcindataTable.Columns){bulk.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);}bulk.WriteToServer(dataTable);
bulk.Close();}returntrue;}catch(Exception exp){returnfalse;}finally{connection.Close();}}}
3.如果是數(shù)據(jù)量非常大,超過(guò)10W以上的數(shù)據(jù),可以考慮生成.dtsx文件,然后由C#代碼直接調(diào)用,效率還是不錯(cuò)的。