一、 提高DML操作的辦法:
創(chuàng)新互聯(lián)建站"三網(wǎng)合一"的企業(yè)建站思路。企業(yè)可建設(shè)擁有電腦版、微信版、手機版的企業(yè)網(wǎng)站。實現(xiàn)跨屏營銷,產(chǎn)品發(fā)布一步更新,電腦網(wǎng)絡(luò)+移動網(wǎng)絡(luò)一網(wǎng)打盡,滿足企業(yè)的營銷需求!創(chuàng)新互聯(lián)建站具備承接各種類型的做網(wǎng)站、成都網(wǎng)站制作項目的能力。經(jīng)過10余年的努力的開拓,為不同行業(yè)的企事業(yè)單位提供了優(yōu)質(zhì)的服務(wù),并獲得了客戶的一致好評。
簡單說來:
1、暫停索引,更新后恢復(fù).避免在更新的過程中涉及到索引的重建.
2、批量更新,每更新一些記錄后及時進(jìn)行提交動作.避免大量占用回滾段和或臨時表空間.
3、創(chuàng)建一臨時的大的表空間用來應(yīng)對這些更新動作.
4、批量更新,每更新一些記錄后及時進(jìn)行提交動作.避免大量占用回滾段和或臨時表空間.
5、創(chuàng)建一臨時的大的表空間用來應(yīng)對這些更新動作.
6、加大排序緩沖區(qū)
alter session set sort_area_size=100000000;
insert into tableb select * from tablea;
commit;
如果UPDATE的是索引字段,就會涉及到索引的重建,暫停索引不會提高多少的速度,反而有可能降低UPDATE速度,
因為在更新是索引可以提高數(shù)據(jù)的查詢速度,重建索引引起的速度降低影響不大。
ORACLE優(yōu)化修改參數(shù)最多也只能把性能提高15%,大部分都是SQL語句的優(yōu)化!
update總體來說比insert要慢 :
幾點建議:
1、如果更新的數(shù)據(jù)量接近整個表,就不應(yīng)該使用index而應(yīng)該采用全表掃描
2、減少不必要的index,因為update表通常需要update index
3、如果你的服務(wù)器有多個cpu,采用parellel hint,可以大幅度的提高效率
另外,建表的參數(shù)非常重要,對于更新非常頻繁的表,建議加大PCTFREE的值,以保證數(shù)據(jù)塊中有足夠的空間用于UPDATE, 從而降低CHAINED_ROWS。
二、 各種批量DML操作:
(1)、oracle批量拷貝:
set arraysize 20
set copycommit 5000
copy from username/password@oraclename append table_name1
using select * from table_name2;
(2)、常規(guī)插入方式:
insert into t1 select * from t;
為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:
alter table t1 nologging;
insert into t1 select * from t;
commit;
(3)、CTAS方式:
create table t1
as
select * from t;
為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志,并且可以制定并行度:
create table t1 nologging parallel(degree 2) as select * from t;
(4)、Direct-Path插入:
insert /*+append*/ into t1 select * from t;
commit;
為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:
alter table t1 nologging;
insert /*+append*/ into t1 select * from t;
Direct-Path插入特點:
1、 append只在insert … select …中起作用,像insert /*+ append */ into t values(…)這類的語句是不起作用的。在update、delete操作中,append也不起作用。
2、 Direct-Path會使數(shù)據(jù)庫不記錄直接路徑導(dǎo)入的數(shù)據(jù)的重做日志,會對恢復(fù)帶來麻煩。
3、 Direct-Path直接在表段的高水位線以上的空白數(shù)據(jù)塊中寫數(shù)據(jù),不會重用高水位線以下的空間,會對空間的使用造成一定的浪費,對查詢的性能也會造成一定的影響。而常規(guī)插入會優(yōu)先考慮使用高水位線之下有空閑空間存在的數(shù)據(jù)塊。因此理論上Direct-Path插入會比常規(guī)插入速度更快,因為Direct-Path直接使用新數(shù)據(jù)塊,而常規(guī)插入要遍歷freelist獲取可用空閑數(shù)據(jù)塊,如果同 nologging 配合,這種速度優(yōu)勢會更加明顯。
4、 以append方式插入記錄后,要執(zhí)行commit,才能對表進(jìn)行查詢。否則會出現(xiàn)錯誤:ORA-12838: 無法在并行模式下修改之后讀/修改對象。
5、 用append導(dǎo)入數(shù)據(jù)后,如果沒有提交或者回滾,在其他會話中任何對該表的DML都會被阻塞(不會報錯),但對該表的查詢可以正常執(zhí)行。
6、 在歸檔模式下,要把表設(shè)置為nologging,然后以append方式批量添加記錄,才會顯著減少redo數(shù)量。在非歸檔模式下,不必設(shè)置表的 nologging屬性,即可減少redo數(shù)量。如果表上有索引,則append方式批量添加記錄,不會減少索引上產(chǎn)生的redo數(shù)量,索引上的redo 數(shù)量可能比表的redo數(shù)量還要大。
7、 數(shù)據(jù)直接插入數(shù)據(jù)文件,繞過buffer cache并且忽略了引用完整性約束。
8、 不管表是否在nologging 下,只要是 direct insert,就不會對數(shù)據(jù)內(nèi)容生成undo。
9、 Oracle在Direct-Path INSERT 操作末尾,對具有索引的表執(zhí)行索引維護(hù),這樣就避免了在drop掉索引后,再rebuild。
10、 Direct-Path INSERT比常規(guī)的插入需要更多的空間。因為它將數(shù)據(jù)插入在高水位之上。并行插入非分區(qū)表需要更多的空間,因為它需要為每一個并行線程創(chuàng)建臨時段。
11、 在插入期間,數(shù)據(jù)庫在表上獲得排他鎖,用戶不能在表上執(zhí)行并行插入、更新或者刪除操作,并行的索引創(chuàng)建和build也不被允許。但卻可以并行查詢,但查詢返回的是插入之前的結(jié)果集。
(5)、并行DML:
如果你的服務(wù)器有多個cpu,采用parellel hint,可以大幅度的提高效率
ALTER SESSION ENABLE PARALLEL DML;
INSERT /*+ PARALLEL(tableA, 2) */INTO tableA
SELECT * FROM tableB;
為了提高速度可以使用下面方法,來減少插入過程中產(chǎn)生的日志:
INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING
SELECT * FROM tableB;
oracle默認(rèn)并不會打開PDML,對DML語句必須手工啟用。即需要執(zhí)行
alter table enable parallel dml命令。
并行DML特點:
1、在并行DML模式中,默認(rèn)的就是DIRECT-PATH插入,為了運行并行DML模式,必須滿足以下條件:
a、必須是Oracle企業(yè)版;
b、必須在session中使并行DML生效,執(zhí)行以下sql語句:
ALTER SESSION { ENABLE | FORCE } PARALLEL DML;
c、必須指定table的并行屬性,在創(chuàng)建的時候或者其他時候,或者在insert操作時使用“PARALLEL”提示。
d、為了使Direct-Path Insert模式失效,在INSERT語句中指定“NOAPPEND”提示,覆蓋并行DML模式。
2、并行Direct-Path INSERT到分區(qū)表:
類似于serial Direct-Path INSERT,每個并行操作分配給一個或者多個分區(qū),每個并行操作插入數(shù)據(jù)到各自的分區(qū)段的高水位標(biāo)志之上,commit之后,用戶就能看到更新的數(shù)據(jù)。
3、并行Direct-Path INSERT到非分區(qū)表:
每個并行執(zhí)行分配一個新的臨時段,并插入數(shù)據(jù)到臨時段。當(dāng)commit運行后,并行執(zhí)行協(xié)調(diào)者合并新的臨時段到主表段,用戶就能看到更新的數(shù)據(jù)。
4、Direct-Path INSERT可以使用Log或者不使用Log。
5、另外不得不說的是,并行不是一個可擴展的特性,只有在數(shù)據(jù)倉庫或作為DBA等少數(shù)人的工具在批量數(shù)據(jù)操作時利于充分利用資源,而在OLTP環(huán)境下使用并行需要非常謹(jǐn)慎。事實上PDML還是有比較多的限制的,例如不支持觸發(fā)器,引用約束,高級復(fù)制和分布式事務(wù)等特性,同時也會帶來額外的空間占用,PDDL同 樣是如此。
第一就是優(yōu)化網(wǎng)絡(luò),如果網(wǎng)絡(luò)沒問題那就沒有別的辦法,只能從查詢語句上優(yōu)化。
因為你胯庫查詢時間消耗=在其他庫上面執(zhí)行查詢的時間+網(wǎng)絡(luò)傳輸時間。通常網(wǎng)絡(luò)不會有問題,所以只能優(yōu)化查詢語句
用impdp工具,在庫中 先建好結(jié)構(gòu),導(dǎo)入時加入?yún)?shù)content=data_only 導(dǎo)入前把數(shù)據(jù)庫改為非歸檔模式
網(wǎng)速問題,廣域網(wǎng)網(wǎng)速和你用的ADSL沒有關(guān)系,考慮雙線,考慮光纖網(wǎng),,,,
沒有辦法提高網(wǎng)速的話,考慮建立分布式環(huán)境多提供幾個訪問點的可行性。
一般最常用的大數(shù)據(jù)量優(yōu)化:
1、創(chuàng)建分區(qū)表,使查詢時的大表盡量分割成小表。Oracle提供范圍分區(qū)、列表分區(qū)、Hash分區(qū)以及復(fù)合分區(qū),具體選擇哪種分區(qū)最優(yōu),需要根據(jù)你的業(yè)務(wù)數(shù)據(jù)來確定。
2、創(chuàng)建索引,創(chuàng)建合適的索引可以大大提高查詢速度。但是你的這張大表如果會頻繁的進(jìn)行update、insert等操作,索引會導(dǎo)致這些操作變慢。就有可能需要進(jìn)行動態(tài)索引的使用。
3、優(yōu)化復(fù)雜SQL;對復(fù)雜的SQL進(jìn)行合理的優(yōu)化,這個有時候也需要根據(jù)你的數(shù)據(jù)情況來優(yōu)化,可以參考一些SQL語句優(yōu)化方面的文檔。