Etl工具將sqlserver數(shù)據(jù)同步到oracle設(shè)計(jì)說(shuō)明

軟件說(shuō)明

創(chuàng)新互聯(lián)2013年開(kāi)創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目做網(wǎng)站、成都網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元鼓樓做網(wǎng)站,已為上家服務(wù),為鼓樓各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

通過(guò)etl工具定時(shí)將SqlServer指定的表數(shù)據(jù)同步到oracle數(shù)據(jù)庫(kù)

在數(shù)據(jù)庫(kù)建立增刪改的觸發(fā)器。觸發(fā)器將變更放到臨時(shí)表里。

通過(guò)etl工具讀取臨時(shí)表同步給oracle

優(yōu)點(diǎn)：比較實(shí)時(shí)

缺點(diǎn)：影響到業(yè)務(wù)系統(tǒng)，因?yàn)樾枰跇I(yè)務(wù)系統(tǒng)建立觸發(fā)器

實(shí)例說(shuō)明：

例如在sqlserver有一張用戶表（sys_user）需定時(shí)同步oracle數(shù)據(jù)庫(kù)的用戶表，

包括新增、刪除、修改同步

給同步的表建三類觸發(fā)器：

insert觸發(fā)器：向表中插入數(shù)據(jù)時(shí)被觸發(fā)；

update觸發(fā)器：修改表中數(shù)據(jù)時(shí)被觸發(fā)；

delete觸發(fā)器：從表中刪除數(shù)據(jù)時(shí)被觸發(fā)。

以sqlserver的用戶表舉例，

Sqlserver的sys_user表，有兩個(gè)字段id，name

具體流程：

以新增數(shù)據(jù)舉例

? 一、在sqlserver新建觸發(fā)器trigger_sysuser_insert

if (object_id('trigger_sysuser_insert') is not null)

drop trigger trigger_sysuser_insert

go

create trigger trigger_sysuser_insert

on sys_user --表名

for insert --插入后觸發(fā)

--instead of insert --插入前觸發(fā),使用插入前觸發(fā)時(shí),不執(zhí)行默認(rèn)插入

as

--開(kāi)始執(zhí)行邏輯

declare @id int, @name varchar(20);

select @id = id, @name = name from sys_user; -------------- inserted 存放了當(dāng)前插入的值

--select @name,@age

---創(chuàng)建臨時(shí)表

if not exists (select * from sysobjects where id = object_id('##sys_user_insert')

and OBJECTPROPERTY(id, 'IsUserTable') = 1)

create table ##sys_user_insert

(

id int,

name varchar(32)

);

insert into ##sys_user_insert (id,name) values(@id,@name);

go

在sys_user新增數(shù)據(jù)時(shí)會(huì)被觸發(fā)，將新增的數(shù)據(jù)加入臨時(shí)表##sys_user_insert，此時(shí)

的臨時(shí)表 ##sys_user_insert會(huì)增加一條記錄

? 二、配置elt流程

節(jié)點(diǎn)1 從臨時(shí)表讀取數(shù)據(jù)，寫(xiě)入數(shù)據(jù)流

節(jié)點(diǎn)2 從數(shù)據(jù)流獲取數(shù)據(jù)寫(xiě)入oracle

節(jié)點(diǎn)3 從sqlserver的臨時(shí)表刪除已經(jīng)被同步的記錄

? 三、建立作業(yè)調(diào)度

設(shè)置調(diào)度周期

適用增量數(shù)據(jù)同步

在要同步的源表里有時(shí)間戳字段，每當(dāng)數(shù)據(jù)發(fā)生新增，時(shí)間戳?xí)涗洶l(fā)生變化的時(shí)間，etl工具根據(jù)時(shí)間范圍定時(shí)同步數(shù)據(jù)

優(yōu)點(diǎn)：基本不影響業(yè)務(wù)系統(tǒng)

缺點(diǎn)：要求源表必須有時(shí)間戳這一列，適用增量場(chǎng)景，修改、刪除不太適用

定時(shí)清空oracle數(shù)據(jù)源，將sqlserver的數(shù)據(jù)全盤(pán)拷貝到oracle數(shù)據(jù)源。一般用于數(shù)據(jù)量不大，實(shí)時(shí)性要求不高的場(chǎng)景。

優(yōu)點(diǎn)：基本不影響業(yè)務(wù)系統(tǒng)，開(kāi)發(fā)、部署都很簡(jiǎn)單

缺點(diǎn)：效率低

Etl流程

結(jié)論

準(zhǔn)能現(xiàn)場(chǎng)數(shù)據(jù)同步，涉及增、刪、改的同步，比較適用觸發(fā)器的方式進(jìn)行數(shù)據(jù)同步，但觸發(fā)器仍會(huì)存在失效的情況，若現(xiàn)場(chǎng)有數(shù)據(jù)質(zhì)量系統(tǒng)，定期數(shù)據(jù)稽核，查缺補(bǔ)漏，保證兩邊數(shù)據(jù)庫(kù)的一致性；

SQLServer如何獲取所有表及表的說(shuō)明

select?top?1000

ROW_NUMBER()?OVER?(ORDER?BY?a.object_id)?AS?No,?

a.name?AS?表名,

isnull(g.[value],'-')?AS?說(shuō)明

from

sys.tables?a?left?join?sys.extended_properties?g

on?(a.object_id?=?g.major_id?AND?g.minor_id?=?0)

No?表名?說(shuō)明

1?test_table?測(cè)試表

2?test_main?-

sqlserver的系統(tǒng)表

1、查看表和試圖

SELECT * FROM sys.objects WHERE object_id = object_id('表名或視圖名')

在sqlserver中一般可通過(guò)查詢sys.objects系統(tǒng)表來(lái)得知結(jié)果，不過(guò)可以有更方便的方法

如下：

if object_id('tb_table') is not null

print 'exist'

else

print'not exist'

如上，可用object_id()來(lái)快速達(dá)到相同的目的，tb_table就是我將要?jiǎng)?chuàng)建的資源的名稱，所以要先判斷當(dāng)前數(shù)據(jù)庫(kù)中不存在相同的資源

object_id()可接受兩個(gè)參數(shù)，第一個(gè)如上所示，代表資源的名稱，上面的就是表的名字，但往往我們要說(shuō)明我們所要?jiǎng)?chuàng)建的是什么類型的資源，

這樣sql可以明確地在一種類型的資源中查找是否有重復(fù)的名字，如下：

if object_id('tb_table','u') is not null

print 'exist'

else

print'not exist'

第二個(gè)參數(shù) "u" 就表示tb_table是用戶創(chuàng)建的表，即：USER_TABLE地首字母簡(jiǎn)寫(xiě)

查詢sys.objects中可得到各種資源的類型名稱(TYPE列)，這里之舉幾個(gè)主要的例子

u ----------- 用戶創(chuàng)建的表，區(qū)別于系統(tǒng)表(USER_TABLE)

s ----------- 系統(tǒng)表(SYSTEM_TABLE)

v ----------- 視圖(VIEW)

p ----------- 存儲(chǔ)過(guò)程(SQL_STORED_PROCEDURE)

2、查看表的列名

select * from syscolumns where id=object_id('表名') and name='列名'

3、查看數(shù)據(jù)庫(kù)

select * from sys.databases where name = 'student'

4、查看備份設(shè)備

"select * from sys.backup_devices where name ='backupdb'

（添加備份設(shè)備：exec sp_addumpdevice 'disk','backupdb','d:\\backup\\backupdb.bak'）

5、查看數(shù)據(jù)文件

select name, physical_name dbfile from sys.master_files where database_id=db_id('student')

master數(shù)據(jù)庫(kù)中sysdatabases表（是sqlserver中所有的數(shù)據(jù)庫(kù)的庫(kù)名） ：

如果你要查詢的是所有數(shù)據(jù)庫(kù)（用戶/系統(tǒng)）：

select * from master..sysdatabases

如果你要查詢的是用戶數(shù)據(jù)庫(kù)，則使用：

select * from master..sysdatabases where dbid 4

如果你要查詢的是系統(tǒng)數(shù)據(jù)庫(kù)，只需要把where字句改為dbid 4即可。

6、查看執(zhí)行的sql語(yǔ)句

SELECT cacheobjtype,objtype,usecounts,sql

from sys.syscacheobjects where sql not like'%cach%' and sql not like '%sys.%'

2.對(duì)應(yīng)數(shù)據(jù)庫(kù)中sysobjects表（反應(yīng)的是相應(yīng)數(shù)據(jù)庫(kù)中所有的對(duì)象）：

這個(gè)表的用處是最大的，因?yàn)樗锩娲娣诺挠校罕恚ㄏ到y(tǒng)/用戶）、存儲(chǔ)過(guò)程（系統(tǒng)/用戶）、視圖、主鍵、外鍵等。

這里就不一一說(shuō)明了。

比如你sqlserver中有個(gè)數(shù)據(jù)庫(kù)名叫 test,如果要查詢?cè)摂?shù)據(jù)庫(kù)中的所有表對(duì)象：

select * from test..sysobjects where type = ’u’ or type = ’s’

這里的type = ’u’是表示用戶表對(duì)象，type = ’s’是系統(tǒng)表對(duì)象，怎樣單獨(dú)查詢用戶表對(duì)象或者系統(tǒng)表對(duì)象就不用說(shuō)了吧。

如果你要查詢的是存儲(chǔ)過(guò)程當(dāng)然也分了系統(tǒng)和用戶了：

這個(gè)是查詢數(shù)據(jù)庫(kù)中所有存儲(chǔ)過(guò)程

select * from test..sysobjects where type = ’p’

如果你要查詢的是用戶存儲(chǔ)過(guò)程則加上 and category 2 即可。

查詢系統(tǒng)存儲(chǔ)過(guò)程就不用說(shuō)了吧（category = 2 誰(shuí)不知道。。。）

查詢視圖與查詢存儲(chǔ)過(guò)程一樣，比如：

你查詢的是數(shù)據(jù)庫(kù)中所有視圖

select * from test..sysobjects where type = ’v’

如果你要查詢的是用戶視圖則加上 and category 2 即可。

其他的就不說(shuō)了，就把 它們的type給大家說(shuō)下：

type = ’ pk’ 表示主鍵。

type = ’ d’ 外鍵引用。

type = ’uq’ 唯一索引。

下面附錄一些常用系統(tǒng)表

名稱 地址 說(shuō)明

sysaltfiles 主數(shù)據(jù)庫(kù) 保存數(shù)據(jù)庫(kù)的文件

syscharsets 主數(shù)據(jù)庫(kù) 字符集與排序順序

sysconfigures 主數(shù)據(jù)庫(kù) 配置選項(xiàng)

syscurconfigs 主數(shù)據(jù)庫(kù) 當(dāng)前配置選項(xiàng)

sysdatabases 主數(shù)據(jù)庫(kù) 服務(wù)器中的數(shù)據(jù)庫(kù)

syslanguages 主數(shù)據(jù)庫(kù) 語(yǔ)言

syslogins 主數(shù)據(jù)庫(kù) 登陸帳號(hào)信息

sysoledbusers 主數(shù)據(jù)庫(kù) 鏈接服務(wù)器登陸信息

sysprocesses 主數(shù)據(jù)庫(kù) 進(jìn)程

sysremotelogins主數(shù)據(jù)庫(kù) 遠(yuǎn)程登錄帳號(hào)

syscolumns 每個(gè)數(shù)據(jù)庫(kù) 列

sysconstrains 每個(gè)數(shù)據(jù)庫(kù) 限制

sysfilegroups 每個(gè)數(shù)據(jù)庫(kù) 文件組

sysfiles 每個(gè)數(shù)據(jù)庫(kù) 文件

sysforeignkeys 每個(gè)數(shù)據(jù)庫(kù) 外部關(guān)鍵字

sysindexs 每個(gè)數(shù)據(jù)庫(kù) 索引

sysmenbers 每個(gè)數(shù)據(jù)庫(kù) 角色成員

sysobjects 每個(gè)數(shù)據(jù)庫(kù) 所有數(shù)據(jù)庫(kù)對(duì)象

syspermissions 每個(gè)數(shù)據(jù)庫(kù) 權(quán)限

systypes 每個(gè)數(shù)據(jù)庫(kù) 用戶定義數(shù)據(jù)類型

sysusers 每個(gè)數(shù)據(jù)庫(kù) 用戶

查看sqlserver數(shù)據(jù)庫(kù)有哪些表

1、首先我們打開(kāi)數(shù)據(jù)庫(kù)進(jìn)入數(shù)據(jù)庫(kù)。

2、然后我們輸入賬號(hào)和密碼，點(diǎn)擊鏈接即可進(jìn)入數(shù)據(jù)庫(kù)中。

3、然后我們?cè)谧髠?cè)樹(shù)里找到要改的數(shù)據(jù)庫(kù)。

4、然后我們即可找到我們要查看的所有的表。

5、然后我們右鍵點(diǎn)擊設(shè)計(jì)。

6、然后我們可以查看到數(shù)據(jù)庫(kù)表單。

請(qǐng)問(wèn)sql 2000 master數(shù)據(jù)庫(kù)里每個(gè)表的說(shuō)明,都是干什么的，最好有詳細(xì)說(shuō)明

master 注要存的是SQLSERVER的內(nèi)部數(shù)據(jù)庫(kù)表，如：數(shù)據(jù)庫(kù)中的所有對(duì)象 dbo.sysobjects

sql怎么添加說(shuō)明

一樓的那是加注釋

只能在自己的腳本里看到

樓主說(shuō)的應(yīng)該是給表加comment表創(chuàng)建完成

別人在數(shù)據(jù)庫(kù)里能看見(jiàn)這個(gè)表各個(gè)字段的說(shuō)明文字

如下：

create

table

yyy_t

(

username

varchar(16)

not

null,

userid

number(10)

not

null

)

comment

on

table

yyy_t

is

'用戶表';

comment

on

column

yyy_t.username

is

'用戶名';

comment

on

column

yyy_t.userid

is

'用戶id';

我靠剛回答完就看到有人捷足先登了？郁悶

白寫(xiě)這么多了。。