MySQL建表階段是非常重要的一個環(huán)節(jié),表結(jié)構(gòu)的好壞、優(yōu)劣直接影響著后續(xù)的管理維護(hù),趕在明天上班前分享總結(jié)個人MySQL建表、MySQL查詢優(yōu)化積累的一些實用小技巧。
創(chuàng)新互聯(lián)公司是一家專注于成都做網(wǎng)站、成都網(wǎng)站建設(shè)與策劃設(shè)計,土默特右旗網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)10余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:土默特右旗等地區(qū)。土默特右旗做網(wǎng)站價格咨詢:028-86922220
技巧一、數(shù)據(jù)表冗余記錄添加時間與更新時間
我們用到的很多數(shù)據(jù)表大多情況下都會有表記錄的“添加時間(add_time)”,我建議大家再新增一個記錄“更新時間(update_time)”字段,在我的工作里需要為市場部、運營部等建立各種報表,而很多報表里的數(shù)據(jù)都是需要到大記錄表里去查詢的,如果直接查詢大表的話,查詢速度相當(dāng)慢。那么,我們的解決辦法就是建立各種數(shù)據(jù)快照,數(shù)據(jù)快照都是通過腳本定時跑的。假如,哪一天原始數(shù)據(jù)表出現(xiàn)了問題,那么快照數(shù)據(jù)也會有問題,這個時候我們的快照腳本就得重新跑一份修復(fù)好了的數(shù)據(jù),這樣有了update_time更新時間這個字段,我們就能很快定位記錄更新的時間。
技巧二、不要拋棄insert
ignore
into與replace
into
大家肯定寫過一些腳本循環(huán)將記錄插入到數(shù)據(jù)表,例如使用PHP腳本。如果期間的一條SQL插入失敗,那么后續(xù)的插入將終止,你可以在腳本里繞過這個插入錯誤,一個好的辦法是使用ignore關(guān)鍵字來屏蔽插入錯誤。如果,你的數(shù)據(jù)表里已經(jīng)存在有將要插入的相同記錄,那么這個時候就會產(chǎn)生插入報錯,使用
insert
ignore
into將繞開這個錯誤,繼續(xù)下一條記錄的插入。
如果你的表結(jié)構(gòu)設(shè)計了唯一索引的話,那么使用replace
into來更新你的數(shù)據(jù)表記錄再好不過了,尤其是你在寫一個腳本的時候,你就不需要在腳本里先查詢數(shù)據(jù)表是否存在該條記錄,如果存在,則更新;如果不存在則插入。你可以直接使用replace
into,它會自動到數(shù)據(jù)表檢測,如果在唯一索引字段存在該值,則會先刪除該條記錄,然后再插入新記錄;如果唯一索引字段不存在該值,則直接插入數(shù)據(jù)表,簡單且非常實用。
技巧三、給你的表建立唯一索引
很多情況下建立表唯一索引,能給我們省下很多麻煩事,想上面說的replace
into就必須是有唯一索引,當(dāng)然,很多人喜歡用到的自增主鍵ID盡管也是唯一索引,我建議是能在其他經(jīng)常出現(xiàn)在where條件屁股后面的字段,并且值是唯一的話可以加個索引甚至唯一索引,查詢速度將會提高很多。
說在最后:當(dāng)然,insert
ignore
into與replace
into大家要根據(jù)自己的需求來確定,不一定就適合你現(xiàn)在的需求;我只是提示大家還有這么些個實用的小知識大家可以靈活運用到項目里邊。
新建一個lvm磁盤,這里我建的lv為mydatalv,掛載到了/data下
[root@localhost
~]#
lvs
LV
VG
Attr
LSize
Pool
Origin
Data%
Meta%
Move
Log
Cpy%Sync
Convert
mydatalv
mydata
-wi-ao----
1.00g
[root@localhost
~]#
df
-h
文件系統(tǒng)
容量
已用
可用
已用%
掛載點
/dev/mapper/mydata-mydatalv
976M
2.6M
907M
1%
/data
將原數(shù)據(jù)庫文件復(fù)制到/data目錄下
[root@localhost
~]#
cp
-a
/var/lib/mysql
/data/
修改配置文件,將mysql數(shù)據(jù)庫文件放在lvm盤中,二進(jìn)制文件放在非lvm盤的/var/lib/mysql/目錄下
[root@ns1
~]#
vim
/etc/my.cnf
[mysqld]
log_bin=/var/lib/mysql/mysql-bin
datadir=/data/mysql
[root@localhost
~]#
service
mariadb
restart
[root@localhost
~]#
ls
/data/mysql
aria_log.00000001
ibdata1
ib_logfile1
mysql-bin.000001
mysql-bin.000003
performance_schema
aria_log_control
ib_logfile0
mysql
mysql-bin.000002
mysql-bin.index
test
可以看到重啟后數(shù)據(jù)庫文件已存放在了/data/mysql目錄中了
對mysql進(jìn)行鎖表備份
[root@localhost
~]#
mysql
-e
'flush
tables
with
read
lock;'
鎖表
[root@localhost
~]#
mysql
-e
'flush
logs;'
對日志進(jìn)行滾動,
[root@localhost
~]#
mysql
-e
'show
master
status;'
/root/back.$(date
+%F+%T)
[root@localhost
~]#
ls
back.2016-07-13+10:14:29
對lv創(chuàng)建快照
[root@localhost
~]#
lvcreate
-L
1G
-n
mysqlback
-p
r
-s
/dev/mydata/mydatalv
釋放鎖
[root@localhost
~]#
mysql
-e
'unlock
tables;'
在別的磁盤上創(chuàng)建備份目錄,只讀掛載快照后備份至備份目錄
[root@localhost
~]#
mkdir
/myback
[root@localhost
~]#
mount
-r
/dev/mydata/mysqlback
/mnt
[root@localhost
~]#
cp
-a
/mnt/mysql
/myback
修改表內(nèi)容,然后刪除掉數(shù)據(jù)庫文件內(nèi)容即/data/mysql中的內(nèi)容
[root@localhost
~]#
mysql
MariaDB
[hellodb]
use
hellodb;
MariaDB
[hellodb]
insert
into
classes
(class,numofstu)
values
('xxoo',39);
[root@localhost
~]#
rm
-rf
/data/*
修改配置文件中二進(jìn)制日志和數(shù)據(jù)庫文件的位置
[root@localhost
~]#
vim
/etc/my.cnf
[mysqld]
log_bin=/data/mysql/mysql-bin
datadir=/data/mysql
利用/myback/中的內(nèi)容還原
[root@localhost
~]#
cp
-a
/myback/*
/data/
[root@localhost
~]#
service
mariadb
restart
利用二進(jìn)制日志還原快照后的操作,由下面這個文件來查看快照執(zhí)行時二進(jìn)制日志的位置
[root@localhost
~]#
cat
back.2016-07-13+10\:14\:29
File
Position
Binlog_Do_DB
Binlog_Ignore_DB
mysql-bin.000014
245
將000014中245之后的操作做成sql文件,進(jìn)行還原
[root@localhost
~]#
mysqlbinlog
--start-position=245
/var/lib/mysql/mysql-bin.000014
binlog.sql
[root@localhost
~]#
mysql
/root/binlog.sql
查看恢復(fù)情況
[root@localhost
~]#
mysql
MariaDB
[(none)]
use
hellodb;
MariaDB
[hellodb]
select
*
from
classes;
+---------+----------------+----------+
|
ClassID
|
Class
|
NumOfStu
|
+---------+----------------+----------+
|
1
|
Shaolin
Pai
|
10
|
|
2
|
Emei
Pai
|
7
|
|
3
|
QingCheng
Pai
|
11
|
|
4
|
Wudang
Pai
|
12
|
|
5
|
Riyue
Shenjiao
|
31
|
|
6
|
Lianshan
Pai
|
27
|
|
7
|
Ming
Jiao
|
27
|
|
8
|
Xiaoyao
Pai
|
15
|
|
9
|
xxoo
|
39
|
+---------+----------------+----------+
9
rows
in
set
(0.00
sec)
用數(shù)據(jù)庫快照就能實現(xiàn)啊.
Oracle快照原理及實現(xiàn)總結(jié)
Oracle數(shù)據(jù)庫的快照是一個表,它包含有對一個本地或遠(yuǎn)程數(shù)據(jù)庫上一個或多個表或視圖的查詢的結(jié)果。對于中大型數(shù)據(jù)庫,業(yè)務(wù)數(shù)據(jù)庫里所有的數(shù)據(jù)同步到另外一個處理服務(wù)器上最佳的選擇還是使用SnapShot方式,即快照的方式。
由于工作需要,今天需要將業(yè)務(wù)數(shù)據(jù)庫里所有的數(shù)據(jù)同步到另外一個處理服務(wù)器上。在做方案的時候,想了很多方法,當(dāng)然最快的辦法還是使用物理熱備的方式。
但是我個人認(rèn)為如果對于中大型數(shù)據(jù)庫(我們的數(shù)據(jù)庫有300G左右)最佳的選擇還是使用SnapShot方式,即快照的方式。
Oracle數(shù)據(jù)庫的快照是一個表,它包含有對一個本地或遠(yuǎn)程數(shù)據(jù)庫上一個或多個表或視圖的查詢的結(jié)果。也就是說快照根本的原理就是將本地或遠(yuǎn)程數(shù)據(jù)庫上的一個查詢結(jié)果保存在一個表中。
以下是我建立的Snapshot,目的是從業(yè)務(wù)數(shù)據(jù)庫上將數(shù)據(jù)Copy到處理數(shù)據(jù)庫上,是不同的兩個服務(wù)器之間對數(shù)據(jù)copy。
第一步:在處理服務(wù)器上的Oracle終端,建立database link,業(yè)務(wù)數(shù)據(jù)庫服務(wù)器SID為TEST
create database link TEST_DBLINK.US.ORACLE.COM
connect to AMICOS identified by AMICOS
using 'test';
第二步:在業(yè)務(wù)數(shù)據(jù)庫上對應(yīng)的表建立快照日志
Create snapshot log on A_Table;
第三步:建立Snapshot 快照名稱為:Test_SnapShot
Create snapshot Test_SnapShot
REFRESH COMPLETE START WITH SYSDATE NEXT SYSDATE+1/24
as select * from A_Table@TEST_DBLINK
說明:REFRESH是刷新方法
刷新方式有:COMPLETE和FAST兩種,而START WITH是說明開始執(zhí)行的時間。
Next是下次執(zhí)行的時間
而AS以后是構(gòu)成快照的查詢方法。
相關(guān)的方法:
更改快照
ALTER SNAPSHOT Test_SnapShot
REFRESH COMPLETE START WITH SYSDATE NEXT SYSDATE+1/2;
手動刷新快照 在命令界面執(zhí)行:
EXEC DBMS_SNAPSHOT.REFRESH('Test_SnapShot ','C');
第一個參數(shù)是要刷新的快照名
第二個參數(shù)是刷新的方式,F(xiàn)----FAST, C---COMPLETE
查看快照最后刷新的日期
SELECT NAME,LAST_REFRESH
FROM ALL_SNAPSHOT_REFRESH_TIMES;
最后非常的方案:
1:為需要做Snapshot的表建立Snapshot日志
create snapshot log on t1 with rowid; 這里使用ROWID建立日記的參數(shù)
2:采用Fast的方式建立快照,使用rowid做為參考參數(shù)
create snapshot fb_test_b refresh fast with rowid start with sysdate next sysdate+1/1440 as select * from fb_test_b@my_dblink;
最好能按照rowid來建立快照。要不然就必須要為表建立Primary Key。
MySQL數(shù)據(jù)同步主要有三種方式:
1.利用MySQL自身的數(shù)據(jù)庫同步功能
2.利用MySQL數(shù)據(jù)庫的特性(數(shù)據(jù)庫存在固頂目錄,并且以文件形式存儲),進(jìn)行數(shù)據(jù)庫目錄同步以達(dá)到數(shù)據(jù)同步目的
3.利用專用的MySQL數(shù)據(jù)庫同步軟件
1.利用MySQL自身的數(shù)據(jù)庫同步功能(下面參考自網(wǎng)上的文章,寫的非常詳細(xì)了)
MySQL從3.23.15版本以后提供數(shù)據(jù)庫復(fù)制功能。利用該功能可以實現(xiàn)兩個數(shù)據(jù)庫同步,主從模式,互相備份模式的功能.
數(shù)據(jù)庫同步復(fù)制功能的設(shè)置都在mysql的設(shè)置文件中體現(xiàn)。mysql的配置文件(一般是my.cnf),在unix環(huán)境下在/etc/mysql/my.cnf或者在mysql用戶的home目錄下的my.cnf。
windows環(huán)境中,如果c:根目錄下有my.cnf文件則取該配置文件。當(dāng)運行mysql的winmysqladmin.exe工具時候,該工具會把c:根目錄下的my.cnf命名為mycnf.bak。并在winnt目錄下創(chuàng)建my.ini。mysql服務(wù)器啟動時候會讀該配置文件。所以可以把my.cnf中的內(nèi)容拷貝到my.ini文件中,用my.ini文件作為mysql服務(wù)器的配置文件。
設(shè)置方法:
設(shè)置范例環(huán)境:
操作系統(tǒng):window2000professional
mysql:4.0.4-beta-max-nt-log
Aip:10.10.10.22
Bip:10.10.10.53
A:設(shè)置
1.增加一個用戶最為同步的用戶帳號:
GRANTFILEON*.*TObackup@'10.10.10.53'IDENTIFIEDBY‘1234’
2.增加一個數(shù)據(jù)庫作為同步數(shù)據(jù)庫:
createdatabasebackup
B:設(shè)置
1.增加一個用戶最為同步的用戶帳號:
GRANTFILEON*.*TObackup@'10.10.10.22'IDENTIFIEDBY‘1234’
2.增加一個數(shù)據(jù)庫作為同步數(shù)據(jù)庫:
createdatabasebackup
主從模式:A-B
A為master
修改Amysql的my.ini文件。在mysqld配置項中加入下面配置:
server-id=1
log-bin
#設(shè)置需要記錄log可以設(shè)置log-bin=c:mysqlbakmysqllog設(shè)置日志文件的目錄,
#其中mysqllog是日志文件的名稱,mysql將建立不同擴展名,文件名為mysqllog的幾個日志文件。
binlog-do-db=backup#指定需要日志的數(shù)據(jù)庫
重起數(shù)據(jù)庫服務(wù)。
用showmasterstatus命令看日志情況。
B為slave
修改Bmysql的my.ini文件。在mysqld配置項中加入下面配置:
server-id=2
master-host=10.10.10.22
master-user=backup#同步用戶帳號
master-password=1234
master-port=3306
master-connect-retry=60預(yù)設(shè)重試間隔60秒
replicate-do-db=backup告訴slave只做backup數(shù)據(jù)庫的更新
重起數(shù)據(jù)庫
用showslavestatus看同步配置情況。
注意:由于設(shè)置了slave的配置信息,mysql在數(shù)據(jù)庫目錄下生成master.info
所以如有要修改相關(guān)slave的配置要先刪除該文件。否則修改的配置不能生效。
雙機互備模式。
如果在A加入slave設(shè)置,在B加入master設(shè)置,則可以做B-A的同步。
在A的配置文件中mysqld配置項加入以下設(shè)置:
master-host=10.10.10.53
master-user=backup
master-password=1234
replicate-do-db=backup
master-connect-retry=10
在B的配置文件中mysqld配置項加入以下設(shè)置:
log-bin=c:mysqllogmysqllog
binlog-do-db=backup
注意:當(dāng)有錯誤產(chǎn)生時*.err日志文件。同步的線程退出,當(dāng)糾正錯誤后要讓同步機制進(jìn)行工作,運行slavestart
重起AB機器,則可以實現(xiàn)雙向的熱備。
測試:
向B批量插入大數(shù)據(jù)量表AA(1872000)條
A數(shù)據(jù)庫每秒鐘可以更新2500條數(shù)據(jù)。
2.數(shù)據(jù)庫目錄同步,方法和文件同步一樣,設(shè)置好需要同步的兩個數(shù)據(jù)庫目錄就可以了!
缺點很明顯,數(shù)據(jù)同步只能單向進(jìn)行,可以作為備份方案
3.用專用的MySQL同步軟件進(jìn)行同步
這方面的軟件有SQLBalance和MyReplicator,優(yōu)點是方便直觀,還有很多爭強功能!
缺點和2一樣,只能單項同步!
當(dāng)然你也可以修改鏡像網(wǎng)站的程序為提交數(shù)據(jù)到母數(shù)據(jù)庫,讀取則在當(dāng)前鏡像下的數(shù)據(jù),不過,修改起來麻煩!普通用戶修改也非常難!呵呵,大家了解一下就可以!給大家一個思路!有能力的朋友可以試試阿!
4.關(guān)于MySQL論壇的數(shù)據(jù)同步
由于數(shù)據(jù)來源的不可控制(不好表達(dá)),論壇數(shù)據(jù)是實時的,而且還要考慮來自鏡像論壇的數(shù)據(jù),如何實現(xiàn)鏡像論壇與母論壇數(shù)據(jù)同步呢?
用1中介紹的MySQL自帶的數(shù)據(jù)庫同步功能互相備份模式就可以實現(xiàn)的!
不過,具體的應(yīng)用我沒有測試!穩(wěn)定性不敢保證!
有能力的朋友推薦用下面這種思路來同步,相對來說減少點效率,但能減少發(fā)生的錯誤!
比如鏡像論壇數(shù)據(jù)同步:
1.母論壇和鏡像論壇的數(shù)據(jù)全寫在母論壇數(shù)據(jù)庫里,主從模式,讀取只在本地讀取,這個需要修改程序!
2.每次寫數(shù)據(jù),都同時提交到兩個數(shù)據(jù)庫中,安全,但是效率很差,也得修改程序!
MSSQL
MSSQL數(shù)據(jù)同步利用數(shù)據(jù)庫復(fù)制技術(shù)實現(xiàn)數(shù)據(jù)同步更新(來自網(wǎng)絡(luò),也是非常完美的教程)
復(fù)制的概念
復(fù)制是將一組數(shù)據(jù)從一個數(shù)據(jù)源拷貝到多個數(shù)據(jù)源的技術(shù),是將一份數(shù)據(jù)發(fā)布到多個存儲站點上的有效方式。使用復(fù)制技術(shù),用戶可以將一份數(shù)據(jù)發(fā)布到多臺服務(wù)器上,從而使不同的服務(wù)器用戶都可以在權(quán)限的許可的范圍內(nèi)共享這份數(shù)據(jù)。復(fù)制技術(shù)可以確保分布在不同地點的數(shù)據(jù)自動同步更新,從而保證數(shù)據(jù)的一致性。
SQL復(fù)制的基本元素包括
出版服務(wù)器、訂閱服務(wù)器、分發(fā)服務(wù)器、出版物、文章
SQL復(fù)制的工作原理
SQLSERVER主要采用出版物、訂閱的方式來處理復(fù)制。源數(shù)據(jù)所在的服務(wù)器是出版服務(wù)器,負(fù)責(zé)發(fā)表數(shù)據(jù)。出版服務(wù)器把要發(fā)表的數(shù)據(jù)的所有改變情況的拷貝復(fù)制到分發(fā)服務(wù)器,分發(fā)服務(wù)器包含有一個分發(fā)數(shù)據(jù)庫,可接收數(shù)據(jù)的所有改變,并保存這些改變,再把這些改變分發(fā)給訂閱服務(wù)器
SQLSERVER復(fù)制技術(shù)類型
SQLSERVER提供了三種復(fù)制技術(shù),分別是:
1、快照復(fù)制(呆會我們就使用這個)
2、事務(wù)復(fù)制
3、合并復(fù)制
只要把上面這些概念弄清楚了那么對復(fù)制也就有了一定的理解。接下來我們就一步一步來實現(xiàn)復(fù)制的步驟。
第一先來配置出版服務(wù)器
(1)選中指定[服務(wù)器]節(jié)點
(2)從[工具]下拉菜單的[復(fù)制]子菜單中選擇[發(fā)布、訂閱服務(wù)器和分發(fā)]命令
(3)系統(tǒng)彈出一個對話框點[下一步]然后看著提示一直操作到完成。
(4)當(dāng)完成了出版服務(wù)器的設(shè)置以后系統(tǒng)會為該服務(wù)器的樹形結(jié)構(gòu)中添加一個復(fù)制監(jiān)視器。同時也生成一個分發(fā)數(shù)據(jù)庫(distribution)
第二創(chuàng)建出版物
(1)選中指定的服務(wù)器
(2)從[工具]菜單的[復(fù)制]子菜單中選擇[創(chuàng)建和管理發(fā)布]命令。此時系統(tǒng)會彈出一個對話框
(3)選擇要創(chuàng)建出版物的數(shù)據(jù)庫,然后單擊[創(chuàng)建發(fā)布]
(4)在[創(chuàng)建發(fā)布向?qū)的提示對話框中單擊[下一步]系統(tǒng)就會彈出一個對話框。對話框上的內(nèi)容是復(fù)制的三個類型。我們現(xiàn)在選第一個也就是默認(rèn)的快照發(fā)布(其他兩個大家可以去看看幫助)
(5)單擊[下一步]系統(tǒng)要求指定可以訂閱該發(fā)布的數(shù)據(jù)庫服務(wù)器類型,SQLSERVER允許在不同的數(shù)據(jù)庫如ORACLE或ACCESS之間進(jìn)行數(shù)據(jù)復(fù)制。但是在這里我們選擇運行"SQLSERVER2000"的數(shù)據(jù)庫服務(wù)器
(6)單擊[下一步]系統(tǒng)就彈出一個定義文章的對話框也就是選擇要出版的表
(7)然后[下一步]直到操作完成。當(dāng)完成出版物的創(chuàng)建后創(chuàng)建出版物的數(shù)據(jù)庫也就變成了一個共享數(shù)據(jù)庫。
第三設(shè)計訂閱
(1)選中指定的訂閱服務(wù)器
(2)從[工具]下拉菜單中選擇[復(fù)制]子菜單的[請求訂閱]
(3)按照單擊[下一步]操作直到系統(tǒng)會提示檢查SQLSERVER代理服務(wù)的運行狀態(tài),執(zhí)行復(fù)制操作的前提條件是SQLSERVER代理服務(wù)必須已經(jīng)啟動。
(4)單擊[完成]。完成訂閱操作。
完成上面的步驟其實復(fù)制也就是成功了。但是如何來知道復(fù)制是否成功了呢?這里可以通過這種方法來快速看是否成功。展開出版服務(wù)器下面的復(fù)制——發(fā)布內(nèi)容——右鍵發(fā)布內(nèi)容——屬性——擊活——狀態(tài)然后點立即運行代理程序接著點代理程序?qū)傩該艋钫{(diào)度把調(diào)度設(shè)置為每一天發(fā)生,每一分鐘,在0:00:00和23:59:59之間。接下來就是判斷復(fù)制是否成功了打開C:/ProgramFiles/MicrosoftSQLServer/MSSQL/REPLDATA/unc/XIAOWANGZI_database_database下面看是不是有一些以時間做為文件名的文件夾差不多一分中就產(chǎn)生一個。要是你還不信的話就打開你的數(shù)據(jù)庫看在訂閱的服務(wù)器的指定訂閱數(shù)據(jù)庫下看是不是看到了你剛才所發(fā)布的表—
一個手工同步的方案
--定時同步服務(wù)器上的數(shù)據(jù)
--例子:
--測試環(huán)境,SQLServer2000,遠(yuǎn)程服務(wù)器名:xz,用戶名為:sa,無密碼,測試數(shù)據(jù)庫:test
--服務(wù)器上的表(查詢分析器連接到服務(wù)器上創(chuàng)建)
createtable[user](idintprimarykey,numbervarchar(4),namevarchar(10))
go
--以下在局域網(wǎng)(本機操作)
--本機的表,state說明:null表示新增記錄,1表示修改過的記錄,0表示無變化的記錄
ifexists(select*fromdbo.sysobjectswhereid=object_id(N'[user]')andOBJECTPROPERTY(id,N'IsUserTable')=1)
droptable[user]
GO
createtable[user](idintidentity(1,1),numbervarchar(4),namevarchar(10),statebit)
go
--創(chuàng)建觸發(fā)器,維護(hù)state字段的值
createtriggert_stateon[user]
afterupdate
as
update[user]setstate=1
from[user]ajoininsertedbona.id=b.id
wherea.stateisnotnull
go
--為了方便同步處理,創(chuàng)建鏈接服務(wù)器到要同步的服務(wù)器
--這里的遠(yuǎn)程服務(wù)器名為:xz,用戶名為:sa,無密碼
ifexists(select1frommaster..sysserverswheresrvname='srv_lnk')
execsp_dropserver'srv_lnk','droplogins'
go
execsp_addlinkedserver'srv_lnk','','SQLOLEDB','xz'
execsp_addlinkedsrvlogin'srv_lnk','false',null,'sa'
go
--創(chuàng)建同步處理的存儲過程
ifexists(select*fromdbo.sysobjectswhereid=object_id(N'[dbo].[p_synchro]')andOBJECTPROPERTY(id,N'IsProcedure')=1)
dropprocedure[dbo].[p_synchro]
GO
createprocp_synchro
as
--setXACT_ABORTon
--啟動遠(yuǎn)程服務(wù)器的MSDTC服務(wù)
--execmaster..xp_cmdshell'isql/S"xz"/U"sa"/P""/q"execmaster..xp_cmdshell''netstartmsdtc'',no_output"',no_output
--啟動本機的MSDTC服務(wù)
--execmaster..xp_cmdshell'netstartmsdtc',no_output
--進(jìn)行分布事務(wù)處理,如果表用標(biāo)識列做主鍵,用下面的方法
--BEGINDISTRIBUTEDTRANSACTION
--同步刪除的數(shù)據(jù)
deletefromsrv_lnk.test.dbo.[user]
whereidnotin(selectidfrom[user])
--同步新增的數(shù)據(jù)
insertintosrv_lnk.test.dbo.[user]
selectid,number,namefrom[user]wherestateisnull
--同步修改的數(shù)據(jù)
updatesrv_lnk.test.dbo.[user]set
number=b.number,name=b.name
fromsrv_lnk.test.dbo.[user]a
join[user]bona.id=b.id
whereb.state=1
--同步后更新本機的標(biāo)志
update[user]setstate=0whereisnull(state,1)=1
--COMMITTRAN
go
--創(chuàng)建作業(yè),定時執(zhí)行數(shù)據(jù)同步的存儲過程
ifexists(SELECT1frommsdb..sysjobswherename='數(shù)據(jù)處理')
EXECUTEmsdb.dbo.sp_delete_job@job_name='數(shù)據(jù)處理'
execmsdb..sp_add_job@job_name='數(shù)據(jù)處理'
--創(chuàng)建作業(yè)步驟
declare@sqlvarchar(800),@dbnamevarchar(250)
select@sql='execp_synchro'--數(shù)據(jù)處理的命令
,@dbname=db_name()--執(zhí)行數(shù)據(jù)處理的數(shù)據(jù)庫名
execmsdb..sp_add_jobstep@job_name='數(shù)據(jù)處理',
@step_name='數(shù)據(jù)同步',
@subsystem='TSQL',
@database_name=@dbname,
@command=@sql,
@retry_attempts=5,--重試次數(shù)
@retry_interval=5--重試間隔
--創(chuàng)建調(diào)度
EXECmsdb..sp_add_jobschedule@job_name='數(shù)據(jù)處理',
@name='時間安排',
@freq_type=4,--每天
@freq_interval=1,--每天執(zhí)行一次
@active_start_time=00000--0點執(zhí)行
go
快照讀 即: snapshot read ,官方叫法是: Consistent Nonlocking Reads ,即: 一致性非鎖定讀 ,官方的解釋是:
即:
即 快照讀 的問題在于:在同一個事務(wù)中,能夠讀取到之前提交的數(shù)據(jù)。表現(xiàn)為:
字面意思:在事務(wù)中,為查詢創(chuàng)建的快照,并不適用與 DML 語句。
也就是說:如果事務(wù) A 開始時創(chuàng)建的快照,查詢不到數(shù)據(jù) col1=1 ,但此時事務(wù) B 剛剛提交 insert col1=1 和 insert col1=1 ,此時如果事務(wù) A 執(zhí)行, delete col1=1 ,是能將事務(wù) B 生成的數(shù)據(jù)刪除的。
字面意思:即使事務(wù) A 的快照是在事務(wù) B 提交之前創(chuàng)建的,但事務(wù) A 也只有在事務(wù) A 和事務(wù) B 都提交后,才能看到事務(wù) B 新增的數(shù)據(jù)。
首先我們做一個模擬,執(zhí)行以下的sql,其中有如下圖數(shù)據(jù):
我把執(zhí)行結(jié)果按照表格如下展示:
分析:
在會話1當(dāng)中,只有當(dāng)會話1的事務(wù)提交后,才能查到最終會話2更改的數(shù)據(jù)。
在會話2當(dāng)中,開啟事務(wù)后更新數(shù)據(jù),之后查詢發(fā)現(xiàn)數(shù)據(jù)變成了17。
針對上面的現(xiàn)象我們進(jìn)行個原理分析:
實際上產(chǎn)生上述顯現(xiàn)是因為InnoDB采用的MVCC(多版本并發(fā)控制),其中針對每條數(shù)據(jù)會有它自己的事務(wù)id,以及一個最大事務(wù)id。針對事務(wù)中數(shù)據(jù)每次修改,會產(chǎn)生不同的版本。
1)假設(shè)開始id = 2的數(shù)據(jù),其事務(wù)txid = 1000;
2)當(dāng)會話1開始,此時txid變成了1001,而會話2開啟,txid又變成了1002,同理會話3會變成1003,此時都生成了不同版本的快照。
3)會話1在事務(wù)當(dāng)中去讀取時候,采用了快照讀的方式,即拿到一個1001的事務(wù)id,此時只會讀取小于等于自己版本的數(shù)據(jù),所以在事務(wù)中最終只能拿到值為17的數(shù)據(jù)。
4)會話2在更新數(shù)據(jù)的時候,采用的當(dāng)前讀的方式,即對數(shù)據(jù)增加X鎖,獲取最新的事務(wù)id,讀取最新的版本數(shù)據(jù)。所以在更新之前,就讀取到了age的年齡是16,之后在進(jìn)行+1,得到17.
總結(jié)一下:
快照讀 解決了幻讀的問題,即多次讀取數(shù)據(jù)不一致的問題。
update、insert、delete都會執(zhí)行 當(dāng)前讀 ,防止并發(fā)更新數(shù)據(jù)導(dǎo)致數(shù)據(jù)錯誤,此過程或添加X鎖。