安裝步驟有:
超過10年行業(yè)經(jīng)驗,技術(shù)領(lǐng)先,服務(wù)至上的經(jīng)營模式,全靠網(wǎng)絡(luò)和口碑獲得客戶,為自己降低成本,也就是為客戶降低成本。到目前業(yè)務(wù)范圍包括了:網(wǎng)站建設(shè)、成都做網(wǎng)站,成都網(wǎng)站推廣,成都網(wǎng)站優(yōu)化,整體網(wǎng)絡(luò)托管,重慶小程序開發(fā),微信開發(fā),app開發(fā)定制,同時也可以讓客戶的網(wǎng)站和網(wǎng)絡(luò)營銷和我們一樣獲得訂單和生意!
1. 依賴包
2. ruby
3. 用戶創(chuàng)建
4. 數(shù)據(jù)庫初始化
5. redis
6. gitlab源碼
7. apache
本文可能會用到VPN連接,在命令行下創(chuàng)建VPN連接的方法如下:
sudo apt-get install pptp-linux
sudo pptpsetup --create VPN名稱 --server 服務(wù)器地址 --username 用戶名 --password 密碼 [--encrypt] --start
以上命令會創(chuàng)建一個設(shè)備,如果沒有其他的撥號設(shè)備,這個設(shè)備會是ppp0,用ifconfig可以看到,“--encrypt”選項可選,因為有的服務(wù)器不支持,會提示MPPE required but peer negotiation failed,創(chuàng)建時帶上“--start”選項可以看到連接的情況。
pptpsetup創(chuàng)建的VPN連接重啟后會失效,如果想在不重啟的情況下刪除VPN連接:
sudo pptpsetup --delete VPN名稱
創(chuàng)建VPN連接后還需要使能,并且添加到路由列表:
sudo pon VPN名稱
sudo route add default dev ppp0
禁用VPN連接的方法是:
sudo poff VPN名稱
下面開始正文:
1. 依賴包
我裝的是ubuntu server 14.04,安裝的時候可以選是否安裝LAMP(Linux+Apache+MySQL+PHP),如果沒裝,可以用下面的命令裝:
sudo tasksel install lamp-server
安裝的時候會提示輸入MySQL的root密碼,下面要用。
接下來是依賴關(guān)系:
sudo apt-get install flex bison ruby build-essential zlib1g-dev libyaml-dev libssl-dev libgdbm-dev libreadline-dev libncurses5-dev libffi-dev curl openssh-server redis-server checkinstall libxml2-dev libxslt-dev libcurl4-openssl-dev libicu-dev logrotate python-docutils pkg-config cmake libkrb5-dev nodejs git-core
注意:這里面裝了ruby,應(yīng)該是1.9.1版本的,gitlab需要2.0以上的ruby,但是安裝2.0以上的ruby需要低版本的ruby,所以我們先裝上,一會兒卸掉。另外,ubuntu 14.04的軟件庫里有ruby 2.0,但是實測不能用,所以還是從源碼裝ruby吧。
2. ruby
下載,編譯,安裝(安裝前刪掉ruby 1.9.1):
curl -L --progress | tar xz
cd ruby-2.1.5
./configure --prefix=/usr --disable-install-rdoc
makesudo apt-get autoremove ruby
sudo make install
然后安裝bundler:
sudo gem install bundler --no-ri --no-rdoc
3. 用戶創(chuàng)建
為gitlab創(chuàng)建一個git用戶:
sudo adduser --disabled-login --gecos 'GitLab' git
4. 數(shù)據(jù)庫初始化
官方指南用的是PostgreSQL,不過官方也有MySQL的說明:
sudo apt-get install -y mysql-server mysql-client libmysqlclient-dev
mysql -u root -p
輸入MySQL的root密碼登陸,然后:
mysql CREATE USER 'git'@'localhost' IDENTIFIED BY '$password';
記得把上面這句的"$password"換成實際的密碼,然后:
mysql SET storage_engine=INNODB;
mysql CREATE DATABASE IF NOT EXISTS `gitlabhq_production` DEFAULT CHARACTER SET `utf8` COLLATE `utf8_unicode_ci`;
mysql GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER, LOCK TABLES ON `gitlabhq_production`.* TO 'git'@'localhost';
mysql \q
5. Redis
Redis貌似是用來存key的數(shù)據(jù)庫吧,不知道,反正按步驟安裝:
sudo apt-get install redis-server
sudo cp /etc/redis/redis.conf /etc/redis/redis.conf.orig
sed 's/^port .*/port 0/' /etc/redis/redis.conf.orig | sudo tee /etc/redis/redis.conf
echo 'unixsocket /var/run/redis/redis.sock' | sudo tee -a /etc/redis/redis.conf
echo 'unixsocketperm 770' | sudo tee -a /etc/redis/redis.conf
sudo service redis-server restart
sudo usermod -aG redis git
6. gitlab源碼
gitlab源碼默認是安裝在/home/git/gitlab,如果要更改,請參照官方手冊。獲取中文版源碼的過程如下:
cd /home/gitsudo -u git -H git clone
不知道是因為GFW還是什么,git clone這個版本庫可慢可慢了,我用了VPN,速度會快點。git clone完以后可以checkout你想要的版本,在本文編寫的時間(2015年4月22日),可以:
sudo -u git -H git checkout 7-7-zh
然后配置源碼
cd /home/git/gitlab
sudo -u git -H cp config/gitlab.yml.example config/gitlab.yml
sudo chown -R git log/
sudo chown -R git tmp/
sudo chmod -R u+rwX,go-w log/
sudo chmod -R u+rwX tmp/
sudo -u git -H mkdir /home/git/gitlab-satellites
sudo chmod u+rwx,g=rx,o-rwx /home/git/gitlab-satellites
sudo chmod -R u+rwX tmp/pids/
sudo chmod -R u+rwX tmp/sockets/
sudo chmod -R u+rwX public/uploads
sudo -u git -H cp config/unicorn.rb.example config/unicorn.rb
sudo -u git -H cp config/initializers/rack_attack.rb.example config/initializers/rack_attack.rb
sudo -u git -H git config --global user.name "GitLab"
sudo -u git -H git config --global user.email "example@example.com"
sudo -u git -H git config --global core.autocrlf input
sudo -u git -H cp config/resque.yml.example config/resque.yml
當(dāng)然,你可以把example@example.com改成你的email;上面的那些yml文件里面的配置基本都不用更改;然后,配置數(shù)據(jù)庫用戶名和密碼:
sudo -u git cp config/database.yml.mysql config/database.yml
sudo -u git -H editor config/database.ymlsudo -u git -H chmod o-rwx config/database.yml
然后,安裝gems:
sudo -u git -H bundle install --deployment --without development test postgres aws
這一步必須使用VPN,因為萬惡的GFW屏蔽了rubygems.org,所以會提示connection reset by peer之類的,這部時間也會比較久,如果你的機器是多核的,也可以加上和make相同-jN參數(shù),N等于核數(shù)。
(2015年5月2日追加)發(fā)現(xiàn)淘寶做了個rubygrems.org的國內(nèi)鏡像,,可以參照上面的內(nèi)容設(shè)置,加快gems安裝速度。
再接下來安裝gitlab shell:
sudo -u git -H bundle exec rake gitlab:shell:install[v2.6.0] REDIS_URL=unix:/var/run/redis/redis.sock RAILS_ENV=production
sudo -u git -H editor /home/git/gitlab-shell/config.yml
把gitlab的url改成或者你的域名。在接下來初始化數(shù)據(jù)庫:
sudo -u git -H bundle exec rake gitlab:setup RAILS_ENV=production
加入啟動項:
sudo cp lib/support/init.d/gitlab /etc/init.d/gitlab
sudo update-rc.d gitlab defaults 21
初始化日志:
sudo cp lib/support/logrotate/gitlab /etc/logrotate.d/gitlab
檢查應(yīng)用狀態(tài):
sudo -u git -H bundle exec rake gitlab:env:info RAILS_ENV=production
編譯附件:
sudo -u git -H bundle exec rake assets:precompile RAILS_ENV=production
啟動gitlab服務(wù):
sudo service gitlab start
7. apache
下載apache的配置文件:將其中的“ProxyPassReverse
”改成“ProxyPassReverse
”或者你的域名,將其中的“/var/log/httpd/logs/”改為“/var/log/apache2/”。用命令來說:
wget gitlab-apache2.4.conf 001-gitlab.confeditor 001-gitlab.conf (進行上述修改)sudo cp 001-gitlab.conf /etc/apache2/sites-availablecd /etc/apache2/sites-enabledsudo rm 000-default.confsudo ln -s ../sites-available/001-gitlab.conf 001-gitlab.conf
另外,還需要使能代理模塊以實現(xiàn)反向代理功能,不然會提示“ProxyPassReverse”無效之類的。
cd /etc/apache2/mods-enabledsudo ln -s ../mods-available/proxy.conf proxy.confsudo ln -s ../mods-available/proxy.load proxy.loadsudo ln -s ../mods-available/proxy_connect.load proxy_connect.loadsudo ln -s ../mods-available/proxy_http.load proxy_http.loadsudo ln -s ../mods-available/rewrite.load rewrite.load
重啟apache:
sudo service apache2 restart
然后,檢查下配置是否正確:
sudo -u git -H bundle exec rake gitlab:check RAILS_ENV=production
如果都是綠色的結(jié)果,那就可以訪問了。登陸用戶名:root,初始密碼:5iveL!fe
最后配置一下郵件,修改/home/git/gitlab/config/gitlab.yml,里面的“email_from:”為一個有效的email地址;修改/home/git/gitlab/config/environments/production.rb,里面的 “config.action_mailer.delivery_method=”為“:smtp”;最后:
cd /home/git/gitlab/config/initializers
sudo -u git -H cp smtp_settings.rb.sample smtp_settings.rb
然后把文件的里的內(nèi)容修改正確了,再重啟一下gitlab服務(wù)就行了:
sudo service gitlab restart
特性 MySQL PostgreSQL
實例 通過執(zhí)行 MySQL 命令(mysqld)啟動實例。一個實例可以管理一個或多個數(shù)據(jù)庫。一臺服務(wù)器可以運行多個 mysqld 實例。一個實例管理器可以監(jiān)視 mysqld 的各個實例。
通過執(zhí)行 Postmaster 進程(pg_ctl)啟動實例。一個實例可以管理一個或多個數(shù)據(jù)庫,這些數(shù)據(jù)庫組成一個集群。集群是磁盤上的一個區(qū)域,這個區(qū)域在安裝時初始化并由一個目錄組成,所有數(shù)據(jù)都存儲在這個目錄中。使用 initdb 創(chuàng)建第一個數(shù)據(jù)庫。一臺機器上可以啟動多個實例。
數(shù)據(jù)庫 數(shù)據(jù)庫是命名的對象集合,是與實例中的其他數(shù)據(jù)庫分離的實體。一個 MySQL 實例中的所有數(shù)據(jù)庫共享同一個系統(tǒng)編目。 數(shù)據(jù)庫是命名的對象集合,每個數(shù)據(jù)庫是與其他數(shù)據(jù)庫分離的實體。每個數(shù)據(jù)庫有自己的系統(tǒng)編目,但是所有數(shù)據(jù)庫共享 pg_databases。
數(shù)據(jù)緩沖區(qū) 通過 innodb_buffer_pool_size 配置參數(shù)設(shè)置數(shù)據(jù)緩沖區(qū)。這個參數(shù)是內(nèi)存緩沖區(qū)的字節(jié)數(shù),InnoDB 使用這個緩沖區(qū)來緩存表的數(shù)據(jù)和索引。在專用的數(shù)據(jù)庫服務(wù)器上,這個參數(shù)最高可以設(shè)置為機器物理內(nèi)存量的 80%。 Shared_buffers 緩存。在默認情況下分配 64 個緩沖區(qū)。默認的塊大小是 8K??梢酝ㄟ^設(shè)置 postgresql.conf 文件中的 shared_buffers 參數(shù)來更新緩沖區(qū)緩存。
數(shù)據(jù)庫連接 客戶機使用 CONNECT 或 USE 語句連接數(shù)據(jù)庫,這時要指定數(shù)據(jù)庫名,還可以指定用戶 id 和密碼。使用角色管理數(shù)據(jù)庫中的用戶和用戶組。 客戶機使用 connect 語句連接數(shù)據(jù)庫,這時要指定數(shù)據(jù)庫名,還可以指定用戶 id 和密碼。使用角色管理數(shù)據(jù)庫中的用戶和用戶組。
身份驗證 MySQL 在數(shù)據(jù)庫級管理身份驗證。 基本只支持密碼認證。 PostgreSQL 支持豐富的認證方法:信任認證、口令認證、Kerberos 認證、基于 Ident 的認證、LDAP 認證、PAM 認證
加密 可以在表級指定密碼來對數(shù)據(jù)進行加密。還可以使用 AES_ENCRYPT 和 AES_DECRYPT 函數(shù)對列數(shù)據(jù)進行加密和解密??梢酝ㄟ^ SSL 連接實現(xiàn)網(wǎng)絡(luò)加密。 可以使用 pgcrypto 庫中的函數(shù)對列進行加密/解密??梢酝ㄟ^ SSL 連接實現(xiàn)網(wǎng)絡(luò)加密。
審計 可以對 querylog 執(zhí)行 grep。 可以在表上使用 PL/pgSQL 觸發(fā)器來進行審計。
查詢解釋 使用 EXPLAIN 命令查看查詢的解釋計劃。 使用 EXPLAIN 命令查看查詢的解釋計劃。
備份、恢復(fù)和日志 InnoDB 使用寫前(write-ahead)日志記錄。支持在線和離線完全備份以及崩潰和事務(wù)恢復(fù)。需要第三方軟件才能支持熱備份。 在數(shù)據(jù)目錄的一個子目錄中維護寫前日志。支持在線和離線完全備份以及崩潰、時間點和事務(wù)恢復(fù)。 可以支持熱備份。
JDBC 驅(qū)動程序 可以從 參考資料 下載 JDBC 驅(qū)動程序。 可以從 參考資料 下載 JDBC 驅(qū)動程序。
表類型 取決于存儲引擎。例如,NDB 存儲引擎支持分區(qū)表,內(nèi)存引擎支持內(nèi)存表。 支持臨時表、常規(guī)表以及范圍和列表類型的分區(qū)表。不支持哈希分區(qū)表。 由于PostgreSQL的表分區(qū)是通過表繼承和規(guī)則系統(tǒng)完成了,所以可以實現(xiàn)更復(fù)雜的分區(qū)方式。
索引類型 取決于存儲引擎。MyISAM:BTREE,InnoDB:BTREE。 支持 B-樹、哈希、R-樹和 Gist 索引。
約束 支持主鍵、外鍵、惟一和非空約束。對檢查約束進行解析,但是不強制實施。 支持主鍵、外鍵、惟一、非空和檢查約束。
存儲過程和用戶定義函數(shù) 支持 CREATE PROCEDURE 和 CREATE FUNCTION 語句。存儲過程可以用 SQL 和 C++ 編寫。用戶定義函數(shù)可以用 SQL、C 和 C++ 編寫。 沒有單獨的存儲過程,都是通過函數(shù)實現(xiàn)的。用戶定義函數(shù)可以用 PL/pgSQL(專用的過程語言)、PL/Tcl、PL/Perl、PL/Python 、SQL 和 C 編寫。
觸發(fā)器 支持行前觸發(fā)器、行后觸發(fā)器和語句觸發(fā)器,觸發(fā)器語句用過程語言復(fù)合語句編寫。 支持行前觸發(fā)器、行后觸發(fā)器和語句觸發(fā)器,觸發(fā)器過程用 C 編寫。
系統(tǒng)配置文件 my.conf Postgresql.conf
數(shù)據(jù)庫配置 my.conf Postgresql.conf
客戶機連接文件 my.conf pg_hba.conf
XML 支持 有限的 XML 支持。 有限的 XML 支持。
數(shù)據(jù)訪問和管理服務(wù)器 OPTIMIZE TABLE —— 回收未使用的空間并消除數(shù)據(jù)文件的碎片
myisamchk -analyze —— 更新查詢優(yōu)化器所使用的統(tǒng)計數(shù)據(jù)(MyISAM 存儲引擎)
mysql —— 命令行工具
MySQL Administrator —— 客戶機 GUI 工具 Vacuum —— 回收未使用的空間
Analyze —— 更新查詢優(yōu)化器所使用的統(tǒng)計數(shù)據(jù)
psql —— 命令行工具
pgAdmin —— 客戶機 GUI 工具
并發(fā)控制 支持表級和行級鎖。InnoDB 存儲引擎支持 READ_COMMITTED、READ_UNCOMMITTED、REPEATABLE_READ 和 SERIALIZABLE。使用 SET TRANSACTION ISOLATION LEVEL 語句在事務(wù)級設(shè)置隔離級別。 支持表級和行級鎖。支持的 ANSI 隔離級別是 Read Committed(默認 —— 能看到查詢啟動時數(shù)據(jù)庫的快照)和 Serialization(與 Repeatable Read 相似 —— 只能看到在事務(wù)啟動之前提交的結(jié)果)。使用 SET TRANSACTION 語句在事務(wù)級設(shè)置隔離級別。使用 SET SESSION 在會話級進行設(shè)置。
MySQL相對于PostgreSQL的劣勢:
MySQL
PostgreSQL
最重要的引擎InnoDB很早就由Oracle公司控制。目前整個MySQL數(shù)據(jù)庫都由Oracle控制。
BSD協(xié)議,沒有被大公司壟斷。
對復(fù)雜查詢的處理較弱,查詢優(yōu)化器不夠成熟
很強大的查詢優(yōu)化器,支持很復(fù)雜的查詢處理。
只有一種表連接類型:嵌套循環(huán)連接(nested-loop),不支持排序-合并連接(sort-merge join)與散列連接(hash join)。
都支持
性能優(yōu)化工具與度量信息不足
提供了一些性能視圖,可以方便的看到發(fā)生在一個表和索引上的select、delete、update、insert統(tǒng)計信息,也可以看到cache命中率。網(wǎng)上有一個開源的pgstatspack工具。
InnoDB的表和索引都是按相同的方式存儲。也就是說表都是索引組織表。這一般要求主鍵不能太長而且插入時的主鍵最好是按順序遞增,否則對性能有很大影響。
不存在這個問題。
大部分查詢只能使用表上的單一索引;在某些情況下,會存在使用多個索引的查詢,但是查詢優(yōu)化器通常會低估其成本,它們常常比表掃描還要慢。
不存在這個問題
表增加列,基本上是重建表和索引,會花很長時間。
表增加列,只是在數(shù)據(jù)字典中增加表定義,不會重建表
存儲過程與觸發(fā)器的功能有限??捎脕砭帉懘鎯^程、觸發(fā)器、計劃事件以及存儲函數(shù)的語言功能較弱
除支持pl/pgsql寫存儲過程,還支持perl、python、Tcl類型的存儲過程:pl/perl,pl/python,pl/tcl。
也支持用C語言寫存儲過程。
不支持Sequence。
支持
不支持函數(shù)索引,只能在創(chuàng)建基于具體列的索引。
不支持物化視圖。
支持函數(shù)索引,同時還支持部分數(shù)據(jù)索引,通過規(guī)則系統(tǒng)可以實現(xiàn)物化視圖的功能。
執(zhí)行計劃并不是全局共享的, 僅僅在連接內(nèi)部是共享的。
執(zhí)行計劃共享
MySQL支持的SQL語法(ANSI SQL標準)的很小一部分。不支持遞歸查詢、通用表表達式(Oracle的with 語句)或者窗口函數(shù)(分析函數(shù))。
都 支持
不支持用戶自定義類型或域(domain)
支持。
對于時間、日期、間隔等時間類型沒有秒以下級別的存儲類型
可以精確到秒以下。
身份驗證功能是完全內(nèi)置的,不支持操作系統(tǒng)認證、PAM認證,不支持LDAP以及其它類似的外部身份驗證功能。
支持OS認證、Kerberos 認證 、Ident 的認證、LDAP 認證、PAM 認證
不支持database link。有一種叫做Federated的存儲引擎可以作為一個中轉(zhuǎn)將查詢語句傳遞到遠程服務(wù)器的一個表上,不過,它功能很粗糙并且漏洞很多
有dblink,同時還有一個dbi-link的東西,可以連接到oracle和mysql上。
Mysql Cluster可能與你的想象有較大差異。開源的cluster軟件較少。
復(fù)制(Replication)功能是異步的,并且有很大的局限性.例如,它是單線程的(single-threaded),因此一個處理能力更強的Slave的恢復(fù)速度也很難跟上處理能力相對較慢的Master.
有豐富的開源cluster軟件支持。
explain看執(zhí)行計劃的結(jié)果簡單。
explain返回豐富的信息。
類似于ALTER TABLE或CREATE TABLE一類的操作都是非事務(wù)性的.它們會提交未提交的事務(wù),并且不能回滾也不能做災(zāi)難恢復(fù)
DDL也是有事務(wù)的。
PostgreSQL主要優(yōu)勢:
1. PostgreSQL完全免費,而且是BSD協(xié)議,如果你把PostgreSQL改一改,然后再拿去賣錢,也沒有人管你,這一點很重要,這表明了PostgreSQL數(shù)據(jù)庫不會被其它公司控制。oracle數(shù)據(jù)庫不用說了,是商業(yè)數(shù)據(jù)庫,不開放。而MySQL數(shù)據(jù)庫雖然是開源的,但現(xiàn)在隨著SUN被oracle公司收購,現(xiàn)在基本上被oracle公司控制,其實在SUN被收購之前,MySQL中最重要的InnoDB引擎也是被oracle公司控制的,而在MySQL中很多重要的數(shù)據(jù)都是放在InnoDB引擎中的,反正我們公司都是這樣的。所以如果MySQL的市場范圍與oracle數(shù)據(jù)庫的市場范圍沖突時,oracle公司必定會犧牲MySQL,這是毫無疑問的。
2. 與PostgreSQl配合的開源軟件很多,有很多分布式集群軟件,如pgpool、pgcluster、slony、plploxy等等,很容易做讀寫分離、負載均衡、數(shù)據(jù)水平拆分等方案,而這在MySQL下則比較困難。
3. PostgreSQL源代碼寫的很清晰,易讀性比MySQL強太多了,懷疑MySQL的源代碼被混淆過。所以很多公司都是基本PostgreSQL做二次開發(fā)的。
4. PostgreSQL在很多方面都比MySQL強,如復(fù)雜SQL的執(zhí)行、存儲過程、觸發(fā)器、索引。同時PostgreSQL是多進程的,而MySQL是線程的,雖然并發(fā)不高時,MySQL處理速度快,但當(dāng)并發(fā)高的時候,對于現(xiàn)在多核的單臺機器上,MySQL的總體處理性能不如PostgreSQL,原因是MySQL的線程無法充分利用CPU的能力。
目前只想到這些,以后想到再添加,歡迎大家拍磚。
PostgreSQL與oracle或InnoDB的多版本實現(xiàn)的差別
PostgreSQL與oracle或InnoDB的多版本實現(xiàn)最大的區(qū)別在于最新版本和歷史版本是否分離存儲,PostgreSQL不分,而oracle和InnoDB分,而innodb也只是分離了數(shù)據(jù),索引本身沒有分開。
PostgreSQL的主要優(yōu)勢在于:
1. PostgreSQL沒有回滾段,而oracle與innodb有回滾段,oracle與Innodb都有回滾段。對于oracle與Innodb來說,回滾段是非常重要的,回滾段損壞,會導(dǎo)致數(shù)據(jù)丟失,甚至數(shù)據(jù)庫無法啟動的嚴重問題。另由于PostgreSQL沒有回滾段,舊數(shù)據(jù)都是記錄在原先的文件中,所以當(dāng)數(shù)據(jù)庫異常crash后,恢復(fù)時,不會象oracle與Innodb數(shù)據(jù)庫那樣進行那么復(fù)雜的恢復(fù),因為oracle與Innodb恢復(fù)時同步需要redo和undo。所以PostgreSQL數(shù)據(jù)庫在出現(xiàn)異常crash后,數(shù)據(jù)庫起不來的幾率要比oracle和mysql小一些。
2. 由于舊的數(shù)據(jù)是直接記錄在數(shù)據(jù)文件中,而不是回滾段中,所以不會象oracle那樣經(jīng)常報ora-01555錯誤。
3. 回滾可以很快完成,因為回滾并不刪除數(shù)據(jù),而oracle與Innodb,回滾時很復(fù)雜,在事務(wù)回滾時必須清理該事務(wù)所進行的修改,插入的記錄要刪除,更新的記錄要更新回來(見row_undo函數(shù)),同時回滾的過程也會再次產(chǎn)生大量的redo日志。
4. WAL日志要比oracle和Innodb簡單,對于oracle不僅需要記錄數(shù)據(jù)文件的變化,還要記錄回滾段的變化。
PostgreSQL的多版本的主要劣勢在于:
1、最新版本和歷史版本不分離存儲,導(dǎo)致清理老舊版本需要作更多的掃描,代價比較大,但一般的數(shù)據(jù)庫都有高峰期,如果我們合理安排VACUUM,這也不是很大的問題,而且在PostgreSQL9.0中VACUUM進一步被加強了。
2、由于索引中完全沒有版本信息,不能實現(xiàn)Coverage index scan,即查詢只掃描索引,直接從索引中返回所需的屬性,還需要訪問表。而oracle與Innodb則可以;
進程模式與線程模式的對比
PostgreSQL和oracle是進程模式,MySQL是線程模式。
進程模式對多CPU利用率比較高。
進程模式共享數(shù)據(jù)需要用到共享內(nèi)存,而線程模式數(shù)據(jù)本身就是在進程空間內(nèi)都是共享的,不同線程訪問只需要控制好線程之間的同步。
線程模式對資源消耗比較少。
所以MySQL能支持遠比oracle多的更多的連接。
對于PostgreSQL的來說,如果不使用連接池軟件,也存在這個問題,但PostgreSQL中有優(yōu)秀的連接池軟件軟件,如pgbouncer和pgpool,所以通過連接池也可以支持很多的連接。
堆表與索引組織表的的對比
Oracle支持堆表,也支持索引組織表
PostgreSQL只支持堆表,不支持索引組織表
Innodb只支持索引組織表
索引組織表的優(yōu)勢:
表內(nèi)的數(shù)據(jù)就是按索引的方式組織,數(shù)據(jù)是有序的,如果數(shù)據(jù)都是按主鍵來訪問,那么訪問數(shù)據(jù)比較快。而堆表,按主鍵訪問數(shù)據(jù)時,是需要先按主鍵索引找到數(shù)據(jù)的物理位置。
索引組織表的劣勢:
索引組織表中上再加其它的索引時,其它的索引記錄的數(shù)據(jù)位置不再是物理位置,而是主鍵值,所以對于索引組織表來說,主鍵的值不能太大,否則占用的空間比較大。
對于索引組織表來說,如果每次在中間插入數(shù)據(jù),可能會導(dǎo)致索引分裂,索引分裂會大大降低插入的性能。所以對于使用innodb來說,我們一般最好讓主鍵是一個無意義的序列,這樣插入每次都發(fā)生在最后,以避免這個問題。
由于索引組織表是按一個索引樹,一般它訪問數(shù)據(jù)塊必須按數(shù)據(jù)塊之間的關(guān)系進行訪問,而不是按物理塊的訪問數(shù)據(jù)的,所以當(dāng)做全表掃描時要比堆表慢很多,這可能在OLTP中不明顯,但在數(shù)據(jù)倉庫的應(yīng)用中可能是一個問題。
PostgreSQL9.0中的特色功能:
PostgreSQL中的Hot Standby功能
也就是standby在應(yīng)用日志同步時,還可以提供只讀服務(wù),這對做讀寫分離很有用。這個功能是oracle11g才有的功能。
PostgreSQL異步提交(Asynchronous Commit)的功能:
這個功能oracle中也是到oracle11g R2才有的功能。因為在很多應(yīng)用場景中,當(dāng)宕機時是允許丟失少量數(shù)據(jù)的,這個功能在這樣的場景中就特別合適。在PostgreSQL9.0中把synchronous_commit設(shè)置為false就打開了這個功能。需要注意的是,雖然設(shè)置為了異步提交,當(dāng)主機宕機時,PostgreSQL只會丟失少量數(shù)據(jù),異步提交并不會導(dǎo)致數(shù)據(jù)損壞而數(shù)據(jù)庫起不來的情況。MySQL中沒有聽說過有這個功能。
PostgreSQL中索引的特色功能:
PostgreSQL中可以有部分索引,也就是只能表中的部分數(shù)據(jù)做索引,create index 可以帶where 條件。同時PostgreSQL中的索引可以反向掃描,所以在PostgreSQL中可以不必建專門的降序索引了。
一、 PostgreSQL 的穩(wěn)定性極強, Innodb 等引擎在崩潰、斷電之類的災(zāi)難場景下抗打擊能力有了長足進步,然而很多 MySQL 用戶都遇到過Server級的數(shù)據(jù)庫丟失的場景——mysql系統(tǒng)庫是MyISAM的,相比之下,PG數(shù)據(jù)庫這方面要好一些。
二、任何系統(tǒng)都有它的性能極限,在高并發(fā)讀寫,負載逼近極限下,PG的性能指標仍可以維持雙曲線甚至對數(shù)曲線,到頂峰之后不再下降,而 MySQL 明顯出現(xiàn)一個波峰后下滑(5.5版本之后,在企業(yè)級版本中有個插件可以改善很多,不過需要付費)。
三、PG 多年來在 GIS 領(lǐng)域處于優(yōu)勢地位,因為它有豐富的幾何類型,實際上不止幾何類型,PG有大量字典、數(shù)組、bitmap 等數(shù)據(jù)類型,相比之下mysql就差很多,instagram就是因為PG的空間數(shù)據(jù)庫擴展POSTGIS遠遠強于MYSQL的my spatial而采用PGSQL的。
四、PG 的“無鎖定”特性非常突出,甚至包括 vacuum 這樣的整理數(shù)據(jù)空間的操作,這個和PGSQL的MVCC實現(xiàn)有關(guān)系。
五、PG 的可以使用函數(shù)和條件索引,這使得PG數(shù)據(jù)庫的調(diào)優(yōu)非常靈活,mysql就沒有這個功能,條件索引在web應(yīng)用中很重要。
六、PG有極其強悍的 SQL 編程能力(9.x 圖靈完備,支持遞歸?。蟹浅XS富的統(tǒng)計函數(shù)和統(tǒng)計語法支持,比如分析函數(shù)(ORACLE的叫法,PG里叫window函數(shù)),還可以用多種語言來寫存儲過程,對于R的支持也很好。這一點上MYSQL就差的很遠,很多分析功能都不支持,騰訊內(nèi)部數(shù)據(jù)存儲主要是MYSQL,但是數(shù)據(jù)分析主要是HADOOP+PGSQL。
七、PG 的有多種集群架構(gòu)可以選擇,plproxy 可以支持語句級的鏡像或分片,slony 可以進行字段級的同步設(shè)置,standby 可以構(gòu)建WAL文件級或流式的讀寫分離集群,同步頻率和集群策略調(diào)整方便,操作非常簡單。
八、一般關(guān)系型數(shù)據(jù)庫的字符串有限定長度8k左右,無限長 TEXT 類型的功能受限,只能作為外部大數(shù)據(jù)訪問。而 PG 的 TEXT 類型可以直接訪問,SQL語法內(nèi)置正則表達式,可以索引,還可以全文檢索,或使用xml xpath。用PG的話,文檔數(shù)據(jù)庫都可以省了。
九,對于WEB應(yīng)用來說,復(fù)制的特性很重要,mysql到現(xiàn)在也是異步復(fù)制,pgsql可以做到同步,異步,半同步復(fù)制。還有mysql的同步是基于binlog復(fù)制,類似oracle golden gate,是基于stream的復(fù)制,做到同步很困難,這種方式更加適合異地復(fù)制,pgsql的復(fù)制基于wal,可以做到同步復(fù)制。同時,pgsql還提供stream復(fù)制。
十,pgsql對于numa架構(gòu)的支持比mysql強一些,比MYSQL對于讀的性能更好一些,pgsql提交可以完全異步,而mysql的內(nèi)存表不夠?qū)嵱茫ㄒ驗楸礞i的原因)
最后說一下我感覺 PG 不如 MySQL 的地方。
第一,MySQL有一些實用的運維支持,如 slow-query.log ,這個pg肯定可以定制出來,但是如果可以配置使用就更好了。
第二是mysql的innodb引擎,可以充分優(yōu)化利用系統(tǒng)所有內(nèi)存,超大內(nèi)存下PG對內(nèi)存使用的不那么充分,
第三點,MySQL的復(fù)制可以用多級從庫,但是在9.2之前,PGSQL不能用從庫帶從庫。
第四點,從測試結(jié)果上看,mysql 5.5的性能提升很大,單機性能強于pgsql,5.6應(yīng)該會強更多.
第五點,對于web應(yīng)用來說,mysql 5.6 的內(nèi)置MC API功能很好用,PGSQL差一些。
另外一些:
pgsql和mysql都是背后有商業(yè)公司,而且都不是一個公司。大部分開發(fā)者,都是拿工資的。
說mysql的執(zhí)行速度比pgsql快很多是不對的,速度接近,而且很多時候取決于你的配置。
對于存儲過程,函數(shù),視圖之類的功能,現(xiàn)在兩個數(shù)據(jù)庫都可以支持了。
另外多線程架構(gòu)和多進程架構(gòu)之間沒有絕對的好壞,oracle在unix上是多進程架構(gòu),在windows上是多線程架構(gòu)。
很多pg應(yīng)用也是24/7的應(yīng)用,比如skype. 最近幾個版本VACUUM基本不影響PGSQL 運行,8.0之后的PGSQL不需要cygwin就可以在windows上運行。
至于說對于事務(wù)的支持,mysql和pgsql都沒有問題。
PostgreSQL 近幾年在全球的人氣不斷攀升,每年發(fā)布的版本都體現(xiàn)了社區(qū)的活力,9.6作為里程碑式的作品,更加有非常多的新特性加入。
例如
1. 多核并行計算
2. FDW 下推join, sort, where clause.
3. snapshot too old
4. 檢查點平滑fsync
5. vacuum freeze加速
6. sharding base on fdw
7. 分詞增強,支持相鄰phrases搜索,據(jù)說比ES用起來還爽。
8. scale-up 多核增強, 72HT的機器tpc-b select only達到了180萬的tps.
9. 推出等待事件統(tǒng)計信息
10. 支持多副本同步復(fù)制,滿足金融級可靠性要求
11. 聚合復(fù)用SFUNC,多個聚合如果INIT和SFUNC一致的話,可以節(jié)約非常多的運算開銷。
12. 事務(wù)idle超時機制
還有很多,可以在 release notes頁面查找
除此之外,社區(qū)開發(fā)的一些特性也很吸引人,例如
1. rum插件,支持文本相似度查詢,效率嘛10億級別TOKEN,毫秒級響應(yīng),比搜索引擎還好用,具體見云棲社區(qū)的測試文章。
2. LLVM版本的PostgreSQL,對大數(shù)據(jù)量的表達式處理性能提升非常明顯。也是大數(shù)據(jù)處理慣用的手法,例如Impala。雖然PostgreSQL的定位是OLTP,但不代表它不能處理OLAP的請求,而且Gartner去年就提出了HTAP的數(shù)據(jù)庫概念,指即能處理TP有能處理AP的數(shù)據(jù)庫產(chǎn)品,PostgreSQL的特性可見一斑。
3. 10.0版本已經(jīng)加入的聚合算子下推,你是不是開始浮想聯(lián)翩了呢?
更多的插件可以到github , pgxn.org , pgfoundry ,
MySQL的主要優(yōu)點 (速度,流行,window,線程,事務(wù))
1、 首先是速度,MySQL通常要比PostgreSQL快得多。MySQL自已也宣稱速度是他們追求的主要目標之一,基于這個原因,MySQL在以前的文檔中也曾經(jīng)說過并不準備支持事務(wù)和觸發(fā)器。
2、MySQL比PostgreSQL更流行,流行意味著更多的用戶,意味著經(jīng)受了更多的考驗,意味著更好的商業(yè)支持。而且MySQL提供了多個不同的社區(qū)版、商業(yè)版與企業(yè)版,而PG只提供了單個完整功能的版本。
3、 與PostgreSQL相比,MySQL更適宜在Windows環(huán)境下運行。PostgreSQL在Windows下運 行沒有MySQL穩(wěn)定。
4、MySQL使用了線程,而PostgreSQL使用的是進程。在不同線程之間的環(huán)境轉(zhuǎn)換和訪問公用的存儲區(qū)域顯然要比在不同的進程之間要快得多。
5、由于MySQL 4.0.2-alpha開始支持事務(wù)的概念,因此事務(wù)對于MySQL不再成為劣勢。相反,因為MySQL保留無事務(wù)的表類型。這就為用戶提供了更多的選擇。
PostgreSQL的主要優(yōu)點: (協(xié)議,規(guī)范,可靠,進程,查詢)
1、PG遵循的是BSD協(xié)議,完全開源免費且不會被任何商業(yè)公司控制;而MySQL在Oracle手中,慢慢走向封閉。
2 、 PostgreSQL源代碼堪稱C語言的規(guī)范,易讀性比MySQL強很多。
3、可靠性是PostgreSQL的最高優(yōu)先級。它以堅如磐石的品質(zhì)和良好的工程化而聞名。PostgreSQL是完全支持ACID特性的,對于數(shù)據(jù)庫訪問提供了強大的安全性保證。
4、 PG是多進程的,而My是多線程的。雖然并發(fā)不高時,My處理速度快;但是當(dāng)并發(fā)高時,對于現(xiàn)在的多核的單臺機器上,My的總體性能不如PG,原因是My的線程無法充分利用CPU的能力。
5、PG有很強大的查詢優(yōu)化器,支持很復(fù)雜的查詢處理,而My對復(fù)雜查詢處理較弱,查詢優(yōu)化器不夠成熟。