PostgreSQL自帶有一個簡易的全文檢索引擎,可以實現(xiàn)小規(guī)模數(shù)據(jù)量的全文檢索功能。本文我們將引導介紹一下這個功能,對于小數(shù)據(jù)量的搜索這個功能是足夠使用的,而無需搭建額外的ES等重量級的全文檢索服務器。
成都創(chuàng)新互聯(lián)主要從事網(wǎng)頁設計、PC網(wǎng)站建設(電腦版網(wǎng)站建設)、wap網(wǎng)站建設(手機版網(wǎng)站建設)、響應式網(wǎng)站建設、程序開發(fā)、網(wǎng)站優(yōu)化、微網(wǎng)站、小程序定制開發(fā)等,憑借多年來在互聯(lián)網(wǎng)的打拼,我們在互聯(lián)網(wǎng)網(wǎng)站建設行業(yè)積累了豐富的成都網(wǎng)站設計、成都網(wǎng)站制作、網(wǎng)站設計、網(wǎng)絡營銷經(jīng)驗,集策劃、開發(fā)、設計、營銷、管理等多方位專業(yè)化運作于一體。
PG的全文檢索操作符是 @@ ,當一個 tsvector (文檔)和 tsquery (條件)匹配時返回 true ,并且前后順序無影響:
和普通的SQL查詢一樣,只要在 WHERE 條件中使用這個符號就代表使用全文檢索條件篩選文檔了。如:
@@ 操作符支持隱式轉(zhuǎn)換,對于 text 類型可以無需強類型轉(zhuǎn)換( ::tsvector 或 to_tsvector(config_name, text) ),所以這個操作符實際支持的參數(shù)類型是這樣的:
tsquery 查詢條件并不是簡單的正則,而是一組搜索術語,使用并且使用布爾操作符 (AND)、 | (OR)和 ! (NOT)來組合它們,還有短語搜索操作符 - (FOLLOWED BY)。更詳細的語法參見 此文檔 。
此外,PostgreSQL還提供了兩個相對簡化的版本 plainto_tsquery 和 phraseto_tsquery 。
plainto_tsquery ( plainto_tsquery([ config regconfig, ] querytext text) returns tsquery )用戶將未格式化的 text 經(jīng)過分詞之后,插入 符號轉(zhuǎn)為 tsquery :
phraseto_tsquery ( phraseto_tsquery([ config regconfig, ] querytext text) returns tsquery )行為和 plainto_tsquery 行為類似,但是分詞之后不是插入 而是 - (FOLLOWED BY):
使用索引可以加快全文檢索的速度。對于全文檢索來說,可選的索引類型是 GIN (通用倒排索引)和 GIST (通用搜索樹),官方文檔更推薦使用 GIN索引 。創(chuàng)建一個 GIN 索引的范例:
也可以是一個連接列:
還可以單獨創(chuàng)建一個 tsvector 列,為這個列創(chuàng)建索引:
除了普通的 ORDER BY 條件之外,PostgreSQL為全文檢索提供了兩個可選的排序函數(shù) ts_rank([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4 和 ts_rank_cd([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4 ,以便實現(xiàn)基于 權重 的排序。
此外,對于PostgreSQL 9.6以上的版本還可以使用 RUM index 排序。(注意,這個是擴展,默認不包含)。
PostgreSQL默認的分詞字典中并不包含中文分詞字典,因此我們必須手工引入。目前一個比較好的項目是 zhparser ,同時這個插件也是阿里云的RDS默認包含的。安裝和啟用沒什么好說的。值得一提的是分詞配置參數(shù)。
在 CREATE EXTENSION 之后,必須配置分詞參數(shù)才能正確進行分詞和查找,否則什么都查不到。官方文檔提供的一個配置策略是:
n,v,a,i,e,l 這幾個字母分別表示一種token策略,只啟用了這幾種token mapping,其余則被屏蔽。具體支持的參數(shù)和含義可以用 \dFp+ zhparser 顯示:
WITH simple 表示詞典使用的是內(nèi)置的simple詞典,即僅做小寫轉(zhuǎn)換。根據(jù)需要可以靈活定義詞典和token映射,以實現(xiàn)屏蔽詞和同義詞歸并等功能。
比如我們看下面這個例子:
可以看到 江淮 這個詞組在查詢的時候被忽略了,我們啟用 j (abbreviation,簡稱)再看看結果:
所以實際使用中要設置合理的token types,過少將導致搜索結果不準確,過多將導致性能下降。此外,還有一些諸如 短詞復合: zhparser.multi_short = f 這一類的控制分詞結果的選項,根據(jù)實際使用酌情開啟。
PostgreSQL最大的優(yōu)勢主要是兩個方面:
1)PostgreSQL的開源開放性:因為我們是開源的,變擁有了動態(tài)的社區(qū)、增長非??斓纳鐓^(qū),新功能總是不斷出現(xiàn)。不僅可靠性很高,性能也很高。
2)PostgreSQL的可擴展性:在1986年的時候,它便已經(jīng)被設計為可擴展的??梢韵驍?shù)據(jù)庫添加語言 可以添加數(shù)據(jù)類型 可以添加索引方法、操作符 、類型轉(zhuǎn)換、聚合;支持GIS、Json、全文搜索、范圍類型、XML。
Postgres的獨特之處在于它同時執(zhí)行關系和非關系操作?,F(xiàn)在我們從很多不同的地方獲取數(shù)據(jù),關系系統(tǒng)必須具有靈活性,必須能夠處理復雜的數(shù)據(jù),而Postgres是唯一真正能夠做到這一點的數(shù)據(jù)庫。
目 錄
總 結
PostgreSQL 通過調(diào)用系統(tǒng) fsync() 或者其他使得事務內(nèi)容寫入到物理磁盤,這樣可以保證操作系統(tǒng)或者數(shù)據(jù)庫出現(xiàn)宕機后,仍然可以恢復到某一個一致性的狀態(tài)。理論上講 PostgreSQL 的 fsync 功能關閉,可以實現(xiàn)性能的提升,但是帶來的影響就是需要承擔數(shù)據(jù)的丟失,因為出現(xiàn)系統(tǒng)宕機或者數(shù)據(jù)庫崩潰的時候有一些數(shù)據(jù)是沒有落盤的。
本文將驗證 fsync 參數(shù)的性能影響,以及參數(shù)關閉時數(shù)據(jù)庫宕機后的影響。
數(shù)據(jù)量:1000W
fsync 參數(shù):on
初始化表:user_info
pgbench 壓測
pgbench 結果
pgbench 壓測
pgbench 結果
數(shù)據(jù)量:1000W
fsync 參數(shù):off
初始化表:user_info
pgbench 壓測
pgbench 結果
pgbench 壓測
pgbench 結果
通過對比發(fā)現(xiàn),將 fsync 改為 off,對于讀 TPS,參數(shù) fsync 的影響不大,對于寫 TPS,性能有一定提升。
現(xiàn)在驗證參數(shù)關閉時數(shù)據(jù)庫宕機后的影響
首先,使用將數(shù)據(jù)庫性能跑起來
然后,模擬服務器斷電
之后,啟動數(shù)據(jù)庫
提示信息:比致命錯誤還過分的錯誤。
結果:數(shù)據(jù)庫無法啟動,原因就是因為無法找到一個有效的 checkpoint 記錄,這就是因為 fsync 設置為 off,由于數(shù)據(jù)庫異常宕機導致。可以通過使用 pg_resetxlog 恢復數(shù)據(jù)庫,但是會造成部分數(shù)據(jù)無法找回,數(shù)據(jù)丟失;也可以通過備份恢復,同樣也會丟失部分數(shù)據(jù)。
fsync 參數(shù)對于讀 TPS 的性能影響不大,對于寫 TPS 的性能有一些影響,設置為 off,寫 TPS 性能有一定提升,但是存在數(shù)據(jù)庫宕機后無法正常啟動,即使恢復后啟動數(shù)據(jù)庫,也會有數(shù)據(jù)丟失的很大風險。因此生產(chǎn)環(huán)境非必要時,不要將此參數(shù)設置為 off,還是使用默認的 on 比較穩(wěn)妥。
postgreSQL是一款先進的開源數(shù)據(jù)庫,擁有非常齊全的自由軟件的對象-關系型數(shù)據(jù)庫管理系統(tǒng)(ORDBMS),可面向企業(yè)復雜SQL的OLTP業(yè)務場景,支持多項企業(yè)級功能,能解決使用數(shù)據(jù)庫的各種難題。
PostgreSQL的優(yōu)勢有很多。它是一個免費的對象-關系數(shù)據(jù)庫服務器(ORDBMS),在靈活的BSD許可證下發(fā)行。
postgreSQL的特征
函數(shù):通過函數(shù),可以在數(shù)據(jù)庫服務器端執(zhí)行指令程序。
索引:用戶可以自定義索引方法,或使用內(nèi)置的 B 樹,哈希表與 GiST 索引。
觸發(fā)器:觸發(fā)器是由SQL語句查詢所觸發(fā)的事件。如:一個INSERT語句可能觸發(fā)一個檢查數(shù)據(jù)完整性的觸發(fā)器。觸發(fā)器通常由INSERT或UPDATE語句觸發(fā)。 多版本并發(fā)控制:PostgreSQL使用多版本并發(fā)控制(MVCC,Multiversion concurrency control)系統(tǒng)進行并發(fā)控制,該系統(tǒng)向每個用戶提供了一個數(shù)據(jù)庫的"快照",用戶在事務內(nèi)所作的每個修改,對于其他的用戶都不可見,直到該事務成功提交。
規(guī)則:規(guī)則(RULE)允許一個查詢能被重寫,通常用來實現(xiàn)對視圖(VIEW)的操作,如插入(INSERT)、更新(UPDATE)、刪除(DELETE)。
數(shù)據(jù)類型:包括文本、任意精度的數(shù)值數(shù)組、JSON 數(shù)據(jù)、枚舉類型、XML 數(shù)據(jù)等。全文檢索:通過 Tsearch2 或 OpenFTS,8.3版本中內(nèi)嵌 Tsearch2。
NoSQL:JSON,JSONB,XML,HStore 原生支持,至 NoSQL 數(shù)據(jù)庫的外部數(shù)據(jù)包裝器。
數(shù)據(jù)倉庫:能平滑遷移至同屬postgreSQL生態(tài)的GreenPlum,DeepGreen,HAWK 等,使用 FDW 進行 ETL。