某一天,監(jiān)控到mongo數(shù)據(jù)庫cpu使用率高了很多,查了一下,發(fā)現(xiàn)是下面這種語句引起的:
成都創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站建設、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務溧水,10多年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18982081108
db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}) |
通常,遇到這種情況,我第一反應是缺少相關字段的索引,導致每執(zhí)行一次這種語句都會全表掃描一次。
但是我用explain( )語句分析了下,發(fā)現(xiàn)上面所涉及的兩個字段idField、dateField是有索引的,并且該語句也是有使用到索引的。如下為explain( )的結(jié)果:
mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner") { ??????? "queryPlanner" : { ??????????????? "plannerVersion" : 1, ??????????????? "namespace" : "example_db.example_collection", ??????????????? "indexFilterSet" : false, ??????????????? "parsedQuery" : { ??????????????????????? "$and" : [ ??????????????????????????????? { ??????????????????????????????????????? "idField" : { ??????????????????????????????????????????????? "$regex" : "123456789012345678" ??????????????????????????????????????? } ??????????????????????????????? }, ??????????????????????????????? { ??????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????? "$regex" : "2019/10/10" ??????????????????????????????????????? } ??????????????????????????????? } ??????????????????????? ] ??????????????? }, ??????????????? "winningPlan" : { ??????????????????????? "stage" : "FETCH", ??????????????????????? "inputStage" : { ??????????????????????????????? "stage" : "IXSCAN", ??????????????????????????????? "filter" : { ??????????????????????????????????????? "$and" : [ ??????????????????????????????????????????????? { ??????????????????????????????????????????????????????? "idField" : { ??????????????????????????????????????????????????????????????? "$regex" : "123456789012345678" ??????????????????????????????????????????????????????? } ??????????????????????????????????????????????? }, ??????????????????????????????????????????????? { ??????????????????????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????????????????????? "$regex" : "2019/10/10" ??????????????????????????????????????????????????????? } ??????????????????????????????????????????????? } ??????????????????????????????????????? ] ??????????????????????????????? }, ??????????????????????????????? "keyPattern" : { ??????????????????????????????????????? "idField" : 1, ??????????????????????????????????????? "dateField" : 1 ??????????????????????????????? }, ??????????????????????????????? "indexName" : "idField_1_dateField_1", ??????????????????????????????? "isMultiKey" : false, ??????????????????????????????? "multiKeyPaths" : { ??????????????????????????????????????? "idField" : [ ], ??????????????????????????????????????? "dateField" : [ ] ??????????????????????????????? }, ??????????????????????????????? "isUnique" : false, ??????????????????????????????? "isSparse" : false, ??????????????????????????????? "isPartial" : false, ??????????????????????????????? "indexVersion" : 2, ??????????????????????????????? "direction" : "forward", ??????????????????????????????? "indexBounds" : { ??????????????????????????????????????? "idField" : [ ??????????????????????????????????????????????? "[\"\", {})", ??????????????????????????????????????????????? "[/123456789012345678/, /123456789012345678/]" ??????????????????????????????????????? ], ??????????????????????????????????????? "dateField" : [ ??????????????????????????????????????????????? "[\"\", {})", ??????????????????????????????????????????????? "[/2019/10/10/, /2019/10/10/]" ??????????????????????????????????????? ] ??????????????????????????????? } ??????????????????????? } ??????????????? }, ??????????????? "rejectedPlans" : [ ] ??????? }, ??????? "ok" : 1 } |
查看mongo的日志發(fā)現(xiàn),這種語句執(zhí)行一次就要800~900ms,的確是比較慢。除非數(shù)據(jù)庫cpu核數(shù)很多,要不然只要這種語句每秒并發(fā)稍微高一點,cpu很快就被占滿了。
之后搜索了下,發(fā)現(xiàn)有可能是正則表達式的問題。原來,雖然該語句的確是使用了索引,但是explain( )語句的輸出中還有一個字段"indexBounds",表示執(zhí)行該語句時所需掃描的索引范圍。說實話,上面那個輸出中,我始終沒看明白它那個索引范圍。上面的語句對idField、dateField這兩個字段都進行了普通的正則表達式匹配,我猜測它應該是掃描了整個索引樹,所以導致索引并未實際提升該語句的查詢效率。
我看了下數(shù)據(jù)庫里面的數(shù)據(jù),發(fā)現(xiàn)idField、dateField這兩個字段完全沒有必要進行正則匹配,進行普通的文本匹配就行。將正則匹配操作$regex去掉之后,再分析一下,結(jié)果是這樣的:
mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner") { ??????? "queryPlanner" : { ??????????????? "plannerVersion" : 1, ??????????????? "namespace" : "example_db.example_collection", ??????????????? "indexFilterSet" : false, ??????????????? "parsedQuery" : { ??????????????????????? "$and" : [ ??????????????????????????????? { ??????????????????????????????????????? "idField" : { ??????????????????????????????????????????????? "$eq" : "123456789012345678" ??????????????????????????????????????? } ??????????????????????????????? }, ??????????????????????????????? { ??????????????????????????????????????? "dateField" : { ??????????????????????????????????????????????? "$eq" : "2019/10/10" ??????????????????????????????????????? } ??????????????????????????????? } ??????????????????????? ] ??????????????? }, ??????????????? "winningPlan" : { ??????????????????????? "stage" : "FETCH", ??????????????????????? "inputStage" : { ??????????????????????????????? "stage" : "IXSCAN", ??????????????????????????????? "keyPattern" : { ??????????????????????????????????????? "idField" : 1, ??????????????????????????????????????? "dateField" : 1 ??????????????????????????????? }, ??????????????????????????????? "indexName" : "idField_1_dateField_1", ??????????????????????????????? "isMultiKey" : false, ??????????????????????????????? "multiKeyPaths" : { ??????????????????????????????????????? "idField" : [ ], ??????????????????????????????????????? "dateField" : [ ] ??????????????????????????????? }, ??????????????????????????????? "isUnique" : false, ??????????????????????????????? "isSparse" : false, ??????????????????????????????? "isPartial" : false, ??????????????????????????????? "indexVersion" : 2, ??????????????????????????????? "direction" : "forward", ??????????????????????????????? "indexBounds" : { ??????????????????????????????????????? "idField" : [ ??????????????????????????????????????????????? "[\"123456789012345678\", \"123456789012345678\"]" ??????????????????????????????????????? ], ??????????????????????????????????????? "dateField" : [ ??????????????????????????????????????????????? "[\"2019/10/10\", \"2019/10/10\"]" ??????????????????????????????????????? ] ??????????????????????????????? } ??????????????????????? } ??????????????? }, ??????????????? "rejectedPlans" : [ ] ??????? }, ??????? "ok" : 1 } |
可以看到,仍然使用到了索引,并且索引掃描范圍是僅限于一個值的。
后來跟開發(fā)人員確認了下,該語句確實沒必要使用正則匹配,就讓他把正則匹配去掉了。之后就沒有再出現(xiàn)問題了,mongo慢日志中也未再出現(xiàn)該語句。