近乎所有與Java相關(guān)的面試都會問到緩存的問題,基礎(chǔ)一點的會問到什么是“二八定律”、什么是“熱數(shù)據(jù)和冷數(shù)據(jù)”,復(fù)雜一點的會問到緩存雪崩、緩存穿透、緩存預(yù)熱、緩存更新、緩存降級等問題,這些看似不常見的概念,都與我們的緩存服務(wù)器相關(guān),一般常用的緩存服務(wù)器有Redis、Memcached等,而筆者目前最常用的也只有Redis這一種。
如果你在以前面試的時候還沒有遇到過面試官問你《為什么說Redis是單線程的以及Redis為什么這么快!》,那么你看到這篇文章的時候,你應(yīng)該覺得是一件很幸運的事情!如果你剛好是一位高逼格的面試官,你也可以拿這道題去面試對面“望穿秋水”般的小伙伴,測試一下他的掌握程度。
好啦!步入正題!我們先探討一下Redis是什么,Redis為什么這么快、然后在探討一下為什么Redis是單線程的?
Redis是一個開源的內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng),它可以用作:數(shù)據(jù)庫、緩存和消息中間件。
它支持多種類型的數(shù)據(jù)結(jié)構(gòu),如字符串(String),散列(Hash),列表(List),集合(Set),有序集合(Sorted Set或者是ZSet)與范圍查詢,Bitmaps,Hyperloglogs 和地理空間(Geospatial)索引半徑查詢。其中常見的數(shù)據(jù)結(jié)構(gòu)類型有:String、List、Set、Hash、ZSet這5種。
Redis 內(nèi)置了復(fù)制(Replication),LUA腳本(Lua scripting), LRU驅(qū)動事件(LRU eviction),事務(wù)(Transactions) 和不同級別的磁盤持久化(Persistence),并通過 Redis哨兵(Sentinel)和自動分區(qū)(Cluster)提供高可用性(High Availability)。
Redis也提供了持久化的選項,這些選項可以讓用戶將自己的數(shù)據(jù)保存到磁盤上面進(jìn)行存儲。根據(jù)實際情況,可以每隔一定時間將數(shù)據(jù)集導(dǎo)出到磁盤(快照),或者追加到命令日志中(AOF只追加文件),他會在執(zhí)行寫命令時,將被執(zhí)行的寫命令復(fù)制到硬盤里面。您也可以關(guān)閉持久化功能,將Redis作為一個高效的網(wǎng)絡(luò)的緩存數(shù)據(jù)功能使用。
Redis不使用表,他的數(shù)據(jù)庫不會預(yù)定義或者強制去要求用戶對Redis存儲的不同數(shù)據(jù)進(jìn)行關(guān)聯(lián)。
數(shù)據(jù)庫的工作模式按存儲方式可分為:硬盤數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫。Redis 將數(shù)據(jù)儲存在內(nèi)存里面,讀寫數(shù)據(jù)的時候都不會受到硬盤 I/O 速度的限制,所以速度極快。
(1)硬盤數(shù)據(jù)庫的工作模式:
(2)內(nèi)存數(shù)據(jù)庫的工作模式:
看完上述的描述,對于一些常見的Redis相關(guān)的面試題,是否有所認(rèn)識了,例如:什么是Redis、Redis常見的數(shù)據(jù)結(jié)構(gòu)類型有哪些、Redis是如何進(jìn)行持久化的等。
Redis采用的是基于內(nèi)存的采用的是單進(jìn)程單線程模型的 KV 數(shù)據(jù)庫,由C語言編寫,官方提供的數(shù)據(jù)是可以達(dá)到100000+的QPS(每秒內(nèi)查詢次數(shù))。這個數(shù)據(jù)不比采用單進(jìn)程多線程的同樣基于內(nèi)存的 KV 數(shù)據(jù)庫 Memcached 差!
橫軸是連接數(shù),縱軸是QPS。此時,這張圖反映了一個數(shù)量級,希望大家在面試的時候可以正確的描述出來,不要問你的時候,你回答的數(shù)量級相差甚遠(yuǎn)!
1、完全基于內(nèi)存,絕大部分請求是純粹的內(nèi)存操作,非??焖?。數(shù)據(jù)存在內(nèi)存中,類似于HashMap,HashMap的優(yōu)勢就是查找和操作的時間復(fù)雜度都是O(1);
2、數(shù)據(jù)結(jié)構(gòu)簡單,對數(shù)據(jù)操作也簡單,Redis中的數(shù)據(jù)結(jié)構(gòu)是專門進(jìn)行設(shè)計的;
3、采用單線程,避免了不必要的上下文切換和競爭條件,也不存在多進(jìn)程或者多線程導(dǎo)致的切換而消耗 CPU,不用去考慮各種鎖的問題,不存在加鎖釋放鎖操作,沒有因為可能出現(xiàn)死鎖而導(dǎo)致的性能消耗;
4、使用多路I/O復(fù)用模型,非阻塞IO;
5、使用底層模型不同,它們之間底層實現(xiàn)方式以及與客戶端之間通信的應(yīng)用協(xié)議不一樣,Redis直接自己構(gòu)建了VM 機制 ,因為一般的系統(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會浪費一定的時間去移動和請求;
以上幾點都比較好理解,下邊我們針對多路 I/O 復(fù)用模型進(jìn)行簡單的探討:
多路 I/O 復(fù)用模型
多路I/O復(fù)用模型是利用 select、poll、epoll 可以同時監(jiān)察多個流的 I/O 事件的能力,在空閑的時候,會把當(dāng)前線程阻塞掉,當(dāng)有一個或多個流有 I/O 事件時,就從阻塞態(tài)中喚醒,于是程序就會輪詢一遍所有的流(epoll 是只輪詢那些真正發(fā)出了事件的流),并且只依次順序的處理就緒的流,這種做法就避免了大量的無用操作。
這里“多路”指的是多個網(wǎng)絡(luò)連接,“復(fù)用”指的是復(fù)用同一個線程。采用多路 I/O 復(fù)用技術(shù)可以讓單個線程高效的處理多個連接請求(盡量減少網(wǎng)絡(luò) IO 的時間消耗),且 Redis 在內(nèi)存中操作數(shù)據(jù)的速度非??欤簿褪钦f內(nèi)存內(nèi)的操作不會成為影響Redis性能的瓶頸,主要由以上幾點造就了 Redis 具有很高的吞吐量。
我們首先要明白,上邊的種種分析,都是為了營造一個Redis很快的氛圍!官方FAQ表示,因為Redis是基于內(nèi)存的操作,CPU不是Redis的瓶頸,Redis的瓶頸最有可能是機器內(nèi)存的大小或者網(wǎng)絡(luò)帶寬。既然單線程容易實現(xiàn),而且CPU不會成為瓶頸,那就順理成章地采用單線程的方案了(畢竟采用多線程會有很多麻煩?。?img src="/upload/otherpic8/16533261-e3c9bcb04bd5663c.png?imageMogr2/auto-orient/strip" alt="為什么說Redis是單線程的以及Redis為什么這么快!">
看到這里,你可能會氣哭!本以為會有什么重大的技術(shù)要點才使得Redis使用單線程就可以這么快,沒想到就是一句官方看似糊弄我們的回答!但是,我們已經(jīng)可以很清楚的解釋了為什么Redis這么快,并且正是由于在單線程模式的情況下已經(jīng)很快了,就沒有必要在使用多線程了!
但是,我們使用單線程的方式是無法發(fā)揮多核CPU 性能,不過我們可以通過在單機開多個Redis 實例來完善!
警告1:這里我們一直在強調(diào)的單線程,只是在處理我們的網(wǎng)絡(luò)請求的時候只有一個線程來處理,一個正式的Redis Server運行的時候肯定是不止一個線程的,這里需要大家明確的注意一下!例如Redis進(jìn)行持久化的時候會以子進(jìn)程或者子線程的方式執(zhí)行(具體是子線程還是子進(jìn)程待讀者深入研究);例如我在測試服務(wù)器上查看Redis進(jìn)程,然后找到該進(jìn)程下的線程:
ps命令的“-T”參數(shù)表示顯示線程(Show threads, possibly with SPID column.)“SID”欄表示線程ID,而“CMD”欄則顯示了線程名稱。
警告2:在上圖中FAQ中的最后一段,表述了從Redis 4.0版本開始會支持多線程的方式,但是,只是在某一些操作上進(jìn)行多線程的操作!所以該篇文章在以后的版本中是否還是單線程的方式需要讀者考證!
1、我們知道Redis是用”單線程-多路復(fù)用IO模型”來實現(xiàn)高性能的內(nèi)存數(shù)據(jù)服務(wù)的,這種機制避免了使用鎖,但是同時這種機制在進(jìn)行sunion之類的比較耗時的命令時會使redis的并發(fā)下降。因為是單一線程,所以同一時刻只有一個操作在進(jìn)行,所以,耗時的命令會導(dǎo)致并發(fā)的下降,不只是讀并發(fā),寫并發(fā)也會下降。而單一線程也只能用到一個CPU核心,所以可以在同一個多核的服務(wù)器中,可以啟動多個實例,組成master-master或者master-slave的形式,耗時的讀命令可以完全在slave進(jìn)行。
需要改的redis.conf項:
pidfile /var/run/redis/redis_6377.pid #pidfile要加上端口號
port 6377 #這個是必須改的
logfile /var/log/redis/redis_6377.log #logfile的名稱也加上端口號
dbfilename dump_6377.rdb #rdbfile也加上端口號
2、“我們不能任由操作系統(tǒng)負(fù)載均衡,因為我們自己更了解自己的程序,所以,我們可以手動地為其分配CPU核,而不會過多地占用CPU,或是讓我們關(guān)鍵進(jìn)程和一堆別的進(jìn)程擠在一起。”。
CPU 是一個重要的影響因素,由于是單線程模型,Redis 更喜歡大緩存快速 CPU, 而不是多核
在多核 CPU 服務(wù)器上面,Redis 的性能還依賴NUMA 配置和處理器綁定位置。最明顯的影響是 redis-benchmark 會隨機使用CPU內(nèi)核。為了獲得精準(zhǔn)的結(jié)果,需要使用固定處理器工具(在 Linux 上可以使用 taskset)。最有效的辦法是將客戶端和服務(wù)端分離到兩個不同的 CPU 來高校使用三級緩存。
以下也是你應(yīng)該知道的幾種模型,祝你的面試一臂之力!
1、單進(jìn)程多線程模型:MySQL、Memcached、Oracle(Windows版本);
2、多進(jìn)程模型:Oracle(Linux版本);
3、Nginx有兩類進(jìn)程,一類稱為Master進(jìn)程(相當(dāng)于管理進(jìn)程),另一類稱為Worker進(jìn)程(實際工作進(jìn)程)。啟動方式有兩種:
單進(jìn)程啟動:此時系統(tǒng)中僅有一個進(jìn)程,該進(jìn)程既充當(dāng)Master進(jìn)程的角色,也充當(dāng)Worker進(jìn)程的角色。
Master進(jìn)程主要進(jìn)行一些全局性的初始化工作和管理Worker的工作;事件處理是在Worker中進(jìn)行的。
針對于Java程序員,我這邊準(zhǔn)備了免費的Java架構(gòu)學(xué)習(xí)資料(里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、MyBatis,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構(gòu)資料)有需要的程序員朋友可以加Java高級架構(gòu)攻城獅:867923845
為什么某些人會一直比你優(yōu)秀,是因為他本身就很優(yōu)秀還一直在持續(xù)努力變得更優(yōu)秀,而你是不是還在滿足于現(xiàn)狀內(nèi)心在竊喜!希望讀到這的您能點個小贊和關(guān)注下我,以后還會更新技術(shù)干貨,謝謝您的支持!
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。