下面由欄目給大家介紹總結(jié)關(guān)于Linux磁盤緩存的相關(guān)知識(shí)，希望對(duì)需要的朋友有所幫助！

企業(yè)建站必須是能夠以充分展現(xiàn)企業(yè)形象為主要目的，是企業(yè)文化與產(chǎn)品對(duì)外擴(kuò)展宣傳的重要窗口，一個(gè)合格的網(wǎng)站不僅僅能為公司帶來巨大的互聯(lián)網(wǎng)上的收集和信息發(fā)布平臺(tái)，成都創(chuàng)新互聯(lián)公司面向各種領(lǐng)域：紙箱等成都網(wǎng)站設(shè)計(jì)、營銷型網(wǎng)站建設(shè)解決方案、網(wǎng)站設(shè)計(jì)等建站排名服務(wù)。

前言

最近遇到了一起跟磁盤相關(guān)的線上故障，借此總結(jié)一下之前不太了解的Linux磁盤緩存相關(guān)的知識(shí)。

總的來說磁盤緩存出現(xiàn)的原因大概有兩個(gè)：第一是訪問磁盤的速度遠(yuǎn)慢于訪問內(nèi)存的速度，通過在內(nèi)存中緩存磁盤內(nèi)容可以提高訪問速度；第二是根據(jù)程序的局部性原理，數(shù)據(jù)一旦被訪問過，就很有可能在短時(shí)間內(nèi)再次被訪問，所以在內(nèi)存中緩存磁盤內(nèi)容可以提高程序運(yùn)行速度。

局部性原理

程序局部性原理：程序在執(zhí)行時(shí)呈現(xiàn)出局部性規(guī)律，即在一段時(shí)間內(nèi)，整個(gè)程序的執(zhí)行僅限于程序中的某一部分。相應(yīng)地，執(zhí)行所訪問的存儲(chǔ)空間也局限于某個(gè)內(nèi)存區(qū)域，具體來說，局部性通常有兩種形式：時(shí)間局部性和空間局部性。

時(shí)間局部性：被引用過一次的存儲(chǔ)器位置在未來會(huì)被多次引用。

空間局部性：如果一個(gè)存儲(chǔ)器的位置被引用，那么將來他附近的位置也會(huì)被引用。

頁緩存

Linux系統(tǒng)中為了減少對(duì)磁盤的IO操作，會(huì)將打開的磁盤內(nèi)容進(jìn)行緩存，而緩存的地方則是物理內(nèi)存，進(jìn)而將對(duì)磁盤的訪問轉(zhuǎn)換成對(duì)內(nèi)存的訪問，有效提高程序的速度。Linux的緩存方式是利用物理內(nèi)存緩存磁盤上的內(nèi)容，稱為頁緩存（page cache）。

頁緩存是由內(nèi)存中的物理頁面組成的，其內(nèi)容對(duì)應(yīng)磁盤上的物理塊。頁緩存的大小會(huì)根據(jù)系統(tǒng)的內(nèi)存空閑大小進(jìn)行動(dòng)態(tài)調(diào)整，它可以通過占用內(nèi)存以擴(kuò)張大小，也可以自我收縮以緩解內(nèi)存使用壓力。

在虛擬內(nèi)存機(jī)制出現(xiàn)以前，操作系統(tǒng)使用塊緩存系列，但是在虛擬內(nèi)存出現(xiàn)以后，操作系統(tǒng)管理IO的粒度更大，因此采用了頁緩存機(jī)制，頁緩存是基于頁的、面向文件的緩存機(jī)制。

頁緩存的讀取

Linux系統(tǒng)在讀取文件時(shí)，會(huì)優(yōu)先從頁緩存中讀取文件內(nèi)容，如果頁緩存不存在，系統(tǒng)會(huì)先從磁盤中讀取文件內(nèi)容更新到頁緩存中，然后再從頁緩存中讀取文件內(nèi)容并返回。

大致過程如下：

進(jìn)程調(diào)用庫函數(shù)read發(fā)起讀取文件請(qǐng)求

內(nèi)核檢查已打開的文件列表，調(diào)用文件系統(tǒng)提供的read接口

找到文件對(duì)應(yīng)的inode，然后計(jì)算出要讀取的具體的頁

通過inode查找對(duì)應(yīng)的頁緩存，1）如果頁緩存節(jié)點(diǎn)命中，則直接返回文件內(nèi)容；2）如果沒有對(duì)應(yīng)的頁緩存，則會(huì)產(chǎn)生一個(gè)缺頁異常（page fault）。這時(shí)系統(tǒng)會(huì)創(chuàng)建新的空的頁緩存并從磁盤中讀取文件內(nèi)容，更新頁緩存，然后重復(fù)第4步

讀取文件返回

所以說，所有的文件內(nèi)容的讀取，無論最初有沒有命中頁緩存，最終都是直接來源于頁緩存。

頁緩存的寫入

因?yàn)轫摼彺娴拇嬖?，?dāng)一個(gè)進(jìn)程調(diào)用write時(shí)，對(duì)文件的更新僅僅是被寫到了文件的頁緩存中，讓后將對(duì)應(yīng)的頁標(biāo)記為dirty，整個(gè)過程就結(jié)束了。Linux內(nèi)核會(huì)在周期性地將臟頁寫回到磁盤，然后清理掉dirty標(biāo)識(shí)。

由于寫操作只會(huì)把變更寫入頁緩存，因此進(jìn)程并不會(huì)因此為阻塞直到磁盤IO發(fā)生，如果此時(shí)計(jì)算機(jī)崩潰，寫操作的變更可能并沒有發(fā)生在磁盤上。所以對(duì)于一些要求比較嚴(yán)格的寫操作，比如數(shù)據(jù)系統(tǒng)，就需要主動(dòng)調(diào)用fsync等操作及時(shí)將變更同步到磁盤上。讀操作則不同，read通常會(huì)阻塞直到進(jìn)程讀取到數(shù)據(jù)，而為了減少讀操作的這種延遲，Linux系統(tǒng)還是用了“預(yù)讀”的技術(shù)，即從磁盤中讀取數(shù)據(jù)時(shí)，內(nèi)核將會(huì)多讀取一些頁到頁緩存中。

回寫線程

頁緩存的回寫是由內(nèi)核中的單獨(dú)的線程來完成的，回寫線程會(huì)在以下3種情況下進(jìn)行回寫：

空閑內(nèi)存低于閾值時(shí)。當(dāng)空閑內(nèi)存不足時(shí)，需要釋放掉一部分緩存，由于只有不臟的頁才能被釋放，所以需要把臟頁都回寫到磁盤，使其變?yōu)榭苫厥盏母蓛舻捻摗?/p>

臟頁在內(nèi)存中處理時(shí)間超過閾值時(shí)。這是為了確保臟頁不會(huì)無限期的留在內(nèi)存中，減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

當(dāng)用戶進(jìn)程調(diào)用sync和fsync系統(tǒng)調(diào)用時(shí)。這是為了給用戶進(jìn)程提供強(qiáng)制回寫的方法，滿足回寫要求嚴(yán)格的使用場景。

回寫線程的實(shí)現(xiàn)

頁緩存的回收

Linux中頁緩存的替換邏輯是一個(gè)修改過的LRU實(shí)現(xiàn)，也稱為雙鏈策略。和以前不同，Linux維護(hù)的不再是一個(gè)LRU鏈表，而是維護(hù)兩個(gè)鏈表：活躍鏈表和非活躍鏈表。處于活躍鏈表上的頁面被認(rèn)為是“熱”的且不會(huì)被換出，而在非活躍鏈表上的頁面則是可以被換出的。在活躍鏈表中的頁面必須在其被訪問時(shí)就處于非活躍鏈表中。兩個(gè)鏈表都被偽LRU規(guī)則維護(hù)：頁面從尾部加入，從頭部移除，如同隊(duì)列。兩個(gè)鏈表需要維持平衡–如果活躍鏈表變得過多而超過了非活躍鏈表，那么活躍鏈表的頭頁面將被重新移回到非活躍鏈表中，一遍能再被回收。雙鏈表策略解決了傳統(tǒng)LRU算法中對(duì)僅一次訪問的窘境。而且也更加簡單的實(shí)現(xiàn)了偽LRU語義。這種雙鏈表方式也稱作LRU/2。更普遍的是n個(gè)鏈表，故稱LRU/n。

【推薦學(xué)習(xí)：《》】

總結(jié)

在這次遇到的線上故障中，根本原因在于在業(yè)務(wù)邏輯中使用了臨時(shí)文件做緩存，一個(gè)臨時(shí)文件創(chuàng)建后如果在短時(shí)間內(nèi)刪除，這時(shí)候?qū)@個(gè)文件的操作都是在頁緩存內(nèi)進(jìn)行，不會(huì)實(shí)際回寫到磁盤。當(dāng)程序出現(xiàn)問題響應(yīng)變慢時(shí)，臨時(shí)文件存活時(shí)間變長，就可能會(huì)使其被回寫到磁盤上，導(dǎo)致磁盤壓力過大，進(jìn)而影響整個(gè)系統(tǒng)。