這篇文章主要介紹“Linux與JVM的內(nèi)存關(guān)系是什么”,在日常操作中,相信很多人在Linux與JVM的內(nèi)存關(guān)系是什么問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Linux與JVM的內(nèi)存關(guān)系是什么”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!
專注于為中小企業(yè)提供網(wǎng)站制作、做網(wǎng)站服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)光澤免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動了成百上千家企業(yè)的穩(wěn)健成長,幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
引言
在一些物理內(nèi)存為8g的服務(wù)器上,主要運行一個Java服務(wù),系統(tǒng)內(nèi)存分配如下:Java服務(wù)的JVM堆大小設(shè)置為6g,一個監(jiān)控進程占用大約600m,Linux自身使用大約800m。從表面上,物理內(nèi)存應(yīng)該是足夠使用的;但實際運行的情況是,會發(fā)生大量使用SWAP(說明物理內(nèi)存不夠使用了),如下圖所示。同時,由于SWAP和GC同時發(fā)生會致使JVM嚴(yán)重卡頓,所以我們要追問:內(nèi)存究竟去哪兒了?
要分析這個問題,理解JVM和操作系統(tǒng)之間的內(nèi)存關(guān)系非常重要。接下來主要就Linux與JVM之間的內(nèi)存關(guān)系進行一些分析。
一、Linux與進程內(nèi)存模型
JVM以一個進程(Process)的身份運行在Linux系統(tǒng)上,了解Linux與進程的內(nèi)存關(guān)系,是理解JVM與Linux內(nèi)存的關(guān)系的基礎(chǔ)。
下圖給出了硬件、系統(tǒng)、進程三個層面的內(nèi)存之間的概要關(guān)系。
從硬件上看,Linux系統(tǒng)的內(nèi)存空間由兩個部分構(gòu)成:物理內(nèi)存和SWAP(位于磁盤)。物理內(nèi)存是Linux活動時使用的主要內(nèi)存區(qū)域;當(dāng)物理內(nèi)存不夠使用時,Linux會把一部分暫時不用的內(nèi)存數(shù)據(jù)放到磁盤上的SWAP中去,以便騰出更多的可用內(nèi)存空間;而當(dāng)需要使用位于SWAP的數(shù)據(jù)時,必須先將其換回到內(nèi)存中。
從Linux系統(tǒng)上看,除了引導(dǎo)系統(tǒng)的BIN區(qū),整個內(nèi)存空間主要被分成兩個部分:內(nèi)核內(nèi)存(Kernel space)、用戶內(nèi)存(User space)。
內(nèi)核內(nèi)存是Linux自身使用的內(nèi)存空間,主要提供給程序調(diào)度、內(nèi)存分配、連接硬件資源等程序邏輯使用。用戶內(nèi)存是提供給各個進程主要空間,Linux給各個進程提供相同的虛擬內(nèi)存空間;這使得進程之間相互獨立,互不干擾。實現(xiàn)的方法是采用虛擬內(nèi)存技術(shù):給每一個進程一定虛擬內(nèi)存空間,而只有當(dāng)虛擬內(nèi)存實際被使用時,才分配物理內(nèi)存。
對于32的Linux系統(tǒng)來說,一般將0~3G的虛擬內(nèi)存空間分配做為用戶空間,將3~4G的虛擬內(nèi)存空間分配為內(nèi)核空間;64位系統(tǒng)的劃分情況是類似的。
從進程的角度來看,進程能直接訪問的用戶內(nèi)存(虛擬內(nèi)存空間)被劃分為5個部分:代碼區(qū)、數(shù)據(jù)區(qū)、堆區(qū)、棧區(qū)、未使用區(qū)。代碼區(qū)中存放應(yīng)用程序的機器代碼,運行過程中代碼不能被修改,具有只讀和固定大小的特點。數(shù)據(jù)區(qū)中存放了應(yīng)用程序中的全局?jǐn)?shù)據(jù),靜態(tài)數(shù)據(jù)和一些常量字符串等,其大小也是固定的。堆是運行時程序動態(tài)申請的空間,屬于程序運行時直接申請、釋放的內(nèi)存資源。棧區(qū)用來存放函數(shù)的傳入?yún)?shù)、臨時變量,以及返回地址等數(shù)據(jù)。未使用區(qū)是分配新內(nèi)存空間的預(yù)備區(qū)域。
二、進程與JVM內(nèi)存模型
JVM本質(zhì)就是一個進程,因此其內(nèi)存模型也有進程的一般特點。但是,JVM又不是一個普通的進程,其在內(nèi)存模型上有許多嶄新的特點,主要原因有兩個:
1. JVM將許多本來屬于操作系統(tǒng)管理范疇的東西,移植到了JVM內(nèi)部,目的在于減少系統(tǒng)調(diào)用的次數(shù);
2. Java NIO,目的在于減少用于讀寫IO的系統(tǒng)調(diào)用的開銷。
JVM進程與普通進程內(nèi)存模型比較如下圖:
需要說明的是,這個模型的并不是JVM內(nèi)存使用的精確模型,更側(cè)重于從操作系統(tǒng)的角度而省略了一些JVM的內(nèi)部細(xì)節(jié)(盡管也很重要)。下面從用戶內(nèi)存和內(nèi)核內(nèi)存兩個方面講解JVM進程的內(nèi)存特點。
1. 用戶內(nèi)存
上圖特別強調(diào)了JVM進程模型的代碼區(qū)和數(shù)據(jù)區(qū)指的是JVM自身的,而非Java程序的。普通進程棧區(qū),在JVM一般僅僅用做線程棧。JVM的堆區(qū)和普通進程的差別是最大的,下面具體詳細(xì)說明:
首先是永久代。永久代本質(zhì)上是Java程序的代碼區(qū)和數(shù)據(jù)區(qū)。Java程序中類(class),會被加載到整個區(qū)域的不同數(shù)據(jù)結(jié)構(gòu)中去,包括常量池、域、方法數(shù)據(jù)、方法體、構(gòu)造函數(shù)、以及類中的專用方法、實例初始化、接口初始化等。這個區(qū)域?qū)τ诓僮飨到y(tǒng)來說,是堆的一個部分;而對于Java程序來說,這是容納程序本身及靜態(tài)資源的空間,使得JVM能夠解釋執(zhí)行Java程序。
其次是新生代和老年代。新生代和老年代才是Java程序真正使用的堆空間,主要用于內(nèi)存對象的存儲;但是其管理方式和普通進程有本質(zhì)的區(qū)別。
普通進程在運行時給內(nèi)存對象分配空間時,比如C++執(zhí)行new操作時,會觸發(fā)一次分配內(nèi)存空間的系統(tǒng)調(diào)用,由操作系統(tǒng)的線程根據(jù)對象的大小分配好空間后返回;同時,程序釋放對象時,比如C++執(zhí)行delete操作時,也會觸發(fā)一次系統(tǒng)調(diào)用,通知操作系統(tǒng)對象所占用的空間已經(jīng)可以回收。
JVM對內(nèi)存的使用和一般進程不同。JVM向操作系統(tǒng)申請一整段內(nèi)存區(qū)域(具體大小可以在JVM參數(shù)調(diào)節(jié))作為Java程序的堆(分為新生代和老年代);當(dāng)Java程序申請內(nèi)存空間,比如執(zhí)行new操作,JVM將在這段空間中按所需大小分配給Java程序,并且Java程序不負(fù)責(zé)通知JVM何時可以釋放這個對象的空間,垃圾對象內(nèi)存空間的回收由JVM進行。
JVM的內(nèi)存管理方式的優(yōu)點是顯而易見的,包括:第一,減少系統(tǒng)調(diào)用的次數(shù),JVM在給Java程序分配內(nèi)存空間時不需要操作系統(tǒng)干預(yù),僅僅在Java堆大小變化時需要向操作系統(tǒng)申請內(nèi)存或通知回收,而普通程序每次內(nèi)存空間的分配回收都需要系統(tǒng)調(diào)用參與;第二,減少內(nèi)存泄漏,普通程序沒有(或者沒有及時)通知操作系統(tǒng)內(nèi)存空間的釋放是內(nèi)存泄漏的重要原因之一,而由JVM統(tǒng)一管理,可以避免程序員帶來的內(nèi)存泄漏問題。
最后是未使用區(qū),未使用區(qū)是分配新內(nèi)存空間的預(yù)備區(qū)域。對于普通進程來說,這個區(qū)域被可用于堆和棧空間的申請及釋放,每次堆內(nèi)存分配都會使用這個區(qū)域,因此大小變動頻繁;對于JVM進程來說,調(diào)整堆大小及線程棧時會使用該區(qū)域,而堆大小一般較少調(diào)整,因此大小相對穩(wěn)定。操作系統(tǒng)會動態(tài)調(diào)整這個區(qū)域的大小,并且這個區(qū)域通常并沒有被分配實際的物理內(nèi)存,只是允許進程在這個區(qū)域申請堆或??臻g。
2. 內(nèi)核內(nèi)存
應(yīng)用程序通常不直接和內(nèi)核內(nèi)存打交道,內(nèi)核內(nèi)存由操作系統(tǒng)進行管理和使用;不過隨著Linux對性能的關(guān)注及改進,一些新的特性使得應(yīng)用程序可以使用內(nèi)核內(nèi)存,或者是映射到內(nèi)核空間。Java NIO正是在這種背景下誕生的,其充分利用了Linux系統(tǒng)的新特性,提升了Java程序的IO性能。
上圖給出了Java NIO使用的內(nèi)核內(nèi)存在linux系統(tǒng)中的分布情況。nio buffer主要包括:nio使用各種channel時所使用的ByteBuffer、Java程序主動使用ByteBuffer.allocateDirector申請分配的Buffer。而在PageCache里面,nio使用的內(nèi)存主要包括:FileChannel.map方式打開文件占用mapped、FileChannel.transferTo和FileChannel.transferFrom所需要的Cache(圖中標(biāo)示 nio file)。
通過JMX可以監(jiān)控到NIO Buffer和 mapped 的使用情況,如下圖所示。不過,F(xiàn)ileChannel的實現(xiàn)是通過系統(tǒng)調(diào)用使用原生的PageCache,過程對于Java是透明的,無法監(jiān)控到這部分內(nèi)存的使用大小。
Linux和Java NIO在內(nèi)核內(nèi)存上開辟空間給程序使用,主要是減少不要的復(fù)制,以減少IO操作系統(tǒng)調(diào)用的開銷。例如,將磁盤文件的數(shù)據(jù)發(fā)送網(wǎng)卡,使用普通方法和NIO時,數(shù)據(jù)流動比較下圖所示:
將數(shù)據(jù)在內(nèi)核內(nèi)存和用戶內(nèi)存之間拷貝是比較消耗資源和時間的事情,而從上圖我們可以看到,通過NIO的方式減少了2次內(nèi)核內(nèi)存和用戶內(nèi)存之間的數(shù)據(jù)拷貝。這是Java NIO高性能的重要機制之一(另一個是異步非阻塞)。
從上面可以看出,內(nèi)核內(nèi)存對于Java程序性能也非常重要,因此,在劃分系統(tǒng)內(nèi)存使用時候,一定要給內(nèi)核留出一定可用空間。
三、案例分析
1. 內(nèi)存分配問題
通過上面的分析,省略比較小的區(qū)域,可以總結(jié)JVM占用的內(nèi)存:
JVM內(nèi)存 ≈ Java永久代 + Java堆(新生代和老年代) + 線程棧+ Java NIO
回到文章開頭提出的問題,原來的內(nèi)存分配是:6g(java堆) + 600m(監(jiān)控) + 800m(系統(tǒng)),剩余大約600m內(nèi)存未分配。
現(xiàn)在分析這600m內(nèi)存的分配情況:
(1) Linux保留大約200m,這部分是Linux正常運行的需要,
(2) Java服務(wù)的線程數(shù)量是160個,JVM默認(rèn)的線程棧大小是1m,因此使用160m內(nèi)存,
(3) Java NIO buffer,通過JMX查到最多占用了200m,
(4) Java服務(wù)使用NIO大量讀寫文件,需要使用PageCache,正如前面分析,這個暫時不好定量估算大小。
前三項加起來已經(jīng)560m,因此可以斷定Linux物理內(nèi)存不夠使用。
細(xì)心的人會發(fā)現(xiàn),引言中給出兩個服務(wù)器,一個SWAP最多占用了2.16g,另外一個SWAP最多占用了871m;但是,似乎我們的內(nèi)存缺口沒有那么大。事實上,這是由于SWAP和GC同時進行造成的,從下圖可以看到,SWAP的使用和長時間的GC在同一時刻發(fā)生。
SWAP和GC同時發(fā)生會導(dǎo)致GC時間很長,JVM嚴(yán)重卡頓,極端的情況下會導(dǎo)致服務(wù)崩潰。原因如下:JVM進行GC時,時需要對相應(yīng)堆分區(qū)的已用內(nèi)存進行遍歷;假如GC的時候,有堆的一部分內(nèi)容被交換到SWAP中,遍歷到這部分的時候就需要將其交換回內(nèi)存,同時由于內(nèi)存空間不足,就需要把內(nèi)存中堆的另外一部分換到SWAP中去;于是在遍歷堆分區(qū)的過程中,(極端情況下)會把整個堆分區(qū)輪流往SWAP寫一遍。Linux對SWAP的回收是滯后的,我們就會看到大量SWAP占用。
上述問題,可以通過減少堆大小,或者增加物理內(nèi)存解決。
因此,我們得出一個結(jié)論:部署Java服務(wù)的Linux系統(tǒng),在內(nèi)存分配上,需要避免SWAP的使用;具體如何分配需要綜合考慮不同場景下JVM對Java永久代 、Java堆(新生代和老年代)、線程棧、Java NIO所使用內(nèi)存的需求。
2.內(nèi)存泄漏問題
另一個案例是,8g內(nèi)存的服務(wù)器,Linux使用800m,監(jiān)控進程使用600m,堆大小設(shè)置4g;系統(tǒng)可用內(nèi)存有2.5g左右,但是也發(fā)生了大量的SWAP占用。
分析這個問題如下:
(1) 在這個場景中, Java永久代 、Java堆(新生代和老年代)、線程棧所用內(nèi)存基本是固定的,因此,占用內(nèi)存過多的原因就定位在Java NIO上。
(2) 根據(jù)前面的模型,Java NIO使用的內(nèi)存主要分布在Linux內(nèi)核內(nèi)存的System區(qū)和PageCache區(qū)。查看監(jiān)控的記錄,如下圖,我們可以看到發(fā)生SWAP之前,也就是物理內(nèi)存不夠使用的時候,PageCache急劇縮小。因此,可以定位在System區(qū)的Java NIO Buffer發(fā)生內(nèi)存泄漏。
(3) 由于NIO的DirectByteBuffer需要在GC的后期被回收,因此連續(xù)申請DirectByteBuffer的程序,通常需要調(diào)用System.gc(),避免長時間不發(fā)生FullGC導(dǎo)致引用在old區(qū)的DirectByteBuffer內(nèi)存泄漏。分析到此,可以推斷有兩種可能的原因:第一,Java程序沒有在必要的時候調(diào)用System.gc();第二,System.gc()被禁用。
(4) 最后是要排查JVM啟動參數(shù)和Java程序的DirectByteBuffer使用情況。在本例中,查看JVM啟動參數(shù),發(fā)現(xiàn)啟用了-XX:+DisableExplicitGC導(dǎo)致System.gc()被禁用。
到此,關(guān)于“Linux與JVM的內(nèi)存關(guān)系是什么”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
新聞名稱:Linux與JVM的內(nèi)存關(guān)系是什么
URL鏈接:http://weahome.cn/article/pioish.html