這篇文章主要介紹Linux下如何解決內(nèi)存統(tǒng)計和內(nèi)存泄露類問題,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
創(chuàng)新互聯(lián)是一家朝氣蓬勃的網(wǎng)站建設公司。公司專注于為企業(yè)提供信息化建設解決方案。從事網(wǎng)站開發(fā),網(wǎng)站制作,網(wǎng)站設計,網(wǎng)站模板,微信公眾號開發(fā),軟件開發(fā),小程序制作,十多年建站對塑料袋等多個行業(yè),擁有多年設計經(jīng)驗。
Linux在內(nèi)存使用上的原則是:如果內(nèi)存充足,不用白不用,盡量使用內(nèi)存來緩存一些文件,從而加快進程的運行速度,而當內(nèi)存不足時,會通過相應的內(nèi)存回收策略收回cache內(nèi)存,供進程使用。
一、系統(tǒng)總內(nèi)存的分析
可以從proc目錄下的meminfo文件了解到當前系統(tǒng)內(nèi)存的使用情況匯總,其中可用的物理內(nèi)存=memfree+buffers+cached,當memfree不夠時,內(nèi)核會通過回寫機制(pdflush線程)把cached和buffered內(nèi)存回寫到后備存儲器,從而釋放相關內(nèi)存供進程使用,或者通過手動方式顯式釋放cache內(nèi)存:
echo 3 > /proc/sys/vm/drop_caches
下圖是海思平臺下當前系統(tǒng)內(nèi)存的總體使用情況,其中可以看到,系統(tǒng)消耗掉了29M的內(nèi)存,下面繼續(xù)分析這些內(nèi)存都是被誰消耗掉了。
# cat /proc/meminfo
MemTotal: 68956 kB MemFree: 18632 kB Buffers: 4096 kB Cached: 17260 kB SwapCached: 0 kB Active: 21304 kB Inactive: 19248 kB SwapTotal: 0 kB SwapFree: 0 kB Dirty: 0 kB Writeback: 0 kB AnonPages: 19216 kB Mapped: 2472 kB Slab: 6900 kB SReclaimable: 924 kB SUnreclaim: 5976 kB PageTables: 460 kB NFS_Unstable: 0 kB Bounce: 0 kB CommitLimit: 62060 kB Committed_AS: 28864 kB VmallocTotal: 442368 kB VmallocUsed: 46984 kB VmallocChunk: 393212 kB |
二、進程使用內(nèi)存的統(tǒng)計
在32位操作系統(tǒng)中,每個進程擁有4G的虛擬內(nèi)存空間,其中0~3GB是每個進程的私有用戶空間,這個空間對系統(tǒng)中其他進程是不可見的。3~4GB是linux內(nèi)核空間,由系統(tǒng)所有的進程以及內(nèi)核所共享的。通過訪問/proc/{pid}/下相關文件,可以了解每個線程虛擬內(nèi)存空間的使用情況,從而了解每個線程所消耗內(nèi)存的多少。
由于我們的產(chǎn)品都是使用多線程方式實現(xiàn)的,多個線程共享一個進程的用戶態(tài)虛擬地址空間,虛擬地址空間包含若干區(qū)域,主要有如下幾個區(qū)域:
1、當前執(zhí)行文件的代碼段,該代碼段稱為text段。
2、執(zhí)行文件的數(shù)據(jù)段,主要存儲執(zhí)行文件用到的全局變量,靜態(tài)變量。
3、存儲全局變量和動態(tài)產(chǎn)生的數(shù)據(jù)的堆。
4、用于保存局部變量和實現(xiàn)函數(shù)調(diào)用的棧。
5、采用mmap方式映射到虛擬地址空間中的內(nèi)存段
所以只需要查看任意一個線程的用戶態(tài)虛擬地址空間分配即可知道屬于同一進程的所有線程占用總內(nèi)存的大小。可以通過查看/proc/{pid}/maps文件來獲取相關的虛擬地址空間內(nèi)容,下文摘列部分典型的內(nèi)容:
# cat /proc/568/maps
00008000-0036a000 r-xp 00000000 00:0e 236 /home/hik/hicore 00372000-003a5000 rw-p 00362000 00:0e 236 /home/hik/hicore 003a5000-00e28000 rwxp 003a5000 00:00 0 [heap] 40000000-40005000 r-xp 00000000 01:00 94 /lib/ld-uClibc.so.0 416db000-41770000 rw-s c2005000 00:0f 68 /dev/mem b51fc000-b5200000 rwxp b51fc000 00:00 0 ……. be1fc000-be200000 rwxp be1fc000 00:00 0 be93b000-be950000 rwxp befeb000 00:00 0 [stack] |
***行:從r-xp可知其權限為只讀、可執(zhí)行,該段內(nèi)存地址對應于執(zhí)行文件的代碼段,程序的代碼段需加載到內(nèi)存中才可以執(zhí)行。由于其只讀,不會被修改,所以在整個系統(tǒng)內(nèi)共享。
第二行:從rw-p可知其權限為可讀寫,不可執(zhí)行,該段內(nèi)存地址對應于執(zhí)行文件的數(shù)據(jù)段,存放執(zhí)行文件所用到的全局變量、靜態(tài)變量。
第三行:從rwxp可知其權限是可讀寫,可執(zhí)行,地址空間向上增長,而且不對應文件,是堆段,進程使用malloc申請的內(nèi)存放在堆段。每個進程只有一個堆段,不論是主進程,還是不同的線程申請的內(nèi)存,都反映到到進程的堆段。堆段向上增長,***可以增長到1GB的位置,即0x40000000,如果大于1GB,glibc將采用mmap的方式,為堆申請一塊內(nèi)存。
第四行:是程序連接的共享庫的內(nèi)存地址。
第五行:是以mmap方式映射的虛擬地址空間。
第六、七行:是線程的棧區(qū)地址段,每個線程的棧大小都是16K。
第八行:是進程的棧區(qū)。關于棧段,每個線程都有一個,如果進程中有多個線程,則包含多個棧段。
三、當前系統(tǒng)總內(nèi)存的統(tǒng)計
1、進程占用的總內(nèi)存可以通過上述maps表計算出來。
2、當系統(tǒng)運行起來以后,會把應用層相關的文件掛載到tmpfs文件系統(tǒng)下,海思系統(tǒng)下這部分大概有13M左右,這部分內(nèi)存是以cache方式統(tǒng)計出來的,但是這部分內(nèi)存cache無法通過回收策略或者顯式的調(diào)用釋放掉。
3、根文件系統(tǒng)ramdisk占用的內(nèi)存。
4、當前系統(tǒng)保留內(nèi)存的大小,可以通過查看/proc/sys/vm/min_free_kbytes來獲取或者修改此內(nèi)存的大小。
5、當然,當系統(tǒng)運行起來后,還應該留有一定的內(nèi)存用于在硬盤讀寫時做cache或者網(wǎng)絡負荷比較高時分配skb等,一般需要30M以上。
四、對調(diào)試內(nèi)存泄露類問題的一些啟示
當進程申請內(nèi)存時,實際上是glibc中內(nèi)置的內(nèi)存管理器接收了該請求,隨著進程申請內(nèi)存的增加,內(nèi)存管理器會通過系統(tǒng)調(diào)用陷入內(nèi)核,從而為進程分配更多的內(nèi)存。
針對堆段的管理,內(nèi)核提供了兩個系統(tǒng)調(diào)用brk和mmap,brk用于更改堆頂?shù)刂?,而mmap則為進程分配一塊虛擬地址空間。
當進程向glibc申請內(nèi)存時,如果申請內(nèi)存的數(shù)量大于一個閥值的時候,glibc會采用mmap為進程分配一塊虛擬地址空間,而不是采用brk來擴展堆頂?shù)闹羔槨H笔∏闆r下,此閥值是128K,可以通過函數(shù)來修改此值。
#include
Int mallopt(int param, int value)
Param的取值分別為M_MMAP_THRESHOLD、M_MMAP_MAX。
Value的取值是以字節(jié)為單位的。
M_MMAP_THRESHOLD是glibc中申請大塊內(nèi)存閥值,大于該閥值的內(nèi)存申請,內(nèi)存管理器將使用mmap系統(tǒng)調(diào)用申請內(nèi)存,如果小于該閥值的內(nèi)存申請,內(nèi)存管理器使用brk系統(tǒng)調(diào)用擴展堆頂指針。
M_MMAP_MAX是該進程中最多使用mmap分配地址段的數(shù)量。
如果在實際的調(diào)試過程中,懷疑某處發(fā)生了內(nèi)存泄露,可以查看該進程的maps表,看進程的堆段或者mmap段的虛擬地址空間是否持續(xù)增加,如果是,說明很可能發(fā)生了內(nèi)存泄露,如果mmap段虛擬地址空間持續(xù)增加,還可以看到各個段的虛擬地址空間的大小,從而可以確定是申請了多大的內(nèi)存,對調(diào)試內(nèi)存泄露類問題可以起到很好的定位作用。
以上是“Linux下如何解決內(nèi)存統(tǒng)計和內(nèi)存泄露類問題”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對大家有幫助,更多相關知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道!