小編給大家分享一下怎么減少python內存的消耗，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
Python 打算刪除大量涉及像C和C++語言那樣的復雜內存管理。當對象離開范圍，就會被自動垃圾收集器回收。然而，對于由 Python 開發(fā)的大型且長期運行的系統(tǒng)來說，內存管理是不容小覷的事情。
在這篇博客中，我將會分享關于減少 Python 內存消耗的方法和分析導致內存消耗/膨脹根源的問題。這些都是從實際操作中總結的經(jīng)驗，我們正在構建 Datos IO 的 RecoverX 分布式備份和恢復平臺，這里主要要介紹的是在 Python（在 C++ ，Java 和 bash 中也有一些類似的組件） 中的開發(fā)。
Python 垃圾收集
Python解釋器對正在使用的對象保持計數(shù)。當對象不再被引用指向的時候，垃圾收集器可以釋放該對象，獲取分配的內存。例如，如果你使用常規(guī)的Python(CPython, 不是JPython)時，Python的垃圾收集器將調用free()/delete() 。
實用工具
資源（resource）
resource 模塊用來查看項目當前得的固有的)內存消耗(固有內存是項目實際使用的RAM)，注意resource庫只在linux系統(tǒng)下有效
>>> import resource >>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss 443
對象（objgraph）
objgraph 是一個實用模塊,可以展示當前內存中存在的對象
來看看objgraph的簡單用法：
重慶分公司
重慶分公司
import objgraph
import random
import inspect
class Foo(object):
def __init__(self):
self.val = None
def __str__(self):
return "foo - val: {0}".format(self.val)
def f():
l = []
for i in range(3):
foo = Foo()
l.append(foo)
return l
def main():
d = {}
l = f()
d['k'] = l
print "list l has {0} objectsoftype Foo()".format(len(l))pythontest1.py
輸出：
list l has 10000 objectsoftype Foo()
dict 10423
Foo 10000 ————> Guiltyas charged!
tuple 3349
wrapper_descriptor 945
function 860
builtin_function_or_method 616
method_descriptor 338
weakref 199
member_descriptor 161
getset_descriptor 107
注意，我們在內存中還持有10,423個‘dict'的實例對象。
可視化objgraph依賴項
Objgraph有個不錯的功能，可以顯示Foo()對象在內存中存在的因素，即，顯示誰持有對它的引用 (在這個例子中是list l)。
在RedHat/Centos上, 你可以使用sudo yum install graphviz*安裝graphviz
在Ubunbu等系統(tǒng)上使用sudo apt-get install graphviz*安裝graphviz
如需查看對象字典 d，請參考:
objgraph.show_refs(d, filename='sample-graph.png')
從內存使用角度來看，我們驚奇地發(fā)現(xiàn)——為什么對象沒有釋放?這是因為有人在持有對它的引用。
這個小片段展示了objgraph怎樣提供相關信息:
objgraph.show_backrefs(random.choice(objgraph.by_type('Foo')), filename="foo_refs.png")
在這一案例中, 我們查看了Foo類型的隨機對象。我們知道該特定對象被保存在內存中，因其引用鏈接在指定范圍內。
有時，以上技巧能幫助我們理解，為什么當我們不再使用某對象時，Python垃圾回收器沒有將垃圾回收。
難處理的是，有時候我們會發(fā)現(xiàn)Foo()占用了很多內存的類。這時我們可以用heapy()來回答以上問題。
Heapy
heapy 是一個實用的，用于調試內存消耗/泄漏的工具。通常，我將objgraph和heapy搭配使用：用 heapy 查看分配對象隨時間增長的差異，heapy能夠顯示對象持有的大內存等；用Objgraph找backref鏈（例如：前4節(jié)），嘗試獲取它們不能被釋放的原因。
Heapy的典型用法是在不同地方的代碼中調用一個函數(shù)，試圖為內存使用量提供大量收集線索，找到可能會引發(fā)的問題：
from guppyimport hpy
def dump_heap(h, i):
"""
@param h: Theheap (from hp = hpy(), h = hp.heap())
@param i: Identifierstr
"""
print "Dumpingstatsat: {0}".format(i)
print 'Memoryusage: {0}(MB)'.format(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss/1024)
print "Mostcommontypes:"
objgraph.show_most_common_types()
print "heapis:"
print "{0}".format(h)
by_refs = h.byrcs
print "byreferences: {0}".format(by_refs)
print "Morestatsfor topelement.."
print "Byclodo (class or dict owner): {0}".format(by_refs[0].byclodo)
print "Bysize: {0}".format(by_refs[0].bysize)
print "Byid: {0}".format(by_refs[0].byid)減少內存消耗小技巧
在這一部分，我會介紹一些自己發(fā)現(xiàn)的可減少內存消耗的小竅門.
Slots
當你有許多對象時候可以使用Slots。Slotting傳達給Python解釋器：你的對象不需要動態(tài)的字典(從上面的例子2.2中，我們看到每個Foo()對象內部包含一個字典)
用slots定義你的對象，讓python解釋器知道你的類屬性/成員是固定的.。這樣可以有效地節(jié)約內存!
參考以下代碼：
import resource
class Foo(object):
#__slots__ = ('val1', 'val2', 'val3', 'val4', 'val5', 'val6')
def __init__(self, val):
self.val1 = val+1
self.val2 = val+2
self.val3 = val+3
self.val4 = val+4
self.val5 = val+5
self.val6 = val+6
def f(count):
l = []
for i in range(count):
foo = Foo(i)
l.append(foo)
return l
def main():
count = 10000
l = f(count)
mem = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
print "Memoryusageis: {0} KB”.format(mem)
print "Sizeperfooobj: {0} KB”.format(float(mem)/count)
if __name__ == "__main__”:
main()[vagrant@datosdevtemp]$ pythontest2.py
輸出：
Memoryusageis: 16672 KB
Sizeperfooobj: 1.6672 KB
Nowun-commentthisline: #__slots__ = (‘val1', ‘val2', ‘val3', ‘val4', ‘val5', ‘val6')
[vagrant@datosdevtemp]$ pythontest2.py
Memoryusageis: 6576 KB
Sizeperfooobj: 0.6576 KB
在這個例子中，減少了60%的內存消耗！
駐留：謹防駐留字符串！
Python會記錄如字符串等不可改變的值（其每個值的大小依賴于實現(xiàn)方法），這稱為駐留。
>>> t = "abcdefghijklmnopqrstuvwxyz" >>>> p = "abcdefghijklmnopqrstuvwxyz" >>>> id(t) 139863272322872 >>> id(p) 139863272322872
這是由python解析器完成的，這樣做可以節(jié)省內存，并加快比較速度。例如，如果兩個字符串擁有相同的ID或引用–他們就是全等的。
然而，如果你的程序創(chuàng)建了許多小的字符串，你的內存就會出現(xiàn)膨脹。
生成字符串時使用Format來代替“+”
接下來，在構造字符串時，使用Format來代替“+”構建字符串。
亦即，
st = "{0}_{1}_{2}_{3}".format(a,b,c,d) # 對內存更好，不創(chuàng)建臨時變量
st2 = a + '_' + b + '_' + c + '_' + d # 在每個"+"時創(chuàng)建一個臨時str，這些都是駐留在內存中的。在我們的系統(tǒng)中，當我們將某些字符串構造從“+”變?yōu)槭褂胒ormat時，內存會明顯被節(jié)省。
關于系統(tǒng)級別
上面我們討論的技巧可以幫助你找出系統(tǒng)內存消耗的問題。但是，隨著時間的推移，python進程產(chǎn)生的內存消耗會持續(xù)增加。這似乎與以下問題有關:
為什么C中內存分配能夠在Python內部起作用，這本質上是內存碎片導致的。因為，除非整個內存沒有使用過，否則該分配過程不能調用‘free'方法。但需要注意的是，內存的使用不是根據(jù)你所創(chuàng)建和使用的對象來進行排列。
內存增加也和上面討論的“Interning” 有關。
以我的經(jīng)驗來看，減少python中內存消耗的比例是可行的。在Datos IO中，我曾經(jīng)針對指定的內存消耗進程實現(xiàn)過一個工作模塊。對于序列化的工作單元，我們運行了一個工作進程。當工作進程完成后, 它會被移除了——這是返回系統(tǒng)全部內存的唯一可以有效方法 :)。好的內存管理允許增加分配內存的大小，即允許工作進程長時間運行。
總結
我歸納了一些減少python進程消耗內存的技巧，當我們在代碼中尋找內存泄漏時，一種方法是通過使用Heapy找出哪些Obj占用了較多內存，然后通過使用Objgraph找出內存被釋放的原因（除非你認為他們本應該被釋放）。
總的來說，我覺得在python中尋找內存問題是一種修行。隨著時間的積累，對于系統(tǒng)中的內存膨脹和泄漏問題，你能產(chǎn)生一種直覺判斷，并能更快地解決它們。愿你在發(fā)現(xiàn)問題的過程中找到樂趣！
以上是“怎么減少python內存的消耗”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注創(chuàng)新互聯(lián)成都網(wǎng)站設計公司行業(yè)資訊頻道！
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
