這篇文章主要為大家展示了“如何解決TensorFlow訓(xùn)練內(nèi)存不斷增長(zhǎng),進(jìn)程被殺死的問(wèn)題”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何解決TensorFlow訓(xùn)練內(nèi)存不斷增長(zhǎng),進(jìn)程被殺死的問(wèn)題”這篇文章吧。
TensorFlow訓(xùn)練時(shí)，遇到內(nèi)存不斷增長(zhǎng)，最終導(dǎo)致內(nèi)存不足，進(jìn)程被殺死。
在這里我不準(zhǔn)備對(duì)造成這一現(xiàn)象的所有原因進(jìn)行探討，只是記錄一下我在項(xiàng)目中遇到的這一問(wèn)題，下面將對(duì)我遇到的內(nèi)存不斷增長(zhǎng)的原因進(jìn)行分析。
在TensorFlow中構(gòu)造圖，是將一些op作為節(jié)點(diǎn)加入圖中，在run之前，是需要構(gòu)造好一個(gè)圖的，所以在run的時(shí)候，如果run圖中不存在的節(jié)點(diǎn)，TensorFlow就會(huì)將節(jié)點(diǎn)加入圖中，隨著不斷的迭代，造成內(nèi)存不斷的增長(zhǎng)，從而導(dǎo)致內(nèi)存不足。
下面舉一個(gè)很容易發(fā)現(xiàn)這個(gè)問(wèn)題的例子：
import tensorflow as tf x = tf.Variable(tf.constant(1)) y = tf.constant(2) sess = tf.Session() sess.run(tf.global_variables_initializer()) while True: print(sess.run(x+y))
在上面的例子中，x,y是圖中的兩個(gè)節(jié)點(diǎn)，在while循環(huán)中run(x)或者run(y)都是不存在問(wèn)題的，但是上例中我們使用的時(shí)run(x+y)，而在TensorFlow的圖中是不存在x+y這個(gè)節(jié)點(diǎn)的，所以在run的時(shí)候，圖中會(huì)不斷的創(chuàng)建該節(jié)點(diǎn)，最終導(dǎo)致了內(nèi)存不足。這個(gè)例子很容易理解，這樣的問(wèn)題也很容易發(fā)現(xiàn)。
下面，將舉一個(gè)不是那么容易發(fā)現(xiàn)的問(wèn)題：
重慶分公司
重慶分公司
import tensorflow as tf
test = tf.get_variable('test', shape=[4, 1], initializer=tf.random_normal_initializer(stddev=0.1))
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init_op)
print(sess.run(test[0]))這個(gè)例子是創(chuàng)建一個(gè)shape為[4,1]的變量對(duì)象，test為圖中的一個(gè)節(jié)點(diǎn)，但是在我們實(shí)際使用時(shí)，我們可能并不需要test里的所有數(shù)據(jù)，加入只需要一個(gè)數(shù)據(jù)test[0]，當(dāng)我們使用run(test[0])時(shí)，test[0]并不是圖中的節(jié)點(diǎn)，該節(jié)點(diǎn)就會(huì)在圖中創(chuàng)建。上面的例子并沒(méi)有使用循環(huán)，所以增加了節(jié)點(diǎn)，但是也不會(huì)造成內(nèi)存的不足，當(dāng)使用了循環(huán)時(shí)，就需要注意了。
解決辦法：run圖中存在的節(jié)點(diǎn)，對(duì)返回的結(jié)果進(jìn)行處理，得到想要的結(jié)果，不要在run里面對(duì)節(jié)點(diǎn)處理（處理后的節(jié)點(diǎn)可能不是圖中的節(jié)點(diǎn)）。
以上是“如何解決TensorFlow訓(xùn)練內(nèi)存不斷增長(zhǎng),進(jìn)程被殺死的問(wèn)題”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)成都網(wǎng)站設(shè)計(jì)公司行業(yè)資訊頻道！
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
