hive運行報錯running beyond virtual memory錯誤原因及解決辦法是什么，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

在陽原等地區(qū)，都構建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供網(wǎng)站建設、成都網(wǎng)站制作 網(wǎng)站設計制作按需求定制制作,公司網(wǎng)站建設,企業(yè)網(wǎng)站建設,成都品牌網(wǎng)站建設,營銷型網(wǎng)站,外貿(mào)網(wǎng)站建設,陽原網(wǎng)站建設費用合理。

問題：在hive中運行應用，出現(xiàn)了running beyond virtual memory錯誤。提示如下：

Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.原因：運行的Container試圖使用過多的內存，而被NodeManager kill掉了。

[摘錄] The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire process tree of the task and if it eats up more memory than the maximum set in mapreduce.map.memory.mb or mapreduce.reduce.memory.mb respectively, we would expect the Nodemanager to kill the task, otherwise your task is stealing memory belonging to other containers, which you don't want.

要解決這個異常，得熟悉yarn自身的虛擬內存管理規(guī)則，在Yarn平臺中，CPU，內存，磁盤都被抽象成資源來自使用，管理資源的角色主要有Yarn Resource Manager (RM) 負責總的資源調度，然后每個節(jié)點上有Nodemanager 來監(jiān)聽守護資源，在具體到每一個應用上是通過Application Master (AM) container來給Map或Reduce任務來分配資源，具體的屬性如下： 
（1）yarn.nodemanager.resource.memory-mb 
可分配的物理內存總量，默認是8*1024MB。 
（2）yarn.nodemanager.vmem-pmem-ratio 
每單位的物理內存總量對應的虛擬內存量，默認是2.1，表示每使用1MB的物理內存，最多可以使用2.1MB的虛擬內存總量。 

第二個屬性，比率的控制影響著虛擬內存的使用，當yarn計算出來的虛擬內存，比在mapred-site.xml里的mapreduce.map.memory.mb或mapreduce.reduce.memory.mb的2.1倍還要多時，就會發(fā)生上面截圖中的異常，而默認的mapreduce.map.memory.mb或 
mapreduce.reduce.memory.mb得初始大小為1024M，然后根據(jù)異常中的yarn自身根據(jù)運行環(huán)境推算出來的虛擬內存來做比較，發(fā)現(xiàn)比1024*2.1還要大，所以就會由NodeManage守護進程kill掉AM容器，從而導致整個MR作業(yè)運行失敗，現(xiàn)在我們只需要調大這個比率即可，避免發(fā)生這種異常。具體調大多小，可根據(jù)具體情況來設置。

兩種解決方法：

1、上面提到的修改yarn-site.xml配置文件，可以增加yarn.nodemanager.vmem-pmem-ratio的比例，但這種修改方法需要重新啟動集群才可以生效,同時要注意所有節(jié)點的resourceManager或NodeManager進程必須重啟成功（我遇到過 用stop-yarn.sh重啟集群然而resourceManager進程并沒有stop，導致應用不生效的情況，可在stop-yarn.sh執(zhí)行后用jps命令確認）； 

2、修改mapred-site.xml配置文件中這兩個值，注意map和reduce的java.opts值需要小于對應的mapreduce.memory值 (value中實際配置的內存需要根據(jù)自己機器內存大小及應用情況進行修改)  。

　　mapreduce.map.memory.mb
　　1536


　　mapreduce.map.java.opts
　　-Xmx1024M


　　mapreduce.reduce.memory.mb
　　3072


　　mapreduce.reduce.java.opts
　　-Xmx2560M

在hive命令行查看和設置相關值：

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。