报出的问题: 报错的原因,虚拟内存超出了限制,虚拟内存不同于物理内存,可以超出,所以我们在这里要配置允许超过。
Container [pid=3007,containerID=container_1599018748796_0004_01_000004] is
running 342252032B beyond the 'VIRTUAL' memory limit. Current usage: 416.0 MB
of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used.
Killing container.
解决的办法: 在yarn-site.xml中加入如下配置:
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>