java lang OutOfMemoryError unable to create new native thread内存泄漏分析.doc

【问题现象】：自动化用例跑了约三个多小时后，界面响应时间长，界面出现500错误。之后再点击时，页面重定向至首页。查看jboss下的server.log文件发现内存溢出的OutOfMemory异常。【出现的问题日志】：java.lang.OutOfMemoryErrorat java.util.zip.ZipFile.open(Native Method)at java.util.zip.ZipFile.(ZipFile.java:203)at java.util.jar.JarFile.(JarFile.java:132)at java.util.jar.JarFile.(JarFile.java:97)2010-11-24 15:32:48,377 ERROR STDERR Exception in thread Thread-5271 2010-11-24 15:32:48,377 ERROR STDERR java.lang.OutOfMemoryError: unable to create new native thread【问题定位】：对于一般的内存泄漏导致的堆栈溢出，通常的错误信息主要有以下几种。1. java.lang.OutOfMemoryError: Java heap space2. java.lang.OutOfMemoryError: PermGen space3. java.lang.OutOfMemoryError: Requested array size exceeds VM limit4. java.lang.OutOfMemoryError: (Native method)回复次数：1 luozhangwen (我不懒-押宝党实习生) 等级：#1楼 得分：0回复于：2010-12-27 16:06:51而在出现内存泄露的机器上，其日志显示是无法创建本地线程的原因所引起的。这里的异常信息 是：java.lang.OutOfMemoryError: unable to create new native thread，对应上述内存溢出的第4种场景。尽管可以初步怀疑是虚拟机参数的设置导致的问题，但实际上还是需要确认系统在自动化场景下有没有其他内存泄 露问题。重新跑自动化，并中间使用“jstat gcutil 进程ID 1000 3 jstat.txt”命令，每隔3秒查看一下虚拟机堆空间的回收情况。在运行了三个多小时后，发行server.log种已经出现了该 OutOfMemory的异常信息。此时查看了jstat.txt文件，发现从自动化开始运行一直到堆栈溢出，内存回收都很正常。全部垃圾回收时间花费了 5秒左右，且未有full gc，全为young gc的时间。持久区（Perm）、年老区(Old)，分别占用了25%、19%左右的空间。且使用“top”命令监测中间CPU和内存占用都比较稳定，没 有激增的现象。使用“jmap hito 进程ID”查看内存对象统计，发现没有业务逻辑相关的类导致的泄露问题。系统中创建最多的就是与Sting相关的char数组对象。这个也是正常情况，排除程序级别的内存泄漏问题。也就是说堆栈溢出不是1和2的两种情况。此时再分析server.log种的日志信息，得知是无法创建本地线程所致的问题。也就是说在压力环境下拥有大量的线程，或者本地内存耗尽时，企图创建新的线程时抛出。而系统能创建的线程数的计算公式如下： (MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads MaxProcessMemory 指的是一个进程的最大内存JVMMemory JVM内存ReservedOsMemory 保留的操作系统内存ThreadStackSize 线程栈的大小【解决方法】:针对无法创建更多本地线程的情况，调整线程栈的大小，添加-Xss选项，设置为256k后再跑自动化，发现问题解决。JAVA_OPTS=-Xms2048M -Xmx2048M -Xmn512M -Xss256k -XX:PermSize=512M.”星期一早上到了公司，据称产品环境抛出了最可爱的异常OutOfMemory, 它是这样来描述他自己的：java.lang.OutOfMemoryError: unable to create new native thread而且这位仁兄竟然还堂而皇之地同时出现在了3个application里面，所有应用全部遭殃。那可爱的OOM是如何产生的呢？直接原因是创建的线程太多了，根本原因是某个地方的内存限制了。搜罗了一下在网上找到了一个计算公式：(MaxProcessMemory - JVMMemory ReservedOsMemory) / (ThreadStackSize) = Number of threadsMaxProcessMemory：进程最大的寻址空间，但我想这个值应该也不会超过虚拟内存和物理内存的总和吧。关于不同系统的进程可寻址的最大空间，可参考下面表格：Maximum Address Space Per ProcessOperating System Maximum Address Space Per Process Redhat Linux 32 bit 2 GB Redhat Linux 64 bit 3 GB Windows 98/2000/NT/Me/XP 2 GB Solaris x86 (32 bit) 4 GB Solaris 32 bit 4 GB Solaris 64 bit Terabytes JVMMemory: Heap + PermGenReservedOSMemory：Native heap，JNI便可推导出单个JVM Instance可支持的最大线程数的估计值：(MaxProcessMemory Xms XX:PermSize 100m) / Xss = Number of threads在本地(32bit windows)试了试，可达的线程的最大值差不多就是这个数，它不受物理内存的限制，会利用虚拟内存，从任务管理器看到memory已经是5500 m左右了（开了两个jvm），我机器的物理内存是2g，也不知道这个准不准，后来还抛出了“unable to create new native thread”的兄弟“Exception in thread CompilerThread0 java.lang.OutOfMemoryError: requested 471336 bytes for Chunk:new. Out of swap space?“。本地测完了后，就该轮到dev环境了，linux2.6，64bit，双核，8G（虚拟机），总的物理内存是16g。在上面整了一下，创建到了15000多个线程的时候挂掉了。此时其他application也不能创建新的线程，而且db也报错了，操作系统不能fork新的线程了。这应该是操作系统的哪里限制了新线程的创建， max thread，linux2.6似乎是32000 最大可用内存：物理内存+虚拟内存 配置，在linux可以限制可用资源的大小，show一下这些参数core file size (blocks, -c) 0data seg size (kbytes, -d) unlimitedfile size (blocks, -f) unlimitedpending signals (-i) 1024max locked memory (kbytes, -l) 32max memory size (kbytes, -m) unlimitedopen files (-n) 65536pipe size (512 bytes, -p) 8POSIX message queues (bytes, -q) 819200stack size (kbytes, -s) 10240cpu time (seconds, -t) unlimitedmax user processes (-u) 16384virtual memory (kbytes, -v) unlimitedfile locks (-x) unlimited为了进一步确定在linux上一个jvm因为达到了最大寻址空间OOM了，不会影响其他jvm，我在Linux做了进一步测试，一开始用Sun文档中说的最大寻址空间3G试了一下，发现根本不对，达到了3G后还是非常high地在创建新的线程。于是出动超级无敌变态的JVM初始化配置。oracle 27408 27017 12 13:45 ? 00:00:07 /home/oracle/ias1013/FWAPP/FWDev/jdk/bin/java -server -Xmx4096m -Xms4096m -XX:+HeapDumpOnOutOfMemoryError -XX:PermSize=4096m -XX:MaxPermSize=4096m -XX:HeapDumpPath=/home/oracle/ias1013/FWAPP/FWDev/j2ee/OC4J_OOMTest/workEnv/log -Xss100m结果在create 3379个线程后，“unable to create new native thread”出现了，这时其他jvm都是可以create新线程的。如果按照上面公式计算，linux 64bit，2.6kernel，它的最大寻址空间肯定超过了300g，当然应该还没有达到可用内存的限制，因为其他JVM还能create新线程。我还怀疑是不是oracle application server上的某个配置参数限制了总的线程数，影响了所有application，但我们的产品环境一个application就是一个单独的application server。现在基本上可以确定是操作系统哪里设置错了，我想System team的帅哥们应该把产品环境的某个参数配置错了，系统本身的影响肯定不会有了，因为产品环境上我们只create了800左右个线程，就OOM了，那应该就是配置的问题了，怀疑的参数有下面四个max user processes (-u) 2048virtual memory (kbytes, -v) unlimitedmax memory size (kbytes, -m) unlimitedstack size (kbytes, -s) 10240最后发现只有max user processes 和virtual memory对总的线程数有影响，我把max user processes降到2048后，发现此时只能创建 2000左右个线程了(Xms64m, Xss1m)，进一步地把virtual memory下调到2048000K发现能创建的就更少了1679（Xms64m, Xss1m），而它只会对当前shell起作用，而多个application server应该是不同的shell,所以他是打酱油的。另外两个参数好像就是来做做俯卧撑的，操作系统stack size是不应该会有什么影响，我们把它上调到102400，还是可以创建2000左右的线程数（max user processes），因为java有自己的线程模型，它的栈的大小是用Xss来控制的。Max memory size不知道是啥东东，照理说如果是最大内存应该不会只在旁边做俯卧撑，那这个参数到底是春哥还是曾哥，查了一下man ulimit，有下面解释 -a All current limits are reported -c The maximum size of core files created -d The maximum size of a process data segment -f The maximum size of files created by the shell -l The maximum size that may be locked into memory -m The maximum resident set size (has no effect on Linux) -n The maximum number of open file descriptors (most systems do not allow this value to be set) -p The pipe size in 512-byte blocks (this may not be set) -s The maximum stack size -t The maximum amount of cpu time in seconds -u The maximum number of processes available to a single user -v The maximum amount of virtual memory available to the shell“Has no effect on Linux”就足以证明它确实只是来做做俯卧撑的。最后查出只有“max user processes”会对所有application能创建总的线程数有限制。posted on 2009-09-25 10:55 叱咤红人 阅读(4117) 评论(6) 编辑 收藏 所属分类: J2SE and JVM 评论#re: 剥下“java.lang.OutOfMemoryError: unable to create new native thread”的外衣未登录 2010-01-19 17:16 菜鸟 我最近总也是碰见OOM（Exception in thread CompilerThread0 java.lang.OutOfMemoryError: requested 1056888 bytes for Chunk:new. Out of swap space?） 不知道大侠能否指点下偶？ 1、服务器硬件配置如下： Type IBM X3850 Processor Details 2132 MHz * 16 Memory 16G 操作系统是RedHat企业版5.0，64位服务器 2、我使用的JDK是jdk-1_5_0_12-linux-i586，应用服务器是Weblogic 9.2，weblogic服务器setDomain.sh文件的参数配置如下： # PATCH_LIBPATH=myPatchLibpath (unix) # PATCH_PATH=myPatchPath (unix) . $WL_HOME/common/bin/commEnv.sh WLS_HOME=$WL_HOME/server export WLS_HOME WLI_HOME=$WL_HOME/integration export WLI_HOME MEM_ARGS=-Xms3072m -Xmx3072m export MEM_ARGS if $JAVA_VENDOR = Sun ; then if $PRODUCTION_MODE = ; then MEM_DEV_ARGS=-XX:CompileThreshold=8000 -XX:PermSize=96m -XX:+UseParallelGC export MEM_DEV_ARGS fi fi # Had to have a separate test here BECAUSE of immediate variable expansion on windows if $JAVA_VENDOR = Sun ; then MEM_ARGS=$MEM_ARGS $MEM_DEV_ARGS -XX:MaxPermSize=256m export MEM_ARGS fi 回复更多评论 #re: 剥下“java.lang.OutOfMemoryError: unable to create new native thread”的外衣未登录 2010-01-19 17:17 菜鸟 我的邮箱是，请大侠指点下，先谢谢了。回复更多评论 #re: 剥下“java.lang.OutOfMemoryError: unable to create new native thread”的外衣 2010-01-20 07:42 叱咤红人 帅哥， 1.用ulimit看一下，虚拟内存是否做了限制。这个异常我测试下来是出现在当总内存（物理内存+虚拟内存）不够的情况下。 2.用profile工具或者gc log看一下内存的使用情况。看程序中是否有内存溢出的风险。 3.出问题时系统中的线程使用情况。kill -3 或者用TDA.回复更多评论 #re: 剥下“java.lang.OutOfMemoryError: unable to create new native thread”的外衣 2010-03-22 18:51 zhaixf 帅哥，我也做了下相应的测试，发现公式中的： 便可推导出单个JVM Instance可支持的最大线程数的估计值： (MaxProcessMemory Xms XX:PermSize 100m) / Xss = Number of threads Xms不会影响创建线程的个数，起作用的应该是：-Xmx 其他地方和我想的基本一致，但是我在测试过程中遇到了比较奇怪的问题，没有办法解释：下面是我测试的情况，重点关注“-Xmx1692m”，似乎作为了一个分隔线，之上的也能用公式解释，之下的也能用公式解释。 -Xms3060m -Xmx3060m -Xss2048k (thread :94) -Xms2560m -Xmx2560m -Xss2048k (thread :157) -Xms2048m -Xmx2048m -Xss2048k (thread :221) -Xss1024k (thread :598) -Xms1792m -Xmx1792m -Xss1024k (thread :683) -Xms1692m -Xmx1692m -Xss1024k (thread :49)(进程自己结束) -Xms1560m -Xmx1560m -Xss2048k (thread :31)(进程自己结束hs_err_pid24865.log) -Xms1536m -Xmx1536m -Xss2048k (thread :34)(进程自己结束hs_err_pid24865.log) -Xss1024k(thread :100) -Xms1024m -Xmx2048m -Xss2048k (thread :221) -Xms1048m -Xmx1048m -Xss2048k (thread :95) -Xms560m -Xmx1152m -Xss2048k(thread :82) -Xss1024k(thread :228) -Xms1048m -Xmx3560m -Xss2048k (thread :32)(进程自己结束)JVM-翻译揭开java.lang.OutOfMemoryError面纱之一发布日期：11-06-17 03:45 文章来源：互联网Java 虚拟机包括六个不同的运行时数据区域（内存域）：1.程序计数器（Program Counter Register）2.Java 虚拟机栈（Java VM Stack）3.Java堆（Heap）4.方法区（Java VM Method Area）5.常量池（Runtime Constant Pool）6.本地方法栈（Native Method Stack）1. 程序计数器又称为PC寄存器，是存放当前正在运行的Java 字节码操作指令的地址。（这里加些说明：对于一个运行中的Java程序而言，其中的每个线程都有它自己的PC(程序计数器)寄存器，它是在该线程启动时创 建的，PC寄存器的大小是一个字长，因此它既能够持有一个本地指针，也能够持有一个ReturnAddress）2.Java虚拟机栈是有栈帧（stack frame）组成，帧则是用来存储线程在执行过程中的参数，返回值，以及中间结果等。如果没有足够的内存给Java VM 栈，或没有足够的内存来生成新的线程时，Java虚拟机将抛出OutOfMemoryError.3.Heap是用来存储Java类实例或数组的。当没有足够的内存给新生实例或数组时，Java虚拟机将抛出OutOfMemoryError4.方法区是由一些C/C+写的方法，给与JVM一些方法支持，同理，当没有可用的内存时也会抛出OutOfMemoryError异常。? 你可能看到一个域OutOfMemoryError完全不一样的异常：StackOverError。该异常的抛出则是当本地内存栈或Java虚拟机栈 超出配置大小时抛出。在大多数IBM的Java虚拟机中，-Xmso命令参数可以控制操作系统栈线程和本地线程栈大小，-Xss参数可以控制Java虚拟 机线程栈的大小。在一些如：Sun HotSpot的JVM厂商，Java方法通过C/C+本地指令共享栈帧，-Xss可以为一个线程配置最大内存，改值的默认值和平台，以及觉床额JVM 的实现厂商有关，但一般都在245k-1024k的大小，请参考你的JVM说明文档。在另外文章中我们会涉及更多关于 StackOverFlowError的东西。?现在，我们了解一下那些内存域会引起java.lang.OutOfMemory,让我们来看看一下几个实际错误信息，我们又改如何处理他们呢？? Java代码 Java.lang.OutOfMemoryError:?Requested?array?size?exceeds?VM?limit? Java命令行实用工具jps和jstat Po