Fastjson反序列化低版本使用ParameterizedTypeImpl导致内存泄露

本文转载自查看原文 2022-02-22 17:47 773

01.29 同事反馈搜索系统不正常，所有接口响应都很慢，并且会超时

上应用监控平台看了下机器的数据

发现每台机器老年代内存占用比较高，一直在old gc，但是没有回收到内存，所以一直STW，导致接口反应极慢。

看了下发布记录，最近一次发布是在1-10号，排除是发布新版本的问题

尝试重启机器，恢复正常

问题是恢复了，但是OOM的原因还没有找到

使用dump命令下一个dump文件下来分析

jmap -dump:live,format=b,file=/dump2021.hprof pid

gzip -c dump2019.hprof > dump.gz

分析dump发现com.alibaba.fastjson.util.IdentityHashMap$Entry对象比较多

企业微信截图_16443904106293

搜了下代码引用

排查搜索组写的ES源码发现，在查询成功后直接返回非ApiResult封装的对象时，每次解析都会new一个ParameterizedTypeImpl进行处理。

这个时候并不角色有什么问题，因为就算new一个对象出来，解析完也会被回收，不会走到老年代中于是本地跑了个方法尝试重现这个问题

  /*
        -Xms30m
        -Xmx30m
        -XX:+PrintGCDateStamps
        -XX:+PrintGCDetails
        -XX:+PrintHeapAtGC
        -XX:+PrintGCApplicationStoppedTime
        -Xloggc:/tmp/gc_%p_%t_.log
        -XX:+HeapDumpOnOutOfMemoryError
        -XX:HeapDumpPath=/tmp/
         */public static void main(String[] args) {       final long start = System.currentTimeMillis();      final AtomicLong counter = new AtomicLong();
      Runtime.getRuntime().addShutdownHook(new Thread(() -> {
          System.out.println(counter.get());
          System.out.println(System.currentTimeMillis() - start);
      }));
       
      SomeInfo someInfo = new SomeInfo();
      someInfo.setName("jerry");
      EsBaseResult<SomeInfo> result = new EsBaseResult<>();
      result.setResult(someInfo);
      result.setCode(0);
      result.setMessage("Success");
      String json = JSON.toJSONString(result);

      while (true){
          EsBaseResult<SomeInfo> response = JSON.parseObject(json,
                  new ParameterizedTypeImpl(new Type[] { new ParameterizedTypeImpl(new Type[] { SomeInfo.class }, null, EsQueryResult.class) }, null, EsBaseResult.class));
          Objects.requireNonNull(response);
          counter.incrementAndGet();
      }
  }

  @Data
  public static class EsBaseResult<T> implements Serializable {

      private Integer           code;

      private String           message;

      private T                 result;

      public boolean isSuccess(){
          return code ==0;
      }

      public String getErrorCode(){
          return code+"";
      }
  }

  @Data
  public static class SomeInfo {
      private String name;
  }

不出意外,查询7k次后OOM了

Exception in thread "main" com.alibaba.fastjson.JSONException: GC overhead limit exceeded
at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:693)
at com.alibaba.fastjson.JSON.parseObject(JSON.java:396)

COUNT: 7832
COST: 6273ms

查看dump文件: