使用TProfiler分析并调优项目中的Fastjson序列化代码

前端之家收集整理的这篇文章主要介绍了使用TProfiler分析并调优项目中的Fastjson序列化代码前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
摘要 本文介绍了TProfiler性能分析方面的实际应用,可以看到通过TProfiler的分析结果,非常容易发现一些性能问题。而这些问题往往较为隐蔽,你最熟悉的地方很有可能早就被你挖了坑。同时也介绍了Fastjson在过滤对象属性自定义序列化属性方面的应用。

新项目年后就上线了,现在业务上没什么问题,就用TProfiler做了下性能分析,果然有坑。

一、TProfiler入门

高手请自觉略过本节。

1.简介

TProfiler是阿里巴巴开源的一款性能分析工具。号称可以用于生产环境进行长期的性能分析。测试程序部署后,在低峰期对响应时间影响20%,在高峰期对QPS影响30%。详细介绍请见官方WIKI

2.简要的实现原理

TProfiler的实现基于JAVA的Instrumentation和ASM。Instrumentation可以理解为一种虚拟机级别的AOP实现,无需对项目代码和JDK有任何改动就可以实现AOP功能。TProfiler利用Instrumentation提供的入口,调用ASM将待分析的类的字节码进行修改,加入分析记录方法。在Profiler运行时即可抽样收集到相关类方法调用信息。使用Instrumentation时也可以通过JVMTI提供的接口实现对类的完全控制。至于为什么TProfiler会选择ASM,我想可能有两方面的考虑:

1)性能上更高效。使用JVMTI在每个类装入时都要执行hook程序,而ASM没有明显的性能代价。

2)使用JVMTI对编程难度要求较高,要求对class文件结构和java字节码有深刻了解,而ASM虽然也有一些难度,但是相对来说还是小一些。

3.配置

TProfiler在使用上比较简单,在待分析的程序启动脚本中加入JVM参数

javaagent:/path/to/tprofiler.jar -Dprofile.properties=/path/to/profile.properties

并将jar包和profile.properties配置文件放置到前面指定位置就可以了。

profile.properties可以根据需要进行配置:

startProfTime = 9:00:00 开始profile的时间点
endProfTime = 11:00 结束profile的时间点
eachProfUseTime = 5 profile时间长度(单位秒)
eachProfIntervalTime = 50 两次profile的时间间隔(单位秒)
samplerIntervalTime = 20 两次采样的时间间隔(单位秒)
debugMode = false 是否进入调试模式
needNanoTime = false 是否需要用纳秒记录时间
ignoreGetSetMethod = true 是否忽略采集get/set方法
logFilePath = /home/admin/logs/tprofiler.log profile log的存放位置
methodFilePath = /home/admin/logs/tmethod.log method log的存放位置
samplerFilePath = /home/admin/logs/tsampler.log sampler log的存放位置
excludeClassLoader = org.eclipse.osgi.internal.baseadaptor.DefaultClassLoader 不注入的类加载器(分号分割)
includePackageStartsWith = com.taobao 进行profile的类包名(分号分割)
excludePackageStartsWith = com.alibaba;com.taobao.forest.domain.dataobject 不进行profile的类包名(分号分割)

4.远程操作

TProfiler支持远程操作:

远程查看状态操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 status

远程开始操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 start

远程停止操作:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 stop

远程刷出方法数据:

java -cp tprofiler.jar com.taobao.profile.client.TProfilerClient 10.232..端口号 flushmethod

5.日志分析

运行采样后会生成三个文件:tsampler.log、tprofiler.log、tmethod.log。endProfTime时间到了后才会输出tmethod.log。

得到以上三个日志文件后就可以进行分析了。

分析sampler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.SamplerLogAnalysis d:/tsampler.log d:/method.log d:/thread.log,会生成method.log和thread.log

分析profiler log命令: java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis d:/tprofiler.log d:/tmethod.log d:/topmethod.log d:/topobject.log,会生成topmethod.log和topobject.log

还是那句话,详细介绍请见官方WIKI,:P。

二、开始性能测试

参照第一节配置好我的jetty启动脚本jetty.sh后,使用ab进行压测

ab -n 100000 -c 500 -p post-file http://urlpath    (post-filepost发送内容)

得到日志后分析耗时最长的方法

java -cp tprofiler.jar com.taobao.profile.analysis.ProfilerLogAnalysis /var/tprofiler/logs/tprofiler.log /var/tprofiler/logs/tmethod.log /var/tprofiler/logs/topmethod.log /var/tprofiler/logs/topobject.log

可以发现耗时最多的竟然是json序列化,抽样分析时共调用52412次,平均每次耗时809毫秒。对于这个结果比较诧异,和TProfiler系出同门的Fastjson的性能一直不错,以前开始用之前也做了不少序列化和反序列化的测试,怎么突然就这么耗时了呢。转念一想,这次的web项目里由于需要支持客户端自定义属性获取和日期格式化,所以需要Fastjson同时进行属性的过滤(通过SerializeFilter)以及日期的自定义格式化(通过SerializeConfig自定义一个把Integer秒转换成指定格式日期的IntegerCodec)。JSON类里没有原生的同时支持这两种操作的方法,所以就在原生的JSON#toJSONString(Object object,SerializeFilter filter,SerializerFeature... features)方法的基础上加了一个参数得到了JSONUtil#toJSONString(Object object,SerializeConfig config,SerializerFeature... features)。难道是这个原因?话不多说,继续测试。

三、Fastjson并发测试

由于怀疑新加的方法在并发下可能导致性能问题,于是比较了几种对Fastjson不同方法的并发调用时间,怎么简单怎么来,就不用什么高大上的报表了,各位看官见笑了哈

第一列是普通的,第二列是带属性过滤的,第三列是自定义的同时支持属性过滤和日期格式化的toJSONString。其中COUNT是每个线程执行序列化的次数。这个并发的对比测试反应的问题有两点:1)并发情况下,性能确实变差;2)同样参数对比下来耗时相差两个数量级,我修改方法确实有问题。

四、问题代码的review和问题解决

于是带着这两个问题,开始扒拉代码

public static String toStringWithFieldFilterAndDateFormat(Object object,final String[] fields,SerializerFeature... features ){
    SerializeFilter filter = null;
    // 只过滤第一层属性
    if(fields != null ){
        // 获得需要过滤掉的字段
        final Set<String> tobeRemoved = getTobeRemovedFields(object,fields);
        if(toRemove != null && toRemove.size() > 0){
            // 需要过滤字段
            filter = new PropertyFilter() {
                @Override
                public boolean apply(Object object,String name,Object value) {
                    // 转换日期格式
                    if(toRemove.contains(name)){
                        return false ;
                    }
                    return true;
                }
            };
        }
    }
    SerializeConfig config = new SerializeConfig();
    if(NEED_FORMAT_DATE){
        config.put(Integer.class,CustomIntegerCodec.instance);
    }
    return toJSONString(object,config,filter,features);
}

这里CustomIntegerCodec是基于IntegerCodec的Integer类序列化和反序列化器。而toJSONString(Object object,SerializerFeature... features)只是在new JSONSerializer(out)时使用了另一个构造器new JSONSerializer(out,config)

又看了一下Fastjson的源码,发现在SerializeConfig中对ObjectSerializer做了缓存,如果每次都传入一个新的SerializeConfig,必然每次都会进行不必要的解析和初始化操作,占用大量的时间。问题找出来了,解决方法也很简单,只要使用一个单例或静态变量即可

private static final SerializeConfig customGlobalConfig = new SerializeConfig();
static {
    if(NEED_FORMAT_DATE){
        customGlobalConfig .put(Integer.class,CustomIntegerCodec.instance);
    }
}

Fastjson默认的序列化方法其实也是使用的默认的静态全局实例SerializeConfig

private final static SerializeConfig globalInstance = new SerializeConfig();

修改之后进行测试

O(∩_∩)O

五、总结

本文介绍了TProfiler性能分析方面的实际应用,可以看到通过TProfiler的分析结果,非常容易定位一些性能问题。而这些问题往往较为隐蔽,你最熟悉的地方很有可能早就被你挖了坑。 TProfiler本身也短小精炼,如果对Instrument、ASM感兴趣、性能分析感兴趣,推荐读一读。

原文链接:https://www.f2er.com/json/289559.html

猜你在找的Json相关文章