同时发布在独立博客。
以前一直以为,在Golang中,针对高并发的情况,采用多核处理一定效果最优,但是项目实践证明事实不是这样的。
在Sniper项目中(一个结合了ab和siege优点的http负载测试工具),原来一直设置cup使用数为系统cpu总数:
runtime.GOMAXPROCS(runtime.Numcpu())
在与ab的性能比较中一直有较大差距,GET请求局域网的一个10k大小的文件:
以下是ab的性能,并发100,总请求100k,执行时间16.082秒
Concurrency Level: 100
Time taken for tests: 16.082 seconds
Complete requests: 100000
Failed requests: 0
Write errors: 0
Total transferred: 1035500000 bytes
HTML transferred: 1024000000 bytes
Requests per second: 6218.04 [#/sec] (mean)
Time per request: 16.082 [ms] (mean)
Time per request: 0.161 [ms] (mean,across all concurrent requests)
Transfer rate: 62878.74 [Kbytes/sec] received
接下来采用sniper测试,设置runtime.GOMAXPROCS(runtime.Numcpu())
Transactions: 100000 hits
Availability: 100.00 %
Elapsed time: 20.82 secs
TotalTransfer: 0.00 MB
HTMLTransfer: 0.00 MB
Transaction rate: 4802.45 trans/sec
Throughput: 0.00 MB/sec
Successful: 100000 hits
Failed: 0 hits
TransactionTime: 0.00021 secs(mean)
ConnectionTime: 0.00010 secs(mean)
RequestTime: 0.00000 secs(mean)
ResponseTime: 0.00011 secs(mean)
可以看到测试同样的服务器,使用全部的cpu,sniper耗时20.82秒。
最后我再设置runtime.GOMAXPROCS(1)
Transactions: 100000 hits
Availability: 100.00 %
Elapsed time: 16.71 secs
TotalTransfer: 0.00 MB
HTMLTransfer: 0.00 MB
Transaction rate: 5985.03 trans/sec
Throughput: 0.00 MB/sec
Successful: 100000 hits
Failed: 0 hits
TransactionTime: 0.00017 secs(mean)
ConnectionTime: 0.00003 secs(mean)
RequestTime: 0.00000 secs(mean)
ResponseTime: 0.00014 secs(mean)
可以看到,sniper的执行时间降到16.71秒,降低了20%。
没想到优化了这么久的性能最后竟然通过这样的办法前进一大步!
出现这种情况原因在哪里?
目前我也解释不清楚,可能跟cpu的上下文切换有关,详细的原理需要再研究。有知道原理原因的请指教。
update:
一个可能的原因:在这里看到
和所有其他并发框架里的协程一样,goroutine里所谓“无锁”的优点只在单线程下有效,如果$GOMAXPROCS > 1并且协程间需要通信,Go运行库会负责加锁保护数据。sniper存在大量的协程间通信,可能是锁影响了性能。