kingshard性能优化网络篇
最近kingshard的功能开发节奏慢了许多。一方面是工作确实比较忙，另一方面是我觉得kingshard的功能已经比较完善了，下一步的开发重点应该是性能优化。毕竟作为一个MySQL proxy,如果转发SQL的性能很差，再多的功能都无济于事。所以这个周末一直宅在家里优化kingshard的转发性能。经过两天的探索发现，将kingshard的转发SQL性能提升了18%左右，在这个过程中学到了一下知识。借此机会分享一下，同时也是督促一下自己写博客的积极性。：）
- 发现kingshard的性能瓶颈 ————————–
首选，对kingshard进行性能优化，我们必须要找到kingshard的性能瓶颈在哪里。Go语言在性能优化支持方面做的非常好，借助于go语言的pprof工具，我们可以通过简单的几个步骤，就能得到kingshard在转发SQL请求时的各个函数耗时情况。
1.1 环境搭建
根据kingshard使用指南搭建一个kingshard代理环境。我是用macbook搭建的环境，硬件参数如下所示：
CPU： 2.2GHZ * 4
内存：16GB
硬盘: 256GB
1.2 性能测试步骤
具体步骤如下所述：
1.获取一个性能分析的封装库
go get github.com/davecheney/profile
2.在工程内import这个组件
3.在kingshard/cmd/kingshard/main.go的main函数开始部分添加CPU监控的启动和停止入口
func main() {
defer profile.Start(profile.CPUProfile).Stop()
fmt.Print(banner)
runtime.GOMAXPROCS(runtime.NumCPU())
flag.Parse()
....
}
4.重新编译工程, 运行kingshard
./bin/kingshard -config=etc/ks.yaml
5.kingshard启动后会在终端输出下面一段提示：
2015/10/31 10:28:06 profile: cpu profiling enabled, /var/folders/4q/zzb55sfj377b6vdyz2brt6sc0000gn/T/profile205276958/cpu.pprof
后面的路径就是pprof性能分析文件的位置，Ctrl+C中断服务器
6.这时候用sysbench对kingshard进行压力测试，得到QPS（有关sysbench的安装和使用，请自行Google解决）。具体的代码如下所示：
sysbench --test=oltp --num-threads=16 --max-requests=160000 --oltp-test-mode=nontrx --db-driver=mysql --mysql-db=kingshard --mysql-host=127.0.0.1 --mysql-port=9696 --mysql-table-engine=innodb --oltp-table-size=10000 --mysql-user=kingshard --mysql-password=kingshard --oltp-nontrx-mode=select --db-ps-mode=disable run
得到如下结果:
OLTP test statistics:
queries performed:
read: 160071
write: 0
other: 0
total: 160071
transactions: 160071 (16552.58 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 160071 (16552.58 per sec.)
other operations: 0 (0.00 per sec.)
Test execution summary:
total time: 9.6705s
total number of events: 160071
total time taken by event execution: 154.4474
per-request statistics:
min: 0.29ms
avg: 0.96ms
max: 14.17ms
approx. 95 percentile: 1.37ms
Threads fairness:
events (avg/stddev): 10004.4375/24.95
execution time (avg/stddev): 9.6530/0.00
按照上述步骤测试三次（16552.58,16769.72,16550.16）取平均值，得到优化前kingshard的QPS是：16624.15
按照上述步骤，直连MySQL。测试直连MySQL的QPS，同样测试三次QPS（27730.90，28499.05，27119.20），得到直连MySQL的QPS是：27783.05。
从上述数据可以计算出kingshard转发SQL的性能是直连MySQL的59%左右。
7.将cpu.prof拷贝到bin/kingshard所在位置
8.调用go tool工具制作CPU耗时的PDF文档
go tool pprof -pdf ./kingshard cpu.pprof > report.pdf
- 性能测试报告分析 ——————-
通过上述命令，可以生成压测期间主要函数耗时情况。从report来看，主要的耗时在TCP层数据包的收发上面。那我们应该主要考虑如何优化TCP层数据的收发方面。优化TCP传输效率，我首先想到了减少系统调用，每个数据包传输尽量多的数据。
在通过 TCP socket 进行通信时，数据都拆分成了数据块，这样它们就可以封装到给定连接的 TCP payload（指 TCP 数据包中的有效负荷）中了。TCP payload 的大小取决于几个因素（例如最大报文长度和路径），但是这些因素在连接发起时都是已知的。为了达到最好的性能，我们的目标是使用尽可能多的可用数据来填充每个报文。当没有足够的数据来填充 payload 时（也称为最大报文段长度（maximum segment size） 或 MSS），TCP 就会采用 Nagle 算法自动将一些小的缓冲区连接到一个报文段中。这样可以通过最小化所发送的报文的数量来提高应用程序的效率，并减轻整体的网络拥塞问题。
由于这种算法对数据进行合并，试图构成一个完整的 TCP 报文段，因此它会引入一些延时。但是这种算法可以最小化在线路上发送的报文的数量，因此可以最小化网络拥塞的问题。但是在需要最小化传输延时的情况中，GO语言中Sockets API 可以提供一种解决方案。就是通过：
func (c *TCPConn) SetNoDelay(noDelay bool) error
这个函数在Go中默认情况下，是设置为true，也就是未开启延迟选项。我们需要将其设置为false选项，来达到每个数据包传输尽量多的数据，减少系统调用的目的。
2.1 代码修改和性能测试
发现了性能瓶颈以后，修改proxy/server/server.go文件中的newClientConn函数和backend/backend_conn.go中的ReConnect函数，分别设置client与kingshard之间的连接和kingshard到MySQL之间的连接为最小化传输延时。具体的代码修改可以查看这个commit。
修改后我们利用sysbench重新测试，测试命令和上述测试一致。得到的结果如下所示：
OLTP test statistics:
queries performed:
read: 160174
write: 0
other: 0
total: 160174
transactions: 160174 (21291.68 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 160174 (21291.68 per sec.)
other operations: 0 (0.00 per sec.)
Test execution summary:
total time: 7.5228s
total number of events: 160174
total time taken by event execution: 119.9655
per-request statistics:
min: 0.26ms
avg: 0.75ms
max: 10.78ms
approx. 95 percentile: 1.13ms
Threads fairness:
events (avg/stddev): 10010.8750/38.65
execution time (avg/stddev): 7.4978/0.00
测试三次得到的QPS为：21291.68,21670.85,21463.44。 相当于直连MySQL性能的77%左右，通过这个优化性能提升了18%左右。
总结
通过这篇文章，介绍了通过Go语言提供的pprof对kingshard进行性能分析的详细步骤。对于其他Go语言项目也可以通过类似步骤生成性能报告文档。性能优化的关键是发现性能瓶颈，再去找优化方案。有时候简单的优化，就可以达到预想不到的效果，希望本文能给Go开发者在性能优化方面提供一个思路。最后打个广告：kingshard作为一个支持sharding的开源MySQL中间件项目，目前已经比较稳定了，且经过性能优化后，转发SQL的性能提升了不少。后续我还会在锁和内存方面对kingshard进行优化，敬请期待。