使用StatsD, Graphite, Grafana, Kamon搭建可用于JVM项目的可视化性能监控系统

1. 什么是性能监控系统

这里说的性能监控系统，主要侧重点是监控应用系统的性能。 说直白点就是每个业务（例如注册，登录）的请求响应时间，请求次数等信息。 操作系统的监控不是这里的重点，因为业界已经有许多相当成熟的基于Linux的运维系统。 操作系统的运维和应用系统的运维是两码事，应用系统的运维相对来说没有这么多选择。 而对于任何线上系统来说，运维监控系统又是必不可少的。 如果你是在大公司，一般会选择开发自己的运维系统，而对于中小团队，因为人力有限，大多会采用开源的解决方案。

我在这里要介绍的就是使用StatsD，Graphite, Grafana, Kamon搭建监控系统的方案。 这里的Kamon只适用于基于JVM的项目，另外，如果你的项目是基于Play或Akka或Spray，可以做到不写代码实现监控。 因为Kamon对这几个框架提供了AspectJ支持，在类加载的时候插入代码为你完成记录。 其他情况你需要调用Kamon API来进行数据记录，这也非常的简单。

2. 监控系统UI

介绍搭建步骤之前，先来看一看搭好后的界面。 转自(https://github.com/kamon-io/docker-grafana-graphite)
这里包含4部分的图表。
- Actor Metrics是Akka Actor的统计图表。因为我的项目中没有直接使用Akka，所以暂时忽略这一部分内容。
- Trace Metrics是业务请求的统计图表。例如每个请求的响应时间，以及某个时间段内各请求数量的统计对比。
- OS Metrics一看就知道是操作系统的统计图表了。
- JVM Metrics是JVM的统计图表。

3. StatsD, Graphite, Grafana, Kamon简介

简单介绍一下这四个开源项目，因为都在Github上就不贴链接了，
已经对这几个项目很熟悉的可以略过。

1. StatsD

StatsD是一个用于记录统计信息的守护进程。使用NodeJS开发，提供各种语言的客户端API。

2. Graphite

使用Python开发，分为三个子项目
- carbon 守护进程，接收StatsD发送过来的原始统计数据。
- whisper 用来存储统计数据的库。
- graphite webapp 用来图形化展示统计数据的web项目。

3. Grafana

使用Go开发，可以直接在界面上设计统计图表。
之前看到就是使用Grafana制作的界面。

4. Kamon

一套类库用来记录统计数据，使用Scala开发，提供Java和Scala API。
除了提供API，还结合AspectJ对一些框架提供自动记录的功能，当然性能上会有损耗。

整体流程：业务系统调用Kamon的Api记录数据，Kamon将数据发送给StatsD，
StatsD定期（默认10s）将数据汇总发送到Graphite，
当用户访问Grafana界面的时候，Grafana调用Graphite接口读取数据绘制成图形展示给用户。

4.搭建环境

因为用到了多个项目，并且每个项目都基于不同语言，所以安装过程肯定不会很简单。
使用docker的朋友直接参考这个项目(https://github.com/kamon-io/docker-grafana-graphite)
用docker镜像会方便很多。

如果不用docker，可以参考我的安装步骤。
以下安装是基于Ubuntu14.04，如果是CentOS或其他系统可能某些步骤会不一样。
另外因为测试的时候是在开发机上，所以下面安装的时候没有使用独立用户和权限。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395

1.安装需要的软件 sudo apt-get -y install software-properties-common sudo add-apt-repository -y ppa:chris-lea/node.js sudo apt-get -y update sudo apt-get -y install python-django-tagging python-simplejson python-memcache python-ldap python-cairo python-pysqlite2 python-support \ python-pip gunicorn nginx-light nodejs wget curl build-essential python-dev sudo pip install Twisted==11.1.0 sudo pip install Django==1.5 # Install Elasticsearch cd ~ && wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.2.deb cd ~ && sudo dpkg -i elasticsearch-1.3.2.deb && rm elasticsearch-1.3.2.deb 2.从源码安装StatsD, Graphite, Grafana # Checkout the stable branches of Graphite, Carbon and Whisper and install from there mkdir ~/src git clone https://github.com/kamon-io/docker-grafana-graphite.git ~/src/docker-grafana-graphite git clone https://github.com/graphite-project/whisper.git ~/src/whisper &&\ cd ~/src/whisper &&\ git checkout 0.9.x &&\ sudo python setup.py install git clone https://github.com/graphite-project/carbon.git ~/src/carbon &&\ cd ~/src/carbon &&\ git checkout 0.9.x &&\ sudo python setup.py install git clone https://github.com/graphite-project/graphite-web.git ~/src/graphite-web &&\ cd ~/src/graphite-web &&\ git checkout 0.9.x &&\ sudo python setup.py install # Install StatsD git clone https://github.com/etsy/statsd.git ~/src/statsd &&\ cd ~/src/statsd &&\ git checkout v0.7.2 # Install Grafana mkdir ~/src/grafana wget http://grafanarel.s3.amazonaws.com/grafana-1.9.1.tar.gz -O ~/src/grafana.tar.gz &&\ cd ~/src/ && tar -xzf ~/src/grafana.tar.gz && mv ~/src/grafana-1.9.1 ~/src/grafana && cd - &&\ rm ~/src/grafana.tar.gz 3.修改配置 # Configure Elasticsearch sudo mkdir -p /tmp/elasticsearch # Confiure StatsD cp ~/src/docker-grafana-graphite/statsd/config.js ~/src/statsd/config.js # Configure Whisper, Carbon and Graphite-Web sudo cp ~/src/docker-grafana-graphite/graphite/initial_data.json /opt/graphite/webapp/graphite/ sudo cp ~/src/docker-grafana-graphite/graphite/local_settings.py /opt/graphite/webapp/graphite/ # 此时要 sudo vi /opt/graphite/webapp/graphite/local_settings.py, 把TimeZone改为Asia/Shanghai sudo cp ~/src/docker-grafana-graphite/graphite/carbon.conf /opt/graphite/conf sudo cp ~/src/docker-grafana-graphite/graphite/storage-aggregation.conf /opt/graphite/conf sudo cp ~/src/docker-grafana-graphite/graphite/storage-schemas.conf /opt/graphite/conf sudo mkdir -p /opt/graphite/storage/whisper sudo touch /opt/graphite/storage/graphite.db /opt/graphite/storage/index sudo chmod 0775 /opt/graphite/storage /opt/graphite/storage/whisper sudo chmod 0664 /opt/graphite/storage/graphite.db cd /opt/graphite/webapp/graphite && sudo python manage.py syncdb --noinput # Configure Grafana cp ~/src/docker-grafana-graphite/grafana/config.js ~/src/grafana/config.js # Add the default dashboards mkdir ~/src/dashboards cp ~/src/docker-grafana-graphite/grafana/dashboards/* ~/src/dashboards/ # Configure nginx 将下面的内容加入nginx.conf server { listen 80 default_server; server_name _; location / { # !!! change me 这里改成你的目录 !!! root /home/liubin/src/grafana; index index.html; } location /graphite/ { proxy_pass http://127.0.0.1:8000/; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-Server $host; proxy_set_header X-Forwarded-Host $host; proxy_set_header Host $host; client_max_body_size 10m; client_body_buffer_size 128k; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; add_header Access-Control-Allow-Origin "*"; add_header Access-Control-Allow-Methods "GET, OPTIONS"; add_header Access-Control-Allow-Headers "origin, authorization, accept"; } location /elasticsearch/ { proxy_pass http://127.0.0.1:9200/; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-Server $host; proxy_set_header X-Forwarded-Host $host; proxy_set_header Host $host; client_max_body_size 10m; client_body_buffer_size 128k; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; } } server { listen 81 default_server; server_name _; open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m; location / { proxy_pass http://127.0.0.1:8000; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-Server $host; proxy_set_header X-Forwarded-Host $host; proxy_set_header Host $host; client_max_body_size 10m; client_body_buffer_size 128k; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 4k; proxy_buffers 4 32k; proxy_busy_buffers_size 64k; proxy_temp_file_write_size 64k; } add_header Access-Control-Allow-Origin "*"; add_header Access-Control-Allow-Methods "GET, OPTIONS"; add_header Access-Control-Allow-Headers "origin, authorization, accept"; location /content { alias /opt/graphite/webapp/content; } location /media { alias /usr/share/pyshared/django/contrib/admin/media; } } 4.启动 export GRAPHITE_STORAGE_DIR='/opt/graphite/storage' export GRAPHITE_CONF_DIR='/opt/graphite/conf' # run nginx sudo /etc/init.d/nginx restart # run carbon sudo /opt/graphite/bin/carbon-cache.py --debug start # run graphite-web export PYTHONPATH='/opt/graphite/webapp' cd /opt/graphite/webapp sudo /usr/bin/gunicorn_django -b127.0.0.1:8000 -w2 graphite/settings.py # run StatsD sudo /usr/bin/node ~/src/statsd/stats.js ~/src/statsd/config.js # run elasticsearch sudo /etc/init.d/elasticsearch start # run grafana cd ~/src/dashboards sudo /usr/bin/node dashboard-loader.js system-metrics.json welcome.json

安装完成后，可以尝试访问(http://127.0.0.1)，如果出现之前的界面并且没有报错，就代表安装成功了。

5. 配置项目

主要是引入Kamon依赖。
因为我们的项目基于Play，所以直接使用了Kamon-Play依赖。

1.修改build.sbt

1 2 3 4 5 6 7 8 9

val kamonVersion = "0.4.0" //... val dependencies = Seq( "io.kamon" %% "kamon-core" % kamonVersion, "io.kamon" %% "kamon-statsd" % kamonVersion, "io.kamon" %% "kamon-play" % kamonVersion, "io.kamon" %% "kamon-system-metrics" % kamonVersion, "org.aspectj" % "aspectjweaver" % "1.8.1" )

2.修改application.conf

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

akka { extensions = ["kamon.statsd.StatsD", "kamon.system.SystemMetrics"] } kamon { metric { tick-interval = 1 second } statsd { # Hostname and port in which your StatsD is running. Remember that StatsD packets are sent using UDP and # setting unreachable hosts and/or not open ports wont be warned by the Kamon, your data wont go anywhere. hostname = "127.0.0.1" port = 8125 # Interval between metrics data flushes to StatsD. It's value must be equal or greater than the # kamon.metrics.tick-interval setting. flush-interval = 1 second # Max packet size for UDP metrics data sent to StatsD. max-packet-size = 1024 bytes # Subscription patterns used to select which metrics will be pushed to StatsD. Note that first, metrics # collection for your desired entities must be activated under the kamon.metrics.filters settings. includes { actor = [ "*" ] trace = [ "*" ] dispatcher = [ "*" ] } simple-metric-key-generator { # Application prefix for all metrics pushed to StatsD. The default namespacing scheme for metrics follows # this pattern: # application.host.entity.entity-name.metric-name # !!! 这里改成项目名 !!! application = "sk-shop" } } play { include-trace-token-header = true trace-token-header-name = "X-Trace-Token" } }

3.启动项目

play运行时环境分为dev环境和prod环境。 因为Kamon-Play使用AspectJ在类加载加载的时候进行织入，AspectJ会使用自己的类加载器， 而运行在dev环境的Play项目因为要实现热加载，所以dev环境不能使用AspectJ。 prod一般会会使用dist命令将项目打包，可用以下方式启动（假设项目名是shop，并且已cd进入打包后的目录）：

1	./bin/shop -J-javaagent:lib/org.aspectj.aspectjweaver-1.8.1.jar

启动之后随便访问你项目几个页面，然后访问127.0.0.1，如果一切正常就可以看到数据了。

6.总结

恭喜，如果做到这一步，你就已经初步的搭好你们运维系统的架子了。 如果你的应用比较简单，对性能要求也不高，到这一步就可以结束了。 不过，大多数的应用都对统计数据有更进一步的分析需求，例如绘制响应时间超过某一阀值（例如100ms）的饼状图， 或者绘制日注册人数的直方图。 这就需要你手动调用Kamon的API来记录数据了，不过这相当的简单。 如果需要设计其他的Grafana图表，需要对Graphite的函数比较熟悉。

另外，如果应用对性能很敏感，不推荐使用AspectJ。因为LTW（Load Time Weaving）会有一些性能损耗。 我们的项目最开始是使用的Kamon-Play和Kamon-Akka，不过后来测试发现响应时间平均要增加10%-20%， 现在已经改成直接调用Kamon API完成记录。

Enjoy!

7.附启动和停止脚本

1.启动脚本 start_stats.sh

1 2 3 4 5 6 7 8 9 10 11

#!/bin/sh export GRAPHITE_STORAGE_DIR='/opt/graphite/storage' export GRAPHITE_CONF_DIR='/opt/graphite/conf' nohup /opt/graphite/bin/carbon-cache.py --debug start > ~/logs/kamon/carbon.out 2>&1 & export PYTHONPATH='/opt/graphite/webapp' nohup /usr/bin/gunicorn_django -b127.0.0.1:8000 -w2 /opt/graphite/webapp/graphite/settings.py > ~/logs/kamon/graphite.out 2>&1 & nohup /usr/bin/node ~/src/statsd/stats.js ~/src/statsd/config.js > ~/logs/kamon/graphite.out 2>&1 & /etc/init.d/elasticsearch start cd ~/src/dashboards nohup /usr/bin/node dashboard-loader.js system-metrics.json welcome.json > ~/logs/kamon/grafana.out 2>&1 &

2.停止脚本 stop_stats.sh

1 2 3 4 5 6 7

#!/bin/sh pkill carbon pkill gunicorn_django pkill statsd /etc/init.d/elasticsearch stop kill $(ps aux | grep 'node dashboard-loader.js' | awk '{print $2}')