[转]Logstash性能调优 - sevck
2021-6-16 16:33:0 Author: www.cnblogs.com(查看原文) 阅读量:11 收藏

调优和剖析日志记录的性能

1、配置参数调优
    可以通过调节以下配置项,对性能进行调优:

1)、pipeline.workers
  该参数可控制output或filter插件的工作线程数(只能设置正整数),当发现事件正在备份或CPU没有饱和,则可以增加工作线程,以提高性能。一般为CPU线程数

2)、pipeline.batch.size
  设置批量执行event的最大值,该值是用于input的批量处理事件值,再打包发送给filter和output,增加该值可以在一定范围内提高性能,但是需要增加额外的内存开销。

3)、pipeline.batch.delay
  批处理的最大等待值(input需要按照batch处理的最大值发送到消息队列,但是不能一直等,所以需要一个最大的超时机制)。

2、默认管道设置的修改建议
1)、管道中所有运行中的event都与配置参数:pipeline.workers和pipeline.batch.size有关,而间歇接收大型事件的管道需要足够的内存来处理这些峰值,需要相应的设置LS_HEAP_SIZE值。

2)、测量每一个参数的变化,以确保它增加而不是减少性能。

3)、确保logstash额外留足够的内存,以应对突然增加的事件消耗。

4)、一般pipeline.workers的数量要大于Cpu的核心数,因为output的io等待会消耗大量的空闲时间。

5)、Java中的线程有名称,您可以使用jstack、top和VisualVM图形工具来确定给定线程使用哪些资源。

6)、在Linux平台上,logstash用一些描述性的东西来标记所有的线程。例如,输入显示为基础。

7)、关闭打印,stdout{codec => rubydebug}

参考链接:https://blog.csdn.net/it_lihongmin/article/details/79728812

参考链接:https://blog.csdn.net/weixin_43390992/article/details/105232927

【版权所有@Sevck 博客地址http://www.cnblogs.com/sevck】 可以转载,注明出处.


文章来源: https://www.cnblogs.com/sevck/p/14889952.html
如有侵权请联系:admin#unsafe.sh