2025年logstash配置详解：（2025年logstash安装配置）

了解Logstash

Logstash是一个开源数据收集引擎，具备实时管道功能。它的主要任务是从不同数据源收集数据，统一数据格式，并将其标准化至预设的目的地。此过程包括集中、转换和存储数据，以供后续分析和使用。Logstash功能强大，能够从多种数据源收集数据，包括日志、指标、Web应用、数据存储以及各类AWS服务。

logstash 和filebeat都是可以作为日志采集的工具，目前日志采集的工具有很多种，如fluentd， flume， logstash，betas等等。甚至在选择filebeat作为日志采集端工具时，还有人问我为什么不选择flume或logstash等其他工具。

首先，了解Logstash的配置文件，即logstash.yaml，这是配置Logstash行为的基础。接下来，你需要创建并启动Logstash的容器。这一步会启动Logstash服务，并使其在Docker环境中运行。在容器运行后，你需要将Logstash内部的数据或配置复制出来，以便进行后续的配置修改。

nginx_log_type： access 添加了字段后，日志内容在 Logstash 中会表现为 `fields.nginx_log_type` 的形式，通过 Logstash 的 `if` 语句可以实现对自定义字段的过滤与匹配，进一步优化日志处理逻辑。除了字段添加，识别 IP 地址所在的地理位置也是业务分析中的重要环节。

为后续在Kibana中进行日志检索和统计打下了基础。此外，我们还介绍了如何使用Logstash的codec插件进行数据编码、filter插件进行数据过滤，以及grok语法用于识别文本格式的日志。Kibana检索语句KQL提供了在Kibana中进行复杂查询的能力。对于需要深入了解的读者，推荐阅读原文链接中提供的相关资源。

logstash配置--syslog

配置示例 运行结果 作为最简单的测试，我们先暂停一下本机的syslogd（或rsyslogd）进程，然后启动 logstash 进程（这样就不会有端口冲突问题）。现在，本机的 syslog 就会默认发送到 logstash 里了。我们可以用自带的logger命令行工具发送一条 Hello World信息到 syslog 里（即 logstash 里）。

Logstash收集的日志数据将通过Elasticsearch进行存储，并在Kibana中进行展示。Elasticsearch索引列表中会生成对应类型的日志数据，如system-syslog-*或filebeat-*。在Kibana中创建相应的索引后，可以直观地查看到日志数据。

重要的是 Logagent 有本地缓冲，所以不像 Logstash ，在数据传输目的地不可用时会丢失日志。劣势 尽管 Logagent 有些比较有意思的功能（例如，接收 Heroku 或 CloudFoundry 日志），但是它并没有 Logstash 灵活。

logstash是用Java编写的，插件使用的是jruby编写，因此对机器的资源要求较高。一篇关于其性能测试的报告在网上可以找到。在我之前进行的测试中，与filebeat相比，logstash在采集日志方面对CPU和内存的需求明显更高，例如LogStash：Inputs：Syslog的性能测试与优化。

app docker run --name api -d --net host my/api 相当于直接输出日志到控制台，然后让docker输出到logstash。

通过nginx配置发送syslog到logstash。选择目标Project和Logstore，单击下一步即可。

知识布局-logstach-正则抽取

部署 Logstash 客户端相对简便，首先，从 Elasticsearch 官网下载对应版本的 Logstash，解压后即可使用。启动命令如示例所示：`nohup bin/logstash -f log.conf /dev/null &` 或 `bin/logstash -f log.conf`。

Logstash的配置文件中，input部分起着关键作用。首先，你需要设置bootstrap_servers，它指向你的Kafka服务器集群，如：191614101：9092，191614102：9092，191614103：9092。订阅的主题列表通过topics指定，而auto_offset_reset可选，用于设置偏移量重置策略。

重要的是 Logagent 有本地缓冲，所以不像 Logstash ，在数据传输目的地不可用时会丢失日志。劣势 尽管 Logagent 有些比较有意思的功能（例如，接收 Heroku 或 CloudFoundry 日志），但是它并没有 Logstash 灵活。

logstash客户端部署 对于logstash版本的选择，我们采用的是3版本。从elasticsearch官方网站下载对应版本的logstash并进行解压即可使用。客户端部署过程相对简单。启动命令示例：nohup bin/logstash -f log.conf /dev/null & 或者 bin/logstash -f log.conf。