
Fluentd 如何解析"字段值还是 JSON 字符串"的内嵌 JSON?
日志行是文本、其中某字段值是 JSON 字符串的场景:先用正则/JSON 解析外层,再用 parser 过滤器对指定字段二次解析。本文给出配置与多层嵌套的处理建议。
聚焦概念、架构、排障、价格与选型,一篇解决一个明确问题。

日志行是文本、其中某字段值是 JSON 字符串的场景:先用正则/JSON 解析外层,再用 parser 过滤器对指定字段二次解析。本文给出配置与多层嵌套的处理建议。

Time_Key 告诉 Fluent Bit 解析器:日志里哪个字段是真实时间戳。不配则用采集时间。配合 Time_Format 指定格式、Time_Keep 保留原字段。本文说明三者关系与配置示例。

Kibana 的正则查询:KQL 中用 字段 : /正则/ 语法(如 status: /4../),Lucene 模式用斜杠包裹。本文给出 IP 段匹配、状态码段、路径前缀等常用正则示例与性能注意事项。

清理 ES 旧索引的三种方式:手动 DELETE 索引、Curator 定时任务、以及现代的 ILM(索引生命周期管理)自动按保留期删除。本文给出三种方案与 ILM 完整配置。

Docker 日志驱动输出的 JSON 中每条记录带 stream 字段(stdout/stderr)。

PostgreSQL 同步到 Elasticsearch 的方案:Logstash JDBC 定时轮询、逻辑解码 + Debezium 实时 CDC、pgwatch 等工具、或应用双写。本文对比方案并给出 Logstash 配置。

Graylog 是一体化日志管理平台(采集+存储+搜索+告警一体),Kibana 是 Elasticsearch 的可视化前端(专注查询与展示)。本文从定位、组件、告警、扩展性对比两者并给出选型建议。

Redis 在 ELK 架构中充当日志缓冲队列:Beats 先把日志发到 Redis,Logstash 从 Redis 拉取——削峰填谷、防止 ES 故障时丢数据、解耦采集与处理。本文讲清这一层的价值与取舍。

Linux 系统日志集中存放在 /var/log 目录:Ubuntu/Debian 的系统日志在 /var/log/syslog,RHEL/CentOS 在 /var/log/messages;systemd 系统还可用 journ…

可以——用 mutate 过滤器的 remove_field 删除 message 字段:mutate { remove_field => ["message"] }。

Logstash 删除 message 字段的完整方案:mutate remove_field 基础用法、prune 插件白名单保留、按条件删除、以及输出层控制。附各方案适用场景对比。

传统 syslog 协议(RFC 3164)单条消息上限约 1KB,超长会被截断;rsyslog 默认上限通常 8KB,可用 $MaxMessageSize 调大。本文说明限制来源与调整方法。