
Kafka Connect 与 Filebeat/Logstash 有什么区别?怎么选?
Kafka Connect 是 Kafka 与外部系统的双向集成框架;Filebeat 是轻量日志采集器;Logstash 是重转换的日志管道。三者定位不同,经常组合使用。本文详细对比。
聚焦概念、架构、排障、价格与选型,一篇解决一个明确问题。

Kafka Connect 是 Kafka 与外部系统的双向集成框架;Filebeat 是轻量日志采集器;Logstash 是重转换的日志管道。三者定位不同,经常组合使用。本文详细对比。

Kibana 报字段未索引无法搜索,说明该字段在 Elasticsearch 中没被建立索引。检查 mapping、刷新索引模式、必要时重建索引。本文给出排查步骤。

Python 保留 N 位小数:round(x, 2) 返回数值;f"{x:.2f}" 返回格式化字符串;decimal 模块精确十进制运算。本文对比各方法及四舍五入陷阱。

Logstash grok 语法速查:%{模式:字段名} 提取字段,常用模式 WORD/NUMBER/INT/FLOAT/TIMESTAMP_ISO8601/LOGLEVEL/GREEDYDATA 等。本文汇总常用模式与示例。

MySQL 记录所有查询:SET GLOBAL general_log='ON' 开启通用查询日志,log_output 可选 TABLE(存 mysql.general_log 表)或 FILE。注意性能开销大,仅短期调试。

IIS 日志分析常用工具:微软官方 Log Parser Studio(SQL 语法查日志)、WebLog Expert(可视化报表)、GoAccess(开源实时)。也可把日志采集到观测云统一分析。

DEBUG 是给开发者的细粒度调试信息,生产环境通常关闭;INFO 是有意义的业务事件记录,生产环境常态开启。本文讲清各级别语义和使用规范。

Logstash grok 处理可选字段:用括号加问号 (模式)? 把字段段标记为可选;或用多个模式备选。本文给出具体写法和示例。

rsyslog 轻量高性能,擅长 syslog 协议消息的收集转发;Logstash 转换能力强(grok/富化)但资源消耗大。两者可组合使用。本文详细对比。

syslog 协议本身按行处理,多行日志需要 rsyslog 配置 multiline 支持(imfile 的 startmsg.regex),或在采集侧/解析侧做行合并。本文介绍配置方法。

Python 2 的 python -m SimpleHTTPServer 在 Python 3 中改为 python -m http.server(模块重构更名)。默认 8000 端口,服务当前目录。

Python 检查字典键是否存在用 in 关键字:'key' in d。get() 方法带默认值也是常用方式。本文对比各种检查方法。