Vector 详解：高性能可观测性数据管道的架构与实战

Vector 是用 Rust 编写的高性能可观测性数据管道工具，以"sources → transforms → sinks"的管道模型统一处理日志、指标与链路数据。本文讲解其架构、配置实战与部署形态，并说明已有采集链路接入后端时需要核对的边界。

核心要点速览

• 三段式管道：sources 采集 → transforms 转换（VRL 语言）→ sinks 外送，一份配置描述完整数据流。
• VRL 是核心竞争力：专为可观测数据设计的表达式语言，解析、改写、路由一气呵成。
• 两种部署角色：Agent（部署在每台主机采集）与 Aggregator（集中接收汇聚后转发）。
• 更换采集器前，应验证现有解析、路由和缓冲行为，避免丢失管道中的业务规则。

1. 架构：sources / transforms / sinks

# vector.toml
[sources.nginx_access]
type = "file"
include = ["/var/log/nginx/access.log"]
read_from = "end"

[transforms.parse_nginx]
type = "remap"
inputs = ["nginx_access"]
source = '''
  . |= parse_regex!(.message, r'^(?<ip>\S+) \S+ \S+ \[(?<time>[^\]]+)\] "(?<method>[A-Z]+) (?<path>[^" ]+)[^"]*" (?<status>\d+) (?<size>\d+)')
'''

[sinks.console]
type = "console"
inputs = ["parse_nginx"]
encoding.codec = "json"

数据从 source 流入，经 transform 加工（这里用 VRL 正则把 Nginx 日志解析成字段），从 sink 流出。每个组件用 inputs 声明上游，构成有向无环图——一份文件即是完整数据流图。

2. VRL：为可观测数据而生的语言

VRL 的语法紧凑而强大：

# 解析 JSON、改字段、按条件路由
.parsed = parse_json!(.message)
.level = downcase!(.parsed.level)
del(.parsed.password)                    # 删除敏感字段
.status = if .level == "error" { "error" } else { "ok" }

内置数百个函数（parse_regex/parse_grok/to_timestamp/redact……），覆盖解析、转换、脱敏、富化全部需求。编译期检查（! 结尾的函数强制处理失败路径）让管道健壮性远超正则堆叠。

3. 缓冲与可靠性

[sinks.platform]
type = "http"
uri = "https://logs.example.com/"
encoding.codec = "json"
buffer.type = "disk"            # 磁盘缓冲：后端挂了不丢数据
buffer.max_size = 5368709120    # 5GB

磁盘缓冲是 Vector 的可靠性基石：网络故障时数据落盘排队，恢复后自动重发。对比"内存缓冲崩溃即丢"的工具，这是生产管道的重要分水岭。

4. 部署形态与性能

• Agent 形态：每台主机/DaemonSet 部署，采集本地日志直发平台；
• Aggregator 形态：边缘 Agent 只采集，集中 Aggregator 做重转换与路由——大规模集群的分层架构；
• 性能：Rust 实现零 GC，单机百万级 EPS（事件/秒）级别的处理能力，内存占用远低于 JVM 系工具。

已有管道如何验证接入变化

已有 Vector 管道时，先列出正在使用的 sources、VRL 转换和 sinks，再决定是否改变采集端。若希望使用 DataKit 把文件日志送入观测云，可按日志采集配置选择一份样本并行验证，逐项比较解析字段、时间和多行堆栈。VRL 脚本需要重新实现为对应的处理规则，不能直接复制进 Pipeline。

常见问题（FAQ）

Vector 和 Fluent Bit 怎么选？

Vector 强在转换能力（VRL）与可靠性（磁盘缓冲默认完善）；Fluent Bit 强在极致轻量与 K8s 生态渗透。日志需要复杂加工选 Vector，纯搬运选 Fluent Bit。已有采集管道还应考虑配置迁移与双写验证成本。

Vector 的配置为什么用 TOML？

TOML 是早期选择，新版也支持 YAML/JSON。三类格式等价，团队习惯优先；大规模部署建议 YAML（与 K8s 清单风格统一）。

transforms 可以没有吗？

可以，sources 直连 sinks 即"纯转发"管道。但几乎没有生产管道不需要至少一步解析或字段标准化——transforms 正是 Vector 的价值核心。

Vector 挂了数据会丢吗？

配了磁盘缓冲的 sink 不会丢（落盘排队）；Agent 本身的采集位点（文件偏移量）也有 checkpoint 机制，重启后断点续采。这也是采集器选型的必查项。

系列阅读

• 上一篇：CloudTrail 日志实战
• 下一篇：Fluentd 详解
• 相关阅读：日志聚合 ｜ Filebeat vs Logstash

---