联系我们

加入社区

微信扫码
加入官方交流群

立即体验

在线开通,按量计费,真正的云服务!

立即开始

选择观测云版本

代码托管平台

Pipeline Data Processing

Pipeline 数据处理

观测云 Pipeline 用于在数据进入分析前完成解析、字段提取、类型转换、过滤、脱敏和标准化处理,让日志、指标、链路、网络和对象数据更容易检索、聚合、关联和治理。

联系我们
原始日志不好查?先把关键字段解析出来
Pipeline 支持在 DataKit 本地或中心侧对数据进行解析、提取、修改、过滤和聚合。团队可以把 message 中的 host、service、status、duration、trace_id 等信息转成字段或标签,让后续检索、告警和聚合分析更稳定。
原始日志不好查?先把关键字段解析出来
字段统一后,日志才能和指标、链路、网络关联
字段统一后,日志才能和指标、链路、网络关联
处理后的数据结构更清晰,可以按统一字段过滤、分组和聚合。例如把日志中的服务名、主机、状态码和请求路径标准化后,就能继续关联 APM Trace、基础设施指标、BPF 网络日志和告警事件。
敏感信息不能入库?在处理链路前置脱敏
Pipeline 可以在数据存储前对手机号、身份证号、Token、账号、IP 或业务敏感字段做替换、删除或加密处理。对安全、合规和多团队协作场景来说,越早完成脱敏,后续检索和共享越可控。
敏感信息不能入库?在处理链路前置脱敏

常见问题

Pipeline 数据处理主要解决什么问题?

Pipeline 用于在数据入库前解析原始日志和观测数据,完成字段提取、格式转换、过滤、脱敏和标准化,让后续检索、告警、聚合和关联分析更准确。

Pipeline 可以处理哪些数据?

Pipeline 可以处理日志、指标、对象、链路、网络等多类观测数据,常见场景包括解析 service、host、status、duration、trace_id 等字段,并统一字段命名和类型。

为什么要在入库前做数据脱敏?

在入库前脱敏可以避免手机号、身份证号、Token、账号等敏感信息进入后续查询、共享和归档链路,从源头降低数据泄露和合规风险。

相关阅读

想看Pipeline 数据处理如何落到你的业务系统?

预约演示