O alerta tradicional dispara quando a taxa de erro cruza um limiar estático, tipo 'alerta se erros 1%'. O que há de errado com essa abordagem, e como você configuraria alertas baseados em SLO no lugar?

Question

O alerta tradicional dispara quando a taxa de erro cruza um limiar estático, tipo 'alerta se erros > 1%'. O que há de errado com essa abordagem, e como você configuraria alertas baseados em SLO no lugar?

Accepted Answer

Alertas de limiar estático têm dois problemas. Primeiro, disparam com frequência demais para coisas que não importam. Um pico breve de 2% de erro por 30 segundos não vai afetar seu SLO mensal em nada, mas um alerta estático aciona alguém às 3h da manhã por causa disso. Segundo, eles perdem consumos lentos. Se sua taxa de erro fica em 0,5% por dias, isso pode parecer ok contra um limiar de 1%, mas está silenciosamente consumindo seu orçamento de erro de 99,9%.

Alertas baseados em SLO resolvem os dois problemas alertando pela taxa de consumo (burn rate) -- quão rápido você está consumindo seu orçamento de erro em relação à sua janela.

A abordagem usa alertas de múltiplas janelas e múltiplas taxas de consumo. Você configura dois tipos:

1. Um alerta de consumo rápido para incidentes agudos: "Nesse ritmo, você vai esgotar todo o seu orçamento de erro de 30 dias em 2 horas." Isso é uma taxa de consumo de 36x (consumindo 36 vezes mais rápido que o sustentável). Você checa isso em uma janela curta (5 minutos) e uma janela de confirmação mais longa (1 hora). Isso aciona alguém imediatamente.

2. Um alerta de consumo lento para degradação gradual: "Nesse ritmo, você vai esgotar seu orçamento em 3 dias." Isso é uma taxa de consumo de 10x, checada em uma janela curta de 30 minutos e uma janela longa de 6 horas. Isso cria um chamado, não um acionamento.

A checagem de duas janelas evita falsos positivos. A janela curta capta a condição atual, enquanto a janela longa confirma que não é só um pico passageiro. Ambas precisam ser verdadeiras antes do alerta disparar.

Isso mapeia diretamente para a abordagem do livro de SRE do Google e funciona bem na prática porque você só é acionado por coisas que realmente ameaçam seu SLO.

Alertas Baseados em SLO e Taxas de Consumo

Resposta de exemplo

Por que isso importa

Exemplos de código

Erros comuns a evitar

Prováveis perguntas de acompanhamento

Mais perguntas de entrevista de SRE

Also worth your time on this topic

Escolhendo os SLIs Certos

SLOs, SLIs e Error Budgets: um Guia Prático de Implementação

Quiz de eBPF para Observabilidade e Segurança de Rede