Práticas de chaos engineering

O que é chaos engineering e como você a implementaria com segurança em um ambiente de produção?

SREadvanced

// pergunta de entrevista

O que é chaos engineering e como você a implementaria com segurança em um ambiente de produção?

Resposta de exemplo

Chaos engineering é a prática de injetar falhas intencionalmente para testar a resiliência do sistema. Implementação: comece com uma hipótese sobre o comportamento do sistema, defina um raio de impacto mínimo, comece em staging, use ferramentas como Chaos Monkey ou Litmus, injete falhas (finalização de pods, latência de rede, esgotamento de recursos), monitore os golden signals, automatize o rollback em caso de impacto inesperado e expanda gradualmente para produção durante períodos de baixo tráfego com o time monitorando.

Por que isso importa

O objetivo do chaos engineering é encontrar as fraquezas antes que elas te encontrem. Isso constrói confiança na resiliência do sistema e revela dependências ocultas. O ponto-chave são experimentos controlados e observáveis, com medidas de segurança - não destruição aleatória. A Netflix foi pioneira nessa prática com o Chaos Monkey, e hoje é prática padrão em organizações de grande escala.

Exemplos de código

Exemplo de ChaosEngine do Litmus

yaml

apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
  name: nginx-chaos
spec:
  appinfo:
    appns: default
    applabel: 'app=nginx'
    appkind: deployment
  chaosServiceAccount: litmus-admin
  experiments:
  - name: pod-delete
    spec:
      components:
        env:
        - name: TOTAL_CHAOS_DURATION
          value: '30'
        - name: CHAOS_INTERVAL
          value: '10'
        - name: FORCE
          value: 'false'

Injeção manual de caos

bash

# Network latency injection
tc qdisc add dev eth0 root netem delay 100ms 20ms

# CPU stress
stress-ng --cpu 4 --timeout 60s

# Kill random pod in deployment
kubectl delete pod $(kubectl get pods -l app=myapp -o name | shuf -n 1)

# Network partition simulation
iptables -A INPUT -s 10.0.0.0/8 -j DROP

Erros comuns a evitar

Rodar experimentos de caos sem monitoramento adequado implantado
Começar por produção antes de validar em staging
Não ter mecanismo de rollback automatizado quando os experimentos dão errado

Prováveis perguntas de acompanhamento

Como você define e controla o raio de impacto dos experimentos de caos?
Quais métricas você deveria monitorar durante experimentos de caos?
Como você convence a liderança de que quebrar produção intencionalmente tem valor?

Responda em voz alta primeiro e depois confira com a resposta modelo.

Praticar todas as perguntas de Sênior Mais perguntas de SRE

#chaos-engineering#reliability#sre#testing#resilience

Mais perguntas de entrevista de SRE

Also worth your time on this topic

Checklist

SLOs, SLIs e Error Budgets: um Guia Prático de Implementação

Um checklist passo a passo para definir objetivos de nível de serviço, escolher os indicadores de nível de serviço certos e usar error budgets para tomar decisões melhores entre confiabilidade e velocidade de entrega de funcionalidades.

45-90 minutos

Interview

Diferenças entre SLO, SLI e SLA

Seu time acabou de lançar um novo serviço de API. Seu gerente pede para você configurar SLOs para ele. Você pode explicar o que são SLOs, SLIs e SLAs, e como eles se relacionam?

junior

Exercise

Pipeline Completo de CI/CD com GitHub Actions

Laboratório prático: construa um pipeline de CI/CD de produção com GitHub Actions, incluindo testes, varredura de segurança, builds de container e implantação automatizada.

90 minutos