Log Aggregation Pipeline Simulator
Follow production logs from applications through collection, parsing, filtering, buffering, sharded indexing, and search. Trigger traffic spikes, parser failures, and slow indexing to see where backpressure builds and logs can be lost.
Categoria: Observability
O que você vai aprender
- Como logs de aplicação se movem por coletores, processadores, buffers, índices e busca
- Por que parsing e filtragem acontecem antes da indexação durável
- Como buffers limitados absorvem rajadas curtas mas eventualmente transbordam
- Como picos de tráfego, incompatibilidades de parser e indexação lenta criam sinais de falha diferentes
- Como o roteamento de documentos distribui logs indexados entre shards de busca
- Por que eventos filtrados, rejeitados e descartados nunca aparecem nos resultados de busca
Tópicos abordados: logs, observability, elasticsearch, fluent-bit, parsing, backpressure, monitoring, sre, educational, interactive
// simulador
Log Aggregation Pipeline Simulator
Follow production logs from applications through collection, parsing, filtering, buffering, sharded indexing, and search. Trigger traffic spikes, parser failures, and slow indexing to see where backpressure builds and logs can be lost.
Pipeline de logs de produção
A capacidade está acompanhando e os logs aceitos estão progredindo até a busca.
Ciclo 1 · próximo estágio
Selecione um estágio para inspecionar o que ele faz.
Próximo: Apps e hosts
Pronto. Gere um lote para iniciar o pipeline.
Gerados
0
toda entrada
Em buffer
0
aguardando indexação
Indexados
0
pesquisáveis
Rejeitados
0
incompatibilidade de parser
Descartados
0
perdidos por transbordamento
Inspetor de estágio
Apps e hosts
Aplicações, containers e hosts emitem eventos de log brutos.
Sinal para o operador: Observe a taxa de entrada. Um aumento repentino costuma ser o primeiro sinal de um incidente.
Mudanças exigem uma nova execução.
Reduz o volume de armazenamento antes da indexação.
Três shards primários
Eventos são distribuídos por id de documento. Barras equilibradas significam trabalho de indexação equilibrado.
Como um pipeline de logs se mantém confiável
1. Colete perto da fonte
Agentes leves seguem (tail) arquivos ou a saída de containers e encaminham eventos. Filas locais evitam que um problema breve de rede perca logs imediatamente.
2. Estruture antes do armazenamento
Parsers extraem campos pesquisáveis, enriquecimento adiciona contexto, e filtros removem ruído conhecido. Contadores de rejeição expõem mudanças de formato antes que virem pontos cegos.
3. Faça buffer da diferença de ritmo
Coleta e indexação raramente rodam exatamente no mesmo ritmo. Um buffer durável e limitado absorve rajadas enquanto alertas de fila dão tempo aos operadores para restaurar capacidade.
O que alertar em produção
Monitore a taxa de entrada, idade e profundidade da fila, taxa de rejeição do parser, utilização do buffer, eventos descartados, latência de indexação, e balanço de shards juntos. Uma única consulta de busca saudável não prova que o pipeline está completo: logs faltando podem ter sido rejeitados bem antes de chegar ao índice.
Experimente também
// simulador
Prometheus Query Builder (PromQL Playground)
Learn Prometheus Query Language (PromQL) with an interactive playground. Master label filtering, rate calculations, aggregations, and histogram quantiles with real-time query execution.
// simulador
How Docker Works Under the Hood
Watch what really happens when you run docker run -p 8080:80 nginx, one layer at a time. Step down the whole stack: the CLI, the daemon, the registry pull, containerd, the OCI runtime bundle, runc, the running container, and the shared Linux kernel. Every stage shows the real low-level command you can run yourself, so it doubles as a tour of the primitives that make a container: namespaces, cgroups, and runc. A container is not a small VM, and this shows you why.
// simulador
Webhook Delivery Simulator
Send a webhook through a production-style delivery flow. Change endpoint responses, watch retries and backoff, inspect real HMAC-SHA256 signatures, and redeliver the same message to see receiver-side deduplication.