Skip to main content
Thoughts
3 min read

Cardinalidade Mata o Prometheus: Como Aprendemos Isso da Forma Difícil

Exploramos como o descuido com a cardinalidade pode comprometer a performance do Prometheus e as lições que aprendemos para evitar esse problema em nossa plataforma de observabilidade.

ObservabilidadePrometheusCardinalidade

Cardinalidade Mata o Prometheus: Como Aprendemos Isso da Forma Difícil

Gerenciar a observabilidade de mais de 100 serviços distribuídos em ambientes híbridos não é tarefa fácil. Quando decidimos centralizar nossa plataforma de monitoramento usando Grafana e Prometheus, enfrentamos desafios significativos, especialmente relacionados à cardinalidade dos dados. Aqui está o que aprendemos na prática.

Contexto

Na época, cada equipe de desenvolvimento tinha sua própria configuração de monitoramento, usando ferramentas como CloudWatch e GCP Cloud Monitoring. Isso resultava em um caos de alertas, muitos dos quais estavam desativados há meses. A solução foi construir uma plataforma centralizada de observabilidade com Grafana e Prometheus, adotando o modelo de Dashboards as Code para garantir consistência e controle de versão.

A Decisão

Optamos por Prometheus devido à sua flexibilidade e suporte à coleta de métricas de diversas fontes. No entanto, cometemos um erro crítico ao subestimar o impacto da cardinalidade nas métricas. Não estabelecemos limites adequados para etiquetas de alta cardinalidade, como user_id e request_id, o que gerou um volume massivo de séries temporais.

O que Construímos

Implementamos uma instância central de Grafana integrada com SSO LDAP e configuramos a federação de Prometheus para coletar métricas de ambientes GCP e AWS. O uso do Grafonnet para gerar dashboards em JSON garantiu que tudo fosse versionado e revisado via PRs. No entanto, a falta de gestão de cardinalidade resultou em uma degradação considerável da performance do Prometheus.

Resultado

O impacto foi imediato: o Prometheus começou a apresentar lentidão e instabilidade devido ao alto volume de séries. O tempo de resposta para consultas aumentou, afetando a capacidade das equipes de reagir rapidamente a incidentes. Essa situação nos forçou a uma reavaliação urgente de nossa estratégia de métricas.

O que Faria Diferente

Com a experiência adquirida, aqui estão algumas mudanças que implementaríamos:

  1. Definir Orçamentos de Cardinalidade Desde o Início: Estabelecer limites claros para etiquetas de alta cardinalidade e educar as equipes sobre o impacto dessas métricas no sistema.

  2. Monitorar o Uso de Recursos do Prometheus: Implementar monitoramento contínuo dos recursos consumidos pelo Prometheus para identificar e mitigar problemas antes que afetem a performance.

  3. Atribuição de Custos e Responsabilidade: Introduzir um sistema de atribuição de custos para que cada equipe entenda o impacto financeiro de suas métricas e ajuste conforme necessário.

Ao refletir sobre essa experiência, fica claro que a observabilidade eficaz não é apenas sobre coletar dados, mas sim gerenciá-los de forma inteligente para evitar gargalos que possam comprometer a operação de toda a plataforma.