Cardinalidade Mata o Prometheus: Como Aprendemos Isso da Forma Difícil
Exploramos como o descuido com a cardinalidade pode comprometer a performance do Prometheus e as lições que aprendemos para evitar esse problema em nossa plataforma de observabilidade.
Cardinalidade Mata o Prometheus: Como Aprendemos Isso da Forma Difícil
Gerenciar a observabilidade de mais de 100 serviços distribuídos em ambientes híbridos não é tarefa fácil. Quando decidimos centralizar nossa plataforma de monitoramento usando Grafana e Prometheus, enfrentamos desafios significativos, especialmente relacionados à cardinalidade dos dados. Aqui está o que aprendemos na prática.
Contexto
Na época, cada equipe de desenvolvimento tinha sua própria configuração de monitoramento, usando ferramentas como CloudWatch e GCP Cloud Monitoring. Isso resultava em um caos de alertas, muitos dos quais estavam desativados há meses. A solução foi construir uma plataforma centralizada de observabilidade com Grafana e Prometheus, adotando o modelo de Dashboards as Code para garantir consistência e controle de versão.
A Decisão
Optamos por Prometheus devido à sua flexibilidade e suporte à coleta de métricas de diversas fontes. No entanto, cometemos um erro crítico ao subestimar o impacto da cardinalidade nas métricas. Não estabelecemos limites adequados para etiquetas de alta cardinalidade, como user_id e request_id, o que gerou um volume massivo de séries temporais.
O que Construímos
Implementamos uma instância central de Grafana integrada com SSO LDAP e configuramos a federação de Prometheus para coletar métricas de ambientes GCP e AWS. O uso do Grafonnet para gerar dashboards em JSON garantiu que tudo fosse versionado e revisado via PRs. No entanto, a falta de gestão de cardinalidade resultou em uma degradação considerável da performance do Prometheus.
Resultado
O impacto foi imediato: o Prometheus começou a apresentar lentidão e instabilidade devido ao alto volume de séries. O tempo de resposta para consultas aumentou, afetando a capacidade das equipes de reagir rapidamente a incidentes. Essa situação nos forçou a uma reavaliação urgente de nossa estratégia de métricas.
O que Faria Diferente
Com a experiência adquirida, aqui estão algumas mudanças que implementaríamos:
-
Definir Orçamentos de Cardinalidade Desde o Início: Estabelecer limites claros para etiquetas de alta cardinalidade e educar as equipes sobre o impacto dessas métricas no sistema.
-
Monitorar o Uso de Recursos do Prometheus: Implementar monitoramento contínuo dos recursos consumidos pelo Prometheus para identificar e mitigar problemas antes que afetem a performance.
-
Atribuição de Custos e Responsabilidade: Introduzir um sistema de atribuição de custos para que cada equipe entenda o impacto financeiro de suas métricas e ajuste conforme necessário.
Ao refletir sobre essa experiência, fica claro que a observabilidade eficaz não é apenas sobre coletar dados, mas sim gerenciá-los de forma inteligente para evitar gargalos que possam comprometer a operação de toda a plataforma.