Observabilidade — PentAGI

Rastreie cada chamada de LLM com Langfuse e monitore todo o sistema com Grafana e OpenTelemetry — duas pilhas opcionais além do painel integrado.

Duas pilhas opcionais mostram o que o PentAGI está fazendo: Langfuse para chamadas ao modelo e Grafana com OpenTelemetry para o restante do sistema.

O Dashboard nativo do PentAGI já mostra gráficos de flows, tool calls, tokens e custos ao longo do tempo; as pilhas abaixo adicionam rastreamentos completos e métricas do sistema.

O dashboard integrado

Langfuse

O Langfuse registra prompts, conclusões, tokens e custos por agent.

LANGFUSE_BASE_URL=http://langfuse-web:3000
LANGFUSE_PROJECT_ID=same_as_LANGFUSE_INIT_PROJECT_ID
LANGFUSE_PUBLIC_KEY=same_as_LANGFUSE_INIT_PROJECT_PUBLIC_KEY
LANGFUSE_SECRET_KEY=same_as_LANGFUSE_INIT_PROJECT_SECRET_KEY

Defina as credenciais do Langfuse em .env (LANGFUSE_POSTGRES_*, LANGFUSE_CLICKHOUSE_*, LANGFUSE_REDIS_AUTH, LANGFUSE_SALT, LANGFUSE_ENCRYPTION_KEY, LANGFUSE_NEXTAUTH_SECRET, LANGFUSE_INIT_USER_* e as chaves do projeto) e, em seguida, inicie a pilha:

curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-langfuse.yml
docker compose -f docker-compose.yml -f docker-compose-langfuse.yml up -d

A interface do Langfuse está disponível em http://localhost:4000.

Grafana e OpenTelemetry

OTEL_HOST=otelcol:8148

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/observability ./observability
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-observability.yml
docker compose -f docker-compose.yml -f docker-compose-observability.yml up -d

O Grafana está disponível em http://localhost:3000, com métricas no VictoriaMetrics, rastreamentos no Jaeger e logs no Loki.

Para enviar telemetria do Langfuse para a mesma pilha, defina LANGFUSE_OTEL_EXPORTER_OTLP_ENDPOINT=http://otelcol:4318.

Tudo junto

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/examples/graphiti ./graphiti
cp -r pentagi-src/examples/neo4j ./neo4j
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-graphiti.yml
docker compose \
  -f docker-compose.yml \
  -f docker-compose-langfuse.yml \
  -f docker-compose-graphiti.yml \
  -f docker-compose-observability.yml \
  up -d