Observabilité — PentAGI

Tracez chaque appel LLM avec Langfuse et surveillez l’ensemble du système avec Grafana et OpenTelemetry — deux piles optionnelles en plus du tableau de bord intégré.

Deux piles optionnelles permettent d'observer le fonctionnement de PentAGI : Langfuse pour les appels aux modèles, et Grafana avec OpenTelemetry pour le reste du système.

Le Dashboard intégré de PentAGI présente déjà l'évolution des flows, des tool calls, des tokens et des coûts au fil du temps ; les piles ci-dessous ajoutent des traces complètes et des métriques système.

Le tableau de bord intégré

Langfuse

Langfuse enregistre les prompts, les complétions, les tokens et les coûts par agent.

LANGFUSE_BASE_URL=http://langfuse-web:3000
LANGFUSE_PROJECT_ID=same_as_LANGFUSE_INIT_PROJECT_ID
LANGFUSE_PUBLIC_KEY=same_as_LANGFUSE_INIT_PROJECT_PUBLIC_KEY
LANGFUSE_SECRET_KEY=same_as_LANGFUSE_INIT_PROJECT_SECRET_KEY

Configurez les identifiants Langfuse dans .env (LANGFUSE_POSTGRES_*, LANGFUSE_CLICKHOUSE_*, LANGFUSE_REDIS_AUTH, LANGFUSE_SALT, LANGFUSE_ENCRYPTION_KEY, LANGFUSE_NEXTAUTH_SECRET, LANGFUSE_INIT_USER_* ainsi que les clés du projet), puis démarrez la pile :

curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-langfuse.yml
docker compose -f docker-compose.yml -f docker-compose-langfuse.yml up -d

L'interface Langfuse est accessible à l'adresse http://localhost:4000.

Grafana et OpenTelemetry

OTEL_HOST=otelcol:8148

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/observability ./observability
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-observability.yml
docker compose -f docker-compose.yml -f docker-compose-observability.yml up -d

Grafana est disponible à l'adresse http://localhost:3000, avec les métriques dans VictoriaMetrics, les traces dans Jaeger et les logs dans Loki.

Pour envoyer la télémétrie Langfuse dans la même pile, définissez LANGFUSE_OTEL_EXPORTER_OTLP_ENDPOINT=http://otelcol:4318.

Tout ensemble

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/examples/graphiti ./graphiti
cp -r pentagi-src/examples/neo4j ./neo4j
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-graphiti.yml
docker compose \
  -f docker-compose.yml \
  -f docker-compose-langfuse.yml \
  -f docker-compose-graphiti.yml \
  -f docker-compose-observability.yml \
  up -d