Observability — PentAGI

Verfolgen Sie jeden LLM-Aufruf mit Langfuse und überwachen Sie das gesamte System mit Grafana und OpenTelemetry – zwei optionale Stacks neben dem integrierten Dashboard.

Zwei optionale Stacks bieten Einblick in die Aktivitäten von PentAGI: Langfuse für Modellaufrufe und Grafana mit OpenTelemetry für das übrige System.

Das eigene Dashboard von PentAGI visualisiert bereits Flows, Tool Calls, Tokens und Kosten im Zeitverlauf; die folgenden Stacks ergänzen vollständige Traces und Systemmetriken.

Das integrierte Dashboard

Langfuse

Langfuse zeichnet Prompts, Completions, Tokens und Kosten pro Agent auf.

LANGFUSE_BASE_URL=http://langfuse-web:3000
LANGFUSE_PROJECT_ID=same_as_LANGFUSE_INIT_PROJECT_ID
LANGFUSE_PUBLIC_KEY=same_as_LANGFUSE_INIT_PROJECT_PUBLIC_KEY
LANGFUSE_SECRET_KEY=same_as_LANGFUSE_INIT_PROJECT_SECRET_KEY

Konfigurieren Sie die Langfuse-Anmeldedaten in .env (LANGFUSE_POSTGRES_*, LANGFUSE_CLICKHOUSE_*, LANGFUSE_REDIS_AUTH, LANGFUSE_SALT, LANGFUSE_ENCRYPTION_KEY, LANGFUSE_NEXTAUTH_SECRET, LANGFUSE_INIT_USER_* sowie die Projektschlüssel) und starten Sie anschließend den Stack:

curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-langfuse.yml
docker compose -f docker-compose.yml -f docker-compose-langfuse.yml up -d

Die Langfuse-Benutzeroberfläche ist unter http://localhost:4000 verfügbar.

Grafana und OpenTelemetry

OTEL_HOST=otelcol:8148

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/observability ./observability
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-observability.yml
docker compose -f docker-compose.yml -f docker-compose-observability.yml up -d

Grafana ist unter http://localhost:3000 verfügbar, mit Metriken in VictoriaMetrics, Traces in Jaeger und Logs in Loki.

Um Langfuse-Telemetriedaten an denselben Stack zu senden, setzen Sie LANGFUSE_OTEL_EXPORTER_OTLP_ENDPOINT=http://otelcol:4318.

Alles zusammen

git clone --depth 1 https://github.com/vxcontrol/pentagi.git pentagi-src
cp -r pentagi-src/examples/graphiti ./graphiti
cp -r pentagi-src/examples/neo4j ./neo4j
rm -rf pentagi-src
curl -O https://raw.githubusercontent.com/vxcontrol/pentagi/main/docker-compose-graphiti.yml
docker compose \
  -f docker-compose.yml \
  -f docker-compose-langfuse.yml \
  -f docker-compose-graphiti.yml \
  -f docker-compose-observability.yml \
  up -d