Modelos locales
Ejecuta PentAGI en modelos servidos desde tu propio hardware, para que los prompts, la salida de las herramientas y los findings se queden en tus servidores.
PentAGI puede ejecutarse completamente con modelos que sirvas tú mismo. Los prompts de los agentsagent — agenteUn agente de IA de PentAGI: un modelo con su propio prompt, configuración y herramientas que realiza un tipo de trabajo en un flujo, como probar, escribir código o buscar en la web., la salida de las toolstool — herramientaAquello con lo que actúa un agente: una capacidad integrada como el terminal, el navegador aislado o la búsqueda web, o un programa en el sandbox como nmap, metasploit o sqlmap. que leen y los findingsfinding — hallazgoAlgo que el test descubrió y registró, como un host, un servicio en ejecución o una vulnerabilidad. que reportan permanecen entonces en tus servidores, y un flowflow — flujoUna ejecución de PentAGI: un objetivo, las tareas creadas a partir de tus mensajes y todo lo que hicieron los agentes en el proceso. largo consume tiempo de GPU en lugar de tokens. Se admiten dos tipos de servidores de modelos: Ollama, el más rápido de configurar, y vLLM o cualquier otro servidor con una API compatible con OpenAI, para un mayor rendimiento.
Ollama
Apunta PentAGI al servidor de Ollama en .env:
OLLAMA_SERVER_URL=http://ollama-server:11434
OLLAMA_SERVER_CONFIG_PATH=/opt/pentagi/conf/ollama-qwen332b-fp16-tc.provider.yml
OLLAMA_SERVER_PULL_MODELS_ENABLED=false # true downloads missing models at startup
OLLAMA_SERVER_LOAD_MODELS_ENABLED=false # true lists the models the server already hasEl archivo de configuración asigna un modelo y sus parámetros a cada agent typeagent type — tipo de agenteEl rol que desempeña un agente, como pentester, coder o searcher. La configuración del modelo se elige por tipo de agente.; sin uno, OLLAMA_ establece el modelo predeterminado. La imagen incluye configuraciones listas en /, entre ellas ollama-qwen332b-fp16-tc.provider.yml y ollama-qwq32b-fp16-tc.provider.yml.
La ventana de contexto predeterminada de Ollama es mucho más pequeña de lo que necesita un flow: los agents suelen usar alrededor de 64K tokens, y PentAGI está configurado para 110K. Ollama establece el tamaño del contexto solo cuando crea un modelo, así que construye una variante desde un Modelfile:
FROM qwen3:32b-fp16
PARAMETER num_ctx 110000
PARAMETER temperature 0.3
PARAMETER top_p 0.8
PARAMETER min_p 0.0
PARAMETER top_k 20
PARAMETER repeat_penalty 1.1ollama create qwen3:32b-fp16-tc -f ModelfilevLLM y otros servidores compatibles con OpenAI
vLLM, LocalAI y otros servidores con una API compatible con OpenAI se conectan como el proveedor personalizado:
LLM_SERVER_URL=http://vllm-server:8000/v1
LLM_SERVER_KEY=local # any non-empty value when the server has no key
LLM_SERVER_MODEL=Qwen/Qwen3.6-27B-FP8
LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/vllm-qwen3.6-27b-fp8.provider.ymlLa imagen incluye configuraciones para varias compilaciones de Qwen en vLLM; las variantes -no-think desactivan el reasoning. Los agents trabajan mediante tool callstool call — llamada a herramientasUna solicitud del modelo para ejecutar una de las herramientas del agente, como un comando de terminal o una búsqueda web., así que inicia el servidor con el parser de tool calls y la templatetemplate — plantillaTexto guardado que PentAGI reutiliza. Una plantilla guardada en Templates rellena el primer mensaje de un nuevo flujo; en Enterprise, una plantilla de informe define las secciones de un informe y su orden, de modo que diferentes plantillas producen distintos documentos para el cliente, los ingenieros y la dirección. de chat recomendadas para tu modelo: con un parser incorrecto, los argumentos de los tool calls vuelven rotos y un flow se detiene tras unos pocos pasos.
Elegir un modelo
- Asigna tu modelo más potente a
primary_,agent pentesteryadviseren el archivo de configuración; los más ligeros pueden servir parasearcher,enrichery los resúmenes. - Para modelos de menos de 32B de parámetros, activa el monitoreo de ejecución y la planificación de tasks. Esto duplica aproximadamente la calidad de los resultados a costa de consumir dos o tres veces más tokens y tiempo.
- Planifica la memoria: QwQ 32B en FP16, por ejemplo, necesita unos 71 GB de memoria de GPU.
Mantén el resto de la pila en local
| Parte | Configuración |
|---|---|
| Embeddings | EMBEDDING_ con un modelo de embedding en EMBEDDING_ usa el mismo servidor de Ollama; un servidor local compatible con OpenAI funciona con EMBEDDING_, su dirección en EMBEDDING_ y cualquier EMBEDDING_ no vacío |
| Búsqueda web | Search envía las consultas de los agents a internet. DuckDuckGo está activado por defecto; desactívalo con DUCKDUCKGO_ y mantén solo los motores que aceptes, como tu propio SearXNG |
| Knowledge graphknowledge graph — grafo de conocimientoEl grafo de hosts, servicios, vulnerabilidades y el acceso entre ellos que PentAGI construye durante un test cuando esta función opcional está activada. Muestra cómo se conectan los hallazgos. | Desactivado por defecto. Cuando está activado, Graphiti llama a OpenAI a menos que GRAPHITI_ lo envíe al servidor en LLM_, al que luego solicita también embeddings con el modelo nombrado en EMBEDDING_, o text-embedding-3-small cuando esté vacío. Si ese servidor no sirve ese modelo, configura GRAPHITI_: Graphiti toma entonces EMBEDDING_, EMBEDDING_ y EMBEDDING_, los valores que usa PentAGI, y deben apuntar a un servidor compatible con OpenAI — consulta Knowledge graph |
| Observabilidad | Las pilas incluidas de Langfuse y Grafana se ejecutan en tu host — consulta Observability |
| Comprobación de actualizaciones | UPDATE_ la desactiva; Security enumera lo que envía |
| Imágenes | Docker extrae las imágenes del sandboxsandboxEl contenedor Docker aislado en el que los agentes ejecutan sus herramientas. La interfaz lo muestra como Terminal. desde Docker Hub con su propia configuración; en una red cerrada, apunta el demonio de Docker a un espejo de registro |
Última actualización el