# Lokální modely > Provozujte PentAGI na modelech běžících na vašem vlastním hardwaru, aby prompty, výstupy nástrojů a nálezy zůstaly na vašich serverech. PentAGI může běžet zcela na modelech, které hostujete sami. Prompty agentů, výstupy nástrojů, které čtou, a [findings](https://pentagi.com/cs/docs/glossary/#finding), které reportují, pak zůstávají na vašich serverech a dlouhý [flow](https://pentagi.com/cs/docs/glossary/#flow) stojí čas GPU místo tokenů. Podporovány jsou dva druhy modelových serverů: Ollama, který se nastavuje nejrychleji, a vLLM nebo jakýkoli jiný server s API kompatibilním s OpenAI pro vyšší propustnost. ## [Ollama](https://pentagi.com/cs/docs/deployment/local-models/#ollama) Nasměrujte PentAGI na server Ollama v `.env`: ```bash OLLAMA_SERVER_URL=http://ollama-server:11434 OLLAMA_SERVER_CONFIG_PATH=/opt/pentagi/conf/ollama-qwen332b-fp16-tc.provider.yml OLLAMA_SERVER_PULL_MODELS_ENABLED=false # true downloads missing models at startup OLLAMA_SERVER_LOAD_MODELS_ENABLED=false # true lists the models the server already has ``` Konfigurační soubor přiřazuje model a jeho parametry každému [agent type](https://pentagi.com/cs/docs/glossary/#agent-type); bez něj `OLLAMA_SERVER_MODEL` nastaví výchozí model. Obraz obsahuje připravené konfigurace v `/opt/pentagi/conf/`, mezi nimi `ollama-qwen332b-fp16-tc.provider.yml` a `ollama-qwq32b-fp16-tc.provider.yml`. Výchozí kontextové okno Ollamy je mnohem menší, než potřebuje flow: agenti obvykle používají kolem 64K tokenů a PentAGI je nastaven na 110K. Ollama nastavuje velikost kontextu pouze při vytváření modelu, takže vytvořte variantu z Modelfile: ```dockerfile FROM qwen3:32b-fp16 PARAMETER num_ctx 110000 PARAMETER temperature 0.3 PARAMETER top_p 0.8 PARAMETER min_p 0.0 PARAMETER top_k 20 PARAMETER repeat_penalty 1.1 ``` ```bash ollama create qwen3:32b-fp16-tc -f Modelfile ``` ## [vLLM a další servery kompatibilní s OpenAI](https://pentagi.com/cs/docs/deployment/local-models/#vllm-and-other-openai-compatible-servers) vLLM, LocalAI a další servery s API kompatibilním s OpenAI se připojují jako [vlastní provider](https://pentagi.com/cs/docs/configuration/llm-providers/#custom-and-openai-compatible-endpoints): ```bash LLM_SERVER_URL=http://vllm-server:8000/v1 LLM_SERVER_KEY=local # any non-empty value when the server has no key LLM_SERVER_MODEL=Qwen/Qwen3.6-27B-FP8 LLM_SERVER_CONFIG_PATH=/opt/pentagi/conf/vllm-qwen3.6-27b-fp8.provider.yml ``` Obraz obsahuje konfigurace pro několik sestavení Qwen na vLLM; varianty `-no-think` vypínají reasoning. Agenti pracují prostřednictvím [tool calls](https://pentagi.com/cs/docs/glossary/#tool-call), takže spusťte server s parserem tool call a chat [template](https://pentagi.com/cs/docs/glossary/#template) doporučeným pro váš model: při špatném parseru se argumenty tool call vrátí poškozené a flow se po několika krocích zastaví. ## [Výběr modelu](https://pentagi.com/cs/docs/deployment/local-models/#choosing-a-model) * Svůj nejsilnější model přidělte `primary_agent`, `pentester` a `adviser` v konfiguračním souboru; lehčí modely mohou obsluhovat `searcher`, `enricher` a sumarizaci. * U modelů pod 32 miliard parametrů zapněte [monitoring provádění a plánování task](https://pentagi.com/cs/docs/concepts/agents/#safeguards). Zhruba zdvojnásobí kvalitu výsledků za cenu dvojnásobného až trojnásobného množství tokenů a času. * Počítejte s pamětí: QwQ 32B ve formátu FP16 například potřebuje asi 71 GB paměti GPU. ## [Zachovejte zbytek stacku lokální](https://pentagi.com/cs/docs/deployment/local-models/#keep-the-rest-of-the-stack-local) | Část | Nastavení | | -------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | Embeddings | `EMBEDDING_PROVIDER=ollama` s embedding modelem v `EMBEDDING_MODEL` používá stejný server Ollama; lokální server kompatibilní s OpenAI funguje s `EMBEDDING_PROVIDER=openai`, jeho adresou v `EMBEDDING_URL` a jakýmkoli neprázdným `EMBEDDING_KEY` | | Web search | Search odesílá dotazy agentů na internet. DuckDuckGo je ve výchozím nastavení zapnutý; vypněte jej pomocí `DUCKDUCKGO_ENABLED=false` a ponechte pouze [engines](https://pentagi.com/cs/docs/configuration/search-engines/), které akceptujete, například vlastní SearXNG | | [Knowledge graph](https://pentagi.com/cs/docs/glossary/#knowledge-graph) | Ve výchozím nastavení vypnuto. Pokud je zapnuto, Graphiti volá OpenAI, pokud jej `GRAPHITI_LLM_CLIENT_TYPE=custom` neodešle na server v `LLM_SERVER_URL`, kterého pak žádá i o embeddings s modelem uvedeným v `EMBEDDING_MODEL`, nebo `text-embedding-3-small`, pokud je prázdný. Pokud tento server tento model neposkytuje, nastavte `GRAPHITI_SEPARATE_EMBEDDING=true`: Graphiti pak převezme `EMBEDDING_URL`, `EMBEDDING_KEY` a `EMBEDDING_MODEL`, hodnoty, které používá PentAGI, a tyto hodnoty musí směřovat na server kompatibilní s OpenAI — viz [Knowledge graph](https://pentagi.com/cs/docs/concepts/memory/#knowledge-graph-optional) | | Observability | Dodávané stacky Langfuse a Grafana běží na vašem hostiteli — viz [Observability](https://pentagi.com/cs/docs/configuration/observability/) | | Kontrola aktualizací | `UPDATE_CHECK_INTERVAL=0` ji vypne; [Security](https://pentagi.com/cs/docs/configuration/security/#update-check) uvádí, co odesílá | | Obrazy | Docker stahuje obrazy sandboxu z Docker Hubu s vlastním nastavením; v uzavřené síti nasměrujte démona Dockeru na zrcadlo registru |