Llamacpp on Rost Glukhov | Sistemi IA e infrastruttura

llama.cpp vs Ollama nel 2026: quale runtime dovresti eseguire?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama e llama.cpp vengono spesso confrontati come se fossero motori di inferenza rivali. La scelta reale è tra un servizio di modelli gestito e un toolkit che si opera direttamente.

ROCm vs Vulkan per l’hosting locale di LLM su AMD: Guida 2026

Wed, 09 Sep 2026 00:00:00 +0000

ROCm e Vulkan accelerano entrambe le GPU AMD per l’hosting locale di LLM, ma non sono intercambiabili. La scelta giusta dipende dal motore, dalla GPU e dal carico di lavoro.

KV Cache su GPU da 16 GB: far funzionare davvero i contesti lunghi

Tue, 08 Sep 2026 00:00:00 +0000

Un modello può pubblicizzare una finestra di contesto da 128K eppure fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai promesso che pesi, KV cache, buffer di calcolo e il compositor desktop potessero coesistere sulla stessa scheda.