Llamacpp on Rost Glukhov | Systèmes IA et infrastructure

llama.cpp vs Ollama en 2026 : Quel runtime choisir ?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama et llama.cpp sont souvent comparés comme s’ils étaient des moteurs d’inférence rivaux. Le véritable choix se fait entre un service de gestion de modèles et un kit d’outils que vous pilotez directement.

ROCm vs Vulkan pour l’hébergement local de LLM sur AMD : Guide 2026

Wed, 09 Sep 2026 00:00:00 +0000

ROCm et Vulkan accélèrent tous deux les GPU AMD pour l’hébergement local de LLM, mais ils ne sont pas interchangeables. Le bon choix dépend du moteur, du GPU et de la charge de travail.

Le KV Cache sur des GPU de 16 Go : faire tenir réellement les contextes longs

Tue, 08 Sep 2026 00:00:00 +0000

Un modèle peut revendiquer une fenêtre de contexte de 128K et échouer pourtant à 40K jetons sur un GPU de 16 Go. La limite architecturale ne promettait jamais que les poids, le cache KV, les tampons de calcul et le compositeur de bureau tiendraient simultanément sur votre carte.