Servez et échangez des LLM sans redémarrage.
Pendant longtemps, llama.cpp présentait une limite flagrante :
vous ne pouviez servir qu’un modèle par processus, et le changement impliquait un redémarrage.
Faites fonctionner rapidement les modèles ouverts avec SGLang.
SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.
Échange à chaud de LLM locaux sans modifier les clients.
Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.
Comment installer, configurer et utiliser OpenCode
Je reviens sans cesse à llama.cpp pour l’inférence locale — il vous offre un contrôle que Ollama et autres outils abstractent, et il fonctionne tout simplement. Facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible OpenAI avec llama-server.
