Vitesse de génération des jetons de llama.cpp sur 16 Go de VRAM (tableaux).
Ici je compare la vitesse de plusieurs LLM fonctionnant sur un GPU doté de 16 Go de VRAM, et je choisis le meilleur pour l’auto-hébergement.
La RTX 5090 est rare et surcotée en Australie.
L’Australie dispose de stock pour la RTX 5090. À peine. Et si vous en trouvez une, vous paierez une prime qui semble déconnectée de la réalité.
Accès distant à Ollama sans ports publics
Ollama est à son meilleur lorsque l’on le traite comme un démon local : la CLI et vos applications communiquent avec une API HTTP en boucle locale (loopback), et le reste du réseau ignore son existence.
Serveur Ollama orienté composition, avec GPU et persistance.
Ollama fonctionne parfaitement sur du matériel nu. Cela devient encore plus intéressant lorsque vous le traitez comme un service : une extrémité stable, des versions figées, un stockage persistant et une GPU qui est soit disponible, soit non.
HTTPS Ollama sans interrompre les réponses en flux.
Exécuter Ollama derrière un proxy inversé est le moyen le plus simple d’obtenir HTTPS, un contrôle d’accès facultatif et un comportement de streaming prévisible.
Intégration RAG - Python, Ollama, API OpenAI.
Si vous travaillez sur la génération augmentée par récupération (RAG), cette section explique les incorporations de texte (text embeddings) en termes simples : ce qu’elles sont, comment elles s’intègrent dans la recherche et la récupération, et comment appeler deux configurations locales courantes depuis Python en utilisant Ollama ou une API HTTP compatible OpenAI (comme le font de nombreux serveurs basés sur llama.cpp).
Mettre à jour les URL de recherche après le déploiement.
Les sites statiques et les blogs changent à chaque déploiement. Les moteurs de recherche prenant en charge IndexNow peuvent prendre connaissance de ces changements sans attendre le prochain cycle de crawl aveugle.
Faites fonctionner rapidement les modèles ouverts avec SGLang.
SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.
Installez Kafka 4.2 et diffusez des événements en quelques minutes.
Apache Kafka 4.2.0 est la version actuellement prise en charge, et c’est la meilleure base pour un démarrage rapide moderne, car Kafka 4.x est entièrement dépourvu de ZooKeeper et construit autour de KRaft par défaut.
Échange à chaud de LLM locaux sans modifier les clients.
Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.
Que se passe-t-il réellement lorsque vous lancez Ultrawork.
Oh My Opencode promet une « équipe de développement IA virtuelle » : Sisyphus orchestre des spécialistes, les tâches s’exécutent en parallèle et le mot magique ultrawork active tout cela.
Faites la connaissance de Sisyphus et de son équipe d'agents spécialisés.
Le saut de capacité le plus important dans OpenCode provient des agents spécialisés : séparation délibérée de l’orchestration, de la planification, de l’exécution et de la recherche.
Installez Oh My Opencode et publiez plus rapidement.
Oh My Opencode transforme OpenCode en un harnais de codage multi-agents : un orchestrateur délègue le travail à des agents spécialisés qui s’exécutent en parallèle.
Test LLM OpenCode — statistiques de codage et de précision
J’ai testé comment OpenCode fonctionne avec plusieurs LLM hébergés localement sur Ollama et llama.cpp, et j’ai ajouté pour comparaison quelques modèles gratuits provenant d’OpenCode Zen.
Démarrage rapide d'OpenHands CLI en quelques minutes
OpenHands est une plateforme open-source et agnostique des modèles pour les agents de développement logiciel pilotés par l’IA. Il permet à un agent de se comporter davantage comme un partenaire de codage que comme un simple outil de complétion automatique.
Hébergez des APIs compatibles avec OpenAI en local avec LocalAI en quelques minutes.
LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).
