LLM

Docker Model Runner (DMR) est la solution officielle de Docker pour exécuter des modèles d’IA localement, introduite en avril 2025. Cette fiche pratique fournit un référentiel rapide pour toutes les commandes essentielles, les configurations et les bonnes pratiques.

Exécuter des grands modèles de langage (LLMs) localement a de plus en plus de popularité pour la confidentialité, le contrôle des coûts et les capacités hors ligne. Le paysage s’est considérablement transformé en avril 2025 lorsque Docker a introduit Docker Model Runner (DMR), sa solution officielle pour le déploiement de modèles d’IA.

L’avenir de l’IA ne réside pas seulement dans des modèles plus intelligents, mais dans des siliciums plus intelligents.
L’équipement matériel spécialisé pour l’inférence des LLM entraîne une révolution similaire à celle du passage du minage de Bitcoin aux ASICs.

NVIDIA DGX Spark est bien réel, en vente depuis le 15 octobre 2025, et destiné aux développeurs CUDA ayant besoin de travailler localement avec des LLM grâce à une pile IA NVIDIA intégrée. Le prix de détail US est de 3 999 $ ; les prix de détail au Royaume-Uni/Allemagne/Japon sont plus élevés en raison de la TVA et des canaux de distribution. Les prix publics en AUD/KRW ne sont pas encore largement affichés.

Voici une comparaison entre Qwen3:30b et GPT-OSS:20b
axée sur le suivi des instructions et les performances, les spécifications et la vitesse.

Dans cet article, nous allons explorer deux façons de connecter votre application Python à Ollama : 1. Via HTTP REST API ; 2. Via la bibliothèque Python officielle d’Ollama.

Les modèles GPT-OSS d’Ollama présentent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.

Voici une comparaison côte à côte du support de sortie structurée (obtenir un JSON fiable) auprès des fournisseurs d’LLM populaires, ainsi que des exemples minimalistes en Python

Les grands modèles de langage (LLMs) sont puissants, mais en production, nous souhaitons rarement des paragraphes libres. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez alimenter dans une application. C’est la sortie structurée des LLM.

Ici, je compare la quantité de VRAM allouée par la nouvelle version d’Ollama au modèle par rapport à la version précédente d’Ollama. La nouvelle version est pire.

Ollama est rapidement devenu l’un des outils les plus populaires pour exécuter des LLM localement. Son interface CLI simple et sa gestion des modèles optimisée l’ont rendu l’option de prédilection pour les développeurs souhaitant travailler avec des modèles d’IA en dehors du cloud.

Localement hébergé, Ollama permet d’exécuter des modèles de langage sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Nvidia s’apprête à publier NVIDIA DGX Spark - un petit supercalculateur IA basé sur l’architecture Blackwell, doté de plus de 128 Go de mémoire unifiée et d’une performance IA de 1 PFLOPS. Un appareil idéal pour exécuter des LLM.

Ici, nous avons une description du Model Context Protocol (MCP), des notes brèves sur la manière d’implémenter un serveur MCP en Go, comprenant la structure des messages et les spécifications du protocole.

Puisque la version standard d’Ollama ne possède pas d’API de reranking directe, vous devrez implémenter le reranking en utilisant Qwen3 Reranker en GO en générant des embeddings pour les paires requête-document et en les notant.

Dans ce test, je suis en train de comparer comment différents LLMs hébergés sur Ollama traduisent une page Hugo en anglais vers l’allemand.