LLM

L’avenir de l’IA ne concerne pas uniquement des modèles plus intelligents. Il s’agit également de la silice qui correspond à la manière dont ces modèles sont réellement servis. Le matériel spécialisé pour l’inférence LLM suit un chemin rappelant la transition du minage de Bitcoin des GPU vers les ASIC dédiés, avec des contraintes plus rigoureuses car les modèles et les recettes de précision continuent d’évoluer.

NVIDIA DGX Spark est bien réel, en vente à partir du 15/10/2025, et destiné aux développeurs CUDA ayant besoin de travailler sur des LLM locaux avec un NVIDIA AI stack intégré. Le PPU aux États-Unis est de 3 999 $ ; le prix de détail en Royaume-Uni/Allemagne/Japon est plus élevé en raison de la TVA et des coûts de distribution. Les prix publics en AUD/KRW ne sont pas encore largement affichés.

Voici une comparaison entre Qwen3:30b et GPT-OSS:20b se concentrant sur le suivi des instructions et les paramètres de performance, les spécifications et la vitesse.

Dans cet article, nous allons explorer deux façons de connecter votre application Python à Ollama : 1. Via HTTP REST API ; 2. Via la bibliothèque Python officielle d’Ollama.

Les modèles GPT-OSS d’Ollama présentent régulièrement des problèmes pour gérer les sorties structurées, surtout lorsqu’ils sont utilisés avec des cadres comme LangChain, OpenAI SDK, vllm et d’autres.

Voici une comparaison détaillée côte à côte du support de la sortie structurée (obtention de JSON fiable) chez les principaux fournisseurs de LLM, ainsi que des exemples Python minimaux.

Modèles de langage de grande taille (LLM) sont puissants, mais en production nous ne voulons rarement de paragraphes en texte libre. Au contraire, nous voulons des données prévisibles : des attributs, des faits ou des objets structurés que vous pouvez injecter dans une application. C’est là que les Sorties structurées des LLM interviennent.

Ici, je compare la quantité de VRAM allouée par la nouvelle version d’Ollama au modèle par rapport à la version précédente d’Ollama. La nouvelle version est pire.

Ollama est rapidement devenu l’un des outils les plus populaires pour exécuter des LLM localement. Son CLI simple et sa gestion de modèles optimisée en ont fait une option incontournable pour les développeurs souhaitant travailler avec des modèles d’IA en dehors du cloud.

Localement hébergé, Ollama permet d’exécuter des modèles de langage sur votre propre machine, mais son utilisation via la ligne de commande n’est pas très conviviale.
Voici plusieurs projets open source qui proposent des interfaces du style ChatGPT qui se connectent à un Ollama local.

Nvidia s’apprête à publier NVIDIA DGX Spark - un petit supercalculateur IA basé sur l’architecture Blackwell, doté de plus de 128 Go de mémoire unifiée et d’une performance IA de 1 PFLOPS. Un appareil idéal pour exécuter des LLM.

Ici, nous avons une description du Model Context Protocol (MCP), des notes brèves sur la manière d’implémenter un serveur MCP en Go, comprenant la structure des messages et les spécifications du protocole.

Puisque la version standard d’Ollama ne possède pas d’API de reranking directe, vous devrez implémenter le reranking en utilisant Qwen3 Reranker en GO en générant des embeddings pour les paires requête-document et en les notant.

Dans ce test, je suis en train de comparer comment différents LLMs hébergés sur Ollama traduisent une page Hugo en anglais vers l’allemand.

Cet exemple de code Go pour le reranking appelle Ollama pour générer des embeddings pour la requête et pour chaque document candidat, puis les trie de manière décroissante selon la similarité cosinus.

Les modèles Qwen3 Embedding et Reranker sont les dernières publications de la famille Qwen, conçues spécifiquement pour les tâches avancées d’incorporation de texte (embedding), de récupération et de reranking.