LLM

Docker Model Runner (DMR) è la soluzione ufficiale di Docker per eseguire modelli AI localmente, introdotta nel aprile 2025. Questo foglio di riferimento fornisce un rapido riferimento per tutti i comandi essenziali, le configurazioni e le best practice.

Running large language models (LLMs) locally ha guadagnato popolarità per la privacy, il controllo dei costi e le capacità offline. Il panorama si è notevolmente modificato nel aprile 2025 quando Docker ha introdotto Docker Model Runner (DMR), la sua soluzione ufficiale per il deployment di modelli AI.

Il futuro dell’AI non riguarda solo modelli più intelligenti modelli – riguarda silicio più intelligente.
L’hardware specializzato per l’inferenza LLM sta guidando una rivoluzione simile a quella del mining del Bitcoin verso i dispositivi ASIC.

NVIDIA DGX Spark è reale, in vendita dal 15 ottobre 2025, ed è rivolto agli sviluppatori CUDA che necessitano di lavori locali con LLM con uno stack NVIDIA AI integrato. Prezzo di listino USA $3.999; il prezzo al dettaglio nel Regno Unito/DE/JP è più alto a causa dell’IVA e dei canali di distribuzione. I prezzi pubblici AUD/KRW non sono ancora ampiamente pubblicati.

Ecco un confronto tra Qwen3:30b e GPT-OSS:20b che si concentra su seguito delle istruzioni e parametri di prestazione, specifiche e velocità.

In questo post, esploreremo due modi per connettere la tua applicazione Python a Ollama: 1. Attraverso l’HTTP REST API; 2. Attraverso la libreria ufficiale Python di Ollama.

Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.

Ecco un confronto a fianco a fianco del supporto per output strutturato (ottenere un JSON affidabile) tra i principali fornitori di LLM, più esempi minimi in Python

Modelli di grandi dimensioni (LLMs) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’app. Questo è LLM Structured Output.

Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Ollama ha rapidamente diventato uno degli strumenti più popolari per eseguire i modelli LLM localmente. La sua semplice CLI e la gestione semplificata dei modelli l’hanno resa un’opzione di riferimento per gli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

Nvidia sta per lanciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell, con oltre 128 GB di memoria unificata e prestazioni AI da 1 PFLOPS. Un ottimo dispositivo per eseguire LLM.

Ecco una descrizione del Model Context Protocol (MCP), note brevi su come implementare un server MCP in Go, inclusa la struttura dei messaggi e le specifiche del protocollo.

Dato che Ollama standard non dispone di una API diretta per il ricalcolo del ranking (reranking), dovrai implementare il reranking utilizzando Qwen3 Reranker in GO generando embedding per le coppie query-documento e assegnando loro un punteggio.

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco.