LLM

Il futuro dell’AI non riguarda solo modelli più intelligenti. Riguarda anche il silicio che corrisponde al modo in cui questi modelli vengono effettivamente serviti. L’hardware specializzato per l’inferenza LLM sta seguendo un percorso simile al passaggio del mining di Bitcoin dalle GPU agli ASIC appositamente progettati, sebbene con vincoli più stringenti poiché i modelli e le ricette di precisione continuano a evolversi.

NVIDIA DGX Spark è reale, in vendita dal 15 ottobre 2025, e pensato per gli sviluppatori CUDA che hanno bisogno di un lavoro locale con LLM dotato di uno stack NVIDIA AI integrato. Il prezzo suggerito al pubblico negli Stati Uniti è di 3.999 $; il prezzo al dettaglio nel Regno Unito/Tedesca/Giappone è più alto a causa dell’IVA e dei canali di distribuzione. I prezzi al dettaglio pubblici in AUD/KRW non sono ancora ampiamente pubblicati.

Ecco un confronto tra Qwen3:30b e GPT-OSS:20b, focalizzato sul rispetto delle istruzioni, sui parametri di prestazioni, sulle specifiche e sulla velocità.

In questo post, esploreremo due modi per connettere la tua applicazione Python a Ollama: 1. Attraverso l’HTTP REST API; 2. Attraverso la libreria ufficiale Python di Ollama.

Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.

Ecco un confronto a fianco del supporto per l’output strutturato (ottenere JSON affidabili) presso i principali provider di LLM, oltre a esempi minimi in Python

Modelli di Linguaggio su Larga Scala (LLM) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’applicazione. Questo è l’Output Strutturato degli LLM.

Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Ollama è rapidamente diventato uno dei strumenti più popolari per eseguire LLM in locale. La sua semplice CLI e la gestione snella dei modelli lo hanno reso l’opzione preferita dagli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

Nvidia sta per lanciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell, con oltre 128 GB di memoria unificata e prestazioni AI da 1 PFLOPS. Un ottimo dispositivo per eseguire LLM.

Ecco una descrizione del Model Context Protocol (MCP), note brevi su come implementare un server MCP in Go, inclusa la struttura dei messaggi e le specifiche del protocollo.

Dato che Ollama standard non dispone di una API diretta per il ricalcolo del ranking (reranking), dovrai implementare il reranking utilizzando Qwen3 Reranker in GO generando embedding per le coppie query-documento e assegnando loro un punteggio.

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco.

Questo piccolo esempio di codice Go per il Reranking chiama Ollama per generare gli embedding per la query e per ciascun documento candidato, ordinando poi in ordine decrescente in base alla similarità coseno.

I modelli Qwen3 Embedding e Reranker sono le ultime uscite della famiglia Qwen, progettati specificamente per compiti avanzati di incorporazione (embedding), recupero (retrieval) e riordinamento (reranking) del testo.