Ai

Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.

Modelli di Linguaggio su Larga Scala (LLM) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’applicazione. Questo è l’Output Strutturato degli LLM.

Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Ollama è rapidamente diventato uno dei strumenti più popolari per eseguire LLM in locale. La sua semplice CLI e la gestione snella dei modelli lo hanno reso l’opzione preferita dagli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

La lettera The Pragmatic Engineer pubblicata un paio di giorni fa presenta statistiche di un sondaggio sull’[popolarità dei linguaggi di programmazione, IDE e strumenti AI e altri dati per la metà del 2025.

Nvidia sta per lanciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell, con oltre 128 GB di memoria unificata e prestazioni AI da 1 PFLOPS. Un ottimo dispositivo per eseguire LLM.

Dato che Ollama standard non dispone di una API diretta per il ricalcolo del ranking (reranking), dovrai implementare il reranking utilizzando Qwen3 Reranker in GO generando embedding per le coppie query-documento e assegnando loro un punteggio.

Un freddo giorno d’inverno a luglio… che è in Australia… ho avuto un forte bisogno di addestrare un modello AI per rilevare barre di armatura in calcestruzzo non chiuse…

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco.

Questo piccolo esempio di codice Go per il Reranking chiama Ollama per generare gli embedding per la query e per ciascun documento candidato, ordinando poi in ordine decrescente in base alla similarità coseno.

Come le lane PCIe influenzano le prestazioni dei LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU - la riduzione delle prestazioni è significativa.

Nella libreria dei modelli Ollama ci sono modelli in grado di convertire contenuti HTML in Markdown, che è utile per compiti di conversione del contenuto. Questa guida fa parte del nostro Strumenti per la Documentazione nel 2026: Markdown, LaTeX, PDF e Flussi di Lavoro per la Stampa hub.

• Search (Ricerca) è ideale per la ricerca rapida e diretta di informazioni tramite parole chiave.
• Deep Search eccelle nell’interpretare il contesto e le intenzioni, fornendo risultati più pertinenti e completi per query complesse.

Elencherò qui alcuni strumenti di coding assistito da AI e Assistenti di Coding AI e i loro pregi.

L’uso degli LLM non è molto costoso, potrebbe non esserci bisogno di acquistare un nuovo GPU fantastico. Ecco un elenco se LLM provider in the cloud con gli LLM che ospitano.