La maggior parte delle note ingegneristiche viene scritta una volta e poi dimenticata. Si cattura qualcosa durante una sessione di debugging, lo si incolla in qualche posto e si ritrova due anni dopo senza alcun contesto sul perché fosse importante.

Organizzare le note per argomento sembra logico finché non ti ritrovi con note su PostgreSQL in cinque cartelle diverse e non riesci a trovare quella che è importante per il problema di oggi.

Il modello dominante per la pubblicazione di conoscenza online non è cambiato molto dagli inizi degli anni 2000: scrivi qualcosa, rifiniscilo, pubblicalo, passa oltre.

I sistemi single-model sono semplici. I sistemi multi-model sono potenti. La sfida non consiste nel scegliere i modelli, ma nel progettare l’architettura che li orchestra.

I costi degli LLM scala linearmente con l’utilizzo. Un sistema che elabora 10.000 richieste al giorno a $0,01 per richiesta costa $100 al giorno — 365 dollari l’anno. Su scala enterprise, si superano i $10.000.

Eseguire un modello con 70 miliardi di parametri per riassumere un’email di 200 parole è uno spreco. Eseguire un modello da 3 miliardi di parametri per revisionare il codice in produzione è imprudente. La maggior parte dei sistemi si colloca da qualche punto intermedio: ed è qui che entra in gioco il routing dei modelli.

I modelli di linguaggio di grandi dimensioni (LLM) sono imprevedibili. Possono allucinare, perdere dati, generare contenuti dannosi o rifiutare richieste legittime. I meccanismi di controllo (guardrails) vincolano il comportamento del modello senza sacrificare le sue capacità.

La memoria trasforma gli assistenti da reattivi a persistenti, ma è anche il punto in cui molti sistemi si deteriorano silenziosamente. Le ricerche sostengono che la divisione tra memoria a breve e a lungo termine non sia più sufficiente per la memoria degli agenti moderni; gli SDK di OpenAI e LangGraph indicano un’architettura più semplice — memoria di lavoro, stato duraturo e recupero.

Un assistente AI di produzione non è “un LLM con un prompt”. È un sistema che accetta l’intento, mantiene lo stato, decide quando recuperare dati o eseguire azioni ed espone dettagli sufficienti a livello di runtime per eseguire il debug dei guasti.

L’intelligenza artificiale non sta sostituendo la gestione della conoscenza; sta cambiando la sua forma sia per gli individui che per i team.

Gli sviluppatori non soffrono solitamente per la mancanza di informazioni. Noi soffriamo per l’eccesso di esse.

I framework open source per agenti AI stanno esplodendo di popolarità su GitHub. Due progetti al centro dell’ecosistema dei sistemi AI auto-ospitati — OpenClaw e Hermes Agent — hanno preso un tale vantaggio che il resto del settore si contende un lontano terzo posto.

Ho testato le prestazioni di Speculative Decoding (Multi-Token Prediction, MTP) su Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

Modalità router di llama.cpp è uno dei cambiamenti più utili a llama-server degli ultimi anni. Fornisce finalmente agli operatori di LLM locali un’esperienza di gestione dei modelli vicina a quella che ci si aspetta da Ollama, mantenendo al contempo le prestazioni grezze e il controllo a basso livello che rendono llama.cpp meritevole di essere utilizzato in primo luogo.

La maggior parte dei sistemi di conoscenza moderni ottimizza il recupero (retrieval), ed è comprensibile. La ricerca è visibile, facile da dimostrare e sembra magica quando funziona. Scrivi una domanda, ottieni una risposta.

La premessa è semplice: la conoscenza compilata è più riutilizzabile dei frammenti recuperati. RAG è diventata la risposta predefinita a una domanda semplice: come fornisco a un LLM l’accesso a conoscenze esterne?