Ai

Ho testato le prestazioni di Speculative Decoding (Multi-Token Prediction, MTP) su Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

Modalità router di llama.cpp è uno dei cambiamenti più utili a llama-server degli ultimi anni. Fornisce finalmente agli operatori di LLM locali un’esperienza di gestione dei modelli vicina a quella che ci si aspetta da Ollama, mantenendo al contempo le prestazioni grezze e il controllo a basso livello che rendono llama.cpp meritevole di essere utilizzato in primo luogo.

La premessa è semplice: la conoscenza compilata è più riutilizzabile dei frammenti recuperati. RAG è diventata la risposta predefinita a una domanda semplice: come fornisco a un LLM l’accesso a conoscenze esterne?

PKM, RAG, wiki, sistemi di memoria AI e ora flussi di lavoro pratici assistiti dall’IA sono spesso discussi come se risolvessero lo stesso problema. Non è così. Tutti hanno a che fare con la conoscenza, ma operano a livelli diversi:

La maggior parte dei tutorial sull’output strutturato degli LLM è superficiale. Ti insegnano a chiedere JSON gentilmente e poi sperare che il modello si comporti correttamente. Quello non è convalida. È ottimismo con le parentesi graffe.

Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).

Hai già chiacchierato con Hermes Agent dal tuo telefono usando il testo. Ora vuoi parlarci direttamente e ricevere risposte vocali. Questa è solitamente la mossa giusta, soprattutto se utilizzi già Hermes come assistente self-hosted persistente. Digitare prompt lunghi su uno schermo piccolo è lento e soggetto a errori.

L’agente Hermes include una board in stile Kanban e il Hermes Gateway, che può sovraccaricare il tuo LLM self-hosted se vengono inviati troppi compiti contemporaneamente.

Hermes Agent tratta le skills come il metodo predefinito per insegnare flussi di lavoro ripetibili. La documentazione ufficiale le descrive come documenti di conoscenza on-demand allineati alla specifica aperta agentskills.io, caricati tramite progressive disclosure in modo che il modello veda prima un indice ridotto e richieda le istruzioni complete solo quando un task ne ha effettivamente bisogno.

Hermes Agent di Nous Research è un assistente basato su modelli agnostici e con supporto per strumenti, che puoi eseguire in locale o su un VPS.

La maggior parte degli stack per agenti AI tratta ancora la sicurezza come una correzione da applicare dopo la dimostrazione. NemoClaw parte dall’assunzione opposta e rende isolamento, policy e routing le impostazioni predefinite fin dal primo giorno.

Aggiornato a settembre 2026: aggiunti Mnemosyne e Memori, espansa la configurazione di Honcho e Hindsight, e aggiunta un confronto delle politiche di acquisizione accanto alla tabella infrastrutturale originale.

Questa sezione raccoglie guide su conoscenza e memoria persistenti per i sistemi di IA — come gli assistenti conservano fatti, preferenze e contesti sintetizzati tra le sessioni senza sovraccaricare ogni prompt con tutti i token. Qui, per memoria si intende la ritenzione intenzionale (fatti sugli utenti, riassunti, archivi supportati da plugin), non la RAM della GPU o i pesi del modello.

Lo sai già. Apri una chat con un agente AI, spieghi il tuo progetto, condividi le tue preferenze, completi un po’ di lavoro e chiudi la scheda. Rientri la settimana successiva ed è come parlare con uno sconosciuto: tutto il contesto è sparito, ogni preferenza è stata dimenticata, il progetto va spiegato di nuovo da capo.

OpenClaw non ha fallito come prodotto. Ha perso il suo combustibile.

Per molto tempo, llama.cpp ha avuto una limitazione evidente:
era possibile servire solo un modello per processo, e cambiare modello richiedeva un riavvio.