Self-Hosting

L’inferenza LLM sembra “un altro API” — fino a quando i picchi di latenza, le code si ingorgano e le tue GPU rimangono al 95% di memoria senza una spiegazione ovvia.

OpenClaw è un assistente AI self-hosted progettato per funzionare con runtime LLM locali come Ollama o con modelli basati su cloud come Claude Sonnet.

AWS S3 rimane il “default” baselines per lo storage degli oggetti: è completamente gestito, fortemente coerente e progettato per una durabilità e disponibilità estremamente elevate.
Garage e MinIO sono alternative auto-hosted e compatibili con S3: Garage è progettato per cluster leggeri, geodistribuiti di piccole e medie dimensioni, mentre MinIO si concentra sulla copertura completa delle funzionalità dell’API S3 e sulle prestazioni elevate in ambienti più grandi.

Garage è un sistema di storage oggetto open-source, auto-hostato e compatibile con S3, progettato per piccole e medie implementazioni, con un forte enfasi sulla resilienza e sulla distribuzione geografica.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

L’auto-ospedalizzazione degli LLM mantiene dati, modelli e inferenza sotto il tuo controllo: una via pratica per la sovranità dell’IA per team, imprese e nazioni.

Esecuzione di modelli linguistici di grandi dimensioni in locale offre riservatezza, funzionalità offline e costi API pari a zero. Questo benchmark rivela esattamente cosa ci si può aspettare da 14 popolari LLM su Ollama su una RTX 4080.

L’ecosistema Go continua a prosperare grazie a progetti innovativi che spaziano dall’AI, alle applicazioni auto-hosted e all’infrastruttura per sviluppatori. Questa panoramica analizza i repository Go più popolari su GitHub di questo mese.

Oggi ci concentriamo sui GPU per consumatori di alto livello e sui moduli di RAM. Specificamente sto esaminando prezzi RTX-5080 e RTX-5090, e 32GB (2x16GB) DDR5 6000.

Open WebUI è una potente, estensibile e ricca di funzionalità interfaccia web autoospitata per interagire con i grandi modelli linguistici.

vLLM è un motore di inference e serving ad alto throughput e con un utilizzo della memoria efficiente per i Large Language Models (LLM), sviluppato dal Sky Computing Lab dell’Università della California a Berkeley.

L' NVIDIA DGX Spark (GB10 Grace Blackwell) è ora disponibile in Australia nei principali rivenditori di PC con scorte locali. Se segui le prezzi e disponibilità globali del DGX Spark, sarà interessante sapere che i prezzi in Australia variano da 6.249 a 7.999 AUD a seconda della configurazione di archiviazione e del rivenditore.

Cognee è un framework Python per costruire grafi di conoscenza da documenti utilizzando LLM. Ma funziona con modelli auto-hostati?

Scegliere il miglior LLM per Cognee richiede di bilanciare la qualità della costruzione del grafo, i tassi di allucinazione e i vincoli hardware. Cognee eccelle con modelli più grandi a bassa allucinazione (32B+) tramite Ollama ma le opzioni di dimensioni medio-piccole funzionano per le configurazioni più leggere.

La libreria Python di Ollama ora include funzionalità native di ricerca web OLLama. Con poche righe di codice, puoi arricchire i tuoi LLM locali con informazioni in tempo reale dal web, riducendo le illusioni e migliorando l’accuratezza.

La scelta del giusto vettore store può fare la differenza per le prestazioni, i costi e la scalabilità della tua applicazione RAG. Questo confronto completo copre le opzioni più popolari nel 2024-2025.