Qui sto confrontando la velocità di diversi LLM eseguiti su GPU con 16 GB di VRAM, e scelgo il migliore per l’auto-ospitazione.

L’Australia ha scorte di RTX 5090. A malapena. E se ne trovate una, pagherete un sovrapprezzo che sembra distaccato dalla realtà.

Ollama è al suo meglio quando viene trattato come un demone locale: la CLI e le tue applicazioni comunicano con un’API HTTP su loopback, e il resto della rete non viene a sapere della sua esistenza.

I log rappresentano un’interfaccia di debugging utilizzabile anche quando il sistema è in fiamme. Il problema è che i log in testo puro si deteriorano rapidamente: non appena è necessario filtrare, aggregare e configurare allarmi, si inizia a analizzare le frasi.

Ollama funziona egregiamente su hardware nudo (bare metal). Diventa ancora più interessante quando lo si tratta come un servizio: un endpoint stabile, versioni bloccate, archiviazione persistente e una GPU che è disponibile o non lo è.

Eseguire Ollama dietro un proxy inverso è il modo più semplice per ottenere HTTPS, un controllo degli accessi opzionale e un comportamento di streaming prevedibile.

Se stai approfondendo la generazione potenziata dal recupero (RAG), questa sezione illustra le embeddings testuali in termini semplici: cosa sono, come si integrano nella ricerca e nel recupero, e come invocare due configurazioni locali comuni da Python utilizzando Ollama o un’API HTTP compatibile con OpenAI (come espongono molti server basati su llama.cpp).

Netlify è uno dei modi più amichevoli per gli sviluppatori per pubblicare siti Hugo e app web moderne con un flusso di lavoro di livello produzione: URL di anteprima per ogni pull request, deploy atomici, una CDN globale e funzionalità serverless e edge opzionali.

Apache Flink è un framework per elaborazioni con stato su flussi di dati limitati e illimitati.

Neo4j è la soluzione a cui si ricorre quando le relazioni sono i dati. Se il tuo dominio assomiglia a una lavagna piena di cerchi e frecce, forzare tutto in tabelle è doloroso.

I siti statici e i blog cambiano ogni volta che si effettua un deployment. I motori di ricerca che supportano IndexNow possono apprendere questi cambiamenti senza attendere il prossimo crawl automatico.

Configurare l’email sul proprio dominio sembra un compito DNS da fine settimana. Nella pratica, si tratta di un piccolo sistema distribuito con un ventennio di legacy.

SGLang è un framework di serving ad alte prestazioni per grandi modelli linguistici e modelli multimodali, progettato per fornire inferenza a bassa latenza e alto throughput in tutto, da una singola GPU a cluster distribuiti.

Apache Kafka 4.2.0 è la versione supportata attuale e rappresenta la base ideale per una moderna guida introduttiva, poiché Kafka 4.x è completamente privo di ZooKeeper e si basa su KRaft per impostazione predefinita.

Presto ti troverai a gestire vLLM, llama.cpp e altro ancora, con ogni stack sul proprio porto. Tutto il downstream desidera comunque un URL base /v1; altrimenti continuerai a spostare porti, profili e script ad hoc. llama-swap è il proxy /v1 che precede questi stack.

Oh My Opencode promette un “team virtuale di sviluppatori AI” — Sisyphus che orchestra specialisti, compiti eseguiti in parallelo e la magica parola chiave ultrawork che attiva tutto.