Self-Hosting

I Large Language Models (LLM) sono potenti, ma in produzione raramente vogliamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che puoi alimentare in un’applicazione. Questo è l’Output Strutturato degli LLM.

Per i fan di KDE Plasma, due distribuzioni Linux emergono frequentemente nelle discussioni: Kubuntu e KDE Neon. Potrebbero sembrare simili: entrambe includono KDE Plasma come desktop predefinito, entrambe sono basate su Ubuntu e entrambe sono amichevoli per i nuovi utenti.

Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Questo tutorial ti guiderà attraverso il processo di cambiare l’indirizzo IP statico su un server Ubuntu.

Ollama è rapidamente diventato uno dei strumenti più popolari per eseguire LLM in locale. La sua semplice CLI e la gestione snella dei modelli lo hanno reso l’opzione preferita dagli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Mumble è un’applicazione gratuita e open source per la comunicazione vocale tramite IP (VoIP), progettata principalmente per la comunicazione vocale in tempo reale. Utilizza un’architettura client-server in cui gli utenti si connettono a un server condiviso per parlare tra loro.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

Applicazioni per il monitoraggio del carico della GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Ecco un passo-passo per l’installazione di un cluster K3s a 3 nodi su server bare-metal (1 master + 2 worker).

Confrontando le distribuzioni di self-hosting Kubernetes per l’hosting su server a nudo o server domestici, con particolare attenzione alla facilità di installazione, prestazioni, requisiti del sistema e insieme di funzionalità.

Sto confrontando le varianti di Kubernetes auto-hostate adatte all’homelab basato su Ubuntu con 3 nodi (16 GB RAM, 4 core ciascuno), concentrandomi sulla facilità di installazione e manutenzione, il supporto per i volumi persistenti e i LoadBalancer.

GitHub Actions è una piattaforma di automazione e CI/CD all’interno di GitHub, utilizzata per costruire, testare e distribuire il codice in base a eventi come push, pull request o in base a una pianificazione.

Ecco il Docker Compose cheatsheet con esempi annotati per aiutarti a padroneggiare rapidamente i file e i comandi di Compose.

Ecco un’analisi dettagliata di Obsidian come potente strumento per la gestione della conoscenza personale (PKM), che ne spiega l’architettura, le funzionalità, i punti di forza e come supporta i flussi di lavoro moderni legati alla conoscenza.

Nvidia sta per lanciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell, con oltre 128 GB di memoria unificata e prestazioni AI da 1 PFLOPS. Un ottimo dispositivo per eseguire LLM.

Facciamo un rapido esame di Matomo, Plausible, Google e altri fornitori e sistemi di analisi web disponibili per l’hosting autonomo e confrontiamoli.