Self-Hosting

Questo tutorial ti guiderà attraverso il processo di cambiare l’indirizzo IP statico su un server Ubuntu.

Ollama ha rapidamente diventato uno degli strumenti più popolari per eseguire i modelli LLM localmente. La sua semplice CLI e la gestione semplificata dei modelli l’hanno resa un’opzione di riferimento per gli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Mumble è un’applicazione gratuita e open source per la comunicazione vocale tramite IP (VoIP), progettata principalmente per la comunicazione vocale in tempo reale. Utilizza un’architettura client-server in cui gli utenti si connettono a un server condiviso per parlare tra loro.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

Applicazioni per il monitoraggio del carico della GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Ecco un passo-passo per l’installazione di un cluster K3s a 3 nodi su server bare-metal (1 master + 2 worker).

Confrontando le distribuzioni di self-hosting Kubernetes per l’hosting su server a nudo o server domestici, con particolare attenzione alla facilità di installazione, prestazioni, requisiti del sistema e insieme di funzionalità.

Sto confrontando le varianti di Kubernetes auto-hostate adatte all’homelab basato su Ubuntu con 3 nodi (16 GB RAM, 4 core ciascuno), concentrandomi sulla facilità di installazione e manutenzione, il supporto per i volumi persistenti e i LoadBalancer.

GitHub Actions è una piattaforma di automazione e CI/CD all’interno di GitHub, utilizzata per costruire, testare e distribuire il codice in base a eventi come push, pull request o in base a una pianificazione.

Ecco una scheda rapida su Docker Compose con esempi annotati per aiutarti a padroneggiare rapidamente i file e i comandi di Compose.

Ecco un’analisi dettagliata di Obsidian come potente strumento per la gestione della conoscenza personale (PKM), che ne spiega l’architettura, le funzionalità, i punti di forza e come supporta i flussi di lavoro moderni legati alla conoscenza.

Nvidia sta per lanciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell, con oltre 128 GB di memoria unificata e prestazioni AI da 1 PFLOPS. Un ottimo dispositivo per eseguire LLM.

Facciamo un rapido esame di Matomo, Plausible, Google e altri fornitori e sistemi di analisi web disponibili per l’hosting autonomo e confrontiamoli.

Ecco il mio insieme preferito di passaggi quando si esegue installazione pulita di Ubuntu 24.04. Quello che mi piace qui è non dover installare i driver NVidia! vengono installati automaticamente.

Dokuwiki è una Wikipedia auto-gestita che può essere ospitata facilmente in loco e che non richiede l’uso di database. La eseguivo in container Docker, sul mio cluster Kubernetes personale.

Confrontiamo i prezzi delle migliori GPU consumer, particolarmente adatte per i LLM e l’AI in generale. In particolare, date un’occhiata ai prezzi di RTX 5080 e RTX 5090. Hanno subito un leggero calo.