Self-Hosting

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Oto krok po kroku instrukcja instalacji
3-węzłowego klastra K3s
na serwerach nago metalowych (1 serwer główny + 2 serwery robocze).

Porównanie dystrybucji self-hosting Kubernetes przeznaczonych do hostowania na serwerach nago-metalowych lub domowych, zwracając uwagę na łatwość instalacji, wydajność, wymagania systemowe oraz zestaw funkcji.

Porównuję wersje samowystarczalnego Kubernetesa, które nadają się do homelaba opartego na Ubuntu z 3 węzłami (16 GB RAM, 4 rdzenie CPU każdy), skupiając się na łatwości instalacji i konserwacji, obsłudze persistent volumes i LoadBalancers.

GitHub Actions jest platformą automatyzacji i CI/CD w ramach GitHub, używaną do budowania, testowania i wdrażania kodu na podstawie zdarzeń, takich jak push, żądania pull request lub harmonogram.

Oto Docker Compose cheatshet z opisanymi przykładami, które pomogą Ci szybko opanować pliki i polecenia Compose.

Oto szczegółowy opis
Obsidian jako potężne narzędzie do zarządzania wiedzą osobistą (PKM),
wyjaśniające jego architekturę, funkcje, zalety oraz to, jak wspiera współczesne przepływy wiedzy.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.

Spójrzmy szybko na Matomo, Plausible, google i inne dostawcy i systemy analizy web dostępne do samowystawiania i porównajmy je.

Oto moje ulubione kroki podczas nowej instalacji Ubuntu 24.04. To, co lubię tutaj – nie muszę instalować sterowników NVidia! Są instalowane automatycznie.

Dokuwiki to samowystarczalny wikipedia, który można łatwo hostować lokalnie, bez konieczności korzystania z baz danych.
Wcześniej uruchamiałem go w wersji dockerowej, na moim własnym klastrze Kubernetes.

Porównajmy ceny czołowych kart GPU dla konsumentów, które są szczególnie odpowiednie dla modeli LLM i ogólnie dla AI. W szczególności zwróćmy uwagę na ceny RTX 5080 i RTX 5090. Nieco spadły.

Apache Airflow to otwarty platforma programowy, zaprojektowana do programistycznej tworzenia, harmonogramowania i monitorowania przepływów pracy – całkowicie w kodzie Pythona, oferując elastyczne i potężne alternatywy dla tradycyjnych, ręcznych lub opartych na interfejsie graficznym narzędzi do zarządzania przepływami pracy.

Ponieważ standardowe Ollama nie posiada bezpośredniego interfejsu API do ponownego rankingu (reranking), musisz zaimplementować ponowny ranking przy użyciu Qwen3 Reranker w GO, generując wektory (embeddings) dla par zapytanie-dokument i przypisując im oceny.

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z języka angielskiego na niemiecki.

Ten niewielki przykład kodu Go do rerankingu wywołuje Ollamę do generowania wektorów dla zapytania oraz dla każdego dokumentu kandydackiego, następnie sortuje wyniki malejąco według podobieństwa kosinusowego.