Self-Hosting

Ollama to jeden z najprostszych sposobów uruchamiania lokalnych modeli językowych, jednak wygoda może maskować moment, w którym lokalny eksperyment przekształca się w udostępnioną usługę wnioskowania (inference), wymagającą lepszej harmonogramizacji i możliwości monitorowania.

Docker Compose i Podman Quadlet rozwiązują częściowo nakładające się problemy, ale pochodzą z różnych ośrodków projektowych. Wybór między nimi zależy od tego, czy myślisz w kategoriach stosów aplikacji, czy usług Linuxa.

Skrypt Docker Compose na serwerze Linux powinien uruchamiać się przy starcie systemu, zatrzymywać się poprawnie przy wyłączaniu oraz przetrwać ponowne uruchomienia bez interwencji człowieka.

Instalacja Dockera na Ubuntu powinna być prostym zadaniem, ale w praktyce kilka opcji „w kształcie Dockera” rywalizuje o tę samą nazwę polecenia, każda z inną pakietacją, zachowaniem podczas aktualizacji oraz implikacjami bezpieczeństwa.

Błędy APT są powszechne w długoterminowo eksploatowanych maszynach z Ubuntu i zwykle pojawiają się po aktualizacji wydania, zmianie repozytorium stron trzecich, usunięciu PPA, ręcznej instalacji pakietu .deb lub przerwanej instalacji pakietów.

Tryb routera w llama.cpp to jedna z najbardziej przydatnych zmian wprowadzonych do llama-server w ciągu ostatnich lat. Wreszcie daje lokalnym operatorom modeli LLM coś w rodzaju zarządzania modelami, do którego są przyzwyczajeni z Ollama, jednocześnie zachowując surową wydajność i kontrolę na niskim poziomie, która sprawia, że warto korzystać z llama.cpp w pierwszej kolejności.

Ta strona stanowi praktyczny przewodnik do dostrajania wnioskowania agenticznego LLM (temperatura, top_p, top_k, kary i ich wzajemne oddziaływania w wieloetapowych przepływach pracy oraz w scenariuszach intensywnie wykorzystujących narzędzia).

Już teraz rozmawiasz z agentem Hermes przez telefon za pomocą wiadomości tekstowych. Teraz chcesz rozmawiać z nim bezpośrednio i otrzymywać odpowiedzi w formie mowy. Zazwyczaj jest to słuszny krok, zwłaszcza jeśli już korzystasz z Hermesa jako trwałego, lokalnie hostowanego asystenta. Pisanie długich promptów na małym ekranie jest powolne i podatne na błędy.

Większość stosów agentów AI nadal traktuje bezpieczeństwo jako poprawkę wprowadzaną po demonstracji. NemoClaw wychodzi z przeciwnej założenia i sprawia, że izolacja, polityki oraz routing są domyślnymi ustawieniami od pierwszego dnia.

Osobiste zarządzanie wiedzą obejmuje Obsidian, Logseq, DokuWiki, Zettelkasten oraz metodę PARA – właściwy wybór zależy od tego, czy preferujesz lokalny graf notatek, wiki hostowane samodzielnie, czy też workflow oparty na outlinerze.

Cicha luka, która napędzała falę eksperymentów z agentami, została teraz zamknięta.

Vane to jedna z bardziej praktycznych pozycji w przestrzeni „AI z wyszukiwaniem i cytowaniami": samodzielnie hostowana silnia odpowiedziowa, która łąży pobieranie danych z sieci w czasie rzeczywistym z lokalnymi lub chmurowymi modelami LLM, zachowując jednocześnie pełną kontrolę nad całą infrastrukturą.

Text Generation Inference (TGI) ma bardzo specyficzną energię. Nie jest najmłodszym dzieckiem na ulicy inferencji, ale jest tym, które już nauczyło się, jak produkcja się psuje –

Porównuję tutaj szybkość działania kilku modeli LLM uruchamianych na GPU z 16 GB pamięci VRAM i wybieram najlepszy z nich do samodzielnego hostowania (self-hosting).

Australia ma na stanie karty RTX 5090. Ledwie. A jeśli którąś znajdziesz, zapłacisz cenę, która wydaje się oderwana od rzeczywistości.

Ollama czuje się najlepiej, gdy jest traktowane jak lokalny demon: CLI i Twoje aplikacje komunikują się z API HTTP na pętli lokalnej (loopback), a reszta sieci nigdy nie dowiaduje się o jego istnieniu.