LLM Performance

Model może reklamować okno kontekstowe 128K i mimo to zawiedzie przy 40K tokenach na karcie GPU 16 GB. Architektoniczny limit nigdy nie gwarantował, że wagi, cache KV, bufora obliczeniowe i kompozytor pulpitu zmieszczą się jednocześnie na Twojej karcie.

Model o 70 mld parametrów generuje jeden token w jednym przebiegu przodowym (forward pass), przy czym każda taka operacja powoduje ponowne wczytywanie wag z pamięci VRAM, obliczanie mechanizmu uwagi na całym kontekście oraz synchronizację pamięci. W odstępach między tokenami GPU pozostaje nieczynne, czekając na wyznaczenie zależności sekwencyjnych.

Przetestowałem wydajność spekulacyjnego dekodowania (Wieloznakowego Przewidywania, MTP) w modelach Qwen 3.6 27B i 35B na karcie RTX 4080 z 16 GB pamięci VRAM.

Większość tutoriali dotyczących „strukturyzowanego wyjścia” (structured output) w LLM jest nieodpowiedzialna. Uczą, jak grzecznie poprosić o JSON, a potem liczą, że model zachowa się poprawnie. To nie jest walidacja. To optymizm z nawiasami klamrowymi.

Ta strona stanowi praktyczny przewodnik do dostrajania wnioskowania agenticznego LLM (temperatura, top_p, top_k, kary i ich wzajemne oddziaływania w wieloetapowych przepływach pracy oraz w scenariuszach intensywnie wykorzystujących narzędzia).

Tutaj porównuję szybkość działania kilku LLM działających na GPU z 16 GB pamięci VRAM i wybieram najlepszy model do samodzielnego hostowania.

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Uruchamianie dużych modeli językowych lokalnie zapewnia prywatność, możliwość pracy offline oraz zerowe koszty API. Ten benchmark pokazuje dokładnie, czego można się spodziewać po 14 popularnych LLM w Ollama na karcie RTX 4080.

Pracując z dużymi modelami językowymi (LLM) w środowisku produkcyjnym, kluczowe jest uzyskiwanie ustrukturyzowanych wyjść bezpiecznych typowo.

Dwa popularne frameworki – BAML i Instructor – stosują różne podejścia do rozwiązania tego problemu.

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Przyszłość AI dotyczy nie tylko inteligentniejszych modeli. Chodzi również o krzem, który odpowiada sposobowi, w jaki te modele są faktycznie obsługiwane. Specjalizowany sprzęt do wnioskowania LLM podąża ścieżką przypominającą ewolucję kopania Bitcoina z kart GPU na przeznaczone do tego ASIC, przy czym ograniczenia są trudniejsze, ponieważ modele i przepisy dotyczące precyzji nieustannie się rozwijają.

Oto porównanie modeli Qwen3:30b i GPT-OSS:20b ze szczególnym uwzględnieniem zdolności do podążania za instrukcjami, parametrów wydajnościowych, specyfikacji technicznych oraz prędkości działania.

Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.

Oto porównanie obsługi strukturyzowanej odpowiedzi (uzyskiwanie niezawodnego JSONa) u popularnych dostawców modeli LLM, wraz z minimalnymi przykładami w języku Python

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Jak liczba linii PCIe wpływa na wydajność LLM? W zależności od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.