Hardware

Właśnie 3 miesiące temu nie widzieliśmy RTX 5090 w sklepach, a teraz już są, ale ceny są nieco wyższe niż MRSP. Porównajmy najtańsze ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak to wygląda.

Najlepszy automatyczny system do pewnego wspaniałego zadania.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.

Wśród burzy współczesnego świata tutaj porównuję specyfikację techniczną różnych kart odpowiednich do zadań AI
(uczenia maszynowego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.

Gdy serwer Ollama otrzymuje dwa żądania w tym samym czasie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.

Porównanie prędkości przewidywania kilku wersji modeli językowych (LLM): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na procesorze (CPU) i karcie graficznej (GPU).