AI wymaga dużego poboru mocy...
Wśród współczesnych burz porównuję specyfikacje techniczne różnych kart odpowiednich do zadań w zakresie AI (Deep Learning, Object Detection oraz LLMs). Są one jednak niezwykle drogie.
Zrozumienie współbieżności Ollamy, kolejkowania oraz sposobu dostrajania OLLAMA_NUM_PARALLEL w celu zapewnienia stabilnych równoległych zapytań.
Ten przewodnik wyjaśnia jak Ollama obsługuje równoległe żądania (konkurencja, kolejki i limity zasobów) oraz jak je optymalizować za pomocą zmiennej środowiskowej OLLAMA_NUM_PARALLEL (i powiązanych parametrów).
Następny etap testów LLM
Nieco wcześniej wydano. Przejdźmy do sprawy i
testuj jak Mistral Small radzi sobie w porównaniu do innych LLM.
Testowanie wykrywania błędnego rozumowania
Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Zróbmy test i zobaczmy, jak działają, gdy wykrywają błędy logiczne.
8 wersji llama3 (Meta+) i 5 wersji phi3 (Microsoft) LLM
Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.
