KI erfordert viel Strom ...
Inmitten des Chaos der modernen Welt vergleiche ich hier die technischen Spezifikationen verschiedener Grafikkarten für KI-Aufgaben (Deep Learning, Objekterkennung und LLMs). Sie sind alle jedoch unglaublich teuer.
Verstehen Sie Ollamas Parallelität, Warteschlangen und wie Sie OLLAMA_NUM_PARALLEL für stabile parallele Anfragen optimieren.
Dieser Leitfaden erklärt, wie Ollama parallele Anfragen handhabt (Konnektheit, Warteschlangen und Ressourcengrenzen) und wie Sie dies mit der OLLAMA_NUM_PARALLEL-Umgebungsvariablen (und verwandten Parametern) optimieren können.
Nächster Testlauf der LLMs
Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und testen Sie, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.
Testen der Erkennung logischer Fehlschlüsse
Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.
8 llama3 (Meta+) und 5 phi3 (Microsoft) LLM-Versionen
Testen, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.
Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU
Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.
