Hardware

Das Ausführen großer Sprachmodelle lokal bietet Ihnen Privatsphäre, Offline-Fähigkeit und null API-Kosten. Diese Benchmark zeigt genau, was man von 9 beliebten LLMs auf Ollama auf einer RTX 4080 erwarten kann.

Heute untersuchen wir die Top-Level-Verbraucher-GPUs und RAM-Module. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090 sowie 32GB (2x16GB) DDR5 6000.

Eines der wichtigsten Werkzeuge für Linux-Benutzer ist der Terminal-Emulator.

Der NVIDIA DGX Spark (GB10 Grace Blackwell) ist jetzt in Australien erhältlich bei großen PC-Händlern mit lokalem Lagerbestand. Wenn Sie die globale DGX Spark-Preisgestaltung und Verfügbarkeit verfolgt haben, werden Sie interessiert sein zu erfahren, dass die australischen Preise je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.

Cognee ist ein Python-Framework zum Aufbau von Wissensgraphen aus Dokumenten unter Verwendung von LLMs. Aber funktioniert es mit selbstgehosteten Modellen?

Nach der automatischen Installation eines neuen Kernels hat Ubuntu 24.04 das Ethernet-Netzwerk verloren. Dieses frustrierende Problem trat bei mir ein zweites Mal auf, daher dokumentiere ich hier die Lösung, um anderen zu helfen, die dasselbe Problem haben.

Mit dieser verrückten RAM-Preisschwankung, um ein besseres Bild zu bekommen, lassen Sie uns zunächst selbst die RAM-Preise in Australien verfolgen.

Der Speichermarkt erlebt im späten Jahr 2025 eine beispiellose Preisschwankung, wobei die RAM-Preise stark gestiegen sind.

Lassen Sie uns die Preise für High-End-Consumer-GPUs vergleichen, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090.

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Docker Model Runner ist Docker’s offizielles Tool zum lokalen Ausführen von KI-Modellen, aber die Aktivierung der NVidia-GPU-Beschleunigung in Docker Model Runner erfordert eine spezifische Konfiguration.

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist die offizielle Lösung von Docker zum lokalen Ausführen von KI-Modellen, eingeführt im April 2025. Dieses Cheatblatt bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

In der heutigen Rechenlandschaft ist Virtualisierung für Entwicklung, Tests und den Betrieb mehrerer Betriebssysteme unverzichtbar. Für Linux-Nutzer, die eine einfache und intuitive Möglichkeit suchen, virtuelle Maschinen zu verwalten, sticht GNOME Boxes als leichtgewichtige und benutzerfreundliche Option hervor, die Benutzerfreundlichkeit ohne Funktionalität zu opfern.

Die Zukunft von AI geht nicht nur um intelligentere Modelle, sondern um intelligentere Siliziumlösungen. Spezialisierte Hardware für LLM-Inferenz treibt eine Revolution ähnlich wie der Wechsel zu ASICs beim Bitcoin-Mining.