MTP im Vergleich zur Standard-Decodierung auf der RTX 4080 – echte Benchmarks
Ich habe die Leistung von spekulativem Decoding (Multi-Token Prediction, MTP) bei Qwen 3.6 27B und 35B auf einer RTX 4080 mit 16 GB VRAM getestet.
Kostenfreier VRAM, ohne den llama-server zu beenden.
llama.cpp Router-Modus ist eine der nützlichsten Änderungen an llama-server in den letzten Jahren. Er gibt lokalen LLM-Betreibern endlich etwas, das dem Modellmanagement-Erlebnis ähnelt, das man von Ollama erwartet, während er die rohe Leistung und die niedrige Kontrollstufe beibehält, die llama.cpp überhaupt erst interessant machen.
Referenz für die Feinabstimmung von agentic LLMs
Diese Seite dient als praktische Referenz für die Optimierung der agentischen LLM-Inferenz (Temperatur, top_p, top_k, Penalties und deren Interaktion in mehrstufigen und tool-lastigen Workflows).
Sprechen Sie mit Hermes von Ihrem Telefon
Sie chatten bereits mit dem Hermes-Agenten auf Ihrem Smartphone über Text. Jetzt möchten Sie direkt mit ihm sprechen und gesprochene Antworten erhalten. Das ist in der Regel der richtige Schritt, insbesondere wenn Sie Hermes bereits als persistenten, selbst gehosteten Assistenten nutzen. Lange Prompts auf einem kleinen Bildschirm einzutippen ist langsam und fehleranfällig.
Steuern Sie die Hermes-Kanban-Auslastung auf Ihrem selbst gehosteten LLM.
Der Hermes Agent wird mit einem Kanban-Board und dem Hermes Gateway ausgeliefert. Wenn zu viele Aufgaben auf einmal zugewiesen werden, kann dies Ihr selbst gehostetes LLM überlasten.
Autor Hermes Fähigkeiten, die schnell laden und zuverlässig funktionieren
Hermes Agent behandelt Skills als die Standardmethode, wiederholbare Workflows zu lehren. Die offizielle Dokumentation beschreibt sie als auf Abruf verfügbare Wissensdokumente, die dem offenen agentskills.io-Standard entsprechen und über progressive Offenlegung geladen werden, sodass das Modell zuerst einen kleinen Index sieht und nur dann die vollständigen Anweisungen lädt, wenn eine Aufgabe dies tatsächlich erfordert.
Shell- und TUI-Befehle für den selbst gehosteten Hermes-Agenten.
Der Hermes Agent von Nous Research ist ein modellunabhängiger, werkzeugnutzender Assistent, den Sie lokal oder auf einem VPS betreiben.
MinIO CE ist ab 2026 effektiv am Ende seines Lebenszyklus.
Die MinIO Community Edition (CE) ist nicht länger eine sichere Standardoption für neue Produktionsysteme.
Die Erfassungspolitiken sind heute genauso wichtig wie die Erinnerungsfunktion.
Aktualisiert im September 2026: Mnemosyne und Memori hinzugefügt, Konfiguration für Honcho und Hindsight erweitert und ein Vergleich der Erfassungsstrategien (Capture Policies) neben der ursprünglichen Infrastruktur-Tabelle hinzugefügt.
Persistente Kenntnisse über einzelne Chat-Threads hinweg.
Dieser Abschnitt bündelt Anleitungen zu permanenter Wissens- und Gedächtnisverwaltung für KI-Systeme — wie Assistenten Fakten, Präferenzen und verdichteten Kontext über Sitzungen hinweg beibehalten, ohne jeden Token in einen einzelnen Prompt zu pressen. Hier bedeutet Gedächtnis bewusste Speicherung (Nutzerfakten, Zusammenfassungen, von Plugins unterstützte Speichersysteme), nicht GPU-Speicher oder Modellgewichte.
Gedächtnis ist der Unterschied zwischen einem Werkzeug und einem Partner.
Sie kennen das Spiel. Sie öffnen einen Chat mit einem KI-Agenten, erklären Ihr Projekt, teilen Ihre Präferenzen, erledigen etwas Arbeit und schließen den Tab. Kommen Sie in der folgenden Woche zurück, ist es, als würden Sie mit einem Fremden sprechen – der gesamte Kontext ist verschwunden, jede Präferenz vergessen, das Projekt von Grund auf neu erklärt.
OpenClaw stieg schnell auf. Dann verschwand er noch schneller.
OpenClaw ist als Produkt gescheitert. Es hat seinen Treibstoff verloren.
LLMs bereitstellen und austauschen – ohne Neustart.
Eine lange Zeit litt llama.cpp unter einem augenfälligen Mangel:
Sie konnten pro Prozess nur ein Modell bereitstellen, und ein Wechsel erforderte einen Neustart.
Vergleich von PKM-Tools, -Methoden und selbst gehosteten Wikis.
Persönliches Wissensmanagement umfasst Obsidian, Logseq, DokuWiki, Zettelkasten und PARA – die richtige Wahl hängt davon ab, ob Sie einen lokalen Notizgraphen, ein selbst gehostetes Wiki oder einen Outliner-gesteuerten Workflow bevorzugen.
Profil-basierte Hermes-Konfigurationen für anspruchsvolle Workloads
Der Hermes KI-Assistent, offiziell dokumentiert als Hermes Agent, wird nicht als einfacher Chat-Wrapper positioniert.
Die Fähigkeiten, die es wert sind, behalten zu werden, und die, die man überspringen sollte
OpenClaw verfügt über zwei Erweiterungskonzepte, die leicht verwechselt werden können.
Plugins erweitern die Laufzeitumgebung. Skills erweitern das Verhalten des Agents.
