Ai

Sicherheit von A2A- und MCP-Agenten: Identität, Delegation und Audit-Trails

Sicherheit von A2A- und MCP-Agenten: Identität, Delegation und Audit-Trails

Protokollsicherheit definiert, wer handeln darf, nicht das Modell.

Prompt-Injection erhält den größten Teil der Aufmerksamkeit im Bereich der Sicherheit von LLM-Systemen, und das zu Recht, aber sie ist nicht das einzige Problem, sobald Agenten beginnen, Tools aufzurufen und Arbeit an andere Agenten zu delegieren.

Spekulatives Dekodieren: 20–50 % schnellere LLM-Inferenz

Spekulatives Dekodieren: 20–50 % schnellere LLM-Inferenz

Schnellere LLM-Inferenz ohne Qualitätsverlust – Ein praktischer Leitfaden

Ein 70B-Modell erzeugt pro Vorwärtsdurchlauf ein einzelnes Token, wobei jeder Durchlauf Gewichte aus dem VRAM neu lädt, die Aufmerksamkeit über den gesamten Kontext berechnet und den Speicher synchronisiert. Zwischen den Tokens verbringt die GPU Zeit im Leerlauf, während sie darauf wartet, dass sequenzielle Abhängigkeiten aufgelöst werden.

Kostenoptimierung für LLM-Systeme: Wo das Geld tatsächlich fließt

Kostenoptimierung für LLM-Systeme: Wo das Geld tatsächlich fließt

Verwende Tokens dort, wo es wirklich zählt.

Die Kosten für LLMs steigen linear mit der Nutzung. Ein System, das täglich 10.000 Anfragen mit $0,01 pro Anfrage verarbeitet, kostet täglich $100 — also $365 pro Jahr. Im Unternehmensmaßstab belaufen sich die Kosten auf über $10.000.

LLM-Guardrails in der Praxis: Was wirklich funktioniert

LLM-Guardrails in der Praxis: Was wirklich funktioniert

Kontrollieren Sie das Risiko, nicht nur das Modell.

LLMs sind unvorhersehbar. Sie halluzinieren, lecken Daten, generieren schädliche Inhalte oder lehnen legitime Anfragen ab. Guardrails (Schutzmechanismen) begrenzen das Modellverhalten, ohne die Fähigkeiten einzuschränken.

Modell-Routing: Verwenden Sie nicht ein Modell für alles

Modell-Routing: Verwenden Sie nicht ein Modell für alles

Das richtige Modell für die richtige Aufgabe.

Das Ausführen eines Modells mit 70 Milliarden Parametern, um eine 200-Wörter-E-Mail zusammenzufassen, ist verschwenderisch. Das Ausführen eines 3-Milliarden-Parameter-Modells zur Überprüfung von Produktionscode ist fahrlässig. Die meisten Systeme liegen irgendwo dazwischen – und genau hier kommt das Modell-Routing ins Spiel.

Speichersysteme in KI-Assistenten

Speichersysteme in KI-Assistenten

Arbeits-, strukturiertes und Abrufgedächtnis für Assistenten.

Speicher wandelt Assistenten von reaktiv in persistent um, aber genau dort verrotten auch viele Systeme still vor sich hin. Umfragen zeigen, dass die Trennung in Kurzzeit- und Langzeitgedächtnis für modernes Agenten-Gedächtnis nicht mehr ausreicht; OpenAI und LangGraph-SDKs deuten auf einen simpleren Stack hin — Arbeitsgedächtnis, dauerhafter Zustand und Abruf (Retrieval).

Architektur von KI-Assistenten: LLM, Speicher, Werkzeuge, Routing, Observability

Architektur von KI-Assistenten: LLM, Speicher, Werkzeuge, Routing, Observability

Wie seriöse Assistenten tatsächlich entwickelt werden.

Ein produktionsreifes KI-Assistentensystem ist nicht einfach „ein LLM mit einem Prompt“. Es handelt sich um ein System, das Absichten entgegennimmt, den Zustand verwaltet, entscheidet, wann Daten abgerufen oder Aktionen ausgeführt werden sollen, und genügend Laufzeitdetails bereitstellt, um Fehler zu debuggen.