LLM-Selbsthosting und KI-Souveränität

Daten und Modelle mit selbstgehosteten LLMs kontrollieren

Inhaltsverzeichnis

Selbstgehostete LLMs ermöglichen die Kontrolle über Daten, Modelle und Inferenz - ein praktischer Weg zur AI-Souveränität für Teams, Unternehmen und Nationen.
Hier: Was AI-Souveränität ist, welche Aspekte und Methoden zur Erstellung verwendet werden, wie LLM-Selbsthosting dabei eine Rolle spielt und wie Länder das Problem angehen.

onprem-servers-self-hosted-llms

Was ist AI-Souveränität?

AI-Souveränität (oder „sovereign AI“) ist die Idee, dass ein Land, eine Organisation oder eine Person AI-Systeme auf eigenen Bedingungen entwickeln, betreiben und kontrollieren kann - im Einklang mit eigenen Gesetzen, Werten und Sicherheitsbedürfnissen, anstatt vollständig auf fremde oder undurchsichtige Anbieter zu vertrauen.

Es geht um Kontrolle über die AI-Infrastruktur, Daten und Modelle: Die Erweiterung der Daten-Souveränität (wo Daten gespeichert und verarbeitet werden) auf die gesamte AI-Stack - Trainingsdaten, Modelle, Rechenleistung und Governance. Typische Ziele sind: Empfindliche Daten und AI-Betriebsabläufe innerhalb eines gewählten rechtlichen Jurisdiktionen (z. B. EU oder Australien) zu behalten; Einhaltung lokaler Vorschriften zu Privatsphäre, Sicherheit und AI-Risiken (GDPR, EU AI Act, nationale Sicherheit) sicherzustellen; und übermäßige Abhängigkeit von einer kleinen Anzahl fremder Cloud- oder AI-Anbieter zu vermeiden.

Regierungen kümmern sich um nationale Sicherheit, kritische Infrastruktur und öffentliche Dienste; regulierte Branchen (Gesundheitswesen, Finanzen, Verteidigung) benötigen Einhaltung strenger Daten- und AI-Vorschriften; und große Unternehmen wollen strategische Unabhängigkeit und wollen AI mit ihrem eigenen Roadmap ausrichten, nicht mit der eines Anbieters. In der Praxis zeigt sich sovereign AI als nationale oder regionale AI-Clouds und Datenzentren, nationale oder gemeinsam entwickelte AI-Modelle anstelle fremder „Black-Box“-Systeme und strengen Regeln für Datenresidenz, Zugriffssteuerung und Prüfung von AI-Systemen.

Aspekte und Methoden: Wie sovereign AI gebaut wird

Staaten und Organisationen bauen sovereign AI typischerweise entlang mehrerer Aspekte (strategische Säulen) und verwenden konkrete Methoden (technische und Governance-Maßnahmen).

Sechs strategische Säulen (Aspekte)

Der World Economic Forum und ähnliche Rahmenbedingungen beschreiben sechs strategische Säulen, die erklären, wie Nationen sovereign AI aufbauen:

  1. Digitale Infrastruktur - Rechenzentren mit ausreichender Rechenleistung, Datenlokalisierungspolitiken, so dass Daten, die innerhalb von Grenzen generiert werden, lokal gespeichert und verarbeitet werden, und Netzwerke, die AI-Arbeitslasten unterstützen. Dies ist der Rückgrat für die Entwicklung und Bereitstellung von AI unter nationaler oder regionaler Kontrolle.

  2. Fachkräfteentwicklung - STEM- und AI-Bildung, aktualisierte Lehrpläne, Berufsausbildung und lebenslange Lernchancen, damit ein Land das Personal hat, um sovereign AI-Systeme zu entwickeln und zu betreiben.

  3. Forschung, Entwicklung und Innovation (RDI) - Öffentliche und private Finanzierung für grundlegende und angewandte AI-Forschung, Anreize für Kommerzialisierung, und Ökosysteme, die Startups, große Unternehmen und Akademie verbinden.

  4. Regulatorischer und ethischer Rahmen - Klare Regeln für die Entwicklung und Bereitstellung von AI: Datenschutz, Transparenz, Datensicherheit, Cybersecurity und ethische Nutzung, plus Aufsicht und Verantwortungsmechanismen.

  5. Förderung der AI-Industrie - Steueranreize, Zuschüsse, vereinfachte Patente und öffentliche Aufnahme von AI, um Nachfrage zu schaffen und Standards zu setzen. Öffentlich-private Partnerschaften (PPPs) helfen, AI in Hochimpact-Sektoren (Energie, Gesundheit, Finanzen, Verkehr, Herstellung) einzusetzen.

  6. Internationale Zusammenarbeit - Engagement mit anderen Ländern zu Standards, über Grenzen hinweg Datenflüsse unter vereinbarten Normen, und gemeinsame Herausforderungen (z. B. Datenschutz, Cybersecurity), ohne die Fähigkeit aufzugeben, lokale Regeln zu setzen.

Sovereign AI ist nicht über Isolation, sondern über strategische Resilienz: die Fähigkeit, auf eigenen Bedingungen zu operieren und zu innovieren, während man weiterhin an globaler Zusammenarbeit teilnimmt.

Methoden verwendet

Konkrete Methoden, die verwendet werden, um diese Säulen umzusetzen, beinhalten:

  • Datenresidenz und Lokalisierung - Erfordern, dass bestimmte Daten (insbesondere persönliche oder sensible) innerhalb einer Jurisdiktion gespeichert und verarbeitet werden. Dies unterstützt Einhaltung der GDPR, branchenspezifischen Regeln und nationalen Sicherheitsanforderungen.

  • Sovereign oder regionale AI-Clouds - Aufbau oder Bezeichnung von Cloud- und AI-Infrastruktur (Rechenzentren, GPU-Clustern), die unter nationaler oder regionaler rechtlicher und operativer Kontrolle bleiben, so dass Arbeitslasten und Daten innerhalb der Jurisdiktion bleiben.

  • Heimische oder offene Gewichtsmodelle - Entwicklung oder Adoption von AI-Modellen (einschließlich LLMs), die geprüft, feinabgestimmt und auf lokaler Infrastruktur ausgeführt werden können, anstatt nur auf geschlossene, fremde APIs zu verlassen.

  • Risikobasierte Regulierung - Rahmen, die AI-Systeme nach Risiko klassifizieren (z. B. unakzeptabel, hoch, begrenzt, minimal) und entsprechend Anforderungen (Einflussbeurteilung, menschliche Überwachung, Transparenz, Konformität) auferlegen. Der EU AI Act ist das führende Beispiel.

  • Governance-Strukturen - Dedicierete Körper (z. B. AI-Ämter, Beratungsausschüsse, Marktüberwachungsbehörden), um die Umsetzung zu überwachen, Koordination zwischen Regierung und Industrie zu koordinieren und Regeln durchzusetzen.

  • Öffentlich-private Partnerschaften - Gemeinsame Initiativen zwischen Regierung und Industrie, um gemeinsame Infrastruktur zu bauen, Use Cases (z. B. für öffentliche Verwaltung) zu entwickeln und Anreize für sovereign Fähigkeiten auszurichten.

  • Zertifizierungen und Compliance-Systeme - Sovereign-Cloud- oder „trusted AI“-Zertifizierungen, die garantieren, dass Datenstandort, Zugriffssteuerung und Einhaltung lokaler Gesetze sichergestellt sind, was es für öffentliche und regulierte Sektoren einfacher macht, AI sicher zu adoptieren.

Zusammen definieren diese Aspekte und Methoden was sovereign AI anstrebt (Infrastruktur, Talente, Regulierung, Industrie, Zusammenarbeit) und wie es umgesetzt wird (Residenz, Clouds, Modelle, Regulierung, Governance, PPPs, Zertifizierung).

LLM-Selbsthosting als technischer Weg zur sovereign AI

LLMs auf Infrastruktur laufen, die Sie kontrollieren, ist einer der direktesten technischen Wege, sovereign AI in die Praxis umzusetzen. Sie behalten Prompts, Modellgewichte und Inferenzprotokolle im Haus oder in der Region, was Datenresidenz, Einhaltung lokaler Regeln und Unabhängigkeit von einer Handvoll Cloud-API-Anbietern unterstützt.

Aus technischer Sicht beinhaltet eine sovereign oder selbstgehostete LLM-Stack typischerweise: eine Modellschicht (offene Gewichtsmodelle, Embeddings, optionale Re-Ranker); eine Servierschicht (Inferenzmotor mit APIs für Chat, Completion, Embeddings); eine Anwendungsschicht (Orchestrierung, Toolaufruf, Workflows); eine Wissensschicht (z. B. RAG mit Chunking, Indexierung, Retrieval); Daten und Speicher (Objektspeicher, Datenbanken, Vektorindizes); und Sicherheit und Governance (PII-Verarbeitung, Richtlinienumsetzung, Auditprotokolle). Methoden beinhalten On-Prem- oder Einzeltenant-Bereitstellung, air-gapped Betrieb (z. B. mit Tools wie Ollama, llama.cpp oder LM Studio) für maximale Isolation und Gateway-Architekturen, die den Zugriffssteuerung, Routing und Observability zentralisieren, so dass alle Prompts und Antworten innerhalb definierter Grenzen bleiben.

Für einen praktischen Weg: eine umfassende Vergleich von lokalen LLM-Tools - Ollama, vLLM, LocalAI, Jan, LM Studio und mehr hilft Ihnen, den richtigen Stack zu wählen. Wenn Sie auf begrenztem GPU-Speicher laufen, sehen Sie welche LLMs am besten mit Ollama und 16 GB VRAM performen für Benchmarks und Trade-Offs. Um mit einer der beliebtesten Optionen zu beginnen, listet der Ollama Cheatsheet die wesentlichen Befehle.

Wie Länder das Problem angehen

Länder unterscheiden sich darin, wie sie die oben genannten Säulen und Methoden kombinieren. Unten finden Sie eine kurze Übersicht darüber, wie die wichtigsten Jurisdiktionen sovereign AI ansprechen, gefolgt von einem fokussierten Vergleich zwischen den USA und China.

Europäische Union

Die EU hat die erste umfassende globale AI-Gesetz verabschiedet - den AI Act (Verordnung (EU) 2024/1689) - mit einem risikobasierten Ansatz: Anwendungen mit unakzeptablem Risiko sind verboten; hochriskante Systeme unterliegen strengen Anforderungen (Einflussbeurteilung, menschliche Überwachung, Konformität); Systeme mit begrenztem und minimalen Risiko haben leichtere Pflichten. Die Governance ist zentralisiert im European AI Office (innerhalb der Kommission), mit dem European Artificial Intelligence Board, einer wissenschaftlichen Kommission und einem Beratungsgremium, die die Umsetzung und Durchsetzung über die Mitgliedsstaaten hinweg unterstützen. Dies schafft ein einheitliches Regelwerk für den einheitlichen Markt und fördert die „Europa-first“-Bereitstellung von konformen AI-Systemen.

Die europäische sovereign AI beruht auch auf heimischen Modell- und Cloud-Anbietern. Mistral AI (Frankreich) folgt einem offenen Quellfreundlichen Ansatz, indem sie Modelle freigibt, die Regierungen und Unternehmen prüfen und auf europäischer Infrastruktur ausführen können. Aleph Alpha (Deutschland) konzentriert sich auf Erklärbarkeit und Sicherheit für regulierte Branchen und sovereign europäische Hosting. Beide sind mit dem AI Act kompatibel und helfen, die Abhängigkeit von nicht-EU-Anbietern zu verringern - derzeit geht nur ein kleiner Teil der globalen AI-Startup-Finanzierung in die EU, im Vergleich zu den USA.

Frankreich und Deutschland: gemeinsame sovereign AI für die öffentliche Verwaltung

Frankreich und Deutschland haben eine gemeinsame sovereign AI-Initiative mit Mistral AI und SAP gestartet, die sich auf die öffentliche Verwaltung konzentriert. Sie basiert auf vier Säulen: sovereign AI-native ERP-Systeme für französische und deutsche Verwaltungen; AI-gestützte Finanzverwaltung (z. B. Rechnungsklassifizierung, Prüfungen); digitale Agenten für Beamte und Bürger (Konformitäts-Tools, Eignungschats); und gemeinsame Innovationslaboratorien plus Mitarbeiterausbildung. Ein bindender Rahmenvertrag wird bis Mitte 2026 erwartet, mit ausgewählten Use Cases, die zwischen 2026 und 2030 implementiert werden. Die Initiative wird von einem Französisch-deutschen Europäischen Digitalen Infrastruktur-Konsortium (EDIC)-Gremium geleitet, das von Ministern beider Länder geführt wird. Dies ist ein konkretes Beispiel für die Praxis des „regionalen Cloud + heimischen Modelle + PPP“-Methoden.

Vereinigtes Königreich

Das Vereinigte Königreich hat im Juli 2025 eine Sovereign AI Unit mit bis zu 500 Millionen GBP Finanzierung eingerichtet, um nationale AI-Fähigkeiten und Sicherheit zu bauen. Die Unit konzentriert sich darauf: Investitionen in britische AI-Unternehmen, um nationale Champions zu entwickeln; die Schaffung von UK AI Assets (Daten, Rechenleistung, Talente); und Partnerung mit frontier AI-Unternehmen, um zuverlässigen Zugang und britischen Einfluss über cutting-edge Entwicklung zu sichern. Die Regierung hat auch einen AI Opportunities Action Plan (Januar 2025) veröffentlicht, der die Rolle von AI bei wirtschaftlicher Entwicklung und öffentlichen Dienstleistungen betont. Der Ansatz kombiniert Infrastruktur und Talente (Säulen 1 und 2) mit Industrieanreizen (Säule 5) und strategischen Partnerschaften.

Vereinigte Staaten

Die US-Strategie betont Private-Sektor-Führung und föderale Koordination. Im Dezember 2025 gab die Regierung einen Executive Order heraus, um einen nationalen Policy-Framework für AI sicherzustellen, der darauf abzielt, amerikanische AI-Innovation zu schützen und US-amerikanische globale Führung durch einen „minimalen Belastungsrahmen“ nationalen Frameworks zu gewährleisten. Es weist das Justizministerium an, „schwerwiegende“ staatliche AI-Gesetze zu bekämpfen und fördert föderale Präemption, so dass staatliche Regeln den Markt nicht zerschneiden. Dies folgt dem „America’s AI Action Plan“ vom Juli 2025 und reagiert auf umfangreiche staatliche Aktivitäten - über 1.000 AI-bezogene Gesetzesvorlagen wurden in US-Bundesstaaten und Territorien 2025 eingereicht. Die USA verwenden auch Exportkontrollen auf fortgeschrittene Chips, um ihre Führung in Rechenleistung zu schützen und zu bestimmen, wer frontier AI bauen kann. Sovereign AI in den USA wird also größtenteils durch private Investitionen (z. B. xAI, OpenAI), föderale Governance (59 föderale AI-bezogene Regulierungen im Jahr 2024) und internationale Deals (z. B. Stargate mit den Vereinigten Arabischen Emiraten) erreicht, nicht durch einen einzigen staatlichen AI-Cloud.

Kanada

Kanada hat eine Canadian Sovereign AI Compute Strategy mit 2 Milliarden CAD über fünf Jahre gestartet, um die nationale AI-Compute-Kapazität zu steigern. Es besteht aus drei Komponenten: Privatsphäre-Investitionen mobilisieren (bis zu 700 Millionen CAD über einen AI-Compute-Challenge für Unternehmen und Akademie, um integrierte AI-Datenzentrum-Lösungen zu bauen); öffentliche Supercomputing-Infrastruktur aufbauen; und ein AI-Compute-Zugriff-Fonds für Forscher und Unternehmen. Das Ziel ist, kanadische Daten und IP zu schützen, während Kanadas Vorteile in Energie, Land und Klima genutzt werden. Getrennt davon hat Kanada im März 2025 seine erste AI-Strategie für die Bundesöffentliche Verwaltung (2025-2027) gestartet, mit Prioritätsbereichen: ein AI-Zentrum der Expertise, sichere und verantwortungsvolle Nutzung, Ausbildung und Talent, sowie Transparenz. Im September 2025 startete die Regierung eine AI-Strategie Task Force und eine 30-tägige nationale Beteiligung, um eine breitere nationale AI-Strategie zu entwickeln.

Australien

Australiens Policy for the Responsible Use of AI in Government (Version 2.0) trat am 15. Dezember 2025 in Kraft. Sie gilt für nicht-korporative Commonwealth-Entitäten und enthält nationalen Sicherheits-Ausnahmen: Verteidigungs- und Geheimdienstbehörden können freiwillig Elemente annehmen, während sie Sicherheitsinteressen schützen. Die Politik legt Erwartungen für verantwortungsvolle Adoption, Risikomanagement und Transparenz innerhalb der Regierung fest, die mit der „regulatorischen und ethischen Rahmen“-Säule übereinstimmen, während sie Raum für sovereign Handling von sensiven und nationalen Sicherheits-AI-Systemen lässt.

Vereinigte Arabische Emirate und Saudi-Arabien

Die Vereinigten Arabischen Emirate haben eine National Strategy for Artificial Intelligence 2031 (seit 2017) gestartet, die darauf abzielt, die UAE zu einer globalen AI-Führerin über acht strategische Ziele (z. B. AI-Zielort, Ökosystem, Governance) und neun Prioritätssektoren (Verkehr, Gesundheit, Raumfahrt, erneuerbare Energie, Wasser, Technologie, Bildung, Umwelt, Verkehr) zu machen. Saudi-Arabien verfolgt große Skalierung und Diversifizierung unter Vision 2030, mit Multimilliarden-Dollar-Unternehmungen. Sowohl die UAE als auch Saudi-Arabien investieren in regionale Data Center- und AI-Infrastruktur: UAE’s Khazna Data Centers (der größte Betreiber der Region) hat in Saudi-Arabien mit einem 200 MW Data Center für Cloud- und AI-Hyperscale-Bereitstellungen expandiert und arbeitet an über 1 GW AI-ready-Kapazität in der UAE, Saudi-Arabien, Italien und anderen Märkten. Der Ansatz kombiniert nationale Strategie (Säulen 4 und 5) mit hohen Investitionen in digitale Infrastruktur (Säule 1).

USA vs. China: ein vergleichender Schnappschuss

Die USA und China verfolgen AI-Führerschaft durch verschiedene Methoden. Die USA verlassen sich auf private Kapital und Exportkontrollen: z. B. 109 Milliarden USD in privaten AI-Investitionen im Jahr 2024 (etwa 12× China’s zu diesem Zeitpunkt), 59 föderale AI-bezogene Regulierungen im Jahr 2024 und Einschränkungen für den Export von fortgeschrittenen Chips. China betont staatliche Investitionen und Selbstversorgung: z. B. 98 Milliarden USD für 2025 (einschließlich 47,5 Milliarden USD für Halbleiter), nationale Chip-Produktion (z. B. Huawei Ascend) und unterstützende nationale Gesetze plus Open-Source- und Infrastruktur-Diplomatie (z. B. Belt and Road).

Aspekt USA China Notiz
Supercomputer-Anteil (Mai 2025) ~75% (~40M H100 Äquivalente) ~14% (~400K Äquivalente) USA 5×+ voraus
Flaggschiff-Systeme z. B. xAI Colossus (200K GPUs) Bis zu ~30K GPUs (verschiedene) USA skaliert größer
Data Center Weitaus mehr Weniger, expandieren (z. B. Digital Silk Road) USA Vorteil
Politik Haltung Verteidigend (Präemption, Exportkontrollen) Proaktiv (unterstützende Gesetze, Open-Source, Diplomatie) Unterschiedliche Hebel
Modell- und Anwendungsfokus Frontier-Modelle (40+ in 2024 beachtenswert), Talente Anziehung Kosteneffiziente Schulung (z. B. DeepSeek-V3), Forschungsvolumen, Apps (z. B. Baidu autonome Fahrten) Lücken schließen

Die USA profitieren von umfassendem Zugang zu NVIDIA und einem tiefen Venture-Ökosystem; China baut Alternativen und investiert in Energie und AI-Infrastruktur in Nahen Osten und Asien. Modellleistungsabstände schließen sich (z. B. ein 1,7% LMSYS-Vorteil für die USA im Jahr 2025).

Quellen