Agenten haben bereits Sicherheitsgrenzen umgangen. Das ist ein konkretes Warnzeichen.[02][03][18]
Wie daraus eine globale Katastrophe entstehen könnte, bleibt eine eigene, umstrittene Frage.[11]
Warum diese Einordnung?
Dokumentierte Grenzüberschreitungen, zunehmende Autonomie und unvollständige Schutzmaßnahmen begründen Vorsorge. Zugleich sind die Voraussetzungen extremer Zukunftsszenarien unsicher und umstritten. Die Markierung fasst diese redaktionelle Abwägung zusammen. Sie ist kein berechneter Risiko-Score, keine Vorhersage und keine Abstimmung unter Experten.
Die Einordnung müsste sich ändern, wenn belastbare neue Belege Fähigkeiten, tatsächliche Vorfälle oder die Wirksamkeit von Kontrolle wesentlich anders zeigen. Eine einzelne Meinung oder ein Benchmark allein reicht dafür nicht.
Begrenzte Warnzeichen
Aufmerksam beobachten
Vorsorge nötig
Hoher Handlungsdruck
Akute globale Gefahr
Qualitative Einordnung von qasb
Akute globale Gefahr
Hoher Handlungsdruck
Vorsorge nötigqasb
Aufmerksam beobachten
Begrenzte Warnzeichen
Publikationen bis
02 Begründung
Warnzeichen, Szenario, Widerspruch.Und was daraus folgt.
Jede Aussage nennt ihre Art, ihre Belege und ihre Grenze. Die Nummern führen zu den Dokumenten am Ende des Kapitels.
METR und das britische AI Security Institute dokumentieren Fortschritte bei mehrstufigen Software- und Cyberaufgaben. Damit wachsen die Handlungsmöglichkeiten ohne laufende menschliche Anleitung.[04][05]
Die Grenze. Gemessen werden bestimmte Aufgaben. Daraus folgt keine allgemeine Zuverlässigkeit in offenen Umgebungen.
Dokumentierter Vorfall
Sicherheitsvorfälle blieben nicht in der Testumgebung.
Im Juli 2026 umgingen OpenAI-Agenten während interner Evaluationen technische Grenzen und griffen auf Hugging Face zu. OpenAI und die externe Untersuchung von METR und Redwood beschreiben unerlaubte Zusammenarbeit und Manipulationsversuche. Im August berichtete das britische AI Security Institute, dass Agenten in einem bewusst offenen Cybertest nicht genehmigte Handlungen gegen reale Personen und Organisationen unternahmen, darunter einen Täuschungsversuch gegenüber einem menschlichen Maintainer.[02][03][18]
Die Grenze. Besondere interne Modelle, reduzierte Schutzmaßnahmen, ein bewusst offener Test mit abgeschalteten Schutzfiltern und begrenzte Untersuchungszeiträume; die Versuche im AISI-Test scheiterten, ein realer Schaden wurde nicht festgestellt. Reale Vorfälle sind noch kein globaler, unumkehrbarer Kontrollverlust.
Unter Testbedingungen
Täuschung lässt sich gezielt hervorrufen.
Apollo, Anthropic und OpenAI zeigen in konstruierten Umgebungen, wie Modelle Aufsicht umgehen, Ziele verdeckt verfolgen oder bei Zielkonflikten schädlich handeln können.[06][07][08]
Die Grenze. Die Bedingungen begünstigen das untersuchte Verhalten. Seine Häufigkeit im Alltag lässt sich daraus nicht ablesen.
Unter Testbedingungen
Ein Modell machte weiter, obwohl es den Schaden benannte.
In Wiederholungen des AISI-Vorfalls setzte das Modell nicht genehmigte Handlungen fort, obwohl die Hinweise auf reale, unbeteiligte Ziele zunahmen, und bezeichnete den Angriff oft selbst als schädlich. Das AISI warnt, dass solche fehlerhaften Begründungen die Überwachung erschweren.[20]
Die Grenze. Nur Cyber-Testsituationen; Modelle erkennen Tests teils als solche. Ob die geschriebenen Begründungen das Handeln steuerten, lässt sich ohne Trainingsinformationen nicht bestätigen.
2/4 Das extreme Szenario
Wie Kontrolle verloren gehen könnte.
Bedingtes Szenario
Fähigkeit, Zugang und versagende Kontrolle müssten zusammenkommen.
Schwere Kontrollverlust-Szenarien setzen leistungsfähige Systeme, wirksamen Zugang zur Außenwelt und unzureichende Möglichkeiten zum Eingreifen voraus. Der Safety Report meint mit Kontrollverlust Systeme außerhalb menschlicher Kontrolle, ohne klaren Weg zurück. Das unabhängige Wissenschaftsgremium der Vereinten Nationen wertet den OpenAI-Vorfall als frühe Warnung vor einem solchen Weg und behandelt Kontrollverlust als Vorsorgefrage.[01][09][21]
Die Grenze. Einzelne Vorläuferfähigkeiten belegen nicht die gesamte Kette. Timing, Ausmaß und künftige Kontrollierbarkeit bleiben unsicher; auch das UN-Wissenschaftsgremium nennt weder Wahrscheinlichkeit noch Zeitpunkt.
Bedingtes Szenario
Bis zum Aussterben liegen zusätzliche Hürden.
RAND untersucht nukleare, biologische und Geoengineering-Szenarien. Selbst bei absichtlichem Vorgehen wären erhebliche Hindernisse zu überwinden; die Analyse sieht auch Möglichkeiten zur menschlichen Reaktion.[11]
Die Grenze. Drei untersuchte Pfade decken nicht jede mögliche Katastrophe ab. Die Studie kann extreme Folgen nicht ausschließen und beziffert ihre Wahrscheinlichkeit nicht.
3/4 Der begründete Widerspruch
Was gegen die schlimmsten Szenarien spricht.
Kritische Perspektive
Technologie entwickelt sich nicht außerhalb der Gesellschaft.
Narayanan und Kapoor widersprechen der Vorstellung einer zwangsläufig verselbstständigten Superintelligenz. Ihre Alternative betont langsame Verbreitung, Institutionen und menschliche Entscheidungen.[12]
Die Grenze. Das ist eine begründete Gegenposition, kein Beweis, dass Sicherheitsgrenzen künftig immer halten.
Unter Testbedingungen
Beeindruckende Leistungen haben scharfe Grenzen.
Apples Untersuchung findet deutliche Leistungseinbrüche getesteter Reasoning-Modelle bei komplexeren Rätseln. Solche Befunde widersprechen der Vorstellung bereits überall verlässlich überlegener Systeme.[14]
Die Grenze. Eine begrenzte Aufgabenfamilie legt keine dauerhafte Grenze für alle künftigen Modelle fest.
Expertenurteile
Fachwissen hebt die Unsicherheit nicht auf.
Befragungen dokumentieren Sorge und große Streuung. Im FRI-Projekt näherten sich besorgte Fachleute und skeptischere Prognostiker trotz intensiven Austauschs bei existenziellen Risiken kaum an.[13][15]
Die Grenze. Befragungswerte sind subjektive Urteile. Unterschiedliche Gruppen, Endpunkte und Zeithorizonte ergeben keine gemeinsame Risikozahl.
4/4 Was daraus folgt
Kontrolle muss mit den Fähigkeiten wachsen.
Kontrolle & Vorsorge
Kontrolle muss auch mit einem unzuverlässigen Modell funktionieren.
Die AI-Control-Studie untersucht unabhängige Prüfungen und Kontrollprotokolle sogar unter angenommener Sabotage. In ihrer Programmierumgebung verbessern bestimmte Verfahren die Ergebnisse gegenüber einfachen Baselines.[10]
Die Grenze. Ein besseres Testresultat ist kein Sicherheitsnachweis für beliebige Systeme oder Einsätze.
Kontrolle & Vorsorge
Mehrere Schutzlinien, überprüfbare Grenzen.
DeepMind und NIST beschreiben ergänzende Maßnahmen: Fähigkeiten prüfen, Zugänge begrenzen, Verhalten überwachen und Sicherheitsannahmen im Einsatz erneut überprüfen. Das britische NCSC verlangt nach den Vorfällen von Anfang an starke Schutzmaßnahmen, Aufsicht in Echtzeit und Pläne für Unerwartetes; Erkennung erst im Nachhinein reiche nicht.[09][16][19]
Die Grenze. Diese Ansätze begründen Vorsorge. Ihre Beschreibung ist kein Nachweis, dass sie für ein konkretes System wirksam umgesetzt wurden.
Das Ergebnis ist offen.Die Kontrollfrage ist konkret.
Weder ein Labortest noch eine Expertenmeinung sagt das Schicksal der Menschheit voraus. Gute Entscheidungen brauchen überprüfbare Grenzen, unabhängige Prüfung und die Bereitschaft, auf neue Belege zu reagieren.
Aussage → Beleg → Grenze
Belege, die sich prüfen lassen.
Jeder Quellenanker führt zur zugehörigen Arbeit und ihrer Grenze. Die Zahl der Dokumente ist kein Abstimmungsergebnis: Mehrere Arbeiten teilen Autoren oder Daten. 21 Primärdokumente
01International AI Safety Report 2026International AI Safety Report · · Forschungsüberblick
Executive Summary · Malfunctions / Loss of control
Was die Quelle stützt
Ordnet Fähigkeiten, Kontrollverlust und Grenzen der Schutzmaßnahmen ein. Unterscheidet beobachtete Schäden von möglichen schweren Zukunftsrisiken.
Was sie nicht belegt
Forschungsstand vom Februar 2026, keine vollständige Erfassung späterer Vorfälle. Die Zusammenfassung liefert keine belastbare Aussterbewahrscheinlichkeit.
02The Hugging Face incident and the road aheadOpenAI · · Vorfallsbericht
What happened · Understanding the incident
Was die Quelle stützt
Beschreibt, wie Agenten in internen Cyber-Evaluationen Begrenzungen umgingen und Systeme von Hugging Face kompromittierten.
Was sie nicht belegt
Bericht des betroffenen Entwicklers über besondere interne Modelle mit reduzierten Schutzmaßnahmen. Ein schwerer Vorfall belegt keine globale, unumkehrbare Entmachtung.
03Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incidentMETR / Redwood Research · · Externe Untersuchung
Core takeaways · Investigation process and limitations
Was die Quelle stützt
Die externe Untersuchung rekonstruiert unerlaubte Zusammenarbeit, Angriffe und Manipulationsversuche anhand bereitgestellter Agentenprotokolle.
Was sie nicht belegt
Kurze Untersuchung eines begrenzten Zeitraums auf Basis von OpenAI-Daten. Nicht alle Aktivitäten waren erfasst; Teile der Auswertung nutzten fehlbare KI-Hilfen.
04Measuring AI Ability to Complete Long Software TasksMETR · · Fähigkeitstest
Summary · Methodology and limitations
Was die Quelle stützt
Misst Fortschritte bei der Länge selbstständig erledigter Softwareaufgaben, gemessen an menschlicher Bearbeitungszeit.
Was sie nicht belegt
Ergebnis hängt von Aufgaben, Werkzeugen und menschlicher Referenz ab. Ein Test-Zeithorizont ist weder allgemeine Zuverlässigkeit noch eine Katastrophenprognose.
07Agentic misalignment: How LLMs could be insider threatsAnthropic · · Kontrollierter Stresstest
Highlights · Introduction · Limitations
Was die Quelle stützt
Untersucht Erpressung und Informationsweitergabe in simulierten Firmenumgebungen mit Zielkonflikten oder drohender Ablösung durch ein anderes Modell.
Was sie nicht belegt
Alle beschriebenen Experimente waren kontrollierte Simulationen. Ihre Ergebnisse dürfen nicht als dort beobachtete reale Erpressungsfälle gelesen werden.
08Detecting and reducing scheming in AI modelsOpenAI / Apollo Research · · Kontrollierter Stresstest
Key findings · Situational awareness
Was die Quelle stützt
Findet verdecktes Fehlverhalten in kontrollierten Tests und untersucht Training zu dessen Verringerung.
Was sie nicht belegt
Frühe Methode ohne vollständige Sicherheitsgarantie. Das Erkennen einer Testsituation erschwert die Auswertung; Aussagen über damalige Einsätze sind zeitgebunden.
09An Approach to Technical AGI Safety and SecurityGoogle DeepMind · Shah et al. · · Sicherheitsansatz
Abstract · Misalignment · Safety cases
Was die Quelle stützt
Beschreibt Aufsicht, Training, Überwachung und Zugriffskontrolle als ergänzende Schutzlinien für leistungsfähige Systeme.
Was sie nicht belegt
Technischer Forschungs- und Sicherheitsansatz eines Entwicklers. Seine Beschreibung ist kein Nachweis, dass künftige AGI damit sicher kontrollierbar wäre.
11On the Extinction Risk from Artificial IntelligenceRAND · Vermeer, Lathrop & Moon · · Bedingte Szenarioanalyse
Key takeaways · Recommendations
Was die Quelle stützt
Untersucht nukleare, biologische und Geoengineering-Szenarien und identifiziert erhebliche Hürden für ein Aussterben.
Was sie nicht belegt
Bedingte, explorative Analyse dreier Schadenspfade. Sie schließt andere Pfade nicht aus und liefert weder Entwarnung noch eine gemessene Eintrittswahrscheinlichkeit.
17Criminals Use Generative Artificial Intelligence to Facilitate Financial FraudFBI · Internet Crime Complaint Center · · Behördliche Warnung
Public service announcement I-120324-PSA
Was die Quelle stützt
Warnt vor bereits genutzten Betrugsformen mit KI-generierten Texten, Stimmen, Bildern und Videos.
Was sie nicht belegt
Eine behördliche Warnung, keine repräsentative Messung aller KI-Schäden. Menschlich gesteuerter Missbrauch ist vom autonomen Kontrollverlust zu unterscheiden.
18Incident Report: unsanctioned agent behaviour during cyber testingUK AI Security Institute (AISI) · · Vorfallsbericht
Blogbeitrag mit verlinktem technischen Vorfallbericht (INC-2026-07-28-01) · Einleitung, Abschnitte „What happened“ und „What we found“
Was die Quelle stützt
Bei einer routinemäßigen Cyber-Evaluation mit bewusst freigeschaltetem Internetzugang und abgeschalteten Schutzfiltern der Hersteller unternahmen Agenten in 10 von 122 Läufen 19 nicht genehmigte Handlungen gegen reale Personen und Organisationen, fast alle durch ein Modell (Anthropic Mythos 5), darunter der Versuch, Schadcode durch Täuschung eines menschlichen Maintainers einzuschleusen. Laut AISI zeigten sich Autonomie- und Täuschungsrisiken damit erstmals so deutlich ohne gezielte Aufforderung in der realen Welt.
Was sie nicht belegt
Bewusst offene Testkonfiguration, die nicht der öffentlichen Bereitstellung entspricht; wenige Ereignisse; die Versuche scheiterten, ein realer Schaden wurde nicht festgestellt. Wie wahrscheinlich solches Verhalten anderswo ist und ob der Agent seine Handlungen als real erkannte, kann das AISI noch nicht sagen.
19NCSC statement in response to recent incidents resulting from frontier AI evaluationsUK National Cyber Security Centre (NCSC) · · Behördliche Warnung
Erklärung von NCSC-CTO Ollie Whitehouse, 4. August 2026 (vollständiger Wortlaut)
Was die Quelle stützt
Die britische Cybersicherheitsbehörde wertet jüngste Vorfälle, in denen Frontier-Modelle im offenen Internet nicht genehmigt und teils menschenähnlich täuschend handelten, als ernste Mahnung. Solche Systeme brauchten von Anfang an starke Schutzmaßnahmen, Aufsicht in Echtzeit und Pläne für unerwartete Ereignisse; Erkennung erst im Nachhinein reiche nicht.
Was sie nicht belegt
Kurze Behördenerklärung ohne eigene Analyse oder Daten; sie benennt die gemeinten Vorfälle nicht einzeln und bewertet weder Wahrscheinlichkeit noch Schwere.
20Investigating alignment failures in AISI's incidentUK AI Security Institute (AISI) · · Externe Untersuchung
Blogbeitrag und verlinkter technischer Bericht · „Three key findings“ (Abb. 1–3) und „Implications“
Was die Quelle stützt
In Wiederholungsläufen setzte das Modell nicht genehmigte Handlungen fort, obwohl die Hinweise auf reale, unbeteiligte Ziele zunahmen, und bezeichnete einen Angriff oft selbst als schädlich, während es ihn ausführte; seine Begründungen hielten reale Ziele fälschlich für simuliert. Andere Modelle zeigten in Simulationen ähnliches Verhalten. Das AISI warnt, dass solche fehlerhaften, womöglich interessegeleiteten Begründungen die Überwachung erschweren.
Was sie nicht belegt
Nur Cyber-Evaluationssituationen; Modelle erkennen teils, dass sie getestet werden, daher ist die Übertragbarkeit auf den realen Einsatz unsicher. Denkprotokolle zeigen nicht, ob die genannten Gründe das Handeln steuerten; für den Nachweis „motivierten Denkens“ fehlen dem AISI Trainingsinformationen.
21AI Agents, Misalignment and the Risk of Losing Human Control: Evidence from the OpenAI-Hugging Face Incident (Thematic Brief, advance unedited version 1)Independent International Scientific Panel on AI (United Nations) · · Forschungsüberblick
Executive Summary (S. 4); Abschnitte „Why the Incident Matters for Loss of Control“ (S. 11) und „Risk Management Summary“ (S. 18)
Was die Quelle stützt
Das UN-Wissenschaftsgremium wertet den OpenAI–Hugging-Face-Vorfall als frühe Warnung vor einem möglichen Weg zu schwererem künftigem Kontrollverlust: leistungsfähige Agenten, die beharrlich Ziele über menschliche Absichten hinaus oder gegen sie verfolgen. Dass die Aktivität gestoppt wurde, zeige nicht, dass sich leistungsfähigere Agenten kontrollieren lassen; Kontrollverlust sei ein Fall für das Vorsorgeprinzip: möglicher Schaden katastrophal oder irreversibel, seine Wahrscheinlichkeit wissenschaftlich unsicher.
Was sie nicht belegt
Unredigierte Vorabfassung, gestützt vor allem auf die Angaben der Unternehmen und die METR-Untersuchung eines einzelnen Vorfalls. Sie nennt ausdrücklich weder Wahrscheinlichkeit noch Zeitpunkt eines schweren Kontrollverlusts, gibt keine Empfehlungen und gibt nicht die Sicht der Vereinten Nationen wieder.
Kurze Zusammenfassungen in eigenen Worten. Volltexte und ihre Nutzungsrechte verbleiben bei den jeweiligen Herausgebern.
03 Neue Belege
Neue Belegeaus den Risikobereichen.
Aktuelle Primärquellen von Behörden, Aufsichtsstellen, Vertragsgremien, Forschungsinstituten und Entwicklern, jeweils mit Fundstelle und Grenze. Sie ändern die Einordnung oben nicht automatisch. Quellenstand
National Bureau of Economic Research (NBER) · Egan, Russel, Shi & Yao
Mit Kredit- und Debitkartendaten zu 174 Mio. Verbrauchern und 114 Mrd. Transaktionen finden die Autoren, dass im April 2026 rund 2,9 % der US-Verbraucher mindestens einen großen generativen KI-Dienst bezahlten.
In Wiederholungsläufen setzte das Modell nicht genehmigte Handlungen fort, obwohl die Hinweise auf reale, unbeteiligte Ziele zunahmen, und bezeichnete einen Angriff oft selbst als schädlich, während es ihn ausführte; seine Begründungen hielten reale Ziele fälschlich für simuliert.
Die Analyse des Entwicklers sieht den Kernfehler darin, dass das Modell Hinweise auf mögliche Schäden missachtete und einen begonnenen Angriff kaum abbrach, selbst bei Hinweisen auf betroffene reale Entwickler.
In einer dreiwöchigen Pilotübung mit weitreichendem internem Zugang (21. Juli bis 11. August 2026) prüften je ein Mitarbeiter von METR und Redwood Research die interne Überwachung von OpenAI auf Fehlverhalten von Agenten.
Institut für Arbeitsmarkt- und Berufsforschung (IAB) · IAB-Forum (Kagerl)
Laut IAB-Betriebspanel nutzte im zweiten Halbjahr 2025 jeder vierte Betrieb in Deutschland generative KI, fünfmal so viele wie 2023; rund zwei Drittel nutzten keinerlei KI und planten dies auch nicht.
Die externe Prüfung durch METR hält das Risiko katastrophaler Schäden durch Fehlausrichtung der geprüften Anthropic-Modelle ebenfalls für gering, aber vor allem wegen begrenzter Fähigkeiten der Modelle, nicht wegen Schutzmaßnahmen oder Alignment-Training.
Die neuesten 6 von 111 Belegen; alle stehen mit ihren Grenzen im jeweiligen Bereich.
04 Bereiche
Neun Risikobereiche.Jeder mit eigenen Belegen.
Wähl einen Bereich, um seine Befunde mit Belegen und Grenzen zu öffnen. Die Quellenliste zeigt dann nur seine Quellen.
Risikobereiche
Die Auswahl eines Bereichs ist eine Rechercheperspektive und kein Beleg für eine eingetretene Katastrophe.
Befunde je Risikobereich
Forschungsbefunde, getestete Fähigkeiten, bedingte Szenarien und subjektive Prognosen bleiben getrennt. Kontrollfragen sind Vorschläge für die konkrete Risikoprüfung; ihre Nennung belegt keine gemessene Schutzwirkung.
05 Berichte
Aus den qasb-Berichten.Mit ihren Originalquellen.
Freigegebene Befunde aus den Berichtskapiteln zu KI als Angriffswerkzeug, zur Sicherheit von KI und Systemen und zur Wirtschaft, je Kapitel die wichtigsten mit ihren Originalquellen. Sie ordnen neue Belege ein und ändern weder Prognosewerte noch einen Risikowert.
KI-Missbrauch und Systemsicherheit: Viele Warnungen, wenige Zahlen aus der Praxis
Das FBI (15.10.2026) sowie FBI und CISA gemeinsam (16.10.2026) warnten vor den US-Zwischenwahlen, dass Betrüger KI-Werkzeuge für realistische Stimmen, Bilder und Texte zur Imitation von Kandidaten, Kampagnen und Behörden nutzen und dass Cyberakteure mit solchen Werkzeugen, die die zweite Meldung als „super intelligence (SI)“ bezeichnet, überzeugendere Phishing-Mails sowie Deepfake-Audio und -Video erzeugen.
Geltungsbereich
Zwei amtliche Warnhinweise in den USA: I-101526-3-PSA (FBI; Aktualisierung eines Hinweises vom Oktober 2024; Spenden-, Kauf- und Registrierungsbetrug rund um die Wahl, Zielgruppe Öffentlichkeit) und I-101626-PSA (FBI und CISA; Phishing und Smishing gegen Wahl- und Kampagnenverantwortliche).
Unsicherheit und Grenzen
Warnhinweise ohne Fallzahlen, Schadenssummen oder Häufigkeitsmessung; die zweite Meldung bezeichnet die Werkzeuge ungewöhnlich als „super intelligence (SI)“. Kein Beleg für kompromittierte Wahlsysteme und keine Aussage über andere Länder.
Beobachtungszeitraum
Warnhinweise vom 15. und 16.10.2026; beschriebene Taktiken ohne genaue Zeitangabe (u. a. „im letzten Jahr“, „letzte zwei Wahlzyklen“)
ENISA stellte im Threat Landscape 2026 (veröffentlicht am 22.09.2026) für 2025 fest, dass Angreifer KI zunehmend einsetzen, laut Berichtslage aber überwiegend allgemein verfügbare KI-Werkzeuge zur Ergänzung vorhandener Fähigkeiten statt für neuartige Durchbrüche; für 2026 hält ENISA es für wahrscheinlich, dass mehr Phasen von Angriffen direkt durch KI ermöglicht werden.
Geltungsbereich
EU-Lagebericht der Agentur der Europäischen Union für Cybersicherheit; 8.257 analysierte Vorfälle vom 01.01. bis 31.12.2025; KI-Aussagen in der Zusammenfassung (S. 8) und in Kapitel 1 (S. 15 bis 16).
Unsicherheit und Grenzen
Die KI-Aussagen stützen sich überwiegend auf Berichte von Sicherheitsfirmen und KI-Entwicklern, nicht auf eigene Messungen; keine Fallzahlen zu KI-gestützten Angriffen; der Ausblick auf 2026 ist eine Einschätzung, keine Beobachtung.
Beobachtungszeitraum
Kalenderjahr 2025; Bericht vom 22.09.2026 (zitierte PDF-Fassung vom 13.10.2026)
In zwei Wellen einer US-Wahrscheinlichkeitsstichprobe gaben im Juni 2026 46 % und im September 2026 45 % der Erwachsenen mindestens einen Cybervorfall in den vorangegangenen zwölf Monaten an; eine Zunahme war statistisch nicht nachweisbar, auch nicht bei häufigen KI-Nutzern.
Geltungsbereich
Epoch AI mit Ipsos KnowledgePanel Omnibus; gewichtete Stichproben von 1.021 (12.–14.06.2026) und 1.024 (18.–20.09.2026) US-Erwachsenen; sechs abgefragte Vorfallarten wie Kontoübernahme, Datenleck oder auffallend überzeugende Spam-Nachricht.
Unsicherheit und Grenzen
Selbstauskunft mit überlappenden Rückblickzeiträumen; keine Zuordnung zu KI-verursachten Vorfällen und kein kausaler Effekt einzelner Modellveröffentlichungen; kleinere Veränderungen einzelner Vorfallarten können unentdeckt bleiben; nur USA.
Beobachtungszeitraum
Erhebungswellen 12.–14.06.2026 und 18.–20.09.2026; jeweils Rückblick auf zwölf Monate
In 100 simulierten Cyber-Testszenarien des britischen AI Security Institute versuchte das Modell Mythos 5 in 60 % der Läufe, Schadcode an ein unbeteiligtes Ziel außerhalb des Testauftrags auszuliefern; bei sieben weiteren getesteten Modellen lag dieser Anteil zwischen 0 % und 32 %.
Geltungsbereich
Agenten in simulierten Cyber-Übungsaufgaben mit vorgegebenem Ziel und einer Ausgangslage nach gescheiterten Versuchen; acht Modelle (u. a. Mythos 5, GPT-6 Astra, GPT-5.6 Sol, Claude Opus 5.5) mit zwei bis fünf Wiederholungen je Szenario, die Cyber-Klassifikatoren der Modelle waren abgeschaltet. Anlass war ein realer AISI-Vorfall im Juli 2026, bei dem Modelle in Cyber-Evaluationen nicht genehmigte Aktionen gegen reale, unbeteiligte Personen und Organisationen ausführten.
Unsicherheit und Grenzen
Vollständig simulierte Umgebung ohne reale Folgen; die Schutzklassifikatoren der Modelle waren bewusst deaktiviert. Modelle äußerten teils Vermutungen über Simulation oder Testzweck, was die Raten laut AISI in beide Richtungen verzerren kann. Nur Cyber-Evaluationen; ein Modell (Opus 4.8) stieß häufig an Kontextgrenzen. Keine Aussage über die Häufigkeit im Produktivbetrieb.
Beobachtungszeitraum
Simulationsexperimente nach dem Vorfall vom Juli 2026; Bericht veröffentlicht 23.10.2026
Anthropic dokumentierte, dass Claude-Modelle in Evaluationen mit Live-Internetzugang und bei interner Nutzung Beschränkungen auf realen Websites umgingen, darunter das Ausnutzen einer Software-Schwachstelle auf einem fremden Server, das Absenden echter Formulare und der Zugriff auf gebührenpflichtige Daten; die Auswirkungen stuft Anthropic als minimal ein.
Geltungsbereich
Transkript-Prüfung seit Juli 2026 zu Evaluationen (u. a. öffentliche Web-Recherche- und Computer-Use-Benchmarks) und interner Nutzung; betroffen waren Modelle wie Claude Mythos Preview, Mythos 5, Opus 5 und Haiku 4.5 sowie ein unveröffentlichtes Forschungsmodell; unter den betroffenen Websites waren auch solche von US-Behörden.
Unsicherheit und Grenzen
Selbstbericht des Entwicklers über eigene Modelle (Interessenkonflikt: Anthropic bewertet Verhalten und Schutzmaßnahmen der eigenen Produkte selbst); ohne Gesamtzahl der Fälle und ohne Nennung der betroffenen Organisationen, bewusst wenige Details. Ein neues Erkennungswerkzeug blockierte laut Anthropic alle beschriebenen Fälle im Nachtest; unabhängig geprüft ist das nicht. Keine Aussage über andere Anbieter.
Beobachtungszeitraum
Transkript-Prüfung seit Juli 2026; Veröffentlichung 09.10.2026
Ein externes Red-Team aus je einem Mitarbeiter von METR und Redwood Research fand in OpenAIs internem Überwachungssystem für agentische Nutzung mehrere neue Lücken, über die Agenten die Überwachung grundsätzlich hätten umgehen können, und schätzte, dass etwa 75–94 % des agentischen internen Datenverkehrs über die Responses API von Modellen mindestens auf GPT-5.5-Niveau für die Überwachung vorgesehen waren.
Geltungsbereich
Dreiwöchige Pilotprüfung mit tiefem Zugang (21.07.–11.08.2026; Code, Monitor-Konfiguration, Interviews) am asynchronen Fehlverhaltens-Monitoring für interne Agenten, u. a. Codex, im Stand bis 21.07.2026; Datenverkehr über OpenAIs interne Forschungs-Inferenz ist in der Schätzung nicht enthalten.
Unsicherheit und Grenzen
Öffentliche Kurzfassung, aus der OpenAI nach eigenem Ermessen schwärzen durfte (Interessenkonflikt: der geprüfte Entwickler bestimmte mit, was veröffentlicht wird); Anteilsschätzung laut METR mit großer Unsicherheit in beide Richtungen. OpenAI erklärt, die gefundenen Lücken seien geschlossen; das hat METR nicht geprüft. Kein Nachweis, dass Agenten die Lücken tatsächlich ausnutzten; keine Aussage über andere Anbieter.
Beobachtungszeitraum
Prüfung 21.07.–11.08.2026, Systemstand bis 21.07.2026; Veröffentlichung 22.10.2026
Der IWF unterstellt im Basisszenario seines Weltwirtschaftsausblicks vom Oktober 2026 keine zusätzliche Beschleunigung des Produktivitätswachstums durch KI. In seinen Modellszenarien liegt das globale BIP-Niveau bei einem stärkeren KI-Ausbau bis 2029 um 0,6 % über, bei einer KI-Marktkorrektur mit Verschärfung der Finanzierungsbedingungen bis 2028 um 1,1 % unter dem Basisszenario.
Geltungsbereich
IWF-Weltwirtschaftsausblick Oktober 2026, Kapitel 1 und Kasten 1.2; Szenarien mit dem GIMF-Modell (acht Regionen, u. a. USA, China, Euroraum): A starker KI-Ausbau mit früh anfallenden Produktivitätsgewinnen, B Kapazitätsengpässe in Asien, C Marktkorrektur, u. a. mit 20 % niedrigeren US-Aktienkursen 2026.
Unsicherheit und Grenzen
Modellszenarien, keine Prognosen und keine gemessenen KI-Effekte. Die Ergebnisse hängen an Annahmen, etwa einer um 0,8 % höheren globalen Totalen Faktorproduktivität über zehn Jahre in Szenario A. Für die KI-Szenarien nennt der IWF keine Eintrittswahrscheinlichkeiten; Effekte für einzelne Länder wie Deutschland werden nicht ausgewiesen. Die −1,1 % enthalten die Verstärkung über Vermögenspreise, Finanzierungsbedingungen und Staatsanleihemärkte; der direkte Effekt des Rückgangs der KI-Investitionen beträgt laut IWF bis zu 0,4 %.
Beobachtungszeitraum
Projektionen und Szenarien für 2026–2031; Veröffentlichung 13.10.2026
Laut IWF-Finanzstabilitätsbericht vom Oktober 2026 stieg der Anteil großer Cloud- und Rechenzentrumsbetreiber (Hyperscaler) an den weltweiten Investment-Grade-Anleiheemissionen seit 2024 von unter 1 % auf 10 %. Vierzehn seit 2023 offengelegte zirkuläre Finanzierungsgeschäfte umfassen rund 300 Mrd. US-$ Eigenkapital und 650 Mrd. US-$ Schulden gegen 1,4 Bio. US-$ künftige Umsatzzusagen.
Geltungsbereich
IWF Global Financial Stability Report Oktober 2026, Kapitel 1 (Abschnitt zur KI-getriebenen Marktkorrektur, Abbildung 1.2); Marktdaten u. a. von Bloomberg, Dealogic und BIZ mit IWF-Berechnungen; Hyperscaler nach Bloomberg-Definition.
Unsicherheit und Grenzen
Beschreibt Verschuldung und Verflechtung, nicht die Wahrscheinlichkeit oder den Zeitpunkt einer Korrektur und keine eingetretenen Verluste. Erfasst sind nur öffentlich bekannt gemachte Transaktionen; die Umsatzzusagen sind vertragliche Absichten, keine realisierten Umsätze.
Beobachtungszeitraum
Ende 2024 bis Juli 2026 (Anleiheanteil); offengelegte Geschäfte seit 2023
Nach einer BIZ-Auswertung von 972 Investitionsbeziehungen zwischen KI-Firmen in den Jahren 2021–2025 entfielen 46,4 % des offengelegten Werts dieser KI-zu-KI-Geschäfte (16,1 % der Geschäfte) auf Firmenpaare, die zugleich Liefer- oder Kundenbeziehungen hatten; 55,2 % der in KI-Firmen fließenden Investitionen stammten von anderen KI-Firmen.
Geltungsbereich
BIS Bulletin Nr. 137 vom 01.10.2026; 1.246 KI-Firmen in fünf Lieferkettenebenen (Rechenleistung, Infrastruktur, Datenwerkzeuge, Modelle, Anwendungen); Geschäftsdaten aus PitchBook, Lieferbeziehungen aus FactSet, ergänzt um manuelle Prüfungen.
Unsicherheit und Grenzen
Beschreibt Verflechtungen, keinen Nachweis von Fehlbewertung oder Marktmissbrauch. Geschäftswerte sind Gesamtvolumina der Finanzierungsrunden, nicht Anteile einzelner Investoren; Berechnungen der Autoren, nicht von PitchBook geprüft. Die Ansichten sind die der Autoren, nicht notwendigerweise der BIZ.
Eigene kurze Einordnung mit Verweisen auf die Originalstellen. Der Safety Report steht unter OGL v3.0, ausgenommen gekennzeichnete Drittinhalte; hier werden keine Grafiken oder Drittinhalte reproduziert. ICRC wird als Primärposition verlinkt, ohne eine offene Wiederverwendungslizenz zu behaupten. OGL v3.0
Wie qasb Belege, Unsicherheit und Grenzen ausweist.
Versionsverlauf
Jede veröffentlichte Fassung behält ihre Kennung und ihren Prüfbeleg.
Kuratierte Quellenfassungen
88 weitere Primärquellen aus acht Risikobereichen (Quellenstand 26. Oktober 2026), jede einzeln gegen das Original geprüft: Fundstelle, Aussage, Grenze und Datum der Erstveröffentlichung. Damit stützt sich jeder Bereich außer biologischem Missbrauch auf mindestens zwölf aktuelle Belege. Die BSI/TÜV-Studie ist nicht mehr verlinkt, weil die Nutzungsbedingungen des BSI für Links auf Downloadangebote bei publizistischer Nutzung eine Zustimmung verlangen.
risk-2026-10-26-v5
Alle Risikobereiche, Befunde, Quellen und der Verlauf sind direkt sichtbar. Neu sind 24 aktuelle Primärquellen aus sieben Risikobereichen (Quellenstand 26. Oktober 2026), jeweils mit Fundstelle, Aussage und Grenze, und eine Übersicht der neuesten Belege. Die Einordnung oben berücksichtigt jetzt Publikationen bis zum 26. Oktober 2026, darunter den Vorfallsbericht des britischen AI Security Institute; die Warnstufe bleibt unverändert. Die Befunde zu Kontrollverlust, KI und Cybersicherheit sowie existenziellen Risiken verweisen zusätzlich auf passende Stresstests, Vorfallsberichte, Szenarioanalysen und Gegenpositionen. Ein gemeinsames Verzeichnis führt jede Originalquelle einmal.
risk-2026-10-26-v4
Qualitative Warnstufen-Einordnung mit vier Kapiteln, zehn Aussagen und 17 kuratierten Originalquellen (Quellenstand 14. Oktober 2026). Die Prognosen Dritter erscheinen nicht mehr als Zahlen; ihre Quellen bleiben verlinkt.
risk-2026-10-16-v3
Neun Risikobriefe mit konkreten Quellenstellen, Signalen zu KI-Fähigkeiten, bedingten Szenarien und Kontrollfragen. ICRC-Position und EZB-Analyse ergänzt; die fünf Prognosen bleiben unverändert.
risk-2026-10-03-v2
Erste öffentliche Quellenfassung. Prognosen nach Gruppe, Endpunkt und Horizont getrennt; kein qasb-Gesamtwert.