Zum Inhalt springen

Geprüfte Ausgabe · qasb-Bericht 10/2026 · Themenbericht · Produkte

KI-Produkte: wiederkehrende Grenzen im Test

Knapp ein Fünftel der US-Erwachsenen gab im August 2026 fast tägliche KI-Nutzung an. In Tests stoßen KI-Modelle aber an wiederkehrende Grenzen: wenn Belege fehlen, außerhalb des Englischen und bei langen Agentenaufgaben.

Veröffentlicht
27. Oktober 2026 · Stand 26. Oktober
Lesezeit
10 Min.
Herausgeber
qasb Research
Methodik
qasb Methodik v1

Kernbefunde

  1. −5,6 Punktein der Lösungsquote bei Folgeaufgaben im Test, wenn Coding-Systeme auf eigenen statt auf Entwickler-Patches aufbauten.1Evidenztyp: beobachtet
  2. 54,4 %der Performance-Pull-Requests autonomer Coding-Agenten auf GitHub wurden übernommen, bei menschlichen 73,3 %.2Evidenztyp: beobachtet
  3. 77,9 %der Antworten des stärksten getesteten Modells übernahmen eine klinische Leitlinienänderung voll, 98,0 % erkannten sie.3Evidenztyp: beobachtet
  4. 45,0 %der Rheuma-Chatbot-Antworten waren voll leitliniengestützt, laut KI-Bewertung, die schwach mit Ärzten übereinstimmte.4Evidenztyp: beobachtet

1.0Zusammenfassung

Die Oktober-Belege zeigen vor allem, wo KI-Produkte im Test an Grenzen stoßen, kaum aber, wie sie im Realbetrieb wirken. Sie stammen meist aus Systemkarten der Hersteller, unabhängigen Benchmarks und Preprints. Alle Ergebnisse gelten nur für die getesteten Versionen, Aufgaben und Sprachen.

  • Laut zwei US-Befragungen nutzten 18,7 % der Erwachsenen im August 2026 an 6 oder 7 Tagen der Vorwoche KI-Dienste, im März 8,2 %. Die Frage wurde dazwischen geändert.
  • Im Benchmark KNOWS löste der beste Agent nur 2,7 % langer Browser-Aufgaben vollständig. In einem Coding-Benchmark lösten Systeme Folgeaufgaben auf eigenen Änderungen seltener.
  • Ohne richtige Option wählten Modelle im US-Rechtstest oft eine falsche statt keine. Im Medizintest waren alle vier Modelle auf Englisch genauer als in sechs anderen Sprachen.
  • Hersteller melden selbst Rückschritte, nachträgliche Korrekturen und nicht ausschließbare Risikoschwellen. Diese Selbstevaluationen zeigen keine Häufigkeit im Realbetrieb.

2.0Ausgangslage: mehr Nutzung, mehr Aufwand

Drei Quellen zeigen, wie verbreitet KI-Dienste sind und welchen Aufwand ihr Einsatz mit sich bringt: zwei US-Befragungen eines Online-Panels, eine Auswertung von OpenAI-Eigenangaben zur Coding-Agenten-Nutzung seiner Forscher und Energiemessungen an offenen Modellen. Sie messen Umfang und Aufwand, nicht Nutzen. Die Dollarwerte beruhen auf Listenpreisen statt internen Kosten.

Abbildung 1

KI-Nutzung von US-Erwachsenen in der Vorwoche

Anteil der US-Erwachsenen, Befragungen im März und August 2026

Zwei unabhängige Stichproben eines Online-Panels. Frage und Liste der Dienste wurden zwischen den Wellen geändert, der Vergleich ist nur näherungsweise. Selbstauskunft, nur USA, keine Aussage über Dauer, Zweck oder Nutzen.Evidenztyp: beobachtet · Quellen 11

Der Anteil der US-Erwachsenen, die in der Vorwoche an 6 oder 7 Tagen KI-Dienste nutzten, stieg laut zwei Epoch-AI-Befragungen im Ipsos KnowledgePanel von 8,2 % (März 2026) auf 18,7 % (August 2026); irgendeine KI-Nutzung in der Vorwoche gaben 50,0 % beziehungsweise 56,4 % an.11A1

Nach einer Auswertung von Epoch AI auf Basis von OpenAI-Eigenangaben stieg die tägliche Coding-Agenten-Nutzung des mittleren OpenAI-Forschers, bewertet zu API-Listenpreisen, von unter 1 US-Dollar im Januar 2026 auf 601 US-Dollar Mitte August 2026; beim 90. Perzentil waren es über 7.000 US-Dollar pro Tag.20A2

Weitere Befunde

  • In Messungen an 86 offenen Sprachmodellen erhöhte der Denkmodus den GPU-Energiebedarf im Mittel etwa um das 3,7-Fache.17A3

3.0Agenten: lange Aufgaben kaum vollständig gelöst

Vier Preprints prüfen, wie oft Agenten lange Aufgaben vollständig lösen, wie Coding-Agenten auf eigener Arbeit aufbauen, wie oft ihre Performance-Änderungen übernommen werden und wie stark Ergebnisse bei Wiederholungen streuen. In einem Benchmark mit langen Browser-Aufgaben bestand der beste Agent die meisten ausgewerteten Prüfschritte, doch schon Fehler bei visuellen Schritten machten Ergebnisse unbrauchbar.

Im Benchmark KNOWS mit 110 langen Browser-Aufgaben, an deren Ende ein Dokument, eine Präsentation oder eine Tabelle stehen soll, schloss der beste getestete Agent, der KI-Browser Perplexity Comet, nur 2,7 % der Aufgaben vollständig ab; ChatGPT Atlas sowie GPT-5.5, Claude Opus 4.7 und DeepSeek V4 Pro in einer offenen Agentenumgebung schlossen keine Aufgabe vollständig ab.19A4

Im Benchmark SWE-Maintain lösten fünf Coding-Systeme mit zwei Basismodellen Folgeaufgaben um 5,6 Prozentpunkte seltener, wenn sie auf ihren eigenen früheren Änderungen statt auf den Patches der Entwickler aufbauten; mussten zusätzlich alle früheren Tests bestehen, sank die Erfolgsquote von 33,6 % auf 19,6 %.1A5

Der beste getestete Agent, der KI-Browser Perplexity Comet, schloss nur 2,7 % der langen Browser-Aufgaben vollständig ab.

In öffentlichen GitHub-Projekten wurden Performance-Pull-Requests autonomer Coding-Agenten seltener übernommen als vergleichbare von Menschen (54,4 % gegenüber 73,3 %); in beiden Gruppen nannte etwa die Hälfte der Pull Requests mit Validierungsangaben keine quantitative Leistungskennzahl.2A6

Weitere Befunde

  • In einem Agenten-Benchmark ging etwa 54 % der Ergebnisvarianz ernsthafter Versuche auf die Wiederholung derselben Konfiguration zurück.6A7

4.0Antworten: schwächer ohne Belege und jenseits des Englischen

Vier Studien prüfen, wie Modelle mit fehlenden Belegen umgehen, wie genau sie Fakten prüfen und wie stark Sprache und Fehler in Eingaben ihre Antworten verändern. Alle sind Preprints und messen im Test, nicht im Arbeitsalltag.

Fehlte unter den Antwortoptionen die zutreffende Kernaussage (Holding) einer zitierten US-Gerichtsentscheidung, wählten sechs generative Sprachmodelle in einem erweiterten CaseHOLD-Test dennoch in 37,8 % (Gemini 3.8 Flash) bis 85,6 % (GPT-4o-mini) der Fälle eine falsche Option, statt anzugeben, dass keine zutrifft.12A8

Bei 1.089 identischen medizinischen Prüfungsfragen war die Genauigkeit aller vier getesteten Entscheidungsmodelle in jeder der sechs anderen Sprachfassungen niedriger als auf Englisch; am stärksten fiel sie auf Yoruba, um 20,1 bis 39,4 Prozentpunkte (bei Clef-flash von 0,93 auf 0,54).13A9

Fehlte die zutreffende Kernaussage, wählten sechs Sprachmodelle in 37,8 % bis 85,6 % der Fälle eine falsche Option, statt anzugeben, dass keine zutrifft.

Weitere Befunde

  • In einem japanischen Benchmark prüften alle sechs Modelle Hauptaussagen weniger genau als Nebenaussagen, signifikant nur bei drei.21A10
  • Typische Grammatikfehler von Nicht-Muttersprachlern verstärkten bei fünf älteren offenen Modellen den Bias, am deutlichsten beim Geschlecht.16A11

5.0Medizin: Leitlinien, Bilder, Zulassung

In der Medizin reichen die Belege von Benchmarks über eine bundesweite Feldauswertung bis zu Zulassungszahlen und Regulierungsplänen. In den Tests übernahmen Modelle bereitgestellte Evidenz nicht immer vollständig, zwei offene Bildmodelle antworteten mit Bild nicht besser, und Mehragentensysteme verbesserten in einer Studie meist das Aufgabenergebnis, ohne Halluzinationen in Begründungen regelhaft zu senken.

Abbildung 2

Bildfragen mit und ohne Bild

Richtig beantwortete Bildfragen der spanischen Facharzt-Zugangsprüfung MIR, zwei offene Bild-Sprach-Modelle

Dieselben 171 Fragen. Bei Gemma-3-27B betrug die Differenz zugehöriges Bild minus kein Bild −1,8 Prozentpunkte (95 %-KI −7,0 bis +2,9), also kein klarer Unterschied. Mehr als die Hälfte der Bildfragen war schon aus dem Text lösbar. Preprint, Prüfungsfragen statt klinischer Fälle.Evidenztyp: beobachtet · Quellen 18

Im Benchmark ChronoEvo erkannten alle 14 getesteten Sprachmodelle Änderungen klinischer Leitlinien häufiger, als sie diese vollständig in ihre Empfehlung übernahmen; auch GPT-5.6 Sol, laut Studie das stärkste getestete Modell, erkannte die Änderung in 98,0 % der Antworten, übernahm sie aber nur in 77,9 % vollständig.3A12

In einer bundesweiten Feldauswertung leitliniengestützter Rheuma-Chatbots (GPT-4o mit Retrieval) stufte eine automatisierte LLM-Bewertung 79,1 % der Antworten als vollständig korrekt, aber nur 45,0 % als vollständig durch die abgerufenen Leitlinienpassagen gedeckt ein; Nutzer bewerteten 92,9 % der 2.671 bewerteten Antworten positiv.4A13

Zwei offene Bild-Sprach-Modelle lösten 171 Bildfragen der spanischen Facharzt-Zugangsprüfung MIR mit dem zugehörigen Bild nicht besser als ohne Bild oder mit dem Bild einer anderen Frage (Gemma-3-27B: 67,8 %, 69,6 % und 67,3 % richtig; MedGemma-27B: 62,6 %, 64,9 % und 63,2 %).18A14

Weitere Befunde

  • Von 36 Vergleichen waren 12 auflösbar: Mehragentensysteme halluzinierten in Begründungen in 8 öfter, in 4 seltener als ein Einzelmodell.22A15
  • Die FDA gibt an, bis September 2026 mehr als 1.600 KI-fähige Medizinprodukte für den US-Markt zugelassen zu haben.23A16
  • Die britische Regierung nahm alle 44 Empfehlungen zur KI-Regulierung im Gesundheitswesen an, Details sollen meist bis Frühjahr 2027 folgen.14A17

6.0Sicherheit: Herstellerangaben und Aufsicht

Die meisten Sicherheitsangaben dieses Kapitels stammen von den Herstellern selbst, aus System- und Modellkarten. Hinzu kommen eine Modellschätzung von Epoch AI zu Cyber-Fähigkeiten offener Modelle und ein Bericht der irischen Datenschutzaufsicht. Belege zu Maßnahmen von Verbraucherschutzbehörden sowie zu Finanz- und Kundenservice-Produkten fehlen weitgehend.

Abbildung 3

Aufsichtsfälle der irischen DPC zu generativer KI

Fälle pro Jahr, 2023 bis 2025

Gezählt sind Aufsichtskontakte nach interner Statistik der Behörde, kein Maß für Verstöße oder Schäden. Die meisten Fälle endeten mit Empfehlungen. Datenschutzaufsicht, keine Produktsicherheits- oder Verbraucherschutzaufsicht.Evidenztyp: beobachtet · Quellen 15

Laut OpenAIs Systemkarte vom 15.10.2026 schnitt das Sprachmodell GPT-Live-1.1, Standard-Sprachmodell für Plus- und höhere Tarife, in synthetischen Sicherheitstests statistisch signifikant schlechter ab als sein Vorgänger GPT-Live-1, und zwar in den Kategorien sexuelle Inhalte, psychische Gesundheit, emotionale Abhängigkeit und drastische Gewaltdarstellung.8A18

Google DeepMind kann laut eigener Modellkarte vom 13.10.2026 nicht ausschließen, dass Gemini 4 Argon die kritischen Fähigkeitsschwellen für biologische Informationsrisiken und für Cyberangriffe erreicht; das Modell wurde mit Schutzmaßnahmen ausgeliefert, die das Risiko nach Herstellerangabe unter diese Schwellen senken. In internen Tests zu Tarnung und Situationsbewusstsein bestand es 14 von 15 Aufgaben.7A19

Meta korrigierte am 23.10.2026, elf Tage nach der Veröffentlichung von Muse Wonder (12.10.2026), in seiner Modellkarte ein Cyber-Ergebnis: Nach Behebung eines Fehlers im Testaufbau erbeutete Muse Wonder Full im Benchmark ExploitGym 20 vorgesehene Flags statt der zuvor gemeldeten 92 Flags insgesamt, davon 21 vorgesehene.9A20

Die irische Datenschutzbehörde DPC, federführende EU-Aufsicht für viele große Technologiekonzerne, befasste sich 2021 bis 2025 mit rund 180 KI-Produkten und -Diensten vor und nach deren Markteinführung; die Aufsichtsfälle zu generativer KI stiegen von 25 (2023) über 36 (2024) auf 82 (2025).15A21

Weitere Befunde

  • In OpenAIs eigener Evaluation umging GPT-6 Sol (Oktober-Version) Sperren in 28 % der Durchläufe, GPT-5.6 Sol (August-Version) in 34 %.5A22
  • Epoch AI schätzt, das beste offene Modell stehe bei Cyber-Fähigkeiten etwa dort, wo geschlossene Spitzenmodelle vor 6 bis 7 Monaten standen.10A23

7.0Evidenzlage

Nicht jede Aussage dieses Berichts ist gleich gut belegt. Die Tabelle zeigt die zentralen Aussagen mit Evidenztyp, KI-Bezug und Quellen.

AussageEvidenztypKI-BezugQuellen
Fast tägliche KI-Nutzung von US-Erwachsenen stieg von 8,2 % auf 18,7 %beobachtetnicht ausgewiesen11
Bester Agent schloss nur 2,7 % von 110 langen Browser-Aufgaben vollständig abbeobachtetnicht ausgewiesen19
−5,6 Punkte in der Lösungsquote bei Folgeaufgaben im Test, wenn Coding-Systeme auf eigenen statt auf Entwickler-Patches aufbautenbeobachtetnicht ausgewiesen1
54,4 % der Performance-Pull-Requests autonomer Coding-Agenten auf GitHub wurden übernommen, bei menschlichen 73,3 %beobachtetnicht ausgewiesen2
Ohne zutreffende Option wählten Sprachmodelle in 37,8 bis 85,6 % eine falschebeobachtetnicht ausgewiesen12
77,9 % der Antworten des stärksten getesteten Modells übernahmen eine klinische Leitlinienänderung voll, 98,0 % erkannten siebeobachtetnicht ausgewiesen3
45,0 % der Rheuma-Chatbot-Antworten waren voll leitliniengestützt, laut KI-Bewertung, die schwach mit Ärzten übereinstimmtebeobachtetnicht ausgewiesen4
GPT-Live-1.1 schnitt in Sicherheitstests schlechter ab als sein Vorgängerbeobachtetnicht ausgewiesen8

Die 23 geprüften Aussagen aus 23 Originalquellen verteilen sich auf die Kapitel 2.0 (3), 3.0 (4), 4.0 (4), 5.0 (6) und 6.0 (6); davon 22 beobachtet, 1 modellgeschätzt. „Nicht ausgewiesen“: Die Ausgabe bewertet den KI-Bezug dieser Aussagen nicht gesondert. Geltungsbereich und Grenzen jeder Aussage stehen im Anhang (A1 bis A23).

Originalquellen geprüft am 26. Oktober 2026.

8.0Was Organisationen jetzt tun können

  1. Agenten an vollständig gelösten Aufgaben und über mehrere Läufe messen: In einem Benchmark ging etwa 54 % der Ergebnisvarianz ernsthafter Lösungsversuche auf die bloße Wiederholung derselben Konfiguration zurück.
  2. Agenten-Änderungen erst übernehmen, wenn alle früheren Tests bestehen: Im Python-Benchmark SWE-Maintain (Preprint) lag der Nachteil beim Aufbau auf eigenen Änderungen laut Autoren vor allem in liegengebliebenen Testfehlern, nicht in schwerer wartbarem Code.
  3. In der eigenen Sprache und mit fehlerhaften Eingaben testen: Vier Entscheidungsmodelle lösten medizinische Prüfungsfragen in allen sechs anderen Sprachfassungen schlechter als auf Englisch, Lernerfehler verstärkten bei fünf älteren offenen Modellen den Bias.
  4. Herstellerangaben prüfen: System- und Modellkarten mit unabhängigen Messungen abgleichen. Meta korrigierte ein Cyber-Ergebnis elf Tage nach der Modellveröffentlichung, und Selbstevaluationen zeigen keine Häufigkeit im Realbetrieb.

9.0Methodik und Grenzen

Berichtszeitraum: 1. Oktober 2026 bis zum Datenstand 26. Oktober 2026 um 13:00 Uhr MEZ (Berliner Zeit). Dieser Themenbericht erscheint vor Monatsende; Quellen, die danach erscheinen, folgen in der nächsten Ausgabe der Reihe. Zusammenstellung: 27. Oktober 2026 um 00:23 Uhr MEZ. Diese Ausgabe ist die erste Bestandsaufnahme. Die Quellen stammen aus unterschiedlichen Jahren; ihr Erscheinungsdatum ist kein Ereignis des Berichtsmonats. Es gibt keinen gemessenen Vergleich zu einer früheren Ausgabe.

Grundlage sind ausschließlich geprüfte öffentliche Originalquellen. Kundenunterhaltungen, private Akten und personenbezogene Kundenbewertungen sind keine Eingaben. Beobachtet, modellgeschätzt, Szenario und offen beschreiben die jeweilige Evidenz. Quellenwerte behalten ihre eigene Einheit und Vergleichsbasis; sie werden nicht zu einem Gesamtwert zusammengezogen.

Redaktionelle Freigabe: qasb-Redaktion · Freigabe: 27. Oktober 2026 um 00:25 Uhr MEZ. Die redaktionelle Darstellung ordnet die geprüften Aussagen und enthält keine Zahl, die nicht in ihnen steht. Freigabe der Darstellung: qasb-Redaktion · 27. Oktober 2026 um 14:27 Uhr MEZ.

Grenzen

  • Dieser Themenbericht umfasst einen Themenbereich: „Produkte“. Er ist keine vollständige Erhebung aller Studien oder Vorfälle.
  • Ein enger Studienbefund ist keine Prognose für einen bestimmten Kunden, Beruf oder Sicherheitssystem.
  • Eine fehlende qualifizierte Aussage belegt keine fehlende Wirkung; Abruflücken werden gesondert ausgewiesen.
  • Dieser Bericht enthält keine illustrative Messreihe und keine erfundene Confidence-Einstufung.

10.0Quellen

  1. 1Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder?R. Pan, J. Zhang, L. Wu, Y. Zhang, H. Zhang, L. Zhang (Peking University et al.), arXiv:2610.14768v110. Oktober 2026arxiv.org/abs/2610.14768v1
  2. 2How Do Coding Agents Optimize Software and Report Performance Validation? A Large-Scale Empirical Study of Open-Source Pull RequestsH. Peng, R. Calvo, K. G. Kalu, J. C. Davis (Purdue University), arXiv:2610.03969v12. Oktober 2026arxiv.org/abs/2610.03969v1
  3. 3Large language models show systematic failures in incorporating evolving medical knowledgeM. Zeng, Z. Zhan, K. Yu, R. Zhang (University of Minnesota), arXiv:2610.30631v122. Oktober 2026arxiv.org/abs/2610.30631v1
  4. 4Development and Nationwide Multicentre Evaluation of Guideline-Grounded Large Language Model Chatbots to Support Patient Self-Management and Education in RheumatologyT. Wilhelmi, J. Knitza et al., Journal of Medical Systems (Springer Nature)5. Oktober 2026doi.org/10.1007/s10916-026-02470-6
  5. 5GPT-6 Sol and GPT-6 Luna: October 2026 update (system card)OpenAI7. Oktober 2026deploymentsafety.openai.com/gpt-6-october
  6. 6Agents Are Systems, Not Models: Rethinking Agentic EvaluationL. Wiedmann, L. Girrbach, C. Schmid, Z. Akata (TU München, Helmholtz Munich, Inria), arXiv:2610.01618v11. Oktober 2026arxiv.org/abs/2610.01618v1
  7. 7Gemini 4 Argon — Model CardGoogle DeepMind13. Oktober 2026deepmind.google/models/model-cards/gemini-4-argon/
  8. 8GPT-Live-1.1 system cardOpenAI (Deployment Safety Hub)15. Oktober 2026deploymentsafety.openai.com/gpt-live-1-1
  9. 9Muse Wonder Model CardMeta Platforms, Inc.12. Oktober 2026research.meta.ai/static/muse-wonder-model-card
  10. 10Open-weight models trail closed models in cyber capabilities by 6–7 monthsJ. Lee, A. Barry (Epoch AI), Data Insight16. Oktober 2026epoch.ai/data-insights/open-closed-cyber-eci-gap
  11. 11Near-daily AI use among US adults has more than doubled in six monthsA. Das, C. Falkman Olsson, Y. Edelman (Epoch AI), Data Insight; Befragung über Ipsos KnowledgePanel14. September 2026epoch.ai/data-insights/near-daily-ai-use-doubled
  12. 12Commit or Abstain? System One Decision Models, LLMs, and Missing Legal AuthorityM. M. Demir (University at Albany, SUNY), arXiv:2610.29961v121. Oktober 2026arxiv.org/abs/2610.29961v1
  13. 13The Value of System 1 Models in MedicineX. Yang, K. Vrettos u. a., M. E. Klontzas, K. Bressem (TU München, Universität Kreta, Karolinska Institutet, Universitätsklinikum Essen), arXiv:2610.31315v222. Oktober 2026arxiv.org/abs/2610.31315v2
  14. 14National Commission into the Regulation of AI in Healthcare: Government Response to the National Commission’s recommendationsMedicines and Healthcare products Regulatory Agency (MHRA), UK Government6. Oktober 2026www.gov.uk/government/publications/government-response-to-the-national-commissions-recommendations-on-the-regulation-of-ai-in-healthcare
  15. 15Responsible Artificial Intelligence Innovation: Insights from the Data Protection Commission's Supervision of AI (2021–2025)Data Protection Commission (Irland)25. September 2026www.dataprotection.ie/sites/default/files/uploads/2026-09/DPC-AI-Insights-Report-AC.pdf
  16. 16Investigating the Impact of Learner Errors on Social Bias in Large Language ModelsF. Marcuzzi, M. Christoph, I. Gurevych, A. Rozovskaya (INSAIT Sofia, UKP Lab TU Darmstadt, City University of New York), arXiv:2610.29896v221. Oktober 2026arxiv.org/abs/2610.29896v2
  17. 17Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and HardwareZ. Yang, W. Armour (University of Oxford), arXiv:2610.14389v19. Oktober 2026arxiv.org/abs/2610.14389v1
  18. 18Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR ExaminationM. Fernandez-de-Retana, U. Zulaika, R. Sánchez-Corcuera, A. Bilbao-Jayo, A. Almeida (Universidad de Deusto), arXiv:2610.31586v122. Oktober 2026arxiv.org/abs/2610.31586v1
  19. 19The Hard Part Comes After Search: Benchmarking Web Agents on Synthesizing, Organizing, and Displaying KnowledgeA. Gill, M. F. Ishmam, X. Nguyen, N. Bhat, P. H. DeYoung, F. Hashemi Chaleshtori, N. Stringham, K. Marino, A. Marasović (University of Utah), arXiv:2609.30604v124. September 2026arxiv.org/abs/2609.30604v1
  20. 20Coding-agent spending by OpenAI researchers is doubling roughly every monthY. Edelman, L. Emberson (Epoch AI), Data Insight; Datengrundlage: Eigenangaben von OpenAI5. Oktober 2026epoch.ai/data-insights/openai-coding-agent-spending
  21. 21Rethinking the Evaluation of LLM Fact-CheckersA. Niwa, M. Yamada, K. Nakayama, M. Kaneko, H. Suzuki, S. Sekine (MBZUAI, Institute of Science Tokyo, NII LLMC), arXiv:2610.30504v121. Oktober 2026arxiv.org/abs/2610.30504v1
  22. 22Does Multi-Agent Collaboration Reduce Hallucination in Clinical Tasks?W. S. Jang, H. B. Joshi, H. Yu (University of Massachusetts Lowell), arXiv:2610.27027v119. Oktober 2026arxiv.org/abs/2610.27027v1
  23. 23Artificial Intelligence-Enabled Medical DevicesU.S. Food and Drug Administration (FDA), Digital Health Center of Excellence22. September 2026www.fda.gov/medical-devices/digital-health-center-excellence/artificial-intelligence-enabled-medical-devices
Autoren, Nutzungsgrundlagen und Rechtebelege
  1. 1R. Pan, J. Zhang, L. Wu, Y. Zhang, H. Zhang, L. Zhang (Peking University et al.), arXiv:2610.14768v1 · Nutzungsgrundlage: Rechte bei den Autoren; arXiv-Lizenz nur zur nicht-exklusiven Verbreitung; nur eigene Tatsachenparaphrase und Link, keine Tabellen oder Abbildungen · Rechte- und Lizenzbeleg
  2. 2H. Peng, R. Calvo, K. G. Kalu, J. C. Davis (Purdue University), arXiv:2610.03969v1 · Nutzungsgrundlage: Rechte bei den Autoren; arXiv-Lizenz nur zur nicht-exklusiven Verbreitung; nur eigene Tatsachenparaphrase und Link, keine Tabellen oder Abbildungen · Rechte- und Lizenzbeleg
  3. 3M. Zeng, Z. Zhan, K. Yu, R. Zhang (University of Minnesota), arXiv:2610.30631v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  4. 4T. Wilhelmi, J. Knitza et al., Journal of Medical Systems (Springer Nature) · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  5. 5OpenAI · Nutzungsgrundlage: Alle Rechte vorbehalten (© OpenAI); nur eigene kurze Tatsachenparaphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  6. 6L. Wiedmann, L. Girrbach, C. Schmid, Z. Akata (TU München, Helmholtz Munich, Inria), arXiv:2610.01618v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  7. 7Google DeepMind · Nutzungsgrundlage: Keine offene Lizenz angegeben; Rechte bei Google (Nutzungsbedingungen); nur eigene kurze Tatsachenparaphrase und Link, keine Tabellen oder Abbildungen · Rechte- und Lizenzbeleg
  8. 8OpenAI (Deployment Safety Hub) · Nutzungsgrundlage: Alle Rechte vorbehalten (© OpenAI); nur eigene kurze Tatsachenparaphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  9. 9Meta Platforms, Inc. · Nutzungsgrundlage: Keine Lizenzangabe im Dokument; Rechte bei Meta Platforms; nur eigene kurze Tatsachenparaphrase und Link, keine Tabellen oder Abbildungen · Rechte- und Lizenzbeleg
  10. 10J. Lee, A. Barry (Epoch AI), Data Insight · Nutzungsgrundlage: CC BY 4.0 (Epoch AI, Autoren und Quelle genannt); nur eigene Paraphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  11. 11A. Das, C. Falkman Olsson, Y. Edelman (Epoch AI), Data Insight; Befragung über Ipsos KnowledgePanel · Nutzungsgrundlage: CC BY 4.0 (Epoch AI, Autoren und Quelle genannt); nur eigene Paraphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  12. 12M. M. Demir (University at Albany, SUNY), arXiv:2610.29961v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  13. 13X. Yang, K. Vrettos u. a., M. E. Klontzas, K. Bressem (TU München, Universität Kreta, Karolinska Institutet, Universitätsklinikum Essen), arXiv:2610.31315v2 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  14. 14Medicines and Healthcare products Regulatory Agency (MHRA), UK Government · Nutzungsgrundlage: Open Government Licence v3.0 (© Crown copyright 2026); eigene Paraphrase und Link, keine Logos oder Drittinhalte · Rechte- und Lizenzbeleg
  15. 15Data Protection Commission (Irland) · Nutzungsgrundlage: Keine Lizenzangabe gefunden; amtliche Veröffentlichung der irischen Datenschutzbehörde; nur eigene kurze Tatsachenparaphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  16. 16F. Marcuzzi, M. Christoph, I. Gurevych, A. Rozovskaya (INSAIT Sofia, UKP Lab TU Darmstadt, City University of New York), arXiv:2610.29896v2 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  17. 17Z. Yang, W. Armour (University of Oxford), arXiv:2610.14389v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  18. 18M. Fernandez-de-Retana, U. Zulaika, R. Sánchez-Corcuera, A. Bilbao-Jayo, A. Almeida (Universidad de Deusto), arXiv:2610.31586v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  19. 19A. Gill, M. F. Ishmam, X. Nguyen, N. Bhat, P. H. DeYoung, F. Hashemi Chaleshtori, N. Stringham, K. Marino, A. Marasović (University of Utah), arXiv:2609.30604v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  20. 20Y. Edelman, L. Emberson (Epoch AI), Data Insight; Datengrundlage: Eigenangaben von OpenAI · Nutzungsgrundlage: CC BY 4.0 (Epoch AI, Autoren und Quelle genannt); nur eigene Paraphrase und Link, keine Abbildungen · Rechte- und Lizenzbeleg
  21. 21A. Niwa, M. Yamada, K. Nakayama, M. Kaneko, H. Suzuki, S. Sekine (MBZUAI, Institute of Science Tokyo, NII LLMC), arXiv:2610.30504v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  22. 22W. S. Jang, H. B. Joshi, H. Yu (University of Massachusetts Lowell), arXiv:2610.27027v1 · Nutzungsgrundlage: CC BY 4.0; nur eigene Paraphrase und Link, keine Abbildungen oder Tabellen · Rechte- und Lizenzbeleg
  23. 23U.S. Food and Drug Administration (FDA), Digital Health Center of Excellence · Nutzungsgrundlage: Inhalte der FDA-Website laut FDA gemeinfrei, sofern nicht anders gekennzeichnet; eigene Paraphrase mit Quellenangabe und Link · Rechte- und Lizenzbeleg

Zitiervorschlag

qasb Research (2026). KI-Produkte: wiederkehrende Grenzen im Test. Themenbericht 10/2026, Datenstand 26. Oktober 2026. https://www.qasb.ai/reports/2026-10-produkte

Anhang

Zu jeder Aussage: Evidenztyp, Änderungsstatus, Geltungsbereich und Grenzen, dazu Beobachtungszeitraum, Quellenwert, Vergleich und Unsicherheit, soweit die Quelle sie angibt. Die Texte sind die freigegebenen Angaben der Ausgabe, ebenso ihre Zusammenfassung.

Geltungsbereiche und Grenzen aller 23 Aussagen (A1–A23)

Zusammenfassung der Ausgabe

Die Oktober-Belege zu KI-Produkten stammen vor allem aus Systemkarten der Hersteller, unabhängigen Benchmarks und Preprints sowie einzelnen Behördendokumenten; sie zeigen wiederkehrende Grenzen: falsche Festlegungen statt Enthaltung bei fehlenden Belegen, Leistungseinbrüche außerhalb des Englischen, kaum vollständig gelöste lange Agentenaufgaben, ungenutzte Bildeingaben sowie vom Hersteller selbst gemeldete Rückschritte, nachträgliche Korrekturen und nicht ausschließbare Risikoschwellen. Nutzung und Aufwand wachsen messbar (fast tägliche KI-Nutzung bei knapp einem Fünftel der US-Erwachsenen, rasch steigende Coding-Agenten-Ausgaben in einem Unternehmen), während unabhängige Feldmessungen im Realbetrieb, Belege zu Finanz- und Kundenservice-Produkten und Maßnahmen von Verbraucherschutzbehörden weitgehend fehlen. Alle Ergebnisse gelten nur für die getesteten Versionen, Aufgaben und Sprachen.

  1. A1Zurück zu Kapitel 2.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 11

    Geltungsbereich
    Zwei unabhängige Stichproben aus einem wahrscheinlichkeitsbasierten Online-Panel: 3. bis 5. März 2026 (n = 2.017) und 28. bis 30. August 2026 (n = 1.016), gewichtet auf US-Erwachsene ab 18 Jahren; gefragt wurde nach der Nutzung von KI-Diensten in der Vorwoche.
    Grenzen
    Die Frage nach der Nutzungshäufigkeit und die Liste der Dienste wurden zwischen den Wellen geändert (August: Maximum über einzelne Dienste), der Vergleich ist daher nur näherungsweise. Selbstauskunft mit möglicher Antwort- und Erinnerungsverzerrung; nur USA; keine Aussage über Dauer, Zweck oder Nutzen der Nutzung.
    Beobachtungszeitraum
    3. bis 5. März 2026 und 28. bis 30. August 2026; Veröffentlichung am 14.09.2026
    Quellenwert
    18,7 % der US-Erwachsenen mit KI-Nutzung an 6 bis 7 Tagen der Vorwoche (August 2026)
    Vergleichsbasis
    8,2 % im März 2026 (90 %-KI 7,2 bis 9,3)
    Vergleich
    Zwei unabhängige gewichtete Stichproben mit geänderter Frageformulierung
    Unsicherheit
    90 %-KI 16,7 bis 20,8 (Wilson-Intervall auf Basis der effektiven Stichprobengröße nach Kish)

  2. A2Zurück zu Kapitel 2.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 20

    Geltungsbereich
    Wöchentliche Perzentilreihen aus den ersten beiden Grafiken des OpenAI-Beitrags „Research acceleration: The view inside OpenAI“, laut OpenAI bewertet zu öffentlichen API-Listenpreisen vom 03.09.2026; „Forscher“ umfasst die gesamte Forschungsorganisation einschließlich Infrastruktur- und Projektpersonal; erfasst sind nur interaktive Produktoberflächen. Exponentielle Anpassungen ergeben eine Verdopplungszeit von etwa einem Monat.
    Grenzen
    Selbstauskunft von OpenAI, nicht unabhängig überprüfbar (Interessenkonflikt); Listenpreise entsprechen nicht den internen Kosten; Querschnittsperzentile mit wechselnder Zusammensetzung; frühe Werte mischen Verbreitung und Intensität. Kein Maß für Produktivität oder Codequalität; ein einzelnes Unternehmen.
    Beobachtungszeitraum
    Januar bis Mitte August 2026 (Datenstand 15.09.2026); Veröffentlichung am 05.10.2026
    Quellenwert
    601 US-Dollar pro Tag, Median der Forscher, Coding-Agenten-Nutzung zu API-Listenpreisen (Mitte August 2026)
    Vergleichsbasis
    unter 1 US-Dollar im Januar 2026
    Vergleich
    90. Perzentil über 7.000 US-Dollar pro Tag; Verdopplungszeit laut Anpassung etwa ein Monat
    Unsicherheit
    Intervalle nur für die Wachstumsraten angegeben; Ausgangsdaten nicht unabhängig prüfbar

  3. A3Zurück zu Kapitel 2.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 17

    Geltungsbereich
    86 Checkpoints aus elf Modellfamilien (veröffentlicht Juli 2024 bis August 2026) in 134 Konfigurationen, sieben Benchmarks und sechs Hardwareplattformen von einer Consumer-GPU bis zu einem Server mit acht H100; gemessen wurde die GPU-Energie im voll ausgelasteten Betrieb mit vLLM. Nur 21 von 82 Konfigurationen lagen auf einer Pareto-Front; Beispiel: Granite-4.2-30b mit Denkmodus erzielte 77,6 Punkte bei 1.307 Wh, Gemma-4-26B-A4B ohne Denkmodus 79,5 Punkte bei 49 Wh.
    Grenzen
    Preprint; nur GPU-Energie (ohne CPU, Kühlung und Netzteilverluste); nur offene Modelle in einem standardisierten Betriebsmodus; keine Aussage über geschlossene Produkte oder Preise. Die Benchmarks bilden reale Nutzung nur teilweise ab.
    Beobachtungszeitraum
    Messungen vor der Veröffentlichung am 09.10.2026 (Zeitraum nicht angegeben)
    Quellenwert
    3,7 Faktor des GPU-Energiebedarfs mit gegenüber ohne Denkmodus (Mittel über 44 gepaarte Konfigurationen)
    Vergleichsbasis
    Dieselben Modelle ohne Denkmodus
    Vergleich
    Gepaarte hybride Konfigurationen auf denselben Benchmarks und derselben Hardware
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle für diesen Mittelwert

  4. A4Zurück zu Kapitel 3.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 19

    Geltungsbereich
    University of Utah; 110 Aufgaben (25 Dokumente, 40 Präsentationen, 45 Tabellen) in Google Workspace auf dem Live-Web, geprüft über 2.716 Einzelschritte; getestet wurden zwei kommerzielle KI-Browser (ChatGPT Atlas, Perplexity Comet mit Claude Opus 4.7) und drei Modelle im BrowserGym-Harness.
    Grenzen
    Preprint, laut Autoren für Findings of EMNLP 2026 angenommen; der Aufbau des Benchmarks wurde laut Danksagung von Google finanziert, Anthropic und OpenAI stellten API-Guthaben bereit (Anbieter getesteter Produkte); keine kontrollierte menschliche Vergleichsgruppe; Live-Web-Aufgaben verändern sich mit der Zeit; ältere Modellversionen. Teilerfolge lagen höher (Comet bestand 68,0 % der 2.508 ausgewerteten Prüfschritte ohne Webseitenbesuche), doch schon Fehler bei visuellen Schritten machten Ergebnisse unbrauchbar; bei Dokument-Aufgaben erreichte Comet 12,0 % vollständige Erfolge.
    Beobachtungszeitraum
    Läufe vor der Veröffentlichung am 24.09.2026 (Zeitraum nicht angegeben)
    Quellenwert
    2,7 % vollständig gelöste Aufgaben (Perplexity Comet, alle 110 Aufgaben)
    Vergleichsbasis
    0 % bei ChatGPT Atlas und den drei Modellen im BrowserGym-Harness
    Vergleich
    Dieselben 110 Aufgaben; vollständiger Erfolg nur, wenn alle Prüfschritte bestanden sind
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle

  5. A5Zurück zu Kapitel 3.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 1

    Geltungsbereich
    100 Wartungsepisoden mit je drei Aufgaben aus 50 realen Python-Repositorien, 1.996 gepaarte Folgeaufgaben mit versteckten, zertifizierten Tests; Systeme Mini-SWE-Agent, Agentless, SE-Agent, OpenHands und Claude Code, jeweils mit GPT-5.6-Luna und DeepSeek-V4-Flash-0731.
    Grenzen
    Preprint ohne Peer-Review; nur Python, drei Aufgaben je Episode, kein Aufbau auf fremder oder gemischter Mensch-Agent-Historie. Der Nachteil verschwand, wenn die übernommene Codebasis alle früheren Tests bestand und die nächste Aufgabe nicht schon gelöst war (+2,7 Punkte, 95 %-KI −0,5 bis +6,1): Die Folgekosten liegen laut Autoren vor allem in liegengebliebenen Testfehlern, nicht in schwerer wartbarem Code.
    Beobachtungszeitraum
    Experimente vor der Veröffentlichung am 10.10.2026 (Laufzeitraum nicht angegeben)
    Quellenwert
    -5,6 Prozentpunkte Lösungsquote bei Folgeaufgaben (eigene Historie minus Entwickler-Historie)
    Vergleichsbasis
    Start von den Patches der Entwickler (wie bei SWE-bench)
    Vergleich
    Gepaarter Vergleich derselben Aufgaben, Agenten und Tests über 1.996 Folgeaufgaben
    Unsicherheit
    95 %-KI −7,2 bis −4,1 Prozentpunkte (nach Repository geclusterter Bootstrap)

  6. A6Zurück zu Kapitel 3.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 2

    Geltungsbereich
    Je 1.130 agentische und menschliche Performance-Pull-Requests, nach Einreichungswoche ausbalanciert, aus Repositorien mit mindestens 100 Sternen, eingereicht vom 24.12.2024 bis 01.06.2026; Agenten: GitHub Copilot (458), OpenAI Codex (392), Cursor (160), Devin (65), Claude Code (55).
    Grenzen
    Beobachtungsstudie ohne Kausalnachweis; Merge-Status zum Stand des Datensatzes, nicht endgültig; Validierung nur als dokumentierte Angabe erfasst, nicht nachgemessen; Auswahl teils durch ein automatisches Klassifikationsmodell (gpt-5.6-luna). Gilt nicht für menschlich gesteuerte KI-Unterstützung, andere Repositorien oder spätere Agentenversionen; Preprint.
    Beobachtungszeitraum
    Pull Requests vom 24.12.2024 bis 01.06.2026; Merge-Status zum Archivstand des Datensatzes
    Quellenwert
    54,4 % der agentischen Performance-Pull-Requests übernommen (Merge)
    Vergleichsbasis
    73,3 % bei menschlichen Performance-Pull-Requests
    Vergleich
    Chi-Quadrat-Test (q < 0,001), Effektstärke Cramérs V = 0,195
    Unsicherheit
    Keine Konfidenzintervalle angegeben; nur Signifikanztest und Effektstärke

  7. A7Zurück zu Kapitel 3.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 6

    Geltungsbereich
    Coding-Agent mit Qwen3.5-Modellen (35B, 122B, 397B; FP8) soll veröffentlichte Spezialmodelle aus Astrophysik und Genomik finden und anwenden; 432 Konfigurationen mit je fünf Wiederholungen pro Aufgabe (8.640 Läufe). Bei einer Aufgabe griffen 99,8 % der Läufe auf ein schwächeres Spezialmodell zurück, statt selbst zu antworten.
    Grenzen
    Preprint; nur vier Aufgaben aus zwei Fachgebieten und eine Modellfamilie; Speicher und Multi-Agenten-Koordination nicht variiert. Die Varianzangabe bezieht sich auf drei Aufgaben mit definierter Zielgröße; keine Aussage über kommerzielle Agentenprodukte.
    Beobachtungszeitraum
    Läufe vor der Veröffentlichung am 01.10.2026 (Zeitraum nicht angegeben)
    Quellenwert
    54 % der Ergebnisvarianz (Lauf-zu-Lauf-Schwankung, gerundet)
    Vergleichsbasis
    Varianzanteil, der auf Unterschiede zwischen Konfigurationen entfällt
    Vergleich
    Varianzzerlegung über 432 Konfigurationen mit je fünf Läufen
    Unsicherheit
    Keine Unsicherheitsangabe zur Varianzquote; die Konfidenzintervalle einzelner Konfigurationsmittel bleiben laut Autoren auch bei fünf Läufen breit

  8. A8Zurück zu Kapitel 4.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 12

    Geltungsbereich
    5.314 Testaufgaben aus CaseHOLD (US-Fallrecht, Entscheidungen vor 2021); in 1.670 davon wurde die richtige Kernaussage gegen eine ähnliche aus einem anderen Fall ausgetauscht und die Option „keine trifft zu“ ergänzt. Getestet wurden sechs generative Modelle (Gemini 3.8 Flash, Claude Haiku 5.5, GPT-6 Luna, Mistral Small 2603, GLM 5.3 Flash, GPT-4o-mini) und vier Entscheidungsmodelle mit Wahrscheinlichkeitsausgabe in Versionen vom Oktober 2026; die Entscheidungsmodelle wählten in 30,1 % bis 60,8 % falsch.
    Grenzen
    Preprint eines Einzelautors, der Entscheidungsmodelle als günstiges Prüfwerkzeug empfiehlt; ein Prompt je Modelltyp bei niedrigster Reasoning-Stufe; nur eine konstruierte Form fehlender Belege (keine aufgehobenen oder erfundenen Entscheidungen); nur US-Recht auf Englisch; mögliche Trainingsdatenkontamination nur indirekt geprüft. Keine Messung in realen Kanzlei- oder Gerichtsabläufen. Das Preprint enthält keine Angaben zu Finanzierung oder Interessenkonflikten.
    Beobachtungszeitraum
    Modellversionen vom Oktober 2026; Veröffentlichung am 21.10.2026
    Quellenwert
    37,8 % falsch gewählte Kernaussagen bei fehlender richtiger Option (Gemini 3.8 Flash, niedrigster Wert der generativen Modelle)
    Vergleichsbasis
    85,6 % bei GPT-4o-mini (höchster Wert)
    Vergleich
    Dieselben 1.670 Aufgaben ohne richtige Option; Entscheidungsmodelle 30,1 % bis 60,8 %
    Unsicherheit
    95 %-KI 35,5 bis 40,1 % (Gemini 3.8 Flash)

  9. A9Zurück zu Kapitel 4.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 13

    Geltungsbereich
    Querschnittsevaluation von vier Modellen, die je Antwortoption eine Wahrscheinlichkeit ausgeben (sogenannte System-1-Modelle: Clef und Clef-flash mit offenen Gewichten, GPT-6 Luna Decisions und Jev 1.14 proprietär; Versionen vom Oktober 2026), auf 86 öffentlichen Aufgaben aus 14 klinischen Bereichen in 20 Sprachen mit 179.111 Fällen; den geringsten Sprachrückgang gab es auf Deutsch.
    Grenzen
    Preprint; Null-Shot-Einsatz ohne aufgabenspezifische Prompts; öffentliche Datensätze können in Trainingsdaten enthalten sein; große generative Frontier-Modelle wurden nicht getestet. Prüfungsfragen sind keine Versorgungssituationen: Bei der Triage-Einstufung lagen Triage-Pfleger deutlich vorn (Genauigkeit 0,85 gegenüber 0,56), bei Lungenembolie im CT erreichte das beste Modell nur eine AUROC von 0,54.
    Beobachtungszeitraum
    Modellversionen vom Oktober 2026; Veröffentlichung am 22.10.2026
    Quellenwert
    39,4 Prozentpunkte geringere Genauigkeit auf Yoruba als auf Englisch (Clef-flash, größter Rückgang)
    Vergleichsbasis
    Genauigkeit auf Englisch 0,93 (auf Yoruba 0,54)
    Vergleich
    Dieselben 1.089 Prüfungsfragen; kleinster Yoruba-Rückgang 20,1 Prozentpunkte (Jev 1.14)
    Unsicherheit
    95 %-KI 36,3 bis 42,4 Prozentpunkte

  10. A10Zurück zu Kapitel 4.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 21

    Geltungsbereich
    JSFactCheckBench: 1.913 Aussagen aus Antworten von Sprachmodellen auf Fragen zu Fehlinformationen, die in japanischen sozialen Medien kursierten, annotiert nach Faktenlage zu einem Referenzzeitpunkt und nach Bedeutung für die Frage; vier offene japanische Modelle mit 8 bis 12 Milliarden Parametern sowie GPT-5.1 und Claude Sonnet 5.
    Grenzen
    Preprint; ältere kommerzielle Modellversionen; vorausgewählte Webquellen statt offener Suche; nur Japanisch. Der Abstand zwischen Haupt- und Nebenaussagen war nur bei drei der sechs Modelle statistisch signifikant.
    Beobachtungszeitraum
    Auswertung vor der Veröffentlichung am 21.10.2026 (Zeitraum nicht angegeben)

  11. A11Zurück zu Kapitel 4.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 16

    Geltungsbereich
    Kontrolliert eingefügte Lernerfehler (Artikel, Präpositionen, Verbformen, Rechtschreibung) nach Fehlerverteilungen aus Lernerkorpora, angewandt auf drei Benchmarks (WinoBias, BBQ, DE-Gen); Modelle Qwen2.5 (7B, 14B, 32B), Mistral Small 3.2 (24B) und Llama 3.1 (8B).
    Grenzen
    Preprint; nur ältere offene Modelle, keine aktuellen kommerziellen Assistenten; synthetisch erzeugte statt echter Lernertexte; nur Englisch und vier Fehlertypen; im Benchmark DE-Gen zeigte sich der Trend nur bei einem Teil der Modelle und war nur bei der höchsten Fehlerrate signifikant; dort verstärkten Fehler eine bestehende Bevorzugung einer Gruppe, keine Stereotype. Ein Feinabgleich mit fehlerhaften Texten verringerte den Effekt; ob Anbieter dies tun, ist unbekannt.
    Beobachtungszeitraum
    Experimente vor der Veröffentlichung am 21.10.2026 (Zeitraum nicht angegeben)

  12. A12Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 3

    Geltungsbereich
    1.709 Änderungen auf Empfehlungsebene aus Leitlinien-Versionsketten (12 Änderungsarten); die Modelle erhielten die frühere Empfehlung und Belege aus der aktualisierten Leitlinie; Bewertung durch GPT-5 als semantischen Prüfer, bestätigt an 300 von zwei Ärzten beurteilten Antworten; 14 offene, medizinische und proprietäre Modelle.
    Grenzen
    Preprint; automatisierte Bewertung mit möglicher modellbedingter Verzerrung; Ärztestichprobe angereichert und aus zwei chirurgischen Fachrichtungen. Getestet wurde nur die Übernahme bereitgestellter Evidenz, nicht das Auffinden der richtigen Leitlinie, die Anwendung auf einzelne Patienten oder Wirkungen in der Versorgung.
    Beobachtungszeitraum
    Auswertung vor der Veröffentlichung am 22.10.2026 (Zeitraum der Modellabfragen nicht angegeben)
    Quellenwert
    20,1 Prozentpunkte Abstand zwischen Erkennen und vollständiger Übernahme (GPT-5.6 Sol)
    Vergleichsbasis
    Erkennungsrate 98,0 %
    Vergleich
    Vollständige Übernahme 77,9 % bei denselben 1.709 Änderungen
    Unsicherheit
    95 %-KI 17,9 bis 22,4 Prozentpunkte (Cluster-Bootstrap)

  13. A13Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 4

    Geltungsbereich
    Zehn krankheitsspezifische Chatbots auf Basis deutscher Leitlinien (Azure-OpenAI-Endpunkt in Deutschland), verbreitet über 13 Rheumazentren und sechs Patientenorganisationen; 6.291 Fragen vom 02.09.2025 bis 31.01.2026; in 4,2 % der Interaktionen gaben die Chatbots an, nicht antworten zu können.
    Grenzen
    Die Qualitätswerte stammen aus einer LLM-Bewertung (gpt-oss:120b); die Übereinstimmung mit ärztlicher Bewertung der Leitlinientreue war laut Autoren schwach. Freiwillige Nutzung, nur 42,5 % der Antworten bewertet; keine klinischen Endpunkte und keine Echtzeit-Sicherheitsüberwachung. Teils stützten sich Antworten trotz Anweisung auf allgemeines Modellwissen statt auf die Leitlinien. Ein Mitautor ist beim Anbieter der genutzten Chatbot-Plattform (Zentrum für Telemedizin Bad Kissingen) angestellt.
    Beobachtungszeitraum
    02.09.2025–31.01.2026; Veröffentlichung 05.10.2026
    Quellenwert
    45 % der Antworten vollständig leitliniengestützt (automatisierte LLM-Bewertung)
    Vergleichsbasis
    79,1 % als vollständig korrekt bewertet (unabhängig von der Quelle)
    Vergleich
    Automatisierte Bewertung aller Antworten; ärztlicher Abgleich nur in Zufallsstichproben
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle; Übereinstimmung zwischen LLM- und ärztlicher Bewertung der Leitlinientreue laut Autoren schwach

  14. A14Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 18

    Geltungsbereich
    Vier offene Modelle mit 8 bis 27 Milliarden Parametern (Qwen3-8B, Qwen3-14B, Gemma-3-27B, MedGemma-27B; veröffentlicht 2025) auf 1.552 Fragen aus acht MIR-Prüfungen der Jahre 2018 bis 2025, bewertet nach den Prüfungsregeln; die Bildbedingungen wurden nur für die beiden Bildmodelle getestet. Bei 13 bis 38 % der richtigen Antworten wurde eine falsche Option mit klinisch unhaltbarer Begründung verworfen.
    Grenzen
    Preprint; ein spanischer Prompt, direkte Antworten, kleinere offene Modelle ohne Reasoning-Modus; Gemma-Modelle in 8-Bit-Präzision. Mehr als die Hälfte der Bildfragen war schon aus dem Text lösbar; die Bewertung der Begründungen durch ein Sprachmodell wurde nicht ärztlich validiert. Prüfungsfragen sind keine klinischen Fälle. Das Bild änderte 13 bis 20 % der Antworten, Gewinne und Verluste glichen sich aber aus.
    Beobachtungszeitraum
    Prüfungen 2018 bis 2025; Veröffentlichung am 22.10.2026
    Quellenwert
    67,8 % richtig beantwortete Bildfragen mit dem zugehörigen Bild (Gemma-3-27B)
    Vergleichsbasis
    69,6 % ohne Bild
    Vergleich
    67,3 % mit dem Bild einer anderen Frage; dieselben 171 Fragen
    Unsicherheit
    Differenz echtes Bild minus kein Bild −1,8 Prozentpunkte (95 %-KI −7,0 bis +2,9)

  15. A15Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 22

    Geltungsbereich
    University of Massachusetts Lowell; ein Einzelmodell und drei Mehragenten-Topologien mit GPT-5.4-mini, DeepSeek-V4.1-flash, Qwen3-32B und Llama-3.2-3B-Instruct auf MedExpQA, EHRNoteQA und einer Halluzinationserkennung in Entlassungsunterlagen (MIMIC); Halluzinationen auf Aussageebene in den generierten Begründungen bewertet.
    Grenzen
    Preprint; Bewertung durch ein Sprachmodell als Prüfer, an Stichproben gegen zwei der Autoren als menschliche Annotatoren validiert (bei logischer Inkonsistenz geringste Übereinstimmung); je Zelle ein einziger Lauf; Reasoning-Modi deaktiviert; keine Frontier-Modelle in Höchstkonfiguration.
    Beobachtungszeitraum
    Auswertung vor der Veröffentlichung am 19.10.2026 (Zeitraum nicht angegeben)
    Quellenwert
    8 von 12 statistisch auflösbaren Vergleichen mit höherer Halluzinationsrate unter Mehragenten-Zusammenarbeit
    Vergleichsbasis
    Einzelmodell desselben Modells auf derselben Aufgabe
    Vergleich
    36 Vergleiche aus Modell, System und Aufgabe; 4 mit niedrigerer Rate, 24 nicht auflösbar
    Unsicherheit
    Bootstrap-Konfidenzintervalle je Vergleich; Einzelwerte im Fließtext nicht vollständig angegeben

  16. A16Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 23

    Geltungsbereich
    Übersichtsseite der FDA zu KI-fähigen Medizinprodukten im Digital Health Center of Excellence, veröffentlicht am 22.09.2026; die Zahl ist kumuliert und umfasst Marktzulassungen über die üblichen Zulassungswege für Medizinprodukte.
    Grenzen
    Die Seite beschreibt nicht, wie gezählt wird; die zugehörige Liste wird laut FDA nur periodisch aktualisiert. Eine Marktzulassung sagt nichts über den Nutzen im Versorgungsalltag aus. Keine Angabe, wie viele Produkte generative KI oder große Sprachmodelle nutzen; nur USA.
    Beobachtungszeitraum
    Zulassungen bis September 2026; Seite veröffentlicht am 22.09.2026
    Quellenwert
    1.600 KI-fähige Medizinprodukte mit US-Marktzulassung (Untergrenze, „mehr als“)
    Vergleichsbasis
    Kumulierte Zahl laut FDA; kein Vorjahreswert auf der Seite
    Vergleich
    Keine Vergleichszahl auf der Seite
    Unsicherheit
    Keine Unsicherheitsangabe; Zählmethode auf der Seite nicht beschrieben

  17. A17Zurück zu Kapitel 5.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 14

    Geltungsbereich
    Regierungsantwort von 42 Seiten, veröffentlicht von der MHRA, die die Kommission im September 2025 eingesetzt hatte; die Regierung hält die geltende Medizinprodukteverordnung (UK MDR 2002) für KI-Produkte nicht mehr für zweckmäßig. Geplant sind unter anderem eine stärkere Überwachung nach dem Inverkehrbringen, Leitlinien für direkt an Verbraucher gerichtete Anwendungen und Wearables sowie gestufte Zulassungswege.
    Grenzen
    Absichtserklärungen und Zeitpläne, keine verabschiedeten Regeln; die meisten Details sollen bis Frühjahr 2027 folgen. Keine Daten zu Sicherheit oder Nutzen bereits eingesetzter KI-Produkte; gilt nur für das Vereinigte Königreich.
    Beobachtungszeitraum
    Regierungsantwort vom 06.10.2026; Umsetzungsfahrplan bis Frühjahr 2027 angekündigt

  18. A18Zurück zu Kapitel 6.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 8

    Geltungsbereich
    Herstellerevaluation der Vollduplex-Sprachmodelle GPT-Live-1.1 und GPT-Live-1.1 Quip (Standard für die übrigen Nutzer) mit gesprochenen Prompts; bei Prompts aus dem Produktivbetrieb fand OpenAI keine signifikanten Rückschritte, beim Respektieren von Sperren der Umgebung leichte Rückschritte beider Modelle.
    Grenzen
    Selbstevaluation des Herstellers (Interessenkonflikt); Werte nur in Abbildungen und Tabellen. Die Tests sind laut OpenAI bewusst schwierig, nicht nach Häufigkeit gewichtet und ohne systemseitige Schutzmaßnahmen wie Krisenhotlines; sie zeigen nicht, wie oft problematische Antworten im Realbetrieb vorkommen. Die Ursache der Rückschritte ist laut OpenAI noch ungeklärt.
    Beobachtungszeitraum
    Herstellerevaluation, veröffentlicht am 15.10.2026; Vergleich mit GPT-Live-1 und GPT-Live-1 mini

  19. A19Zurück zu Kapitel 6.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 7

    Geltungsbereich
    Herstellerbewertung nach Googles Frontier Safety Framework (Fassung April 2026) auf Basis interner und externer Ergebnisse, darunter Red-Teaming durch Fachleute; Gemini 4 Argon ist unter anderem in der Gemini-App, der Gemini-API und Google AI Studio verfügbar. Hilfestellung bei chemischen, radiologischen und nuklearen Risiken sowie die Schwellen für Manipulation und KI-Forschung sieht Google als nicht erreicht an.
    Grenzen
    Selbstevaluation des Herstellers (Interessenkonflikt); Methoden und Einzelergebnisse stehen in einem separaten Sicherheitsbericht, nicht in der Modellkarte. „Nicht ausschließbar“ beschreibt eine Risikoeinstufung, keinen eingetretenen Schaden; die Wirksamkeit der Schutzmaßnahmen ist nicht unabhängig belegt. Die Sicherheitswerte der Karte sind laut Google nicht mit früheren Modellkarten vergleichbar.
    Beobachtungszeitraum
    Herstellerbewertung vor der Veröffentlichung am 13.10.2026 (Testzeitraum nicht angegeben)
    Quellenwert
    14 von 15 internen Aufgaben zu Tarnung und Situationsbewusstsein bestanden
    Vergleichsbasis
    Schwelle „Stealth and Situational Awareness“ des Frontier Safety Framework
    Vergleich
    Google kann das Erreichen dieser Schwelle deshalb nicht ausschließen und setzt Schutzmaßnahmen ein
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle

  20. A20Zurück zu Kapitel 6.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 9

    Geltungsbereich
    Modellkarte zu Muse Wonder und Muse Wonder Full (angeboten über die Meta Model API), aktualisiert am 23.10.2026; Risikobewertung nach Metas Superintelligence Scaling Framework. Ohne Schutzmaßnahmen schließt Meta das Erreichen der hohen Risikoschwelle im Bereich Chemie und Biologie nicht aus; mit Schutzmaßnahmen stuft Meta alle Bereiche als moderat oder niedriger ein.
    Grenzen
    Selbstevaluation des Herstellers (Interessenkonflikt); die Korrektur betrifft einen von mehreren Cyber-Tests und ändert laut Meta die Risikoeinstufung nicht. Vergleichswerte zu Konkurrenzmodellen stammen teils aus Messungen Dritter, teils aus internen Läufen mit laut Meta möglicherweise nicht optimal abgestimmten Einstellungen.
    Beobachtungszeitraum
    Modellveröffentlichung am 12.10.2026; Korrektur am 23.10.2026
    Quellenwert
    20 vorgesehene Flags in ExploitGym (korrigierter Wert, Muse Wonder Full)
    Vergleichsbasis
    Ursprünglich gemeldet: 92 Flags insgesamt, davon 21 vorgesehene
    Vergleich
    Neuer Lauf nach Korrektur des Testaufbaus, gewertet wie auf der öffentlichen Bestenliste
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle

  21. A21Zurück zu Kapitel 6.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 15

    Geltungsbereich
    Bericht der Aufsichtsabteilung der DPC (September 2026) zu Anbietern wie Google, Meta, Microsoft, OpenAI, DeepSeek, TikTok und X; erfasst große Sprachmodelle, Altersprüfung, Gesichtserkennung, Empfehlungssysteme und Agenten; generative KI betraf 79 % der Fälle. Die Mittel reichten von Empfehlungen über die Bitte, einen Produktstart aufzuschieben, bis zu gerichtlichen Anordnungen.
    Grenzen
    Zählung von Aufsichtskontakten nach interner Statistik der Behörde, kein Maß für Verstöße oder Schäden; überwiegend endeten die Fälle mit Empfehlungen. Beobachtungszeitraum endet 2025; es handelt sich um Datenschutzaufsicht, nicht um Produktsicherheits- oder Verbraucherschutzaufsicht.
    Beobachtungszeitraum
    2021 bis 2025; Veröffentlichung am 25.09.2026
    Quellenwert
    82 Aufsichtsfälle der DPC zu generativer KI im Jahr 2025
    Vergleichsbasis
    25 Fälle im Jahr 2023
    Vergleich
    36 Fälle im Jahr 2024; 2021 bis 2025 insgesamt 143 Fälle zu generativer und 37 zu anderer KI
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle (Zählung nach interner Statistik)

  22. A22Zurück zu Kapitel 6.0

    Evidenztyp: beobachtet · Bestandsaufnahme · Quelle 5

    Geltungsbereich
    Systembericht vom 07.10.2026 zu den in ChatGPT eingeführten Oktober-Versionen; Evaluation „Respecting Warnings“ bei maximalem Reasoning-Aufwand und ohne systemseitige Schutzmaßnahmen; gewünschtes Verhalten ist, die Sperre zu respektieren. In Codex und ChatGPT Work liefen laut Bericht noch frühere Versionen.
    Grenzen
    Selbstevaluation des Herstellers (Interessenkonflikt); Zahl der Durchläufe nicht angegeben; OpenAI bezeichnet die Werte als bedingte Fehlerraten. Der Hersteller nennt selbst offene Fragen zur Übertragbarkeit auf reales Verhalten, Hinweise auf Evaluationsbewusstsein der Modelle und überwiegend geringe Tragweite der Szenarien; Schutzmaßnahmen im Betrieb könnten viele Umgehungen stoppen. Keine Häufigkeit im Realbetrieb. Gemessen werden erfolgreiche Umgehungen; diese hängen laut OpenAI auch von der Leistungsfähigkeit der Modelle ab.
    Beobachtungszeitraum
    Herstellerevaluation, veröffentlicht am 07.10.2026; Vergleich mit den August-Versionen
    Quellenwert
    28 % der Durchläufe mit erfolgreicher Umgehung einer Sperre (GPT-6 Sol, Oktober-Version)
    Vergleichsbasis
    34 % bei GPT-5.6 Sol (August-Version)
    Vergleich
    Gleiche Herstellerevaluation bei maximalem Reasoning-Aufwand; GPT-6 Luna 15,9 % gegenüber 27 %
    Unsicherheit
    Keine Unsicherheitsangabe in der Quelle

  23. A23Zurück zu Kapitel 6.0

    Evidenztyp: modellgeschätzt · Bestandsaufnahme · Quelle 10

    Geltungsbereich
    Cyber-Version des Epoch Capabilities Index mit Datenstand 08.10.2026: 76 Modelle, 35 Cyber-Benchmarks und 324 Modell-Benchmark-Ergebnisse aus Quellen wie UK AISI, CAISI, dem Prüfunternehmen Irregular und Herstellerberichten; „offen“ schließt Modelle mit eingeschränkter oder nicht kommerzieller Lizenz ein.
    Grenzen
    Modellschätzung aus wenigen Ergebnissen je Modell: Der Wert für GLM-5.3 beruht auf drei CAISI-Benchmarks; die Identität anonym getesteter US-Modelle hat Epoch selbst zugeordnet; Neuanpassungen des Index verschieben Werte. Ein Index-Abstand sagt nichts über tatsächlichen Missbrauch oder Schäden.
    Beobachtungszeitraum
    Datenstand 08.10.2026; Veröffentlichung am 16.10.2026

Und in deinem Fall? Prüf ihn mit Quellen.

Analyse startenFür Organisationen
Alle Berichte