Zum Inhalt springen
Zurück
KI & Tech

Vertrauen lässt sich nicht patchen

15 von 18 Leuten konnten kurz nach dem Schreiben mit ChatGPT keinen Satz aus ihrem eigenen Aufsatz zitieren. Die Zahl steht in der MIT-Studie, die gern als Beweis für Brain Rot herhält. Ich hab sie mir mal reingezogen. Das Wort Brain Rot taucht darin nicht auf, dafür ein Satz über höhere Anfälligkeit für Manipulation. Von der leben Angreifer halt. Im Artikel lege ich das neben den Impuls von Sven Henke und Ersay Öztürk beim Forum IT-Sicherheit der Akademie Deutscher Genossenschaften in Montabaur. Regulatorik, Technik, Prozesse und Menschen hat fast jedes Haus. Es hakt an den Übergängen dazwischen. Teil 1 von 3 zur kulturellen Firewall.

Toni Haupt~6 Min.

Was eine MIT-Studie, ein paar Zahlen und ein Vortrag in Montabaur über Cyber-Resilienz erzählen

"Brain Rot" war 2024 das Wort des Jahres bei Oxford University Press. Oxford meint damit den angeblichen geistigen Verfall durch zu viel belanglose Onlinekost. Seitdem zitieren viele Texte zum Thema eine Studie vom Massachusetts Institute of Technology (MIT), oft mit dem Satz, Forscher hätten Brain Rot nachgewiesen.

Ich hab mir die Studie mal reingezogen. Sie heißt "Your Brain on ChatGPT" und kommt von Nataliya Kosmyna und ihrem Team am MIT Media Lab (Juni 2025). 54 Studierende aus dem Raum Boston haben über vier Monate Aufsätze geschrieben, jeweils 18 mit ChatGPT, mit einer Suchmaschine oder ganz ohne Hilfe. Dabei trugen sie EEG-Kappen, also Sensoren, die die Hirnströme aufzeichnen. Je mehr Hilfe jemand hatte, desto schwächer war die Vernetzung im Gehirn. Und von den 18 Leuten, die in der ersten Sitzung mit ChatGPT geschrieben hatten, konnten 15 kurz danach keinen Satz aus ihrem eigenen Aufsatz korrekt zitieren. In den beiden anderen Gruppen waren es jeweils zwei.

Das Wort "Brain Rot" taucht auf den 216 Seiten kein einziges Mal auf. Das Team spricht von "cognitive debt", kognitiven Schulden. Wer sich heute die Denkarbeit spart, zahlt später drauf, und als mögliche Langzeitkosten nennen die Forschenden weniger kritisches Nachfragen und eine höhere Anfälligkeit für Manipulation. An der Stelle bin ich hängen geblieben, denn von dieser Anfälligkeit leben Angreifer.

Die Grenzen der Studie

Die Studie ist ein Preprint, also noch nicht unabhängig begutachtet. Die Teilnehmenden kamen aus wenigen Hochschulen einer Region, die Aufgabe war ein Aufsatz, und das Team schreibt selbst, dass sich die Ergebnisse nicht ohne Weiteres auf andere Aufgaben übertragen lassen. Die Anfälligkeit für Manipulation haben sie nicht gemessen, sie leiten sie im Diskussionsteil ab. Auf Cyber-Sicherheit übertrage ich das selbst.

Gloria Mark liefert dazu Beobachtungsdaten. Die Informatikerin von der University of California, Irvine, misst seit 2004, wie lange Menschen bei der Arbeit auf einem Bildschirm bleiben, bevor sie wechseln. 2004 waren es im Schnitt zweieinhalb Minuten, in ihren jüngsten Messungen 47 Sekunden. In dem Tempo lest ihr die zwanzigste Mail des Vormittags halt im Autopilot. Nach einer Stunde kurzer Videos am Abend prüft ihr auch die Nachricht vom angeblich neuen Handy der Tochter kaum noch.

Angreifer rechnen mit dem Autopilot

Angreifer nutzen diesen Autopilot, und künstliche Intelligenz (KI) macht es ihnen billiger. Sven Henke, unser Geschäftsführer, hat es beim 27. Forum IT-Sicherheit & IT-Revision der Akademie Deutscher Genossenschaften (ADG) auf Schloss Montabaur so formuliert: KI macht Angriffe günstiger, glaubwürdiger und persönlicher. Die Angriffsfläche lässt sich nicht mehr abschließend kartieren, und die Bedrohungslage ändert sich schneller, als sich Technik nachrüsten lässt. Sein Satz dazu: "Vertrauen lässt sich nicht patchen."

Verizon wertet für seinen Data Breach Investigations Report jedes Jahr tausende bestätigte Datenpannen aus und zählt, bei wie vielen ein Mensch ohne böse Absicht beteiligt war, etwa durch einen Fehler oder weil er auf Social Engineering hereingefallen ist, also auf gezielte Täuschung. 2024 kam Verizon auf 68 Prozent, 2025 auf rund 60 Prozent von 12.195 Datenpannen. Den oft zitierten Satz, 60 Prozent aller Angriffe zielten auf den Menschen, gibt der Report nicht her. Er zählt Fälle, in denen irgendwo ein Mensch Teil der Kette war.

Die Lücke zwischen den vier Feldern

Mein Kollege Ersay Öztürk hat im selben Vortrag eine Frage gestellt, die ich seitdem nicht mehr loswerde. Regulatorik erfüllt, Technik beschafft, Prozesse definiert, Stellen besetzt, und dann? Fast jedes Institut bearbeitet diese vier Felder, meistens als getrennte Bereiche mit eigenen Verantwortlichen. Beschaffen kann es dagegen nicht, ob im Ernstfall jemand Bedenken ausspricht, eine Entscheidung trifft oder einen Fehler meldet.

Laut Ersay scheitert Cyber-Resilienz daran, dass die vier Felder nebeneinanderstehen, statt miteinander zu arbeiten. Diese Lücke meine ich, wenn ich von der kulturellen Firewall rede. Florian Jörgens, Chief Information Security Officer der Vorwerk Gruppe, spricht in seinem Buch "The Human Firewall" (Springer, 2023) von einer Kultur der Cyber-Sicherheit und beschreibt sie als dauerhaften Prozess mit Kennzahlen und regelmäßigem Nachsteuern.

Die Frage der Aufsicht

Für Banken gilt seit dem 17. Januar 2025 der Digital Operational Resilience Act (DORA), die EU-Verordnung 2022/2554 zur digitalen Betriebsstabilität im Finanzsektor. Mit DORA steht die Struktur, hat Sven in Montabaur gesagt. Die Aufsicht fragt inzwischen: "Bleibt das Institut unter Angriff handlungsfähig?" Eine Firewall allein beantwortet das nicht.

So verstehen wir bei Lucke die Digitale Renaissance: Für die vier Felder gibt es Budget und Zuständige. Das Miteinander dazwischen bauen Häuser in kleinen, lernfähigen Einheiten auf, die über Bereichsgrenzen hinweg arbeiten. Viele sortieren jede Zuständigkeit noch in ein eigenes Silo. In Episode 01 ging es um den Pilotfriedhof. Eine kulturelle Firewall, die als Projekt mit Enddatum startet, landet auf demselben Friedhof.

Wo ich selbst danebenlag

In meinem ersten Entwurf für diese Serie stand der Satz "Forscher vom MIT haben Brain Rot nachgewiesen". Der Satz klang gut, und ich hätte ihn fast so rausgeschickt, ausgerechnet in einem Text darüber, dass wir im Autopilot zu wenig prüfen. Vor dem Veröffentlichen hab ich dann doch noch die Quelle gelesen.

Für diese Woche

Nehmt die vier Felder aus Ersays Grafik und stellt für jeden Übergang eine Frage. Wer ruft wen an, wenn die Technik einen Angriff erkennt, der Prozess dafür aber niemanden vorsieht? Wie lange braucht eine verdächtige Mail aus dem Zahlungsverkehr, bis sie beim Sicherheitsteam ist? Wenn eine Antwort mit "müsste eigentlich" anfängt, habt ihr eure erste Baustelle gefunden.

Und für euch persönlich: Bevor ihr heute auf einen Link in einer dringenden Mail klickt, lest die Absenderadresse einmal komplett. Das kostet drei Sekunden.


Quellen


  • Oxford University Press, "'Brain rot' named Oxford Word of the Year 2024" (02.12.2024). Definition: angebliche Verschlechterung des geistigen Zustands durch Überkonsum trivialer Inhalte, besonders online. https://corp.oup.com/news/brain-rot-named-oxford-word-of-the-year-2024/
  • Kosmyna, N. u. a., "Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task", MIT Media Lab, arXiv:2506.08872 (Juni 2025), Preprint, under review. Lokale Datei: kulturelle firewall/brain_rot.pdf (216 Seiten). Methode: 54 Teilnehmende, drei Gruppen à 18, drei Sitzungen, vierte Sitzung mit 18 Personen und Gruppentausch, über vier Monate; EEG, Textanalyse, Interviews, Bewertung durch Lehrkräfte. Zitierfähigkeit Sitzung 1: 15 von 18 (83,3 %) in der LLM-Gruppe ohne korrektes Zitat, je 2 von 18 (11,1 %) in Suchmaschinen- und Ohne-Hilfe-Gruppe (S. 31). "Cognitive debt" mit den möglichen Langzeitkosten "diminished critical inquiry, increased vulnerability to manipulation" im Diskussionsteil (S. 151). Grenzen: kleine Stichprobe aus wenigen Hochschulen, nur ChatGPT, Ergebnisse kontextabhängig (S. 151 f.). Der Begriff "brain rot" kommt im Volltext nicht vor (Textsuche im PDF, 05.10.2026).
  • Gloria Mark, "Attention Span" (2023) und Interviews (u. a. APA-Podcast "Speaking of Psychology"): Beobachtung von Wissensarbeitenden, Bildschirmwechsel 2004 im Schnitt nach 2,5 Minuten, in jüngsten Studien nach 47 Sekunden. Beobachtungsdaten, keine Kausalaussage.
  • Verizon, Data Breach Investigations Report 2024 (10.626 bestätigte Datenpannen, 68 % mit nicht böswilligem menschlichem Anteil) und 2025 (12.195 Datenpannen, rund 60 %). https://www.verizon.com/business/resources/reports/dbir/
  • Verordnung (EU) 2022/2554 (DORA), anwendbar seit 17.01.2025. https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32022R2554
  • Florian Jörgens, "The Human Firewall. Wie eine Kultur der Cyber-Sicherheit geschaffen wird", Springer Vieweg, essentials, 2023, DOI 10.1007/978-3-658-42757-3
  • Sven Henke, LinkedIn-Beitrag vom 02.10.2026 https://lnkd.in/p/d-hkvFCD
  • Ersay Öztürk, LinkedIn-Beitrag https://www.linkedin.com/feed/update/urn:li:activity:7511393370787708928/
  • ADG, Forum IT-Sicherheit & IT-Revision 2026, 28./29.09.2026, Schloss Montabaur (Veranstaltung ST26-00763)


Weitere Artikel
KI & Tech
· 8 Min.Alwise

Vier Größen, eine Entscheidung

Wie ihr Qualität, Latenz, Kosten und Sicherheit eines KI-Systems messt, und wer festlegt, was Vorrang hat

Toni Haupt
KI & Tech
· 6 Min.Alwise

Beeindruckend ist kein Abnahmekriterium

Jede KI-Demo funktioniert. Das liegt nicht daran, dass die Systeme so gut sind. Es liegt daran, dass eine Demo so lange wiederholt wird, bis sie klappt. Die Fälle, die schiefgehen, fliegen raus, bevor jemand zuschaut. Das ist keine Täuschung, das ist Selbsttäuschung, und die ist schwerer zu entdecken als jede Lüge.

Toni Haupt
KI & Tech
· 6 Min.Alwise

6 Fragen, die ich vor jedem KI-Projekt stelle

Vor ein paar Tagen habe ich auf LinkedIn sechs Fragen gepostet, die ich vor jedem KI-Vorhaben stelle. Keine davon betrifft das Modell. Ein Karussell hat halt pro Seite Platz für einen Gedanken. Hier kommt die lange Fassung: was jede Frage eigentlich klären soll, welche Antworten ich immer wieder höre, die nicht tragen, und wie eine brauchbare Antwort aussieht.

Toni Haupt