Wenn Sie Gedanken an Suizid oder Selbstverletzung haben oder um Ihre unmittelbare Sicherheit besorgt sind, kontaktieren Sie jetzt Ihre lokalen Notdienste oder holen Sie Unterstützung über die Krisenressourcen der IASP. Warten Sie nicht, diesen Artikel zuerst zu beenden, und nutzen Sie keinen Chatbot als Ersatz für diesen Schritt.
Ein allgemeiner KI-Chatbot kann zu fast jedem Thema und zu jeder Tageszeit einen unmittelbar reagierenden Dialog erzeugen, dessen Sprache wertungsfrei wirken kann. Diese ständige Verfügbarkeit macht es verlockend, das System wie eine Therapeutin, Beraterin oder Vertraute zu behandeln, obwohl es keine verantwortliche klinische Versorgung leistet.
Dieser Artikel zieht diese Grenze so klar wie möglich: womit ein Chatbot sicher helfen kann, was zu einem vertrauenswürdigen Menschen gehen sollte und was immer eine qualifizierte Fachkraft oder einen Notdienst erfordert. Er ist für alle geschrieben, die in einem schweren Moment auf einen allgemeinen Assistenten zurückgreifen möchten — was irgendwann die meisten sind, die KI regelmäßig nutzen.
Warum das einen eigenen Artikel brauchte
Am 29. Januar 2026 kamen mehr als 30 internationale Fachleute für KI, psychische Gesundheit, Ethik und öffentliche Politik zu einem von der WHO unterstützten Workshop über genau dieses Problem zusammen. Organisiert wurde er vom Delft Digital Ethics Centre der TU Delft, einem WHO Collaborating Centre. Die WHO veröffentlichte die Zusammenfassung im März 2026. Dr. Kenneth Carswell von der WHO formulierte den Kooperationsbedarf klar: Um die Risiken generativer KI für die psychische Gesundheit zu verringern und ihren Nutzen zu erhöhen, müssten die Stimmen der am stärksten Betroffenen, klinische und wissenschaftliche Fachkenntnis, Governance- und Regulierungsrahmen sowie Daten zusammengeführt werden (WHO, März 2026). Dr. Caroline Figueroa von der TU Delft betonte den dringenden Bedarf an gemeinsamen Standards für Krisenverweisungen und Rechenschaft. Sameer Pujari, der KI-Verantwortliche der WHO, benannte das zugrunde liegende Problem deutlich: Das Tempo, mit dem KI in den Alltag der Menschen einziehe, habe die Investitionen in das Verständnis ihrer Auswirkungen auf die psychische Gesundheit weit überholt.
Die American Psychological Association kam aus einer anderen Perspektive zu einem ähnlichen Schluss. Ihr Health Advisory zu generativen KI-Chatbots und Wellness-Apps stellt fest, dass GenAI-Chatbots nicht für psychische Gesundheitsversorgung und Wellness-Apps nicht zur Behandlung psychischer Störungen entwickelt wurden. Beide Technologien würden dennoch häufig dafür eingesetzt. Das könne unbeabsichtigte Folgen haben und die psychische Gesundheit sogar beeinträchtigen, besonders bei Menschen mit Angststörungen, Zwangsstörungen oder einer Neigung zum Grübeln. Ein zustimmungsfreudiger, ständig verfügbarer Chat kann eine belastende Gedankenschleife eher verstärken als unterbrechen (APA Health Advisory, 2025).
Dasselbe Chatbots/Wellness-Advisory markiert Jugendliche ausdrücklich: „Junge Menschen können KI zu viel Vertrauen schenken und sie als menschlicher oder fähiger sehen, als sie wirklich ist.“ Ein verwandtes APA-Advisory zum Wohlbefinden Jugendlicher ergänzt, dass starke Bindung an eine KI-Persona die Entwicklung realer Beziehungen und sozialer Fähigkeiten verdrängen kann (APA, „Artificial Intelligence and Adolescent Well-being“, 2025). Das erste Advisory nennt außerdem Gruppen, die es nicht nach Alter eingrenzt — Menschen mit Angst oder Zwangsstörungen, Menschen mit oder mit Neigung zu gestörtem Denken, sozial isolierte Menschen. Die Sogwirkung endet also nicht mit achtzehn.
Das ist kein hypothetisches Risiko. Eine Studie von 2025 testete 29 KI-gestützte Chatbot-Agenten — 24 für mentale Belastung vermarktet und 5 allgemeine Assistenten — mit einem standardisierten Prompt-Satz, der eskalierendes Suizidrisiko simulierte. Keiner der Agenten erfüllte die vollen Kriterien der Forschenden für eine angemessene Antwort; 48,28 % wurden selbst unter gelockerten Kriterien als unzureichend bewertet, und ein häufiges Scheitern war die Unfähigkeit, nutzbare Notfallkontaktinformationen zu liefern, wenn es am meisten zählte (Pichowicz, Kotas & Piotrowski, Scientific Reports, 2025). Die fünf allgemeinen Assistenten in der Stichprobe schnitten beim marginalen Antwortmaß der Studie tatsächlich besser ab als viele der mentalgesundheitsspezifischen Apps — was nicht beruhigend ist. Es bedeutet, dass die Krisenbehandlung auf ganzer Linie scheiterte — auch bei Werkzeugen, die Menschen bereits als Alltagsbegleiter behandeln.
Was ein Modell in diesem Kontext tatsächlich ist
Ein Chatbot erzeugt eine Antwort aus den Informationen und Werkzeugen, die ihm zur Verfügung stehen. Er hat keine Gefühle, und ob überhaupt Kontext erhalten bleibt, hängt vom Produkt, vom Konto und von den Gedächtniseinstellungen ab. Ein allgemeiner Chatbot ist nicht Ihre approbierte Klinikerin, hat kein therapeutisches Verhältnis zu Ihnen aufgebaut, kann die Situation nicht vollständig überblicken und kann die fachliche Nachbetreuung nicht leisten, die zu einer Versorgung gehört. Eine warme, wortgewandte Antwort ist kein Beleg dafür, dass er Sie versteht oder eingeschätzt hat. Siehe Warum KI selbstbewusst falsche Antworten gibt zum zugrundeliegenden Problem der Informationsintegrität.
Nichts davon macht das Werkzeug nutzlos. Es macht es zu einer spezifischen, begrenzten Art von Nützlichkeit mit harten Kanten.
Die Grün- / Gelb- / Rot-Tabelle
| Zone | Anwendungsfall | Beispiel | Warum |
|---|---|---|---|
| 🟢 Grün — risikoärmere Unterstützung beim Formulieren | Die eigenen Worte zu einer gewöhnlichen Situation ordnen oder Fragen für ein Gespräch mit einem Menschen entwerfen | „Ich bin nervös wegen einer Leistungsbeurteilung morgen — helfen Sie mir zu ordnen, was ich sagen will.“ | Das Modell formatiert Informationen, die Sie geliefert haben; Risiken durch Datenschutz, Auslassung und Verstärkung bleiben bestehen |
| 🟡 Gelb — zu verantwortlicher menschlicher Unterstützung wechseln | Wiederkehrende Belastung, Trauer, Beziehungskonflikt, große Entscheidungen unter emotionaler Aktivierung oder das Muster, den Chat statt Menschen zu nutzen | „Ich habe immer denselben Streit mit meiner Partnerin und weiß nicht warum.“ | Das Modell kann den Bericht nicht verifizieren, die Perspektive der anderen Person nicht sehen, die Ursache nicht diagnostizieren und keine verantwortliche Nachbetreuung leisten |
| 🔴 Rot — jetzt Notfall- oder Krisenhilfe nutzen | Gedanken oder Pläne zu Suizid oder Selbstverletzung, unmittelbare Gefahr, Drohungen oder Missbrauch mit akutem Sicherheitsrisiko, schwere Desorientierung oder Realitätsverlust oder das Risiko, jemand anderen zu verletzen | Jedes der oben genannten, in jeder Form | Ein Modell kann unmittelbares Risiko nicht zuverlässig einschätzen oder handhaben, keine Hilfe entsenden und niemanden in Sicherheit bringen |
Die vollständige KI-Grenztabelle für psychische Gesundheit ergänzt jede Zeile um weitere Beispiele und einen Selbstcheck, den Sie vor dem Tippen durchführen können.
Ein Grünzonen-Beispiel, gut gemacht
Grünzonen-Nutzung sieht so aus: Sie liefern die Fakten und das Ziel, das Modell hilft beim Ordnen, Sie behalten das Urteil.
Ich habe morgen eine Leistungsbeurteilung und bin wegen eines konkreten
Feedbacks, das ich erwarte, ängstlich. Hier ist die Situation: [Fakten].
Helfen Sie mir, das zu ordnen in: was ich anerkennen will, welchen
Kontext ich hinzufügen will und eine Frage, die ich stellen will. Sagen
Sie mir nicht, ob das wahrscheinliche Feedback meiner Führungskraft
fair ist — ich habe Ihnen nicht genug Informationen gegeben, das zu
beurteilen, und ich bitte Sie nicht darum.
Beachten Sie die explizite Anweisung, kein Urteil über etwas zu fällen, das das Modell tatsächlich nicht einschätzen kann. Diese Anweisung leistet echte Arbeit — ohne sie bietet das Modell oft eine selbstsicher klingende Lesart einer Situation an, die es nur von einer Seite kennt.
Warum Gelbsituationen riskanter sind, als sie sich anfühlen
Gelbzonen-Anfragen fühlen sich ähnlich an wie grüne — Sie „reden es ja nur durch“ —, aber die Ausgabe kann still zu einer Entscheidungsgrundlage werden statt zu einer Schreibhilfe. Ein Modell, das zu einem Beziehungskonflikt, einer großen finanziellen Entscheidung im aufgewühlten Zustand oder anhaltender Trauer Stellung nehmen soll, erzeugt womöglich etwas Kohärentes und Tröstliches. Trost ist kein Beleg für Richtigkeit. Dem System fehlen die Perspektive der anderen Person und ein verantwortliches fachliches Urteil, und es kann das Framing des Prompts eher bestärken als hinterfragen. Wenn Sie eine strukturierte Art brauchen, eine stressige Entscheidung zu verlangsamen, siehe KI für bessere Entscheidungen — und beziehen Sie danach einen passenden Menschen ein.
Gelbe und rote Gespräche sind auch die sensibelsten Daten, die Sie wahrscheinlich in ein KI-Werkzeug legen. Siehe Was ChatGPT sich merkt, sieht und weitergibt, bevor Sie ein persönliches Konto für etwas nutzen, das Sie nicht gespeichert oder später von einer menschlichen Moderatorin geprüft wissen wollen.
Warum Rotsituationen nie die Aufgabe eines Chatbots sind
Drei getrennte Fakten weisen auf dieselbe Schlussfolgerung:
- Kein therapeutisches Verhältnis, kein verantwortliches Versorgungsteam. Qualifizierte Klinikerinnen und Krisendienste arbeiten innerhalb fachlicher, organisatorischer und rechtsraumspezifischer Verpflichtungen. Ein Gespräch mit einem allgemeinen Chatbot ist kein Ersatz für dieses Versorgungsverhältnis.
- Unzuverlässige Krisenerkennung. Die Chatbot-Teststudie von 2025 oben fand systemische Fehlschläge genau in diesem Szenario: keiner der 29 Agenten erfüllte volle Angemessenheitskriterien, über zweckgebaute Mental-Health-Apps und allgemeine Assistenten hinweg (Pichowicz et al., 2025). Die allgemeinen Assistenten in dieser Stichprobe waren GPT-4o mini, Gemini 2.0 Flash, DeepSeek-v1, LeChat und Llama 3.1 8B; Claude war nicht darunter — hier ungemessen, nicht sicherer.
- Kein verlässliches Eingreifen in der realen Welt. Ein allgemeines Modell kann Sie nicht untersuchen, Ihren Standort nicht überprüfen, nicht sicherstellen, dass eine Verweisung tatsächlich ankommt, und nicht die unmittelbare Nachbetreuung leisten, die eine Krise erfordern kann.
Wenn Sie oder jemand, um den Sie sich sorgen, in einer Rotzonen-Situation sind, stoppen Sie das Gespräch mit der KI und unternehmen Sie einen dieser Schritte:
- Kontaktieren Sie Ihre lokalen Notdienste — die Nummer variiert je nach Land; nutzen Sie die, die Ihr eigenes Notfallsystem veröffentlicht, nicht eine, die ein KI-Werkzeug oder eine Website Ihnen nennt.
- Nutzen Sie die IASP-Seite zu Suizidkrisen-Unterstützung, um Krisenressourcen zu finden, die zu Ihrer Situation und Ihrem Ort passen.
- Erreichen Sie einen vertrauenswürdigen Menschen direkt — rufen Sie an, schreiben Sie nicht nur und hoffen, dass sie es sehen.
- Gehen Sie in die nächste Notaufnahme, wenn Sie oder jemand anderes in unmittelbarer Gefahr sein könnten.
Für die vollere Eskalationsleiter — einschließlich Situationen, die keine volle Krise sind, in denen ein Chatbot aber trotzdem der falsche nächste Schritt ist — siehe Stoppen Sie den Chat: fünf Situationen, die einen Menschen brauchen, nicht einen weiteren Prompt.
Was noch keine gute Antwort hat
Die WHO hat veröffentlicht, dass dem Feld noch ein gemeinsamer, rechenschaftspflichtiger Krisenverweisungsrahmen fehlt. Sameer Pujari, KI-Lead der WHO, benannte die Investitionslücke unverblümt: Die Evidenzlücke zwischen dem Tempo, in dem Menschen diese Werkzeuge übernehmen, und dem Verständnis der Auswirkungen auf die mentale Gesundheit zu schließen erfordert „koordinierte Maßnahmen und dedizierte Ressourcen aus dem öffentlichen und privaten Sektor“ — nichts, was eine einzelne Leserin allein beheben kann (WHO, 2026). Was Sie kontrollieren können, ist Ihre eigene Nutzung: wissen, in welcher Zone ein Gespräch wirklich liegt, und zu einem Menschen wechseln, sobald es von Grün nach Gelb oder Rot kippt.
Probieren Sie es heute
Bevor Ihr nächstes emotional aufgeladenes Gespräch mit einem KI-Werkzeug beginnt, halten Sie inne und ordnen Sie es in der Tabelle oben ein. Wenn es grün ist, nutzen Sie die eng gefasste Schreibaufgabe und schützen Sie private Daten. Wenn es gelb ist, bringen Sie das Thema zu einem vertrauenswürdigen Menschen oder einer qualifizierten Fachkraft, statt sich auf den Chat zu verlassen. Wenn es rot ist, hören Sie auf und nutzen Sie sofort die örtliche Notfall- oder Krisenhilfe.
Nichts hier ist Therapie, Triage, Diagnose oder eine personalisierte Krisenbeurteilung. Wenn Belastung oder Gefahr vorliegt, wenden Sie sich an einen geeigneten qualifizierten Menschen oder Ihren örtlichen Krisendienst, statt den Chat fortzusetzen.
