Fehlermodusregister für KI im Produktionseinsatz
Verwenden Sie dieses Register vor der Einführung eines KI-Workflows oder Agenten.
Register
| Fehlermodus | Beispiel | Kontrolle | Test | Kennzahl | Verantwortliche Person | Abbruchbedingung |
|---|---|---|---|---|---|---|
| Plausible falsche Ausgabe | Nicht belegte Tatsachenbehauptung | Quellen/Quellenangaben + Prüfung | Bekannter Fall einer falschen Antwort | Quote nicht belegter Aussagen | ||
| Veralteter Kontext | Alte Richtlinie zurückgegeben | Aktualitätsmetadaten | Abfrage zur alten/neuen Richtlinie | Quote der Antworten aus veralteten Quellen | ||
| Prompt-Injection | Abgerufene Inhalte enthalten Anweisungen | Vertrauensgrenze + Werkzeuglimits | Injection-Testfall | Erfolgsquote der Injection | ||
| Unsichere Werkzeugnutzung | Falsche CRM-Aktualisierung | Argumentvalidierung + Freigabe | Fall mit falschem Kontakt | Quote falscher Aktionen | ||
| Schemadrift | Ungültiges JSON | Ausgabevalidierung | Fall mit fehlerhafter Ausgabe | Quote der Validierungsfehler | ||
| Schwache Rückfalllösung | Stiller Fehler | Menschliche Warteschlange + Nutzermeldung | Werkzeugausfall | Abschlussquote der Rückfalllösung |
Minimale Schutzvorkehrungen
- Prompt/Vorlagen-Versionierung.
- Quell-IDs oder Zitierungen.
- Ausgabevalidierung.
- Argumentvalidierung für Werkzeuge.
- Menschliche Freigabe für Schreibvorgänge mit großen Auswirkungen.
- Rückfallpfad.
- Logs mit Schwärzung.
- Notausschalter.
Einführungsentscheidung
- Höchstrisikofehlermodus:
- Blockierende Tests:
- Verantwortliche Person:
- Datum der ersten Prüfung:
- Rollback-Pfad: