Eval-Matrix für KI-Workflows
Verwenden Sie diesen wöchentlich oder vor der Freigabe einer Prompt-, Modell- oder Workflowänderung.
Workflow
- Workflow-Name:
- Verantwortliche Person:
- Aktuelle Produktionsversion:
- Kandidatenversion:
- Eval-Datum:
- Prüfende Person:
Datensatz
- Anzahl der Beispiele:
- Einfache Fälle:
- Schwierige Fälle:
- Randfälle:
- Bekannte frühere Fehler:
- Letzte Datensatzprüfung:
Bewertungsbogen
| Dimension | Schwellenwert | Aktuell | Kandidat | Erfolgreich? | Notizen |
|---|
| Richtigkeit | 90% | | | | |
| Sicherheit | 100% | | | | |
| Format-/Schema-Gültigkeit | 95% | | | | |
| Nutzen | 4/5 Durchschnitt | | | | |
| Regressionfälle | 100% | | | | |
Fehleranalyse
| Fall-ID | Fehlertyp | Aktuelles Verhalten | Kandidatenverhalten | Korrektur oder Entscheidung |
|---|
| | | | |
Freigaberegeln
- Blockierende Dimensionen:
- Erlaubte Toleranz:
- Erforderliche freigebende Person:
- Prüfung nach der Freigabe:
Entscheidung
- Freigeben:
- Zurückhalten:
- Überarbeiten:
- Rückgängigmachen:
- Grund: