Freigabecheckliste für Produktions-Prompts

Verwenden Sie diese Liste, bevor Sie einen Prompt ändern, der Kunden, Betriebsprozesse, regulierte Daten oder Geschäftsdatensätze betrifft.

Prompt-Metadaten

• Prompt-Name:
• Funktion:
• Verantwortliche Person:
• Prüfende Person:
• Aktuelle Version:
• Kandidatenversion:
• Modell:
• Veröffentlichungsdatum:

Architektur

• System-, Entwickler- und Nutzer-/Kontextebene sind getrennt.
• Von Nutzern bereitgestellte Inhalte sind klar abgegrenzt.
• Dynamische Daten werden nicht im System-Prompt gespeichert.
• Vorlagen sind in der Versionskontrolle oder einem Prompt-Dienst versioniert.
• Sensible Produktions-Traces werden nicht in die Versionsverwaltung eingecheckt.

Ausgabevertrag

• Das Ausgabeschema ist definiert.
• Für leere, fehlerhafte oder unvollständige Ausgaben gibt es einen Rückfallpfad.
• Die Anwendung validiert die Ausgabe, bevor sie eine Aktion ausführt.
• Fälle mit geringer Konfidenz oder Mehrdeutigkeit werden an einen Menschen eskaliert.

Sicherheit

• Risiken durch Prompt-Injection wurden geprüft.
• Werkzeugaufrufe sind auf erlaubte Aktionen beschränkt.
• Für Kunden sichtbare, finanzielle, rechtliche, personalbezogene oder destruktive Aktionen erfordern eine Freigabe.
• Geheimnisse und personenbezogene Daten werden in Logs gemäß den Vorgaben geschwärzt.

Evals

• Der Regressionstest wurde bestanden.
• Die Sicherheitsfälle wurden bestanden.
• Bekannte frühere Fehler sind behoben geblieben.
• Der Kandidat hat die primäre Qualitätsmetrik nicht unter die Toleranzgrenze gesenkt.

Observability

• Name und Version der Prompt-Vorlage werden protokolliert.
• Modell, Latenz, Tokens und Kosten werden protokolliert.
• Eingaben und Ausgaben werden gemäß der Richtlinie geschwärzt oder stichprobenartig erfasst.
• Eine verantwortliche Person für die Prüfung nach der Freigabe ist benannt.

Rollback

• Die vorherige Version ist verfügbar.
• Ein Rollback ist ohne aufwendige Codeeingriffe möglich.
• Die Abbruchbedingung ist dokumentiert.
• Bereitschaftsdienst oder verantwortliche Person wissen, wie die Funktion deaktiviert wird.

Entscheidung

• Freigegeben:
• Freigegeben von:
• Notizen: