Eine überzeugende Antwort belegt keine Richtigkeit
NIST AI 600-1 nennt Konfabulation als Risiko generativer Systeme: Sie können falsche oder fehlerhafte Inhalte mit großer Sicherheit ausgeben. Eine grammatikalisch korrekte Antwort beweist daher nicht, dass die Angaben stimmen. [1, Abschnitt 2.2]
Informationen überprüfen
NIST empfiehlt Verfahren zur Faktenprüfung und Bewertung der Richtigkeit, insbesondere bei Informationen aus mehreren oder unbekannten Quellen. Unternehmen sollten festlegen, welche Inhalte vor einer Wirkung auf Kunden oder Geschäftsentscheidungen von einer verantwortlichen Person geprüft werden. [1, MP-2.3-003]
Sensible Daten
NIST nennt die Offenlegung und unbefugte Nutzung persönlicher oder sensibler Daten als Risiken. Ein auf dem Server gespeicherter Zugangsschlüssel verhindert allein nicht, dass Daten einer Anfrage an den Modellanbieter übermittelt werden. Zu prüfen sind Anfrageinhalte, Anbieterbedingungen, Zugriffe und Datenverarbeitung. [1, Abschnitte 2.4 und 3]
Test vor dem breiteren Einsatz
NIST behandelt Risikobewertung und Risikomanagement über den Lebenszyklus eines Systems hinweg. Ein begrenzter Test mit festgelegten Eingaben, einem Richtigkeitskriterium und einem Fehlerprotokoll ist eine Anwendung dieses Ansatzes. Das Dokument garantiert keine Zeitersparnis oder finanziellen Vorteile für ein bestimmtes Unternehmen. [1, Abschnitt 3]