Der Aufbau von KI-Systemen ist eine schwierige Aufgabe, insbesondere wenn Sie einer KI die Mechanik Ihres Fachgebiets beibringen möchten. Um zu verstehen, wo ein KI-System glänzt und wo es versagt, ist das Feedback von Fachexperten entscheidend.
Feedback kann in Form von Daumen hoch, Daumen zur Seite oder Daumen runter sowie einem kurzen Freitext gegeben werden und ist immer mit einer Antwort des KI-Systems auf Ihre Frage verknüpft. Wenn Sie beispielsweise fragen „Wie bin ich versichert“ und die KI mit einer Antwort antwortet, können Sie die Antwort bewerten und kommentieren.
Feedback ist relativ einfach. Es ist in der Regel so konzipiert, dass es den Ingenieuren des Systems hilft, aktuelle Probleme zu verstehen; es wird normalerweise nicht direkt verwendet, um das Modell „live“ zu trainieren. Mit anderen Worten, Ihr Feedback wirkt sich in dem Moment, in dem Sie Feedback geben, nicht direkt auf die KI aus, aber es wird von den Leuten verwendet, die die KI auf Ihren Bereich zuschneiden, um die Situation besser zu verstehen.
Sie können drei Arten von Feedback geben:
Wenn Sie positives oder neutrales Feedback geben möchten, können Sie in der generierten Antwort einfach auf die Schaltflächen „Daumen hoch“ oder „Daumen zu den Seiten“ klicken. Der Freitextkommentar, den Sie sehen, ist optional.
Positives und neutrales Feedback ist wichtig, da es hilft zu verstehen, wie oft die KI die Arbeit richtig gemacht hat. Bitte geben Sie — insbesondere zu Beginn einer Implementierung — jede Antwort zurück, auch wenn es sich hauptsächlich um einen Daumen nach oben handelt.
Negatives Feedback ist hochinteressant, um zu analysieren, wie das KI-System verbessert werden kann. Da falsche Antworten unterschiedliche Ursachen haben können, ist es wichtig, bei negativen Fällen ein klares Feedback zu geben. Denken Sie daran, dass diese Punkte in der Regel von einem anderen Menschen gelesen werden, um zu verstehen, was Sie erwartet hätten.
Im Feedback-Formular können Sie auch angeben, welche Art von Problem aufgetreten ist. Derzeit unterstützen wir:
Antworten mit einem nicht optimalen Stil (z. B. Sie möchten eine Aufzählungsliste haben, erhalten aber eine vollständig schriftliche Antwort) sind nicht problematisch. Eine Halluzination ist dagegen entscheidend; in diesem Fall liefert das Modell falsche Fakten und führt den menschlichen Nutzer in die Irre.
Je detaillierteres Feedback zu Beginn eines Anwendungsfalls eingeholt wird, desto besser kann das System an die Herausforderungen angepasst werden.