Die Raffinerie kann verwendet werden, um mit mehreren Benutzern zu etikettieren und die Inter-Annotator-Vereinbarung einzusehen
Die [verwaltete Version] (/refinery/managed-version) von Refinery bietet Unterstützung für mehrere Benutzer, was im Allgemeinen für höchste Etikettenqualität empfohlen wird, da eine Mehrheitsentscheidung unter mehreren Fachexperten in der Regel zu besseren Ergebnissen führt als eine einzelne Person, die alles etikettiert. Mit mehreren Benutzern gehen auch mehr Anforderungen einher, z. B. die Quantifizierung allgemeiner Meinungsverschiedenheiten und schnelle Möglichkeiten zur Konfliktlösung.
Abb. 1: Screenshot der Labeling-Suite, in der der angezeigte Datensatz von zwei verschiedenen Benutzern beschriftet wurde. Dies wird durch die beiden Avatare neben der Schaltfläche „Record IDE“ oben links angezeigt. Wenn Sie einen Avatar auswählen, können Sie die Labels überprüfen, die sie diesem Datensatz zugewiesen haben.
Wenn Sie und ein Kollege unterschiedliche Meinungen zur Kennzeichnung einer Schallplatte haben, welches Etikett sollte von der Raffinerie aus Gründen der Genauigkeitsberechnung, Überwachung oder Schulung in Betracht gezogen werden? Im Moment kommt keines dieser Labels für diese Aufgaben in Betracht, da das System nicht entscheiden kann, welches das richtige ist. Um dieses Problem zu lösen, führt die Raffinerie das Konzept der Goldkennzeichnung ein (manchmal auch Goldsternetiketten genannt). Das Goldlabel ist ein spezielles Etikett für Raffinerien, da es immer Vorrang vor regulären Etiketten haben wird. In der Einzelbenutzeranwendung ist diese Unterscheidung nicht erforderlich, sie ist jedoch für die Lösung von Konflikten erforderlich. Derzeit gibt es keine automatische Methode zur Berechnung von Goldsternen (z. B. Mehrheitsbeschluss), da wir festgestellt haben, dass es oft notwendig ist, die Kennzeichnungskonflikte zuerst mit Ihren Domain-Experten zu besprechen, um alle Unklarheiten im Zusammenhang mit der Aufgabe auszuräumen.
Abb. 2: GIF eines Benutzers, der sich das Etikett seines Kollegen ansieht und entscheidet, dass es sich um einen Fehler gehandelt haben muss. Um den Konflikt zu lösen, wählen sie ihr eigenes Etikett als goldenen Stern. Wenn Sie auf die Gold-Label-Ansicht zugreifen, erklärt ein Modal, warum Sie es mit Vorsicht behandeln sollten.
Es gibt zwei Möglichkeiten, ein goldenes Etikett zuzuweisen: - Wenn mindestens zwei verschiedene Personen widersprüchliche Bezeichnungen zugewiesen haben, erscheint neben der Beschriftungsaufgabe, bei der der Konflikt auftritt, ein leeres Sternsymbol. Um ein goldenes Etikett auszuwählen, stellen Sie zunächst sicher, dass Sie die richtige Ansicht ausgewählt haben (z. B. Ihre eigene Ansicht, da Ihr Kollege einen Fehler gemacht hat), indem Sie auf den entsprechenden Avatar und dann auf das Sternsymbol klicken. Danach wird das Sternsymbol gefüllt. - Sobald es ein goldenes Etikett gibt, können Sie auf die Gold-Label-Ansicht zugreifen, um die goldenen Etiketten direkt zu bearbeiten. Dies ist besonders nützlich bei Konflikten bei Extraktionsaufgaben, da oft eine Kombination von Bezeichnungen verschiedener Benutzer erforderlich ist, um den Datensatz korrekt zu beschriften.
Wenn Sie möchten, dass ein Kollege Ihre Daten sieht, gibt es derzeit keine Möglichkeit, einen genauen Datensatz zu teilen. Sie könnten Ihren Kollegen darüber informieren, dass er in einem bestimmten Datensegment nach dem 30. Datensatz suchen muss, aber das ist nicht wirklich intuitiv. Aus diesem Grund empfehlen wir, die Labeling-Sitzungen gemeinsam zu nutzen. Sie funktionieren je nach Rolle des Benutzers unterschiedlich. Wie im separaten Abschnitt zur Labeling-Sitzung erklärt, können Sie Ihre Sitzungen teilen, indem Sie die URL mit einem Kollegen teilen. Der Kollege beginnt dann genau an der Position, die Sie mit denselben Datensätzen in derselben Reihenfolge geteilt haben. Wichtig ist, dass diese Person auch Zugriff auf Ihr Projekt hat. Sie muss also derselben Organisation in der Raffinerie angehören. Außerdem funktioniert das einfach
Oft ist der Ingenieur nicht die Person, die die meisten Etikettierarbeiten erledigt. Stattdessen kann der Techniker statische Datensegmente erstellen, die die Experten dann selbst beschriften können. Sie werden einen viel eingeschränkteren Überblick über die Raffinerie haben, da sie auf nichts zugreifen können, das über die Etikettierung hinausgeht. Weitere Informationen zu den verschiedenen Rollen finden Sie auf der Seite [management roles] (/refinery/managing-roles) in dieser Dokumentation.
Abb. 3: Screenshot der Labeling Suite-Ansicht eines Benutzers mit der Rolle „Experte“. Sie können frei verfügbare statische Datensegmente auswählen, an denen sie arbeiten möchten.
Etiketten von Experten werden wie normale Etiketten behandelt, genau wie die eines Ingenieurs. Ein Techniker kann sich als Experte vorübergehend einen Datenausschnitt ansehen, um zu bestätigen, dass er dies beabsichtigt hat. Navigieren Sie dazu zum Datenbrowser und klicken Sie auf das Informationssymbol neben einem statischen Datensegment. Dort sehen Sie einen Link, über den Sie die temporäre Ansicht eines Experten einnehmen können (siehe Abb. 4). Dies ist auch der Link, den Sie direkt mit Ihren Fachkollegen teilen können.
Abb. 4: GIF eines Ingenieurs, der auf die temporäre Expertenansicht eines statischen Datensegments zugreift.
In Fällen, in denen Sie Personen mit der Etikettierung beauftragen möchten, denen es möglicherweise an Fachkenntnissen mangelt, können Sie die Heuristik [Crowd-Labeling] (/refinery/heuristics #crowd -labeling) der Raffinerie verwenden. Die Kommentatoren haben dieselbe Ansicht der Labeling-Suite wie die Experten, mit der Ausnahme, dass sie Datensegmente nicht frei auswählen können. Stattdessen können sie nur an der Heuristik arbeiten, die ihnen manuell zugewiesen wurde.
Abb. 5: Screenshot der Labeling-Suite-Ansicht eines Annotators. Sie können einfach die Crowd-Heuristik auswählen und sehen nicht einmal, welches Datensegment sich dahinter verbirgt.