Erfahren Sie, wie Sie Heuristiken in Raffinerien bewerten können.
Die Bewertung Ihrer Heuristiken ist entscheidend, um fundierte Entscheidungen über deren Aufnahme oder Ausschluss bei schwacher Aufsicht zu treffen. Auch wenn es andere Indikatoren für heuristische Qualität gibt, ist der wichtigste die geschätzte Genauigkeit, die immer genauer wird, je mehr manuell beschriftete Referenzdaten Sie haben. Bevor Sie sich also mit der vollständigen Bewertung Ihrer Heuristiken befassen, stellen Sie zunächst sicher, dass Sie genügend manuell beschriftete Daten angeben!
Die Raffinerie verfolgt ständig, wie gut Ihre Heuristiken abschneiden, egal um welchen Typ sie sich handelt. Sobald Sie eine Heuristik ausgeführt haben - und es gibt einige manuell beschriftete Daten, die wir zur Auswertung verwenden können -, finden Sie unten auf Ihrer Seite mit den heuristischen Details die folgende Statistik: - _Est. Präzision_: geschätzte Genauigkeit der manuell beschrifteten Referenzdaten (Datensätze, die dieselbe Bezeichnung haben, die die Heuristik zuweist). Berechnet mit `wahr positiven/(wahr positiven + falsch positiven Ergebnissen) `. Je mehr Referenzdaten Sie beschriften, desto genauer wird es. - _Coverage_: Anzahl der Datensätze, für die diese Heuristik eine Prognose erstellt. - _Treffer_: Anzahl der Bereiche, für die diese Heuristik eine Vorhersage trifft. Dies ist immer dieselbe Zahl wie die Abdeckung für Klassifizierungsaufgaben, kann aber für Extraktionsaufgaben unterschiedlich sein, da für einen einzelnen Datensatz mehrere Bereiche beschriftet sein könnten. - _Konflikte_: Anzahl der Fälle (Datensatz oder Spanne), in denen sich die Vorhersage dieser Heuristik von den Vorhersagen anderer Heuristiken unterscheidet. Ist per Definition kleiner oder gleich Überlappungen. - _Overlaps_: Anzahl der Fälle (Datensatz oder Spanne), in denen diese Heuristik eine Vorhersage macht und mindestens eine andere Heuristik ebenfalls eine Vorhersage macht. <CaptionedImage src="/refinery/evaluating-heuristics/1.png" title="Fig. 1: Screenshot of the statics on the details page of an active learner."/>
Da Statik für die Schätzung der heuristischen Qualität von entscheidender Bedeutung ist, aktualisiert die Raffinerie sie automatisch und der Benutzer muss sie nicht ständig erneut ausführen. Da die Aktualisierung der Statistiken nach jeder manuellen Kennzeichnung rechenintensiv wäre, haben wir uns für eine Entprellzeit entschieden. Das bedeutet, dass, nachdem Sie ein paar Daten beschriftet und einige Sekunden lang kein neues Etikett festgelegt haben, die Raffinerie im Hintergrund einen erneuten Lauf der Statistikberechnung auslöst. Das bedeutet, dass sie nicht sofort verfügbar sind, aber irgendwann ihre Konsistenz erreichen werden (normalerweise nur ein paar Sekunden).
Bei der Arbeit mit Heuristiken in Raffinerien entwickeln Sie bestimmte Bewertungsmuster, die als bewährte Verfahren angesehen werden können. Einige davon möchten wir hier vorstellen und werden diesen Abschnitt ständig erweitern.
Wir wissen, dass das nicht aufregend klingt, aber eine der besten (unvoreingenommenen) Möglichkeiten, Ihre Heuristiken zu validieren, besteht darin, Daten nach dem Zufallsprinzip zu kennzeichnen. Gehen Sie einfach in den Datenbrowser, wählen Sie die manuelle Labelfilteroption „hat kein Etikett“ für Ihre jeweilige Beschriftungsaufgabe, gehen Sie zur Ergebnisreihenfolge und wählen Sie „zufällig“. Speichern Sie dies entweder als dynamisches Datensegment oder beginnen Sie einfach mit der Etikettierungssitzung.
Eine übliche Methode zur präzisen Validierung einer einzelnen Heuristik besteht darin, einen dynamischen Datenabschnitt mit zwei Kriterien zu erstellen: - keine manuelle Bezeichnung - Heuristik macht eine Vorhersage Dieser Datenabschnitt enthält immer Daten, die für eine genauere Schätzung relevant sind, da Sie mehr manuell beschriftete Referenzdaten für die Statistiken angeben. Normalerweise liefert das Labeling von 15 bis 30 Datensätzen direkt nach der Erstellung der Heuristik bereits einen guten Schätzwert.