Table of Contents
Motivation
Im Universum Bremen haben wir die Sonderausstellung KI besucht. Dort konnte man an einer Station prüfen, ob man Chihuahuas von Muffins unterscheiden kann. Die Kinder hatten einen Riesenspaß, da das Ganze auf Zeit ging und sie daraus einen Wettbewerb machen konnten. Wer schneller im Unterscheiden war, hatte gewonnen. Eine bessere Zeit zählt jedoch nicht, wenn Karten dabei falsch zugeordnet wurden.
Um überprüfen zu können, wie gut eine Klassifizierung ist, können wir Metriken definieren. Vorher brauchen wir aber noch ein paar grundlegende Begriffe.
Begriffe
Die Unterscheidung zwischen Chihuahua und Muffin ist gar nicht so leicht. Grundsätzlich gibt es vier mögliche Ergebnisse: Ein Chihuahua kann korrekt als Chihuahua erkannt werden, oder er wird fälschlicherweise als Muffin eingeordnet. Umgekehrt kann ein Muffin korrekt als Muffin erkannt werden, oder er wird für einen Chihuahua gehalten. Das sind die vier Klassifikationsmöglichkeiten.
Die Klasse der Objekte, die man erkennen möchte, gilt als der positive Wert. In unserem Fall möchten wir Chihuahuas erkennen.
| Wirklichkeit | Vorhersage | Ergebnis |
|---|---|---|
| Chihuahua | Chihuahua | True Positive |
| Muffin | Chihuahua | False Positive |
| Chihuahua | Muffin | False Negative |
| Muffin | Muffin | True Negative |
Ein False Positive wird auch als Typ-1-Fehler bezeichnet, ein False Negative als Typ-2-Fehler.
Beispiel
Wenn sich meine Tochter zwanzig Bilder von Muffins und Chihuahuas anschaut (8 Muffins und 12 Chihuahuas)
und sie 10 davon als Chihuahuas klassifiziert, sich unter diesen zehn jedoch tatsächlich 2 Muffins befinden,
ergibt sich folgendes Bild:
- 8 True Positives – korrekt als Chihuahua erkannt
- 2 False Positives – Muffin fälschlicherweise als Chihuahua eingeordnet
- 6 True Negatives – korrekt als Muffin erkannt
- 4 False Negatives – Chihuahua fälschlicherweise als Muffin klassifiziert
Mit diesen Werten berechnen wir im Folgenden die Metriken.
Metriken
Metriken dienen der Überprüfung der Qualität von Machine-Learning-Algorithmen. Sie funktionieren besonders gut bei Supervised-Learning-Algorithmen, da wir gelabelte Trainings- und Testdaten (Ground-Truth-Labels) vorliegen haben und somit überprüfen können, ob eine Klassifikation korrekt oder falsch erfolgte.
Precision
Die Präzision – auch als positive predictive value bezeichnet – gibt den Anteil der korrekt als positiv klassifizierten Ergebnisse an der Gesamtheit der als positiv klassifizierten Ergebnisse an.
Precision = True Positive / (True Positive + False Positive)In unserem Beispiel beträgt die Präzision 8 / (8 + 2) = 4/5 oder 80 %.
Recall
Der Recall – auch Sensitivität genannt – gibt die Wahrscheinlichkeit an, mit der ein positives Objekt korrekt als positiv klassifiziert wird.
Recall = True Positive / (True Positive + False Negative)Da bekannt ist, dass es tatsächlich 12 Chihuahuas gibt und meine Tochter 4 davon übersieht (falsch-negative Ergebnisse), beträgtihre Trefferquote (Recall) 8 / (8 + 4) = 2/3 oder rund 67 %.
Accuracy
Der Accuracy-Score berechnet sich aus dem Anteil aller korrekt klassifizierten Ergebnisse:
Accuracy = (TP + TN) / (TP + FP + TN + FN)In unserem Beispiel ergibt das:
(8 + 6) / 20 = 14/20 = 7/10 = 70 %
F1-Score
Der F1-Score ist das harmonische Mittel zwischen Precision und Recall und bietet sich besonders dann an, wenn beide Größen gleichermaßen wichtig sind.
f1 = 2/(1/Precision + 1/Recall)Für unser Beispiel: 2 / (1 / (4/5) + 1 / (2/3)) = 2 / (5/4 + 3/2) = 2 / (11/4) = 2*(4/11) = 8/11 = 0,727
Fazit
Precision, Recall, Accuracy und F1-Score sind vier grundlegende Metriken, um die Qualität eines binären Klassifikationsmodells zu bewerten. Welche Metrik im Vordergrund steht, hängt dabei vom konkreten Anwendungsfall ab:
- Ist es besonders wichtig, keine positiven Fälle zu verpassen (z. B. bei medizinischen Diagnosen), rückt der Recall in den Fokus.
- Soll hingegen vermieden werden, zu viele Fehlalarme zu produzieren, ist Precision die relevantere Größe.
- Der F1-Score bietet sich an, wenn beide Aspekte gleich gewichtet werden sollen.
Darüber hinaus gibt es weitere Metriken – etwa den ROC-AUC-Score oder die Konfusionsmatrix –, die ein noch detaillierteres Bild liefern können.
Beim Unsupervised Learning gelten zudem andere Regeln: Da keine Ground-Truth-Labels vorliegen, kommen dort eigene Verfahren wie der Silhouetten-Koeffizient oder der Davies-Bouldin-Index zum Einsatz – aber das ist Stoff für einen eigenen Artikel.
