Precision und Recall in der Entity (Identity) Resolution
Kurzfassung: Um die Konfidenz von Matches in der Entity Resolution zu bewerten, prüfen Sie Ihren Matcher gegen gelabelte Daten mit Precision (True Positives / (True Positives + False Positives)) und Recall (True Positives / (True Positives + False Negatives)) und führen beides zu einem F-Score zusammen. Legen Sie die Schwelle für die automatische Zusammenführung nach den Kosten Ihrer Fehler fest: Wenn das fälschliche Zusammenführen von Datensätzen gefährlich ist (z. B. bei medizinischen Akten), bevorzugen Sie Precision, optimieren Sie auf F0.5 und verlangen Sie einen hohen Konfidenzwert, bevor automatisch zusammengeführt wird — der Rest geht in die Prüfung. Wenn übersehene Übereinstimmungen schlimmer sind (z. B. bei der Deduplizierung von Kundendaten oder der Betrugsprüfung), bevorzugen Sie Recall und optimieren Sie auf F2. Seit 2026 empfehlen Anbieter, darunter AWS mit dem Rat, einen messbaren Genauigkeitsschwellenwert festzulegen, diesen am jeweiligen Anwendungsfall auszurichten statt an einem einzigen universellen Grenzwert. Eine Echtzeit-API wie die Entity-Resolution-Software von Tilores liefert pro Verknüpfung einen Konfidenzwert, den Sie direkt als Schwellenwert nutzen können.
Wie bewerte ich die Konfidenz von Matches in der Entity Resolution und lege Schwellenwerte für die automatische Zusammenführung fest?
Die beiden Fehlertypen ziehen in entgegengesetzte Richtungen, ein Konfidenzschwellenwert ist deshalb ein bewusster Kompromiss. Die Tabelle fasst diesen Kompromiss zusammen; jede Formel und jeder Anwendungsfall darin stammt wortgleich aus der ausführlichen Erklärung weiter unten.
| Kriterium | Precision | Recall |
|---|---|---|
| Was gemessen wird | Wie viele der von Ihrem System gefundenen Übereinstimmungen tatsächlich korrekt sind | Wie viele der tatsächlichen Übereinstimmungen in Ihrem Datenbestand Ihr System gefunden hat |
| Formel | True Positives / (True Positives + False Positives) | True Positives / (True Positives + False Negatives) |
| Fehler, den es kontrolliert | False Positives — zwei verschiedene Entitäten fälschlich zusammenführen | False Negatives — Datensätze übersehen, die zur selben Entität gehören |
| Bevorzugen, wenn | Das fälschliche Zusammenführen von Datensätzen teuer ist — z. B. in einem System für medizinische Akten, in dem das falsche Zusammenführen der Akten zweier Patienten gefährlich sein könnte | Übersehene Übereinstimmungen teuer sind — z. B. bei der Deduplizierung einer Kundendatenbank oder beim Erkennen möglichen Betrugs, wo ein übersehener Fall schwerer wiegt |
| Zu optimierender F-Score | F0.5 (gewichtet Precision doppelt so hoch wie Recall) | F2 (gewichtet Recall doppelt so hoch wie Precision) |
| Folge für die Auto-Merge-Schwelle | Setzen Sie einen hohen Konfidenzschwellenwert, sodass nur die stärksten Übereinstimmungen automatisch zusammengeführt werden; der Rest geht in die manuelle Prüfung | Setzen Sie einen niedrigeren Konfidenzschwellenwert, sodass mehr Kandidatenpaare zusammengeführt werden; nehmen Sie mehr Prüfaufwand bei Grenzfällen in Kauf |
Verwenden Sie F1, wenn beide Fehlertypen gleich teuer sind; die F-Beta-Formel und die durchgerechneten Zahlen stehen in der ausführlichen Erklärung weiter unten. Siehe auch die Referenz zum F-Score und die maßgebliche Referenz zu Precision und Recall.
Die Matching-Leistung eines Entity-/Identity-Resolution-Systems zu messen, kann anspruchsvoll sein. Liegen jedoch gelabelte Daten vor – also eine Menge an Datensätzen, bei denen Sie bereits wissen, dass bestimmte Datensätze einander zugeordnet oder verknüpft werden sollten –, lässt sich der klassische Ansatz aus „Precision und Recall“ wählen, bei dem die Gesamtleistung des Entity-Resolution-Systems als „F-Zahl“ gemessen wird.
Precision in der Entity Resolution
Precision misst, wie viele der von Ihrem Entity-Resolution-System gefundenen Übereinstimmungen tatsächlich korrekt sind. Sagt Ihr System zum Beispiel, „John Smith von Firma A“ und „J. Smith von Firma A“ seien dieselbe Person, und liegt damit richtig, ist das ein True Positive. Ordnet es dagegen zwei verschiedene John Smiths einander zu, ist das ein False Positive. Precision berechnet sich als: True Positives / (True Positives + False Positives).
Recall in der Entity Resolution
Recall misst, wie viele der tatsächlichen Übereinstimmungen in Ihrem Datenbestand Ihr System gefunden hat. Gibt es 100 Datensatzpaare, die zugeordnet werden sollten, weil sie sich auf dieselbe Entität beziehen, und findet Ihr System nur 80 davon, liegt Ihr Recall bei 80 %. Recall berechnet sich als: True Positives / (True Positives + False Negatives).
F-Score in der Entity Resolution
Der F-Score (oder F1-Score) führt Precision und Recall zu einer einzigen Kennzahl zusammen und gewichtet beide gleich. Er ist in der ER besonders nützlich, weil Sie oft zwischen einem zu aggressiven Matching (das der Precision schadet) und einem zu zurückhaltenden (das dem Recall schadet) abwägen müssen. Der F1-Score berechnet sich als: 2 * (Precision * Recall) / (Precision + Recall).
Beispiel
Angenommen, Sie haben eine Datenbank mit 1.000 Kundendatensätzen, und es gibt tatsächlich 100 Duplikatpaare (200 Datensätze, die paarweise zugeordnet werden sollten). Ihr Entity-/Identity-Resolution-System:
- erkennt 90 Paare als Übereinstimmungen
- von diesen 90 Paaren sind 80 korrekte Übereinstimmungen (True Positives)
- das heißt, 10 sind falsche Übereinstimmungen (False Positives)
- und es hat 20 tatsächliche Übereinstimmungen übersehen (False Negatives)
In diesem Fall gilt:
- Precision = 80/90 = 89 % (89 % der gefundenen Übereinstimmungen waren korrekt)
- Recall = 80/100 = 80 % (es fand 80 % aller tatsächlichen Übereinstimmungen)
- F1-Score = 2 * (0,89 * 0,80) / (0,89 + 0,80) = 84 %
Beim Entwickeln eines Entity-Resolution-Systems justieren Sie Ihre Match-Schwellen oder Regeln danach, ob Precision oder Recall für Ihren Anwendungsfall wichtiger ist. Zum Beispiel:
- In einem System für medizinische Akten würden Sie Precision priorisieren, weil das falsche Zusammenführen der Akten zweier Patienten gefährlich sein könnte
- Bei der Deduplizierung einer Kundendatenbank würden Sie eher zu höherem Recall tendieren, um keine Gelegenheit zu verpassen, Kundeninformationen zusammenzuführen
Varianten des F-Scores in der Entity Resolution
Ein F1-Score gewichtet Precision und Recall gleich, doch wie oben beschrieben wollen wir unter bestimmten Umständen Precision oder Recall priorisieren.
Die allgemeine Formel für F-Beta-Scores lautet: F_β = (1 + β²) * (precision * recall) / (β² * precision + recall)
Dabei ist β ein Parameter, der das Gewicht von Recall gegenüber Precision bestimmt:
- Für β = 1 erhalten Sie den Standard-F1-Score (gleiches Gewicht)
- Für β = 2 erhalten Sie den F2-Score (gewichtet Recall höher)
- Für β = 0,5 erhalten Sie den F0.5-Score (gewichtet Precision höher)
F2-Score:
- Der F2-Score gewichtet Recall doppelt so hoch wie Precision
- Das ist nützlich, wenn False Negatives (übersehene Übereinstimmungen) teurer sind als False Positives
- Beispielhafter Anwendungsfall: das Erkennen möglicher Betrugsfälle, wo eine übersehene betrügerische Transaktion schwerer wiegt, als eine legitime zur Prüfung zu markieren
F0.5-Score:
- Der F0.5-Score gewichtet Precision doppelt so hoch wie Recall
- Das ist nützlich, wenn False Positives teurer sind als False Negatives
- Beispielhafter Anwendungsfall: das automatische Zusammenführen medizinischer Patientenakten, wo falsche Übereinstimmungen ernste Probleme verursachen könnten
Beispiele für F-Scores
Mit unserem vorherigen Beispiel: Bei Precision = 89 % und Recall = 80 %:
- F1-Score = 84 % (wie zuvor berechnet)
- F2-Score = 81 % (bevorzugt Recall, daher etwas niedriger, weil unser Recall unter der Precision lag)
- F0.5-Score = 87 % (bevorzugt Precision, daher etwas höher, weil unsere Precision über dem Recall lag)
Zusammenfassung
In der Entity Resolution wählen Sie je nach Bedarf unterschiedliche F-Scores:
- Verwenden Sie F0.5, wenn das fälschliche Zusammenführen von Datensätzen hohe Kosten verursacht
- Verwenden Sie F2, wenn übersehene tatsächliche Übereinstimmungen problematischer sind als ein paar falsche Übereinstimmungen
- Verwenden Sie F1, wenn beide Fehlertypen gleich teuer sind
Was sich 2026 geändert hat: vom F-Score zum Konfidenzschwellenwert?
Der obige Rahmen aus Precision, Recall und F-Score ist der stabile, anbieterneutrale Weg, Matching-Qualität zu bewerten. Schärfer geworden ist seit 2026, wie Teams diese Werte in eine operative Entscheidung über die automatische Zusammenführung übersetzen:
- Gestufte Konfidenzschwellen. Ein verbreitetes Produktivmuster bewertet jedes Kandidatenpaar und leitet es nach Konfidenz weiter: Paare über einer Annahmeschwelle werden automatisch zusammengeführt, Paare unter einer Ablehnungsschwelle automatisch verworfen, und das mehrdeutige Mittelband geht in eine manuelle Prüfwarteschlange — das erhält die Precision bei schwierigen Fällen und hält den Durchsatz zugleich hoch.
- Der Schwellenwert ist eine geschäftliche Entscheidung, keine Konstante. In seinem Engineering-Beitrag vom 29. September 2025 misst AWS die Matching-Genauigkeit mit Precision, Recall und einem F1-Score gegen manuell annotierte Ground Truth und empfiehlt Unternehmen, einen messbaren, auf ihre Branche zugeschnittenen Genauigkeitsschwellenwert festzulegen statt eines universellen Grenzwerts — genau der Kompromiss zwischen Precision und Recall, den dieser Artikel beschreibt.
- Messen Sie Cluster, nicht nur Paare. Begutachtete Forschung dazu, wie Entity-Resolution-Systeme zu evaluieren sind (Binette et al., 2024), plädiert für einen entitätszentrierten Rahmen, der Precision und Recall sowohl auf Cluster- als auch auf Paarebene schätzt, weil Paarmetriken allein ein verzerrtes Bild davon geben können, wie gut Datensätze zu korrekten Entitäten gruppiert werden.
- Konfidenz pro Verknüpfung. Da die Entity-Resolution-Software von Tilores Datensätze in Echtzeit verknüpft und dedupliziert – mit justierbaren Matching-Regeln und Konfidenzbewertung –, überträgt sich der obige Kompromiss zwischen Precision und Recall unmittelbar auf einen Schwellenwert für automatische Zusammenführung gegenüber manueller Prüfung.
Bewerten Sie Ihre eigenen Matches und setzen Sie Schwellenwerte: Buchen Sie eine Demo, um zu sehen, wie jede Übereinstimmung auf Ihren eigenen Daten bewertet wird, oder holen Sie sich den Evaluation Build, um es lokal auszuprobieren. Erkunden Sie anschließend die Entity-Resolution-Software von Tilores und setzen Sie eine Auto-Merge-Schwelle, die zu Ihrem Kompromiss zwischen Precision und Recall passt.
Häufig gestellte Fragen
- Wie bewerte ich die Konfidenz von Matches in der Entity Resolution und lege Schwellenwerte für die automatische Zusammenführung fest?
- Bewerten Sie jedes Kandidatenpaar gegen gelabelte Daten mit Precision und Recall, wählen Sie dann einen F-Score, der zu den Kosten Ihrer Fehler passt, und setzen Sie die Auto-Merge-Schwelle dort, wo dieser Wert akzeptabel ist. Precision ist True Positives / (True Positives + False Positives); Recall ist True Positives / (True Positives + False Negatives). Ist das fälschliche Zusammenführen zweier Datensätze teuer (zum Beispiel bei medizinischen Akten), bevorzugen Sie Precision, optimieren Sie auf F0.5 und setzen Sie einen hohen Konfidenzschwellenwert, sodass nur die stärksten Übereinstimmungen automatisch zusammengeführt werden und der Rest in die manuelle Prüfung geht. Sind übersehene Übereinstimmungen schlimmer (zum Beispiel bei der Deduplizierung von Kundendaten oder der Betrugsprüfung), bevorzugen Sie Recall, optimieren Sie auf F2 und verwenden Sie einen niedrigeren Schwellenwert. AWS empfiehlt ebenfalls, einen messbaren, auf die Branche zugeschnittenen Genauigkeitsschwellenwert festzulegen statt eines universellen Grenzwerts.
- Was ist der Unterschied zwischen Precision und Recall in der Entity Resolution?
- Precision misst, wie viele der von Ihrem Entity-Resolution-System gefundenen Übereinstimmungen tatsächlich korrekt sind (True Positives / (True Positives + False Positives)). Recall misst, wie viele der tatsächlichen Übereinstimmungen in Ihrem Datenbestand Ihr System gefunden hat (True Positives / (True Positives + False Negatives)). Hohe Precision bedeutet wenige falsche Zusammenführungen; hoher Recall bedeutet wenige übersehene Übereinstimmungen.
- Welchen F-Score sollte ich verwenden: F1, F2 oder F0.5?
- Verwenden Sie F1, wenn beide Fehlertypen gleich teuer sind; er gewichtet Precision und Recall gleich. Verwenden Sie F0.5, wenn das fälschliche Zusammenführen von Datensätzen hohe Kosten verursacht, denn er gewichtet Precision doppelt so hoch wie Recall. Verwenden Sie F2, wenn übersehene tatsächliche Übereinstimmungen problematischer sind als ein paar falsche Übereinstimmungen, denn er gewichtet Recall doppelt so hoch wie Precision. Die allgemeine Formel lautet F_beta = (1 + beta^2) * (precision * recall) / (beta^2 * precision + recall).
- Können Sie ein durchgerechnetes Beispiel für Precision, Recall und F1 geben?
- Bei einer Datenbank mit 1.000 Kundendatensätzen und 100 tatsächlichen Duplikatpaaren gilt für ein System, das 90 Paare erkennt, von denen 80 korrekt sind (True Positives) und 10 falsch (False Positives), und das 20 tatsächliche Übereinstimmungen übersieht (False Negatives): Precision = 80/90 = 89 %, Recall = 80/100 = 80 % und F1-Score = 2 * (0,89 * 0,80) / (0,89 + 0,80) = 84 %. Für dieselben Zahlen beträgt der F2-Score 81 % (bevorzugt Recall) und der F0.5-Score 87 % (bevorzugt Precision).
- Sollte ich Precision und Recall auf Paarebene oder auf Clusterebene messen?
- Messen Sie beides. Der klassische paarweise Ansatz bewertet jedes Kandidatenpaar, doch die Forschung zur Evaluierung von Entity-Resolution-Systemen plädiert für einen entitätszentrierten Rahmen, der Precision und Recall sowohl auf Cluster- als auch auf Paarebene schätzt, weil paarbasierte Metriken allein ein verzerrtes Bild davon geben können, wie gut Datensätze zu korrekten Entitäten gruppiert werden.
Sehen Sie, was aufgelöste Entitätsdaten für Ihr Unternehmen — und Ihre KI — leisten.