Was wir an Splink schätzen (und wann wir es Tilores vorziehen)

Kurzfassung: Wir entwickeln Tilores, eine kommerzielle Echtzeit-API für Entity Resolution. Splink ist die führende Open-Source-Bibliothek für Record Linkage, und sie ist ausgezeichnet: kostenlos, statistisch fundiert, erklärbar und von einer großen Community getragen. Wenn Ihre Arbeit rein im Batch stattfindet, forschungsgetrieben ist oder Open Source vorgeschrieben ist, ist Splink oft die richtige Wahl – und wir sagen das auch. Tilores passt anders: Es macht die Auflösung nach der Datenaufnahme in Echtzeit abfragbar, für produktive Workloads, für die Splink nie gebaut wurde.

Sehen Sie es auf Ihren Daten: Demo buchen, um Entity Resolution in Echtzeit auf Ihren eigenen Datensätzen durchzugehen, oder Tilores Studio kostenlos testen, um es lokal auszuprobieren.

Warum lobt ein Anbieter seinen Open-Source-Wettbewerber?

Wir entwickeln Tilores, eine kommerzielle Plattform für Entity Resolution. Splink ist die Open-Source-Bibliothek, mit der uns die meisten Teams vergleichen. In diesem Beitrag geht es darum, warum wir sie bewundern – und warum wir Teams manchmal raten, sie statt uns einzusetzen.

Das klingt vielleicht nach schlechtem Geschäftssinn. Ist es nicht. Die Menschen, die Entity-Resolution-Werkzeuge bewerten, sind technisch versiert und skeptisch, und sie arbeiten die Kompromisse selbst heraus. Uns ist es lieber, diese Kompromisse ehrlich zu benennen, als so zu tun, als gäbe es sie nicht.

Habt ihr nicht gerade einen Benchmark veröffentlicht, in dem ihr Splink schlagt?

Ja. Auf 1.000.000 synthetischen FEBRL-Datensätzen mit 100.000 bekannten Duplikatpaaren erreichte Tilores einen F1-Wert von 0,9949 gegenüber 0,8867 bei Splink – ein Abstand von +10,8 Prozentpunkten, der fast vollständig auf den Recall zurückgeht (+19,4 Prozentpunkte). Der vollständige Code, die Konfiguration und die Ergebnisse sind öffentlich: github.com/tilotech/tilores-splink-benchmark. Ausgewertet haben wir das im Benchmark-Beitrag.

Wir sind stolz auf dieses Ergebnis. Wir sind aber auch klar darin, was es nicht aussagt: Ein F1-Wert auf einem synthetischen Datenbestand entscheidet nicht, welches Werkzeug Sie einsetzen sollten. Die richtige Wahl hängt von Ihrer Architektur, Ihrem Team, Ihrem Budget und davon ab, was „fertig” für Sie bedeutet. Deshalb hier, was Splink richtig macht.

Es ist kostenlos – und das ist kein nebensächliches Merkmal

Splink ist Open Source. pip install splink, kein Vertrag, kein Beschaffungsprozess, keine Gebühr pro Datensatz. Eine einzige motivierte Person kann an einem Nachmittag eine funktionierende Deduplizierungs-Pipeline ausliefern, ohne jemanden um Erlaubnis zu fragen.

Für Data Scientists in Verwaltung, Forschung und schlanken Teams ist „kostenlos” eine Fähigkeit und keine Budgetabkürzung. Es beseitigt die Reibung, die Projekte schon vor dem Start scheitern lässt. Tilores ist ein kommerzielles Produkt. Wir finden, es verdient seinen Preis für die passenden Workloads – aber wir tun nicht so, als gäbe es den Vergleich nicht.

Die Statistik ist fundiert

Splink implementiert das probabilistische Record-Linkage-Modell von Fellegi und Sunter, ein begutachtetes Rahmenwerk, das seit Jahrzehnten gelehrt wird. Es lernt die Matching-Parameter mit einem Expectation-Maximization-Algorithmus aus Ihren nicht gelabelten Daten – ganz ohne Ground Truth – und drückt jeden Vergleich als Match-Gewicht aus statt als undurchsichtiges Ja/Nein.

In regulierten Umgebungen zählt das. „Diese Parameter wurden mit einem veröffentlichten statistischen Modell aus Ihren Daten gelernt” ist eine Antwort, die Prüfer und Aufsichtsbehörden verstehen. Tilores nutzt eine regelbasierte Engine, die sich vollständig konfigurieren lässt – im Code oder über eine grafische Oberfläche – und in unserem Benchmark erzielte sie einen höheren Recall. Aber sie liefert kein begutachtetes statistisches Rahmenwerk von der Stange. Das ist ein echter Unterschied, und für manche Teams ist er entscheidend.

Die Erklärbarkeit setzt einen hohen Maßstab

Jede Splink-Vorhersage kommt mit einem Wasserfalldiagramm: einer visuellen Aufschlüsselung, welche Felder den Match-Score nach oben oder unten gedrückt haben. Es beantwortet die Frage, die jedes Datenqualitätsteam stellt – warum stimmen diese beiden Datensätze überein? – und zwar ohne statistische Vorkenntnisse.

Das ist ein Muster, das jedes Entity-Resolution-Werkzeug anstreben sollte. Tilores liefert die Herkunft auf Regelebene (welche Regel ein Paar verknüpft hat), was nützlich ist – aber Splinks Aufschlüsselung der Gewichte je Feld ist ein Standard, den man respektieren sollte.

Es läuft dort, wo Ihre Daten ohnehin liegen

Splink erzeugt SQL und führt es auf DuckDB, Spark, Athena, PostgreSQL oder SQLite aus. Ihre Daten bleiben in Ihrem bestehenden Stack; Sie übernehmen eine Bibliothek, kein neues System. DuckDB bewältigt eine Million Datensätze in Sekunden auf einem Laptop; Spark skaliert denselben Code deutlich weiter. Für Teams mit starker bestehender Infrastruktur ist das ein großer Vorteil.

Tilores geht den umgekehrten Weg. Es ist eine verwaltete API: Es gibt keinen Cluster, den Sie bereitstellen, patchen oder betreuen müssten, es skaliert automatisch und läuft hinter Hochverfügbarkeits-SLAs. Das ist eine wartungsärmere Art, Entity Resolution produktiv zu betreiben. Sie übernehmen einen Dienst statt eine Bibliothek zu betreiben – was Sie abgeben, ist der Betriebsaufwand, nicht die Kontrolle.

Die Community ist Splinks stärkstes Argument

Splink wird vom britischen Justizministerium entwickelt und gepflegt und hat mehr als 19 Millionen PyPI-Downloads (fast eine Million pro Monat), ein aktives GitHub mit Tausenden Issues und Diskussionen und dokumentierte Einsätze im öffentlichen Sektor: Das britische Office for National Statistics veröffentlichte eine Fallstudie zur Verknüpfung der Zensusdaten von 2021 mit Splink, und das Projekt gewann 2025 einen Civil Service Award.

Wenn Sie ein Issue finden, das genau Ihr Problem beschreibt, und namentlich genannte Institutionen das Werkzeug in Ihrer Größenordnung betreiben, ist das eine Form von Vertrauen, die sich ein jüngeres kommerzielles Produkt nicht über Nacht kaufen kann. Wir arbeiten daran, mehr davon offen zu verdienen – dieser Benchmark gehört dazu –, aber Splinks Vorsprung ist real.

Wann wir Teams zu Splink raten

Wir meinen das ernst. Bleiben Sie bei Splink, wenn:

• Ihr Anwendungsfall reiner Batch-Betrieb ist und bleibt, etwa eine monatliche Deduplizierung in eine Datenbank. Splink ist ausgezeichnet und kostenlos, es gibt also keinen Grund, für Tilores zu zahlen.
• Sie Forschung veröffentlichen und einen begutachteten Algorithmus brauchen. Fellegi-Sunter ist der Standard, den Ihre Gutachter kennen.
• Ihre Beschaffung Open Source vorschreibt. Diese Entscheidung liegt womöglich nicht bei Ihnen, und Splink passt dazu.
• Sie Ihre gesamte Matching-Pipeline in Code und SQL ausdrücken wollen, versioniert im eigenen Repository, und die nötige Python-/Spark-Expertise im Haus haben. Splink belohnt diese praktische Kontrolle.

Wo Tilores anders passt

Wir gewinnen nicht, indem wir besser darin sind, was Splink tut. Wir gewinnen, indem wir etwas tun, was Splink nicht tut. Splink erzeugt eine Ergebnismenge. Tilores macht dieses Ergebnis in Echtzeit abfragbar.

Tilores löst und verknüpft Datensätze bei der Datenaufnahme und liefert den aufgelösten Entitätskontext zur Abfragezeit. Die Suchlatenz lag in unserem Benchmark bei 8,6 ms p95 auf einem Index mit 1 Mio. Datensätzen. Wenn Sie einen neuen Kunden bei der Kontoeröffnung, am Behandlungsort oder beim Betrugs-Screening gegen Ihre bestehenden Entitäten auflösen müssen – und nicht erst im nächsten Batch-Lauf –, passt die Architektur einer Batch-Bibliothek nicht. Und Tilores steht neben Ihrem Warehouse, MDM, CDP oder KYC-Stack, statt ihn zu ersetzen.

Das Muster, das wir am häufigsten sehen: Ein Team weist mit Splink nach, dass Entity Resolution funktioniert (dafür ist Splink in der Proof-of-Concept-Phase großartig), und will das dann in eine produktive API überführen, ohne einen Cluster aufzusetzen und zu betreuen. Dann kommen wir ins Gespräch. Entity Resolution ist schwierig, das Team im Justizministerium hat ein gutes Werkzeug gebaut, und das Feld ist besser dran, weil es beide Ansätze gibt.

FAQ

Ist Splink kostenlos?

Ja. Splink ist eine Open-Source-Bibliothek für Record Linkage, die Sie mit pip install splink installieren — keine Lizenzgebühr und keine Kosten pro Datensatz. Ihre einzigen Kosten sind die Rechenleistung, auf der es läuft, und die Entwicklungszeit für Konfiguration und Betrieb.

Wann sollte ich Splink statt Tilores einsetzen?

Nutzen Sie Splink, wenn Ihr Workload reiner Batch-Betrieb ist und bleibt, wenn Sie für Forschungszwecke einen begutachteten Algorithmus brauchen, wenn die Beschaffung Open Source vorschreibt oder wenn Sie maximale individuelle Kontrolle über das Matching wollen und das Team dafür haben. Nutzen Sie Tilores, wenn Sie Auflösung in Echtzeit zur Abfragezeit, inkrementelle Datenaufnahme und einen dauerhaften, durchsuchbaren Entitätsindex für den Produktivbetrieb brauchen.

Was ist der Kernunterschied zwischen Splink und Tilores?

Splink ist eine probabilistische Batch-Bibliothek, die eine einmalige Liste übereinstimmender Paare erzeugt. Tilores ist eine Echtzeit-API für Entity Resolution, die einen dauerhaften Entitätsindex aufbaut, den Sie nach der Datenaufnahme innerhalb von Millisekunden abfragen können. Zwei verschiedene Aufgaben: Splink für F&E und Batch, Tilores für Produktivbetrieb und Echtzeit.

Hat Tilores Splink in eurem Benchmark geschlagen?

Bei F1 und Recall ja (F1 0,9949 gegenüber 0,8867; Recall +19,4 Prozentpunkte auf 1 Mio. FEBRL-Datensätzen). Beim reinen Batch-Durchsatz gewinnt Splink klar, und es bleibt kostenlos. Wir haben den vollständigen Code und die Konfiguration veröffentlicht, damit jeder das Ergebnis reproduzieren oder infrage stellen kann.