150 Millionen Datensätze, 99,5 % Genauigkeit, 36 Stunden

Als ein großes Unternehmen mit der Aufgabe auf uns zukam, 150 Millionen Kundendatensätze aus Dutzenden Quellsystemen zu vereinheitlichen, war uns klar: Das wird der ultimative Belastungstest für Tilores. Was wir nicht wussten: wie schnell die Ergebnisse kommen würden.

Die Herausforderung

Der Kunde — ein großer Finanzdienstleister, der in mehreren europäischen Märkten tätig ist — hatte ein Problem, das jedem Data-Engineering-Team bekannt vorkommen dürfte:

150 Millionen Kundendatensätze verteilt auf mehr als 30 Quellsysteme
Kein gemeinsamer Identifikator zwischen den Systemen — jedes hatte sein eigenes Schema für Kunden-IDs
Massive Duplikate — derselbe Kunde tauchte unter verschiedenen Namen, Adressen und E-Mail-Formaten auf
Regulatorischer Druck — die DSGVO-Compliance verlangte eine einheitliche Sicht für Auskunftsersuchen betroffener Personen
Frühere Versuche gescheitert — zwei vorangegangene Projekte über 18 Monate hatten keine brauchbaren Ergebnisse geliefert

Das Unternehmen hatte versucht, Entity Resolution selbst mit Elasticsearch und eigener Matching-Logik zu bauen. Nach 18 Monaten und erheblichem Entwicklungsaufwand lag die Genauigkeit unter 80 %, und das System konnte das volle Datenvolumen nicht ohne mehrtägige Batch-Verarbeitungsfenster bewältigen.

Das Vorgehen

Wir haben Tilores an die Datenquellen des Kunden angebunden — über eine Kombination aus fertigen Konnektoren (für Salesforce und das Data Warehouse) und der REST-API (für Altsysteme). Der Prozess verlief in drei Phasen:

Phase 1: Datenaufnahme (4 Stunden)

Alle 150 Millionen Datensätze wurden per Bulk-Import in Tilores geladen. Die eingebaute Transformationsschicht von Tilores übernahm die Normalisierung automatisch: Namensformate vereinheitlichen, Adressen parsen, Telefonnummern über Ländervorwahlen hinweg normalisieren und Unterschiede in der Zeichenkodierung zwischen Altsystemen ausgleichen.

Phase 2: Entity Resolution (28 Stunden)

Die Matching-Engine von Tilores verarbeitete den gesamten Datenbestand und verglich Datensätze über mehrere Attribute hinweg anhand konfigurierbarer Fuzzy-Matching-Regeln. Das Matching berücksichtigte:

Namensähnlichkeit (Kosenamen, Transliterationen, Geburtsnamen)
Adressnormalisierung (Straßenabkürzungen, Postleitzahlformate verschiedener Länder)
Telefonnummernabgleich (internationale Formate, Mobil- vs. Festnetznummern)
Äquivalenz von E-Mail-Domains (gmail.com vs. googlemail.com)
Individuelle Geschäftsattribute (Kontonummern, Vertragsreferenzen)

Phase 3: Validierung und Feinjustierung (4 Stunden)

Das Datenqualitätsteam des Kunden prüfte eine Stichprobe der aufgelösten Entitäten. Die anfängliche Genauigkeit lag bei 98,2 %. Nach einer Runde Regelanpassung — die Gewichtung des Adressabgleichs für grenzüberschreitende Kunden wurde justiert — erreichte die Genauigkeit 99,5 %.

Die Ergebnisse

Nach insgesamt 36 Stunden Verarbeitungszeit (einschließlich Validierung) hatte der Kunde:

150 Millionen Datensätze, aufgelöst zu 47 Millionen eindeutigen Entitäten — eine Reduktion der scheinbaren Kundenzahl um 69 %
99,5 % Match-Genauigkeit, validiert durch das Datenqualitätsteam
Vollständige Data Lineage — jede aufgelöste Entität verweist mit Konfidenzwerten zurück auf ihre Quelldatensätze
Echtzeit-Aktualisierungen — neue Datensätze werden nun beim Ingest in unter 10 ms aufgelöst

Zum Vergleich: Der frühere Eigenbauversuch hatte nach 18 Monaten Entwicklung 80 % Genauigkeit erreicht und benötigte für jeden vollständigen Durchlauf 72-stündige Batch-Verarbeitungsfenster.

Warum es funktioniert hat

Drei architektonische Entscheidungen haben das möglich gemacht:

Serverless-Skalierung. Die Serverless-Architektur von Tilores skalierte automatisch mit der Last aus Ingest und Matching. Keine Kapazitätsplanung, keine Cluster-Dimensionierung, keine Infrastrukturbereitstellung. Das System holte sich die benötigte Rechenleistung und gab sie danach wieder frei.

Eine Matching-Engine, die genau dafür gebaut ist. Anders als generische Suchmaschinen, die für Entity Resolution zweckentfremdet werden, wurde die Matching-Engine von Tilores von Grund auf für genau dieses Problem entworfen. Sie vereint Datentransformation, Fuzzy Matching und Entitätszusammenführung in einer optimierten Pipeline.

Erklärbare Regeln statt Blackbox-ML. Die Matching-Regeln sind konfigurierbar und erklärbar. Als das Datenqualitätsteam im ersten Durchlauf Grenzfälle fand, konnte es genau nachvollziehen, warum zwei Datensätze zusammengeführt wurden (oder eben nicht), und die Regeln entsprechend anpassen. Dadurch dauerte die Feinjustierung Stunden statt Wochen.

Wie es weitergeht

Der Kunde setzt Tilores inzwischen produktiv für Entity Resolution in Echtzeit ein. Jede neue Kundeninteraktion — ob Kontoeröffnung, Supportticket oder Transaktion — wird in unter 10 ms gegen den einheitlichen Entitätsgraphen aufgelöst.

Die einheitliche Kundensicht trägt heute den DSGVO-Compliance-Prozess, die Betrugserkennung und personalisierte Marketingkampagnen. Was früher quartalsweise Batch-Jobs und manuelle Datenqualitätsprüfungen erforderte, läuft nun automatisch, fortlaufend und in Echtzeit.

Sie möchten sehen, was Tilores mit Ihren Daten leisten kann? Starten Sie mit dem kostenlosen Tarif — ohne Kreditkarte.