Die 5 größten Herausforderungen für Data Scientists

Die größten Herausforderungen in der Data Science liegen um sie herum: Daten finden, auf sie zugreifen, sie in Form bringen. Dieser Artikel von Tilores beleuchtet einige der größten Probleme der Data Science.

Die Wahrheit, die ganze Wahrheit und nichts als die Wahrheit. Wenn die Probleme der Data Science sich doch nur so einfach lösen ließen wie mit einem Eid vor Gericht.

Es ist vielleicht der frustrierendste Teil im Leben eines Data Scientist: wie wenig Zeit er tatsächlich damit verbringt, Wissenschaft an Daten zu betreiben. Dass es mühsam ist, Daten aus all ihren Quellen und Silos zusammenzutragen, akzeptieren viele. Weniger klar ist, dass dieses Problem im Plural auftritt. Es gibt Missverständnisse darüber, was die Rolle eines Data Scientist eigentlich umfasst; darüber, wie sehr die richtigen Antworten davon abhängen, die richtigen Fragen zu stellen; und darüber, wie Form und Format eines Datenbestands das Ergebnis beeinflussen.

Daten sind schließlich kontextabhängig – und ihre eingebauten Verzerrungen sind eine reale Gefahr, wenn man sie nicht adressiert.

Hier also ein kurzer Überblick über einige der größten Herausforderungen für alle, die heute mit Datenanalyse ringen. Wenn Sie nicht dazugehören, hilft Ihnen der Text vielleicht zu verstehen, warum diese Menschen chronisch übermüdet sind und büschelweise Haare verlieren. Und wenn „Data Scientist” in Ihrer Stellenbeschreibung steht, hilft es womöglich, diesen Artikel weiterzugeben, damit andere verstehen, wogegen Sie ankämpfen.

Das sind aus unserer Sicht die größten Herausforderungen in der Datenanalyse.

Herausforderung 1: die Daten überhaupt erst ausgraben

Es hat einen Grund, dass es „Data Science” heißt und nicht etwas weniger Anstrengendes wie „Data Sport” oder „Data Fun”. (Wobei wir bei Tilores gegen diese Varianten nichts einzuwenden hätten.) Bei der wissenschaftlichen Methode geht es darum, in unserer unordentlichen Realität grundlegende Wahrheiten zu finden … und die Forschung, um diese Wahrheiten freizulegen, ist oft beschwerlich. So ist Wissenschaft nun einmal: Sie zu betreiben, tut weh.

Marie Curie erhielt den Nobelpreis – und starb an einer Strahlenvergiftung als Folge ihrer Arbeit. Carl Sheele wies die Giftigkeit von Chemikalien nach, indem er sie, nun ja, aß. Isaac Newton stach sich zur Erforschung der Optik Nadeln ins Auge. Und was mit den Erfindern von Taucherglocke und Fallschirm passierte, können Sie sich denken.

Daten sind überall in Ihrem Unternehmen, was die Arbeit mit ihnen aber nicht leichter macht. Tatsächlich ist das Problem Nummer eins der Datenanalyse schlicht, an sie heranzukommen. Ein großer Teil des Lebens eines Data Scientist besteht darin, herauszufinden, wem was gehört, und die Erlaubnis zur Nutzung einzuholen – ausgebremst von mehreren Schichten Bürokratie: Datenschutzgesetze, unternehmensinterne Nutzungsbedingungen und die Bedenken einzelner Dateneigentümer in der Organisation. Dazu gehört leider auch die Frage, ob die gesuchten Daten überhaupt in irgendeiner Form existieren.

Das ist das größte aller Datenprobleme. Eine vollständige Lösung können wir – sorry – nicht bieten. Aber wenn Sie weiterlesen, finden Sie vielleicht einen Gedanken, der hilft.

Herausforderung 2: die immer weiter wachsende Rolle des Data Scientist

Weil kaum jemand genau weiß, was Ihr Data Scientist eigentlich tut, entsteht der Eindruck, er mache alles, was mit Daten zu tun hat. Einschließlich der schmutzigen Kleinarbeit der Datenaufbereitung – etwa Zellen in jener riesigen Tabelle zu formatieren, die Ivan aus der Buchhaltung pflegt.

Es ist offensichtlich nicht optimal, eine hochqualifizierte (und oft hochbezahlte) Person mit grundlegender Datenbereinigung zu beschäftigen. Manchmal ist der Data Scientist aber der Einzige, der mit einiger Sicherheit weiß, wie diese Daten zu bereinigen sind. Und so landet die Aufgabe mit einem dumpfen Aufschlag auf seinem Schreibtisch.

Datenaufbereitung und -bereinigung sind Schwerstarbeit, repetitiv und unerfreulich. Und dafür zahlt man einem Data Scientist nicht sein durchschnittliches Gehalt von £47.000. Ein kleiner Vorgeschmack: Was, wenn Sie das Problem umgehen könnten, indem Sie die Datenanalyse auf den Daten so durchführen, wie sie sind – in ihrem ursprünglichen Format? Auch hier gilt: einfach ein Stück weiterlesen.

Herausforderung 3: die Daten im Kontext sehen

Daten sind selten eine schlichte Menge aus Zeilen und Spalten; sie haben Schichten. Das ist das dritte große Kopfzerbrechen für Data Scientists: zu verstehen, woher diese Daten stammen, zu welchem Zweck sie erhoben wurden und was darin fehlt, das keinesfalls fehlen dürfte.

(Erinnern Sie sich an die Geschichte der Flugzeuge im Zweiten Weltkrieg, die immer an denselben Stellen mit Einschusslöchern zurückkamen, woraufhin die Verantwortlichen genau dort die Panzerung verstärkten? Klingt vernünftig. Übersieht aber eine entscheidende Verzerrung im Datenbestand: Es geht ausschließlich um Flugzeuge, die es zurück nach Hause geschafft haben. Es gibt keine Daten darüber, wo verlorene Maschinen vom Kugelhagel getroffen wurden – und genau die hätten zu weit besseren Entscheidungen geführt.)

Kontext bedeutet natürlich, das große Ganze zu betrachten: sämtliche Bedingungen und Konventionen, die diese Daten geprägt haben. Und das ist ein weiterer Hinweis darauf, wie damit umzugehen ist. Doch zuvor noch zwei Herausforderungen.

Herausforderung 4: widersprüchliche Daten, widerstreitende Quellen

Sie haben einen scheinbar perfekten Datenbestand mit Kundeninformationen: aktuell, vollständig, keine fehlenden Felder oder Datensätze. Und dann überrumpelt Sie ein Datenbestand mit derselben Namensliste – aber mit ganz anderen Datensätzen. Statt einer einzigen Version der Wahrheit haben Sie mehrere Versionen dessen, was vielleicht wahr ist.

Sind sie gleich viel wert? Sind sie gleich genau, nur auf unterschiedliche Weise? Sind die Datensätze zu einem Namen oder einer Firma überhaupt dieselbe Person oder Organisation? Zwischen völliger Genauigkeit und völliger Nutzlosigkeit liegt eine weite Landschaft des Fast-Richtigen. Und die sorgt bei jenen, die Daten analysieren, für weitere schlaflose Nächte.

Und weil wir Sie ohnehin schon auf die Folter spannen: Was, wenn Sie dieses Fast-Richtige zu Ihrem Vorteil nutzen könnten, statt es als Hindernis zu betrachten? Ja, genau dorthin führt dieser Beitrag.

Herausforderung 5: gewissenhaft mit Konfidenz umgehen

Data Scientists sind vorsichtige Menschen, die nicht dazu neigen, unbelegte Behauptungen aufzustellen. Wissenschaftlich ist das die richtige Haltung. Fachbereiche im Unternehmen sind allerdings oft taub für alles, was weniger als lautstarke Gewissheit ist. Und sie hören selten gern, dass ihre liebgewonnenen Strategien auf wackligem Fundament stehen.

Das ist unsere letzte Herausforderung für Data Scientists: ihre leise vernünftigen Stimmen im Getöse des Understatement-Angebens hörbar zu machen, das große Teile des durchschnittlichen Geschäftsalltags ausmacht. Halb so schlimm wäre es, wenn sich diese Unsicherheit beziffern ließe. Doch bis zum 95-%-Konfidenzintervall ist es oft ein gewaltiges Stück Arbeit.

Wir haben Sie lange genug hingehalten. Hier ist die Tilores-Antwort auf viele Herausforderungen heutiger Data Scientists. Sie heißt Entity Resolution.

Entity Resolution in Kürze

Entity Resolution nimmt die Nachteile von Daten – dass sie in Silos liegen, aufbereitet und bereinigt werden müssen, dass ihnen Kontext fehlt und sie sich widersprechen, und dass es mühsam ist, die eigenen Befunde zu belegen – und macht Vorteile daraus. Sie tut das, indem sie sämtliche Daten in ihrer ursprünglichen Form betrachtet, mit allen Dubletten und Grautönen … und sieht, was sie verbindet.

Vielleicht hat das Engineering-Team eine Lieferantendatenbank, das Produktdesign eine weitere und der Einkauf ebenfalls eine eigene. Jede in ihrem Silo, jede mit einem anderen Satz an Feldern pro Datensatz. Betrachtet man alle drei gleichzeitig, erkennt Entity Resolution die Verbindungen zwischen den unterschiedlichen Datensätzen: „Arc Metals” aus dem Engineering teilt sich eine Postleitzahl mit „Arcolan Metal Fabrications” aus dem Einkauf, woraus sich schließen lässt, dass es dieselbe Firma – dieselbe „Entität” – ist. „John von Arcolan” aus dem Produktdesign fügt dieser Organisation Personen hinzu und baut so eine einheitliche Sicht auf die Daten, die alle Abteilungen gemeinsam nutzen können.

Vor allem aber leistet Entity Resolution (jedenfalls in der Tilores-Variante) das in Echtzeit und mit geringem Rechenaufwand. Damit beantwortet sie gleich mehrere der oben genannten Probleme – denn sie verknüpft Daten, ohne dass diese transformiert, umformatiert oder in manchen Fällen überhaupt bewegt werden müssen.

Das ist Entity Resolution. Sie wird nicht alle Kopfschmerzen der Data Science und der Datenanalyse beseitigen. Aber sie kann verhindern, dass daraus blendende Migräneanfälle werden. Wenn das interessant klingt, schauen Sie sich https://tilores.io/de/ an.