Erfolgsfaktoren für Data-Science-Projekte

In über 10 Jahren Data-Science-Beratung haben wir die ganze Bandbreite erlebt: vom Proof of Concept, der nach wenigen Monaten für immer in der Schublade landet, bis zum langlaufenden Projekt, das auch nach Jahren kontinuierlich weiterentwickelt und von unseren Kund*innen intensiv genutzt wird. Im Folgenden möchten wir der Frage auf den Grund gehen, was die Voraussetzungen für den Erfolg eines Data Science Projekts sind.

Was bedeutet "erfolgreich"?

Es gibt zwar keine allgemeingültige Definition, aber für uns bedeutet es:

• Das Projektziel - üblicherweise definiert im Angebot - wurde erreicht (z.B. Entwicklung und Produktivnahme eines Modells zur Prognose von Zielgröße X)
• Unser*e Kund*in ist zufrieden mit dem Ergebnis
• Wir sind zufrieden mit der Qualität unserer Arbeit

Im Folgenden stelle ich die wichtigsten Faktoren vor, die zum Erfolg eines Data-Science-Projekts beitragen.

Erfolgsfaktor 1: Priorisierung und Intensität des Austauschs

Projekte können unterschiedlich hoch priorisiert sein. Bei hoch priorisierten Projekten ist der Austausch oft intensiv und unsere Kund*innen stehen für Rückfragen und Absprachen zeitnah zur Verfügung. Oft sind solche Projekte intrinsisch motiviert, weil sie zentrale Bedeutung für die Organisation und das Geschäftsmodell haben. Ist ein Projekt nicht so hoch priorisiert, haben Kund*innen oft weniger Ressourcen für einen engmaschigen Austausch. Dies ist oft der Fall, wenn die Motivation für das Projekt eher extrinsischer Natur ist, weil beispielsweise etwas nachgewiesen oder eingehalten werden muss. Die Ansprechpersonen auf Kund*innenseite mögen das Projekt zwar spannend finden, müssen sich aber im Tagesgeschäft vorrangig mit anderen Themen beschäftigen. Ein Projekt muss natürlich nicht zwingend Priorität Nr. 1 sein, um erfolgreich abgeschlossen zu werden. Wichtig ist vor allem, dass die Erwartungen an die Verfügbarkeit und die Intensität des Austauschs auf beiden Seiten klar sind und zueinander passen. Zeichnet sich eher ein sporadischer Austausch ab, muss dies in der Projektplanung berücksichtigt werden, um den Projekterfolg sicherzustellen.

Erfolgsfaktor 2: Guter Use Case

Ein guter Use Case ist die absolut notwendige Voraussetzung für ein erfolgreiches Data-Science-Projekt. Es sollte also von vornherein klar sein, wofür die Ergebnisse des Projekts später verwendet werden. Und zwar nicht nur ungefähr, sondern ganz genau. Ein guter Use Case zeichnet sich im Wesentlichen durch vier Eigenschaften aus:

Der Use Case ist konkret

Ein Use Case wie beispielsweise "ein Customer Lifetime Value (CLV) zur Anwendung im Online Marketing" ist wenig zielführend, denn Online Marketing ist ein riesiger Bereich, in dem die unterschiedlichsten Dinge gemacht werden können. Viel hilfreicher ist folgender Use Case: "ein Customer Lifetime Value, um gezielt die wertvollsten Kund*innen (ca. 1%) zu identifizieren und ihre Treue mit Gutschein-Aktionen zu sichern." Hier ist klar, was genau mit den berechneten CLV-Werten gemacht werden soll.

Der Use Case konkurriert nicht mit anderen Use Cases

Oft haben mehrere Stakeholder Interesse an den Ergebnissen eines Projekts, zum Beispiel verschiedene Abteilungen. Manchmal stellt sich aber heraus, dass die Stakeholder im Detail nicht dasselbe benötigen. Im CLV-Beispiel von oben möchte Abteilung A die Treue besonders wertvoller Kund*innen mit Hilfe von Gutscheinen erhöhen. Abteilung B hingegen möchte womöglich unrentable Kund*innen von Gutschein-Aktionen ausschließen. D.h. für Abteilung A muss das Modell im höchsten Bereich gut differenzieren, für Abteilung B ist der untere Bereich relevant. Noch schwieriger wird es, wenn nicht einmal die Zielvariablen identisch sind, weil sich Abteilungen A und B für die Marge interessieren, Abteilung C aber beispielsweise für den Umsatz. Um den Nutzen für alle Stakeholder zu maximieren und Enttäuschungen zu vermeiden, ist es wichtig, die Interessen und Erwartungen genau abzustecken, ohne Konflikte zu scheuen.

Der Use Case ist zu Ende gedacht

Dies ist die Voraussetzung dafür, dass die Ergebnisse des Projekts am Ende produktiv im Arbeitsalltag genutzt werden können. Hier ist es besonders wichtig mit den späteren Anwender*innen zu sprechen.

Mögliche Herausforderungen können sein:

• Die Daten stehen nicht in der benötigten Aktualität zur Verfügung.
• Der Ansatz ist nur auf wenige Spezialfälle anwendbar.
• Die Ergebnisse müssen noch auf bestimmte Weise aufbereitet werden, damit sie genutzt werden können (z.B. Einteilung eines Customer Lifetime Values in 5 Kategorien).
• Es fehlt ein Frontend (z.B. ein Dashboard), mit dem die Endnutzer*innen Zugriff auf die Modell-Ergebnisse bekommen.
• Die Maßnahmen, die ein*e Anwender*in aus den Ergebnissen ableiten kann, sind nicht umsetzbar.
• Wesentliche Ansprechpersonen haben keine Kapazitäten für die Zusammenarbeit im Projekt.
• Es fehlt die Unterstützung einzelner Stakeholder (Management-Ebene oder Fachabteilung) für den späteren Einsatz der Ergebnisse.
• Es gibt nur eine einzige Ansprechperson, die später zum Bottleneck wird.
• Auf Kund*innenseite ist niemand, der den Betrieb des Projekts später dauerhaft übernehmen könnte.

Die Erwartungen an den Use Case sind realistisch

Als Data-Science-Berater*innen ist es nicht nur unsere Aufgabe, den Kund*innen ein geeignetes Modell zu liefern und den Produktivbetrieb sicherzustellen. Es gehört auch dazu, die Kund*innen darüber aufzuklären, was sie vom Projekt erwarten können.

Typische Inhalte einer guten Beratung sind:

• Möglichkeiten: Was ist mit Data Science möglich und was nicht?
• Voraussetzungen: Welche Voraussetzungen müssen für ein Data-Science-Projekt erfüllt sein (z.B. benötigte Datenbasis)?
• Effektstärke: Wie groß kann die Verbesserung (des Umsatzes, der Effizienz, …) realistischerweise sein?
• Zeit bis zum Effekt: Wie schnell wird der Projektnutzen spürbar sein?
• Aufwände für Entwicklung: Was sind die Unterschiede zwischen "Proof of Concept", "MVP" und "Produkt"? Warum ist der Übergang von einem Proof of Concept zum Produktivbetrieb so viel aufwändiger als der Proof of Concept selbst?
• Aufwände für Operations: Mit welchen Aufwänden ist für Betrieb und Wartung des Datenprodukts zu rechnen, nachdem die Entwicklung abgeschlossen ist?

Gute Beratung trägt zum Erfolg eines Data Science Projekts bei, in dem für alle Beteiligten eine gemeinsame Wissensbasis und realistische Erwartungen geschaffen werden.

Erfolgsfaktor 3: Das Projekt ist in absehbarer Zeit umsetzbar

Ein Data-Science-Projekt sollte in einem absehbaren Zeithorizont messbare Ergebnisse liefern. Dafür müssen die Voraussetzungen für die Umsetzung des Projekts erfüllt sein (siehe Abschnitt Der Use Case ist zu Ende gedacht). Auch müssen bereits grundlegende Strukturen ("Data Maturity") vorhanden sein. Sind diese Strukturen noch nicht vorhanden, bieten sich drei Möglichkeiten an:

• Beratung im Data-Strategy-Bereich, um die Voraussetzungen für spätere anspruchsvolle Datenprojekte zu schaffen
• Ein eng abgestecktes Leuchtturmprojekt, an dem der Nutzen von Data Science innerhalb kurzer Zeit sichtbar wird
• Aufteilung des ursprünglich geplanten Projekts in einzelne Abschnitte, sodass Zwischenerfolge sichtbar werden und selbst bei vorzeitigem Abbruch sinnvoll verwendbare Teilergebnisse entstanden sind

Erfolgsfaktor 4: Das Projekt hat einen ausreichenden Hebel

Um zu beurteilen, ob der Hebel eines Projekts groß genug ist, muss man Kosten und Nutzen in Relation setzen.

Wichtige Fragen zur Beurteilung des Nutzens sind:

• Wie viele Personen werden die Ergebnisse des Projekts nutzen?
• Wie hoch ist die Zeitersparnis für die Nutzer*innen?
• Wie groß ist die Kostenersparnis / der finanzielle Gewinn für den*die Kund*in?
• Ist das Ergebnis breit oder nur auf Einzelfälle anwendbar? (Kann z.B. der Customer Lifetime Value für die gesamte Kund*innenbasis berechnet werden oder basiert er auf speziellen Daten, die nur für wenige Kund*innen verfügbar sind?)

Oft muss zunächst der Use Case ausreichend konkret und zu Ende gedacht werden, um die Frage nach dem Hebel zu beantworten.

Fazit

Der Schlüssel zur Identifikation potenzieller Hürden ist Kommunikation. Sind mögliche Probleme identifiziert, können Dienstleister*in und Kund*in gemeinsam besprechen, ob eine Umsetzung des Projekts trotzdem sinnvoll ist und wie man das geplante Vorgehen anpassen kann, um am Ende auf ein erfolgreiches Projekt zurückblicken zu können.

Für uns sind die wichtigsten Faktoren für erfolgreiche Datenprojekte:

• Der Use Case ist konkret und zu Ende gedacht und konkurriert nicht mit anderen Use Cases.
• Die Erwartungen an das Projekt sind kommuniziert und abgestimmt.
• Das Projekt ist so konzipiert, dass es in absehbarer Zeit messbare Ergebnisse liefert, und passt zum Reifegrad der Kund*in in Bezug auf Datenprojekte.