Best Practice TV-Tracking: Warum eine einfache Baseline-Korrektur zu kurz greift!

Best Practice TV-Tracking

„With an eye on the future, there are a couple of measures which could be taken in order to obtain a complete picture of TV advertising as a marketing channel.“ – schreiben die Autorinnen eines aktuellen Beitrags zum Thema TV-Tracking und der Berücksichtigung des kurzfristigen TV-induzierten Online-Traffics bei der Attribution. Der Beitrag von Lisa Quetting und Evgeniya Anikina ist im Techblog des auf E-Commerce spezialisierten Company Builders Project A aus Berlin zu finden. Die Autorinnen erläutern die aktuell in der Online-Marketing Praxis üblichen Ansätze und Konzepte und diskutieren lohnenswerte Erweiterungen des Status Quo. Da wir einen Teil dieser Erweiterungen bereits im Rahmen von Kunden­projekten umgesetzt haben, möchten wir unsere Erfahrungen und Ergebnisse in die Diskussion ebenfalls mit einbringen.

Das gängige Messkonzept: Baseline-Korrektur

Der gängige Ansatz des Untergrundabzugs zur Messung des zusätzlichen TV-induzierten Onsite-Traffics setzt folgendes Szenario voraus:

Vor Ausstrahlung des TV-Spots lässt sich das Niveau des üblichen Onsite-Traffics bestimmen, so dass der zusätzliche, dieses Niveau übersteigende Traffic nach Ausstrahlung des Spots als kurzfristiger TV-Uplift interpretiert und quantifiziert werden kann.

In welchen Situationen verfälscht das einfache Messkonzept die Ergebnisse?

Werden mehrere TV-Spots vergleichsweise zeitnah ausgestrahlt, sind die mittels Untergrundabzug gemessenen Uplifts verfälscht. Fällt z.B. ein zusätzlicher TV-Spot-induzierter Uplift in den für die Baseline-Bestimmung vorhergesehenen Zeitraum, wird die Baseline über- und der TV-Uplift des nachgelagerten Spots unterschätzt.

Ebenfalls kritisch ist die zeitliche Überlagerung des Uplifts zweier Spots, da sich hier die Beiträge der beiden Spots zeitlich nicht voneinander trennen lassen.

Eine weitere Herausforderung an die Bestimmung des Spot-spezifischen Uplift tritt auf, wenn zeitgleich auf unterschiedlichen TV-Sendern Werbung ausgestrahlt wird. Der im Anschluss an die Ausstrahlung beobachtete Uplift lässt sich nun ebenfalls nicht mehr problemlos auf die beiden für den Uplift verantwortlichen Spots aufteilen.

Gelegentlich wird vorgeschlagen, die beiden zuletzt genannten Probleme durch die Verwendung der Reichweiten-Information der beteiligten Spots zu lösen. Konkret verteilt man dabei den zeitlich nicht eindeutig einem Spot zuzuordnenden Uplift im Verhältnis der Reichweiten auf die Spots. Allerdings zeigen unsere statistischen Analysen, dass sich der beobachtete Uplift nicht überlappender Spots nur zu einem geringen Anteil von ca. 20% bis 25% durch die so berücksichtigten Spot-Reichweiten erklären lässt, so dass eine solche Lösung auf keinen Fall als optimal angesehen werden kann.

Sind die möglichen Messfehler des einfachen Untergrundabzugs in der Praxis relevant?

Inwieweit die skizzierten Probleme überhaupt relevant sind, hängt von zwei Größen ab: der zeitlichen Dauer des induzierten TV-Uplifts und dem zeitlichen Abstand der ausgestrahlten TV Spots. Wenn wir auf die von uns betreuten Kundenprojekte blicken, so erstreckt sich der Uplift üblicherweise auf Zeiträume von 5 bis 15 Minuten. 50% bis 70% der ausgestrahlten Spots weisen einen zeitlichen Abstand von weniger als 10 Minuten auf. Das bedeutet, dass hier für über die Hälfte der ausgestrahlten Spots bei Verwendung der simplen Baseline-Korrektur verfälschte Uplifts ermittelt worden wären.

Sind die Messfehler durch komplexere Methoden vermeidbar?

Um in nachgelagerten Analysen zur TV-Werbewirkung nicht falsche Schlüsse zu ziehen, ist es notwendig, belastbare Lösungen für die aufgezeigten Probleme heranzuziehen und Konzepte, die über den einfachen Untergrundabzug hinausgehen, umzusetzen. Eine unverfälschte Quantifizierung des TV-Impacts kann durch die Verwendung eines mehrstufigen statistischen Verfahrens sicher­gestellt werden:

• Stufe 1 – Identifikation relevanter Online-Kanäle: Vor der eigentlichen Analyse wird untersucht, in welchen Online-Kanälen statistisch signifikanter TV-induzierter Traffic auftritt. Durch diesen vorgelagerten Schritt erübrigt sich die sonst notwendige Diskussion, inwieweit einzelne Kanäle für die TV-Analyse überhaupt relevant sind. Diese Frage wird anhand der erfassten Daten beantwortet.
• Stufe 2 – Unverzerrte Baseline-Messung: Im Rahmen einer multiplen Regression wird die Baseline unter Berücksichtigung möglicher vorgelagerter TV-Uplifts so modelliert, dass die Baseline getrennt vom TV-induzierten Traffic ermittelt und als unverzerrte Größe in den nachfolgenden Analyseschritten verwendet werden kann.
• Stufe 3 – Uplift Shape Analyse: Die im Rahmen von Stufe 2 vorgenommene unverzerrte Trennung von Baseline und TV-induziertem Traffic erlaubt es, den systematischen zeitlichen Verlauf und die Wirkungsdauer des TV-Uplifts separat für die einzelnen Online-Kanäle zu bestimmen und auf signifikante Zeiträume für die weitere Analyse zu beschränken.
• Stufe 4 – Shape Pattern Recognition: Die untergrundbereinigte TV-Uplift-Zeitreihe stellt die Basis für die Shape-Pattern-Mustererkennung dar, mit Hilfe derer die korrekte Zerlegung sich überlappender TV-Uplifts in die Beiträge der einzelnen Spots möglich wird.
• Stufe 5 – Predictive Impact Modelling: Die in den Stufen 1 bis 4 verwendeten Techniken basieren auf der zeitlichen Trennung der ausgestrahlten TV-Werbung. Diese Trennung ist im Fall zeitgleich auf unterschiedlichen TV-Kanälen ausgestrahlter Spots nicht mehr möglich. Allerdings bietet eine umfassende statistische Modellierung des bereits identifizierten Uplifts die Möglichkeit, auf Basis der Spezifika der zeitgleich ausgestrahlten Spots eine Prognose für den anteiligen Uplift der Spots abzugeben und für die weitere Analyse zu verwenden. Da eine solch umfassende Modellierung nicht nur die Spot-Reichweiten (s.o.), sondern auch Sättigungseffekte, TV-Sender, Uhrzeiten, Wochentage, etc. berücksichtigt, steigt der Erklärungsgehalt der Modelle auf 70% bis 80%, so dass das Vertrauen in die Prognosewerte aus statistischer Sicht gerechtfertigt ist.

Wie sieht das Ergebnis einer entsprechend umfangreichen Analyse aus?

Das Ergebnis einer solch umfangreichen statistischen Analyse kann als Zerlegung des zeitaufgelösten On-Site Traffics in eine Baseline- und TV-Komponente dargestellt werden. Aus statistischer Sicht ist zunächst interessant, wie hoch der Erklärungsgehalt des Modells ist, d.h. welcher Anteil der Variation des On-Site Traffics durch Baseline und TV-Uplift erklärt werden kann. In den von uns durchgeführten Analysen sind Werte für den Erklärungsgehalt von 85% und mehr durchaus üblich, was deutlich macht, dass der skizzierte Ansatz geeignet ist, die TV-Wirkung mit höchster Zuverlässigkeit zu messen.

Zu den Ergebnissen dieser Messung gehört die Information, ob eine Zunahme des Traffic nach Ausstrahlung eines TV-Spots als zufällige Schwankung oder statistisch signifikanter Uplift angesehen werden kann. Für TV-Spots mit signifikantem Uplift wird der Beitrag zum Traffic auch bei zeitlicher Überlagerung des Uplifts identifiziert und eindeutig den beteiligten Spots zugeordnet.

Wie nutzt man die Ergebnisse für die Analyse der TV-Werbewirkung?

Zunächst kann der zusätzlich durch die einzelnen Spots induzierte Traffic in Relation zu den Kosten für die Ausstrahlung der Spots gesetzt werden. Dies erfolgt auf Basis der Modellierungsergebnisse und erlaubt einen Vergleich der Sendeplätze untereinander. Um die durch den kurzfristigen TV-Uplift zusätzlichen Umsätze in einer Kosten-Nutzen-Relation zu berücksichtigen, muss der TV-Uplift bei der Attribution berücksichtigt und TV als zusätzlicher Werbekanal im Attributionsergebnis ausgewiesen werden. Dies geschieht durch die Bestimmung der beiden relevanten Attributionsanteile:

1. Für jeden User wird das zum Zeitpunkt seines Webseitenbesuchs vorherrschende TV-Ratio ermittelt, d.h. die Wahrscheinlichkeit, dass es sich um TV-induzierten Traffic handelt. Für Online-Kanäle ohne signifikanten TV-Uplift ist dieses Ratio immer 0. (Diese Vorgehensweise ist notwendig, da zwar auf einer aggregierten Skala der TV-Uplift bestimmt, nicht aber der individuelle TV-Traffic vom individuellen Baseline-Traffic getrennt werden kann.)
2. Für jede erfolgreiche Customer Journey wird der anteilige Impact der einzelnen Kontaktpunkte (Webseitenbesuche) zur Kaufentscheidung berechnet.

Die durch die Verknüpfung der beiden Anteile auf den TV-Spot attribuierten Umsätze (oder Deckungs­beiträge) erlauben die Berechnung des Beitrags des TV-Spot zu den einzelnen Sales. Somit kann durch Aggregation aller Sales der Spot-spezifische kurzfristige Attributionsanteil ermittelt werden. Diese Vorgehensweise berücksichtigt den Beitrag von TV nicht nur beim Sale-Kontakt, sondern auch als Initiator einer Customer Journey sowie im Assist-Bereich der Kette.

Fazit

Die vorgestellte Herangehensweise robustifiziert das fehleranfällige Baseline-Konzept und ermöglicht es somit, potenzielle Messfehler des einfachen Untergrundabzugs zu vermeiden. Damit versetzen wir die Werbetreibenden in die Lage, Veränderungen des On-Site-Traffics in statistisch signifikanten TV-Uplift und zufällige Schwankungen aufzuspalten. Das bedeutet, dass alle weiterführenden Kosten-Nutzen-Analysen auf einer statistisch validen Basis vorgenommen werden können.