Holdout Testing
Holdout Testing im Detail
Ein Newsletter erzielt viele Bestellungen. Wie viele davon wären auch ohne den Versand entstanden? Ein Holdout schafft dafür eine geplante Vergleichsbedingung.
**Die Gruppe wird vorab festgelegt.** Wenn möglich, erfolgt die Zuteilung zufällig. Vergleiche nicht nachträglich Leser mit Nichtlesern: Beide Gruppen können sich schon vorher im Kaufinteresse unterscheiden. Die Auswertung sollte die geplante Zuteilung und tatsächliche Umsetzung berücksichtigen.
**Größe und Dauer folgen der Aussagekraft.** Eine pauschale Holdout-Quote von wenigen Prozent ist keine verlässliche Regel. Grundrate, erwarteter Effekt, Streuung, Kaufzyklus und vertretbare Opportunitätskosten bestimmen die Planung. Halte den betrachteten Zeitraum und relevante Qualitätskennzahlen vorab fest.
**Kontamination prüfen.** Eine ausgenommene Gruppe kann dieselbe Botschaft über andere Kanäle erhalten. Dokumentiere Überschneidungen und Änderungen. Der Befund beschreibt den getesteten Unterschied im bestehenden Marketingmix, nicht automatisch die Wirkung aller Werbung.
Beispiele
Hypothetisches Anwendungsbeispiel
Ein Shop teilt geeignete Kunden zufällig zu. Eine Gruppe erhält den geplanten Newsletter, die andere diesen Versand nicht. Gemessen werden Bestellungen und Retouren in derselben Frist. Andere reguläre Kommunikation bleibt in beiden Gruppen vergleichbar.
Wichtige Punkte
- Von einer bestimmten Maßnahme ausnehmen.
- Zuteilung möglichst randomisieren.
- Größe durch Testplanung begründen.
- Überschneidungen und Umsetzung dokumentieren.
Anwendung im Marketing-Alltag
Wähle eine klar abgrenzbare Maßnahme und prüfe Ausschlusslogik, Gruppenzuteilung und Ergebnisdaten vor dem Start.
Sinnvolle Messgrößen
Absoluter Lift
Geschätzte Zusatzwirkung gegenüber dem Holdout, auf vergleichbare Gruppengrößen bezogen.
Umsetzungstreue
Prüfung, ob die geplanten Ein- und Ausschlüsse tatsächlich eingehalten wurden.
Häufige Fehler
- Leser und Nichtleser nachträglich als Testgruppen definieren.
- Eine kleine Kontrollgruppe ohne Power-Planung festlegen.
Quellen und Einordnung
- Google Ads: About Conversion Lift
Kontrollierte Lift-Messung und die jeweils definierten Ergebnisgrößen.
- Vaver & Koehler: Geo Experiments
Randomisierte Experimente mit geografischen Versuchseinheiten.
Häufige Fragen zu Holdout Testing
Ein randomisierter Vergleich mit einer unbehandelten Kontrollbedingung kann als A/B-Test angelegt werden. A/B-Tests sind nicht auf zwei Anzeigenvarianten beschränkt.
Nein. Sie wird von der untersuchten Maßnahme ausgenommen. Welche anderen Aktivitäten weiterlaufen, gehört zur Definition des Experiments.
Es gibt keine allgemeingültige Quote. Plane anhand der zu erkennenden Wirkung, verfügbaren Daten und wirtschaftlichen Konsequenzen. Eine zu kleine Kontrolle kann ein unbrauchbar unpräzises Ergebnis liefern.
Weiterführende Links
Begriffsempfehlungen werden geladen…
Alle BegriffeArtikel zu Holdout Testing
Predictive Analytics im Marketing: Datengetriebene Vorhersagen für bessere Entscheidungen
Wie Machine Learning und Predictive Analytics Marketing-Entscheidungen revolutionieren – von Churn Prediction über CLV-Modelle bis hin zu Demand Forecasting.
Behavioral Data Fusion: Wie die Verschmelzung von Verhaltensdaten das Marketing revolutioniert
Behavioral Data Fusion verbindet Datenströme aus Web-Analytics, CRM, Social Media und IoT zu einem ganzheitlichen Kundenbild. Erfahre, warum isolierte Datensilos der größte blinde Fleck im Marketing sind.
Dark Social: Die unsichtbaren 80 % deiner Content-Reichweite messen und nutzen
Der Großteil deines Contents wird über private Kanäle geteilt – aber unsichtbar für Analytics. So nutzt du Dark Social strategisch.