Noteler kennisbank

Direct mail A/B-test: vergelijk kaartvarianten met een duidelijk testplan

Twee verschillende blauwe kaartontwerpen met elk een even grote stapel blanco kaartjes eronder.
Illustratie van twee kaartvarianten en een gelijkwaardige groepsverdeling.

In dit artikel

Een A/B-test voor direct mail vergelijkt twee varianten bij vergelijkbare groepen ontvangers. Kies één duidelijke testvraag, verdeel de doelgroep vooraf eerlijk over de varianten en houd overige omstandigheden zoveel mogelijk gelijk. Bepaal vóór verzending wanneer je het resultaat beoordeelt en welke uitkomst telt.

Een test met twee kaartontwerpen vertelt iets anders dan een vergelijking met een groep die helemaal geen kaart ontvangt. Die laatste vergelijking helpt bij de vraag of een kaart iets extra oplevert. Hieronder lees je hoe je een variantenproef bruikbaar maakt zonder een klein verschil te snel als winnaar te presenteren.

Kies de vraag die je werkelijk wilt beantwoorden

Schrijf je testvraag zo concreet mogelijk op. Bijvoorbeeld: leidt een kaart met productuitleg tot een ander bestelgedrag dan een kaart met alleen een korte uitnodiging? Of helpt een andere bestemmingspagina de ontvanger beter kiezen?

Verschillende keuzes vragen verschillende tests:

Testvraag Wat je verandert Wat zoveel mogelijk gelijk blijft
Welke boodschap helpt kiezen? Hoofdboodschap van de kaart Doelgroep, aanbod, uitvoering en bestemming
Welk ontwerp maakt de vervolgstap duidelijk? Visuele indeling Tekst, aanbod, kaartformaat en planning
Welke vervolgstap werkt beter? Bestemmingspagina of handeling Kaartboodschap en klantselectie
Welke kaartuitvoering past? Gedrukt of met pen geschreven Campagnedoel, passende boodschap en vergelijking
Welk ontvangstmoment past beter? Planning Selectiecriteria, aanbod en kaartversie

Bij een vergelijking van gedrukte en geschreven kaarten veranderen vaak ook kosten en presentatie. Je vergelijkt dan twee uitvoeringen van een campagne. Dat bewijst niet automatisch welk afzonderlijk psychologisch effect een pen of lettertype had.

Vergelijk varianten en extra effect afzonderlijk

Bij twee groepen die beide een kaart krijgen, vergelijk je variant A met variant B. Zelfs als één variant meer bestellingen laat zien, weet je daarmee nog niet hoeveel klanten zonder kaart ook zouden bestellen.

Wil je extra effect beoordelen, dan kan een aparte vergelijkbare groep zonder kaart nuttig zijn. Die groep krijgt dezelfde overige communicatie en wordt over dezelfde periode gevolgd. Zorg dat je genoeg geschikte ontvangers overhoudt: meerdere kleine groepen maken de uitkomst vaak moeilijker te beoordelen.

Voor een eerste campagne kan één duidelijke vraag beter uitvoerbaar zijn dan tegelijk kaartvorm, korting, tekst, timing en een controlegroep onderzoeken. Kies wat je na de test wilt kunnen besluiten.

Verdeel de doelgroep vóór verzending

Maak eerst één geschikte ontvangersgroep met dezelfde inclusies en uitsluitingen. Verdeel die groep daarna willekeurig over de varianten. Laat niet de eerste helft van een op omzet gesorteerd bestand variant A krijgen en de tweede helft variant B: dan kunnen de groepen vooraf al verschillen.

Bij belangrijke verschillen kun je vooraf binnen relevante groepen verdelen, bijvoorbeeld nieuwe en bestaande klanten. Leg vast hoe je dat doet en controleer of aantallen en kenmerken redelijk verdeeld zijn. Kies niet achteraf alleen de klantgroep waarin jouw favoriete kaart beter uitkomt.

Gebruik een stabiel klantkenmerk. Voorkom dat dezelfde persoon onbedoeld beide varianten ontvangt. Als meerdere klanten op hetzelfde adres elkaar kunnen beïnvloeden, bepaal dan vooraf hoe je daarmee omgaat.

Houd uitvoering en meting vergelijkbaar

Laat beide kaartversies in dezelfde relevante periode aankomen. Gebruik dezelfde actievoorwaarden en zorg dat producten beschikbaar zijn. Als één groep een kaart krijgt tijdens een voorraadtekort en de andere daarna, meet je meer dan het ontwerpverschil.

Gebruik herkenbare campagne- en variantkenmerken. Een eigen QR-code of code per variant kan de meetroute ondersteunen, maar gebruik hetzelfde soort meting voor beide groepen. Een variant met een aantrekkelijke korting en een variant zonder korting vergelijkt ook het aanbod.

Controleer vooraf dat beide bestemmingen op mobiel werken en dat codes naar de juiste variant leiden. Beoordeel retouren en onbruikbare adressen volgens een vooraf afgesproken regel, zodat je de noemers niet achteraf opportunistisch verandert.

Kies één primaire uitkomst

Bepaal welke uitkomst het campagnedoel het beste weergeeft. Bij een bestelcampagne kunnen dat kopers binnen een afgesproken periode zijn. Bij een proefpakket kan de eerste betaalde abonnementsstart relevanter zijn. Een QR-scan is geen vervanging voor dat doel.

Noteer daarnaast kosten en marge. Een iets hoger bestelpercentage kan samengaan met een duurdere kaart of een ruimere korting. Kijk daarom naar de economische uitkomst die je werkelijk wilt verbeteren, en wees duidelijk welke kosten daarin zijn meegenomen.

Spreek ook een meetperiode af die bij het aankoopritme past. Verander die periode niet alleen omdat een tussentijdse stand gunstig lijkt. Een vroege voorsprong kan later verdwijnen als de tweede groep langer nodig heeft om te reageren.

Een fictief voorbeeld: 7% tegenover 8%

Stel dat je twee vergelijkbare groepen van elk vijfhonderd klanten een kaartvariant stuurt. In de gekozen periode bestellen in groep A vijfendertig klanten en in groep B veertig.

Onderdeel Variant A Variant B
Klanten in de vooraf bepaalde groep 500 500
Geobserveerde kopers 35 40
Geobserveerd koperspercentage 7% 8%

Het verschil is één procentpunt en vijf kopers. Dat is een waarneming uit dit fictieve voorbeeld, geen bewijs dat B structureel beter zal werken. Toeval en andere verschillen kunnen een rol spelen. Het voorbeeld bevat geen uitgevoerde significantietoets.

Maak het onderscheid tussen procentpunt en relatieve verandering duidelijk in je verslag. Beslis ook niet alleen op het hoogste percentage. Neem de uitvoering, kosten, meetkwaliteit en onzekerheid mee voordat je een grotere oplage aan één variant toewijst.

Hoeveel ontvangers heb je nodig?

Er is geen universeel aantal kaarten waarmee iedere A/B-test betrouwbaar wordt. De benodigde omvang hangt onder meer af van de verwachte reactie, het verschil dat je wilt kunnen herkennen en de gewenste zekerheid. Een klein verwacht verschil is lastiger te onderscheiden van toeval dan een groot verschil.

Gebruik bij een belangrijke schaalbeslissing een passende steekproefberekening samen met je analist of meetspecialist. Laat de aannames expliciet maken. Een vast getal uit een andere campagne is geen vervanging voor die voorbereiding.

Heb je weinig geschikte klanten? Gebruik de eerste ronde om uitvoering en boodschap te controleren. Benoem de uitkomst dan als verkennend en maak van enkele extra bestellingen geen algemene conversiebelofte.

Test geen fout in plaats van een boodschap

Controleer vóór de verzending beide proeven op dezelfde manier. Denk aan variabelen, adressering, codewerking, bestemming en voorraad. Een defecte link in één variant maakt de vergelijking vooral een test van een technische fout.

Laat iemand anders de variantkenmerken nalopen. Bij een verkeerde koppeling van ontvanger en ontwerp kan zelfs een mooi rapport de werkelijke campagne niet meer goed beschrijven. Bewaar daarom de goedgekeurde versies en de vooraf vastgelegde groepsindeling.

Leg vooraf vast hoe je bestellingen en extra effect meet. Bepaal met de gids over doelgroepselectie wie aan de test kan meedoen en neem de volledige direct-mailkosten mee in de vergelijking.

Leg vast wat de volgende ronde leert

Schrijf na afloop op wat je zag, wat onzeker bleef en welke keuze daaruit volgt. Gebruik een nieuwe test om een volgend onderdeel te onderzoeken in plaats van alle variabelen tegelijk aan te passen. Een tegenvallende variant kan ook helpen begrijpen welke informatie klanten nodig hebben.

Noteler biedt gedrukte en met pen geschreven kaarten. Bespreek bij een test hoe beide uitvoeringen worden aangeleverd, gecontroleerd en herkenbaar in de campagne worden bijgehouden. Leg vooraf vast in welke systemen de groepsindeling en resultaten worden bijgehouden.

Wil je een eerste vergelijking opzetten? Bekijk kaarten voor e-commerce, houd rekening met de actuele tarieven en bespreek je testvraag met Noteler.

Maak het persoonlijk met Noteler

Vraag een proefkaartje aan

LET OP: we versturen alleen proefkaartjes voor bedrijven.