A/B testing : pourquoi la plupart de vos tests ne prouvent rien

Un test sans hypothèse n'est pas un test

Le titre n'est pas une figure de style. Sur 2 766 expériences analysées, environ 70 % des variations testées n'ont aucun effet réel, et jusqu'à une victoire déclarée sur quatre au seuil de 5 % est un faux positif (Berman et Van den Bulte, False Discovery in A/B Testing, Management Science, 2022). Voici les quatre raisons pour lesquelles vos tests tombent dans cette catégorie.

Changer la couleur d'un bouton pour voir ce qui se passe, ce n'est pas une expérience, c'est un pari. Un vrai test part d'une hypothèse : je pense que ce frein fait fuir les gens à cette étape, donc si je le retire, la conversion monte.

Sans hypothèse, vous ne savez pas pourquoi vous testez, donc vous ne savez pas quoi apprendre du résultat. Vous accumulez des micro-changements sans jamais comprendre votre utilisateur. Et comprendre l'utilisateur, c'est tout l'intérêt de tester.

Avant de toucher quoi que ce soit, écris la phrase complète : ce que vous changez, pourquoi, et quel chiffre vous vous attendez à voir bouger. Si vous n'arrivez pas à l'écrire, vous n'êtes pas prêt à tester.

Le volume : sans échantillon, pas de vérité

C'est l'erreur la plus répandue. On lance un test, on voit une variante à 12 conversions contre 7, on déclare un gagnant et on déploie. Sauf qu'à ce volume, l'écart est du pur hasard. Relance le test, l'autre variante gagnera.

En dessous d'environ 100 conversions par variante, vous ne mesurez rien de fiable. Pas 100 visiteurs, 100 conversions. Si votre trafic est faible, un test sérieux prend des semaines, et c'est normal. Vouloir conclure plus vite, c'est choisir de se tromper avec confiance.

Le corollaire : ne teste pas dix choses en même temps sur une petite audience. Vous n'aurez de volume sur aucune. Priorisez une expérience à fort levier, donnez-lui le temps d'atteindre la taille critique, puis passe à la suivante.

Arrêter au bon moment, pas au bon chiffre

Le deuxième tueur de tests, c'est l'arrêt anticipé. Vous regardez votre dashboard chaque matin, et le jour où votre variante préférée passe devant, vous arrêtez et vous criez victoire. Vous venez de tricher sans le savoir.

Un test qui fluctue passe forcément, à un moment, par un pic favorable. Si vous décidez de vous arrêter pile à ce pic, vous validez du bruit. La règle : vous fixez à l'avance la durée et le volume, et vous ne touchez pas avant d'y être. La discipline statistique, ce n'est pas de la paperasse, c'est ce qui sépare une décision d'une illusion.

Tester ce qui compte, pas ce qui est facile

Même bien mené, un test sur un détail ne change rien à votre business. La taille d'un titre, l'ombre d'un bouton : au mieux vous grattez des miettes. Pendant ce temps, le vrai frein est ailleurs, sur l'offre, le prix, la promesse, la cible.

Avant de tester, demandez-vous : si cette variante gagne, est-ce que ça change quelque chose à mes rendez-vous, mon chiffre, ma marge ? Si la réponse est non, gardez votre énergie. Les meilleurs tests portent sur ce qui fait vraiment basculer une décision d'achat, pas sur la décoration.

Un A/B test, ce n'est pas un gadget. C'est une machine à apprendre sur vos clients. Mal utilisée, elle vous donne des certitudes fausses, ce qui est pire que pas de certitude du tout.