Combien de variables tester dans un seul test A/B ?

Une seule. Changer plusieurs éléments à la fois rend impossible de savoir ce qui a causé le résultat. Testez un seul changement important — un titre, une offre, une structure de page — pour que le résultat soit sans ambiguïté et l'apprentissage actionnable.

Combien de temps un test A/B doit-il durer ?

Au minimum, un cycle d'affaires complet — généralement au moins une semaine pour capturer le comportement en semaine et le week-end. Fixez la taille d'échantillon et la date de fin avant de lancer, et résistez à l'envie d'arrêter tôt même quand une avance précoce semble décisive. Les avances précoces s'inversent souvent.

Quelle métrique utiliser pour évaluer un test A/B ?

Reliez le test à la métrique qui vous paie vraiment — prospects qualifiés ou revenus — plutôt qu'une métrique de vanité comme les clics. Une variante qui augmente les clics mais réduit les revenus est une perte déguisée en victoire, et optimiser pour le mauvais chiffre est pire que ne pas tester.

CRO · Par Arav Sahni · FutureSource

2 février 2026

Tests A/B sans se tromper soi-même

En bref : La plupart des tests A/B arrivent à la mauvaise conclusion. Un cadre simple pour des tests qui disent vraiment la vérité.

Les tests A/B sont censés retirer l'opinion des décisions. Mal faits, ils font l'inverse : ils déguisent une supposition en données et donnent une fausse confiance pour déployer quelque chose qui ne marche pas. Le remède est la discipline, pas plus de logiciels.

Tester une seule grande chose

Changer cinq petites choses à la fois ne dit rien sur ce qui a fonctionné, et les changements audacieux donnent des résultats plus clairs que les timides. Testez un changement important à la fois — un titre, une offre ou une structure de page — pour un résultat sans ambiguïté.

Atteindre une vraie signification

Déclarer un gagnant après trente conversions, c'est deviner, pas tester. Fixez la taille d'échantillon et la durée avant de commencer, couvrez au moins un cycle d'affaires complet et résistez à l'envie d'arrêter tôt parce qu'une avance précoce semble excitante.

Fixez la taille d'échantillon et la date de fin avant le lancement.
Durez au moins une semaine complète (semaine et fin de semaine).
N'arrêtez pas dès qu'une variante semble en avance.

Suivre la métrique qui paie

Une variante qui augmente les clics mais réduit les revenus est une perte déguisée en victoire. Reliez toujours le test à la métrique qui vous paie vraiment — prospects qualifiés ou revenus — plutôt qu'à un chiffre de vanité plus haut dans l'entonnoir.

Tenir un journal de tests

Consignez chaque test, son hypothèse et son résultat, y compris les perdants. Avec le temps, ce journal devient votre actif le plus précieux : il évite de relancer des questions réglées et transforme des expériences éparses en une compréhension cumulative de votre public.

La hiérarchie des idées de test

Tous les tests A/B ne valent pas la peine d'être exécutés. Un changement qui affecte cinq pour cent des visiteurs sur une page rarement visitée prendra des mois pour atteindre une signification statistique. Priorisez les tests selon trois dimensions : l'impact potentiel sur la métrique principale de revenus, l'étendue de la couverture sur le trafic (les tests de titre sur le point d'entrée à fort trafic battent les tests de couleur de bouton sur une page secondaire enfouie) et la confiance que le changement s'attaque à un point de friction réel et identifié. Notez chaque idée sur ces trois dimensions avant de lui engager du trafic.

Isoler le bon échantillon

La signification statistique vous indique si la différence entre les variantes est probablement réelle ou probablement du bruit — mais seulement pour la population testée. Un test exécuté sur tout le trafic sans égard à la source, l'appareil et le comportement mélange des publics aux motivations si différentes que la variante gagnante peut performer très différemment dans chaque sous-groupe. Segmentez vos tests quand la composition du public est mixte : séparez mobile de bureau, trafic de marque du hors marque, et visiteurs revenant des nouveaux. Un test plus ciblé produit une conclusion plus fiable.

Configuration pré-test : ce qu'il faut décider avant le lancement

Trois décisions doivent être verrouillées avant que le trafic n'atteigne le test : la métrique principale (un seul événement de conversion proximate aux revenus, pas une gamme à choisir après les résultats), la taille d'échantillon minimale par variante (calculée à partir de votre taux de base et de l'effet minimal détectable), et la durée maximale du test. Changer la métrique principale en cours de test est la façon la plus courante dont les tests trompent ceux qui les exécutent — cela transforme une hypothèse en recherche d'un nombre favorable.

Définissez la métrique principale avant le lancement et ne la changez pas en cours de test.
Calculez la taille d'échantillon requise selon le taux de base et l'effet minimal détectable.
Fixez une date de fin au départ — les tests indéfinis accumulent les faux positifs avec le temps.
Segmentez les résultats par appareil et source de trafic pour détecter les inversions dans les sous-groupes.

Déployer les gagnants et apprendre des perdants

Un test qui atteint la signification avec un gagnant clair devrait être déployé dans les 48 heures suivant la décision. La période entre la conclusion d'un test et la mise en permanence de la variante gagnante est du temps mort où une amélioration prouvée ne génère pas de revenus. Établissez un protocole de déploiement standard qui achemine les résultats gagnants directement vers un sprint d'implémentation plutôt qu'un autre cycle d'approbation. Les perdants méritent autant d'analyse que les gagnants : une variante qui perd de façon décisive vous dit quelque chose de spécifique sur ce à quoi votre public ne répond pas — souvent plus précieux pour affiner les futures idées de test.

Construire une culture de test

La valeur cumulée des tests A/B ne vient pas d'un seul test mais de dizaines exécutés régulièrement. Une culture de test a trois caractéristiques : chaque changement significatif d'une page à fort trafic est testé plutôt que supposé, les résultats sont partagés entre les équipes plutôt que conservés, et les tests perdants sont traités comme des données utiles plutôt que des échecs. Le journal de tests est l'artefact qui rend cette accumulation possible — un enregistrement partagé de chaque hypothèse, résultat et conclusion que la prochaine personne à toucher la page peut lire avant d'exécuter un test déjà réglé.

Lancer votre premier test rigoureux

Pour les équipes qui ont exécuté des tests de manière informelle, la transition vers un cadre rigoureux commence par un test bien structuré sur le point de conversion à plus fort trafic. Documentez l'hypothèse avant que le trafic ne commence — indiquez précisément ce que vous attendez changer et pourquoi — puis verrouillez la métrique principale, la taille d'échantillon requise et la date de fin avant de lancer. Quand le test se conclut, rédigez un post-mortem d'un paragraphe enregistrant l'hypothèse, le résultat et l'explication la plus probable. Partagez-le avec toute l'équipe marketing. Ce document unique, ajouté à un journal de tests partagé, commence l'accumulation de connaissances institutionnelles qui distingue les équipes qui comprennent de mieux en mieux leurs audiences de celles qui répètent les mêmes questions sans jamais vraiment apprendre ce à quoi leur public répond.

Foire aux questions

Combien de variables tester dans un seul test A/B ?: Une seule. Changer plusieurs éléments à la fois rend impossible de savoir ce qui a causé le résultat. Testez un seul changement important — un titre, une offre, une structure de page — pour que le résultat soit sans ambiguïté et l'apprentissage actionnable.
Combien de temps un test A/B doit-il durer ?: Au minimum, un cycle d'affaires complet — généralement au moins une semaine pour capturer le comportement en semaine et le week-end. Fixez la taille d'échantillon et la date de fin avant de lancer, et résistez à l'envie d'arrêter tôt même quand une avance précoce semble décisive. Les avances précoces s'inversent souvent.
Quelle métrique utiliser pour évaluer un test A/B ?: Reliez le test à la métrique qui vous paie vraiment — prospects qualifiés ou revenus — plutôt qu'une métrique de vanité comme les clics. Une variante qui augmente les clics mais réduit les revenus est une perte déguisée en victoire, et optimiser pour le mauvais chiffre est pire que ne pas tester.