Optimiser la performance business de votre siteavec l'A/B Testing

Gilles LaborderieDirecteur Technique Web & MobileTwitter : @g_laborderie

Twenga

La plateforme de shopping ouverte qui offre le plus grand choix du web.

Plus de 450 millions d’offres venant de plus de 230 000 boutiques en ligne.

Déployé dans 15 pays : France, Royaume-Uni, Espagne, Italie, Allemagne, Pays-Bas, Belgique, Suisse, Pologne, Brésil, Russie, Etats-Unis, Australie, Chine et Japon

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

Qu’est-ce-que l’A/B Testing ?

Une technique marketing pour tester et optimiser la performance d’une proposition commerciale.

Initialement utilisé pour les campagnes marketing par courrier

Aujourd’hui, utilisé par les acteurs du Web pour optimiser la performance des bannières publicitaires, des campagnes d’e-mailing et des sites Web.

Autres techniques similaires : Test A/B/N Test multivarié

4 clics

2 clics

A/B Testing en image

Version A

4%

8%

Convers

ion

A B100 visiteurs

50 visiteurs

Version B

50 visiteurs

Pourquoi tester ?

Parce que l’on améliore que ce que l’on mesure

Parce qu’il n’existe pas de recommandations universelles

Parce que c’est moins cher que d’acheter plus de trafic

Parce qu’ils le font ! Amazon, Google, Microsoft, etc.

Que peut-on tester ?

Bannière publicitaire

Email (titre – message)

Landing page

Pages Web

Un exemple de test A/B sur une landing page

Version de contrôle Variation

Copyright Abtests.com

+60%

Un exemple de test A/B/C sur une page d’accueil

Copyright Anne Holland Ventures, Inc. http://whichtestwon.com/

Versionde contrôle

Version A Version B

+67,8% +23%

Un exemple de test A/B sur un élément de design

Version de contrôle

Variation

Copyright Wingify

+28%

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

Bénéfices de l’A/B testing

Expérience en conditions réelles

Technique peu onéreuse

Peut détecter de petites variations de performance

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

Processus d’A/B Testing

Définition de l’expérience

Implémentation

Expérience

Analyse

1. Définition de l’expérience

Définir l’indicateur / métrique à optimiser et le champs de contraintes

Définir la(les) version(s) Forme : mise en page, couleurs, positions, etc. Contenu : titres, textes, images, formulaires, etc. Concept : tarification, promotions, etc.

Définir les paramètres de l’expérience Segmentation des utilisateurs Répartition du trafic entre les différentes versions Durée (utiliser un outil pour calculer la durée)

2. Implémentation

Développement des versions

Création et configuration du test

Déploiement des versions Recetter toutes les versions comme une version de production !

Frameworks PHP phpA/B phpScenario

Outils commerciaux Google Website Optimizer Visual Web Optimizer Optimizely Omniture's Test & Target Webtrends Optimize Etc.

2. Implémentation – les frameworks

Configuration du test Déclaratif dans le code PHP / fichiers de configuration OU Stocké en BD / Cache

Implémentation des versions

<?php

if (MyFramework::IsControl('my_test')) {    // control version} else {     // alternate version} 

?>

2. Implémentation – Les solutions commerciales

Internaute

GET /

MyShop.com

GET /2345/test.js

EasyTesting.com

Chef de produitMyShop.com

1. Configure un test A/B

2. Insère le script JS

3. Expérience

Mise en ligne de l’expérience

Expérience Utiliser un outil statistique pour définir la durée de l’expérience

Mise hors ligne à la fin de l’expérience Automatiquement ou manuellement

Source

4. Analyse

Compilation des résultats Récupération des métriques

- Métrique à optimiser ET champs de contrainte Agrégation des métriques

Analyse des résultats Analyse, mise en forme, etc. Analyse de la fiabilité des résultats

Conclusion de l’expérience Synthèse de l’expérience et des résultats Recommandation

Source

4. Analyse – Un peu de statistiques

Il est nécessaire de calculer la fiabilité statistique des résultats observés avant de conclure

Test Khi21. Calculer la valeur Khi2

2. La valeur Khi2 donne le niveau de confiance que les résultats soient significatifs

La test Khi2 dépend en particulier du nombre d’observations Plus le site a de trafic, moins longtemps il faudra pour conclure sur la fiabilité

des observations

Confiance 95% 99% 99,9%

Khi2 > 3,8 6,6 10,8

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

A/B Testing chez Twenga

Un test à la fois

Généralement sur un pays

Optimisation d’indicateur business sous contraintes de KPI Pages vues par visite Taux de rebond Taux de conversion Revenu par visite Temps passé sur le site

Utilisation d’un framework PHP maison Essentiellement pour des raisons de performance

Framework d’A/B Testing (1/2)

Créer unnouveau test

Test en cours

Historiquedes tests

Framework d’A/B Testing (2/2)

Versionset répartition

Identifiantdu test

Versionpar défaut

Premier exemple : bannière animée vs. Image fixe (1/2)

Objectif du test : déterminer quel format génère le plus de clics

Version A

Version B

Premier exemple : bannière animée vs. Image fixe (2/2)

Tableau récapitulatif des Pages vues / Clics

Significativité

Le résultat est hautement significatif avec 99% de confiance.

Conclusion La version PNG performe plus que la version FLASH

  Pages vues Clics Taux de clics

FLASH 3 361 008 1 014 0,030%

PNG 3 370 304 2 870 0,085%

Test du Khi²  

Khi² de notre série (FLASH vs. PNG) 881,28

Khi² à dépasser avec 99,9% de confiance 10,83

Deuxième exemple : filtre de prix (1/2)

Objectif du test : déterminer comment les internautes préfèrent filtrer par prix

Version A Tranches de prix pré-déterminés

Version B Slider de prix

Deuxième exemple : filtre de prix (2/2)

Le taux d'utilisation du filtre PRIX est impacté par la forme de ce filtre. La version A (tranches de prix) a un taux d'utilisation 1,33 x plus important que

la version B (slider de prix). Cette différence est hautement significative.

0.0%

0.5%

1.0%

1.5%

2.0%

2.5%

Taux d'utilisation du filtre

Price Range Price Slider

A/B Testing chez Twenga

Ces résultats sont contextuels et ne sont pas généralisable

Nous complétons les tests A/B par des tests utilisateurs Permet de tester des prototypes (voire des prototypes papier) Permet d’avoir une approche plus orientée utilisateur

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

Comprendre les limites de l’A/B Testing

Nécessite de développer, recetter et déployer toutes les versions

N’évalue que les versions testées

Ne favorise pas la compréhension profonde du comportement des utilisateurs

Ne fonctionne que pour ce qui est mesurable par une session HTTP

Orienté court-terme

Peut conduire à un maximum local

Agenda

Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer

Bien se lancer

Commencer par : Les pages les plus visitées Les pages avec le plus grand taux de rebond Les tunnels business

- Inscription- Achat

A ne pas faire

Tester les versions séquentiellement

Faire plusieurs tests à la fois Perturber vos utilisateurs

A faire

Vérifier la fiabilité de vos tests Montrer la même variation aux

utilisateurs Vérifier la cohérence générale Partager les résultats en interne

Ressources utiles

ABtests.com Which Test Won? Free A/B Split Testing Tools

Q&ATwenga recrute !

http://recrute.twenga.fr/