Groupe témoin (Closed Beta)

Qu'est-ce qu'un groupe témoin ?

Un groupe témoin est très utile pour mesurer la performance d'une campagne. Un groupe témoin est un petit groupe d'utilisateurs (un pourcentage d'utilisateurs des segments associés) qui est volontairement non exposé à une publicité ou un email afin de mesurer la différence en termes d'engagement ou de conversion entre la population non exposée (groupe témoin) et la population exposée (utilisateurs des segments associés).

Dans notre cas, nous prenons en compte uniquement les conversions pour l'instant (achats en ligne et hors ligne).

Comment ça fonctionne ?

Un groupe témoin est configuré sur un stream (menu de partage). Cochez la case « Set control group » pour activer la possibilité de configurer un groupe témoin.

Spécifiez le % d'utilisateurs que vous souhaitez définir pour votre groupe témoin : ces utilisateurs ne seront pas poussés sur le stream (et donc pas exposés à la campagne).

10 % est généralement suffisant pour obtenir des métriques statistiquement significatives, cependant pour des segments très petits il est recommandé de doubler ce %.

Dès que vous démarrez le stream, le groupe témoin sera lancé également, et les résultats seront enregistrés.

****⚠️ Limitations

• faites attention à la modification des streams avec un groupe témoin actif car cela impacte les résultats sur le Dashboard de performance de la campagne. Il en est de même pour les segments utilisés dans un stream avec un groupe témoin actif : si vous modifiez une condition, cela impacte tous les résultats.

• Lorsque un stream est terminé vous ne pouvez pas le relancer, vous devez le dupliquer

Comment lire les résultats ?

Lorsqu'un stream avec un groupe témoin est activé, une icône apparaîtra à droite du nom du stream sur la page de liste des streams.

Cliquez sur cette icône pour accéder à la partie analytics.

Tout d'abord, sélectionnez la période d'analyse : vous pouvez par exemple choisir de lire les résultats sur les 3 derniers jours ou la semaine dernière.

Toutes les valeurs seront liées à cette période d'analyse.

Définition de chaque métrique :

Population totale: nombre d'utilisateurs dans les segments qui ont été sélectionnés sur le stream. Il est égal à Audience activated + Control Group.

Audience activated: nombre d'utilisateurs qui ont été poussés sur le stream (et exposés à la campagne). Il est égal à Associated segments – control group.

Control Group: nombre d'utilisateurs dans le groupe témoin, il représente le % d'utilisateurs sélectionnés pour être dans le groupe témoin et ne pas être exposés à la campagne. Il est égal à Associated segments – audience activated.

---

Cartes

Vous avez ici des métriques liées aux conversions.

Nous comparons la performance entre les utilisateurs exposés et non exposés en termes de conversions (achats en ligne et hors ligne).

En détail :

Chiffre d'affaires incrémental

Le chiffre d'affaires incrémental représente l'impact de la campagne sur votre chiffre d'affaires.

Tout commence par une supposition : si nous considérons la population totale comme groupe témoin, quelles sont les performances, et quel est le chiffre d'affaires incrémental généré par la campagne ?

Ce chiffre d'affaires incrémental peut être positif ou négatif, et il représente la performance et l'impact de la campagne.

En détail, nous considérons la population totale d'utilisateurs (= Audience activated + utilisateurs dans le groupe témoin) et nous appliquons les résultats du group témoin pour le Conversion Rate et le Average Basket Amount à tous ces utilisateurs : \

Ensuite, nous pouvons facilement comparer le chiffre d'affaires généré par l'Audience activated et le chiffre d'affaires simulé généré par la population totale en tant que groupe témoin et voir si le chiffre d'affaires incrémental est négatif ou positif.

Formule :

Chiffre d'affaires incrémental = (Chiffre d'affaires généré par l'Audience activated + Chiffre d'affaires généré par le Control group) - (Chiffre d'affaires simulé généré par la population totale en tant que group témoin)

Taux de conversion

Pour chaque population, nous calculons ici le taux de conversion sur la période sélectionnée.

Formule :

Taux de conversion = nombre de conversions ÷ nombre d'utilisateurs

(nous comparons le taux de conversion calculé pour la population « audience activated » et pour la population « control group »)

Uplift (différence en % pour le taux de conversion)

Représente l'impact de la campagne. Comme nous comparons les utilisateurs dans l'audience activée et les utilisateurs dans le groupe témoin, nous devons déterminer l'impact de la campagne en termes de conversions.

Si l'uplift est faible ou négatif, cela signifie que les utilisateurs du groupe témoin ont de bons résultats sans exposition à la campagne et donc que la campagne n'est pas aussi efficace qu'elle devrait l'être.

Au contraire, si l'uplift est élevé, cela signifie que la campagne surperforme car les utilisateurs exposés à la campagne convertissent plus que les utilisateurs du groupe témoin, l'impact est très positif sur les achats.

Formule :

Uplift = ((taux de conversion « Audience activated » - taux de conversion « Control group ») ÷ taux de conversion « Audience activated ») x 100

Revenu moyen par utilisateur (ARPU)

Nous comparons ici le revenu par utilisateur pour chaque population (audience activée et groupe témoin).

Formule :

Revenu moyen par utilisateur (ARPU) = Revenu total ÷ nombre d'utilisateurs

(nous comparons l'ARPU calculé pour la population « audience activated » et pour la population « control group »)

Montant moyen du panier

Nous comparons ici le montant moyen du panier pour chaque population.

Formule :

Montant moyen du panier = Revenu total ÷ nombre de conversions

(nous comparons le montant moyen du panier calculé pour la population « audience activated » et pour la population « control group »)

Graphiques

Évolution du taux de conversion

Vous pouvez voir ici l'évolution du taux de conversion jour après jour pour les deux populations : l'audience activée et le groupe témoin.

Ce graphique est cumulatif afin de mieux refléter l'impact en termes d'utilisateurs, d'exposition et de conversions, c'est-à-dire que pour chaque jour les conversions sont ajoutées.

Radar

Vous pouvez visualiser directement ici la comparaison entre les deux populations (audience activée et groupe témoin) pour les métriques suivantes : ARPU (Average Revenue Per User) ; Average Basket Amount ; Conversion Rate. Cela vous permet d'analyser rapidement quelles métriques sont très impactantes et pertinentes pour comparer les populations.

Métriques

Vous disposez ici d'un récapitulatif de toutes les métriques nécessaires pour comparer les populations, telles que le nombre d'utilisateurs et le nombre de conversions (nécessaires pour calculer par exemple le taux de conversion). Le chiffre d'affaires est basé sur total_final_conversion_amount, ce qui signifie qu'il peut évoluer en fonction des retours produits, par exemple.

Puis-je exporter le groupe témoin ?

Oui, vous pouvez sélectionner une exportation (email, S3 ou FTP par exemple), et sélectionner l'univers 'campaign' :

Vous pouvez sélectionner 1 segment ou choisir 'all users' et vous pouvez exporter les variables suivantes :

• Control Group : l'utilisateur appartient-il au groupe témoin ? True / False

• Exposure count : nombre d'expositions à la campagne pour un utilisateur = nombre de fois qu'un utilisateur est entré dans un segment et a été poussé via le connector

• First exposure : date de la première exposition

• Last exposure : date de la dernière exposition

• Stream ID : ID du stream pour lequel le groupe témoin a été activé