Groupe de contrôle (Closed Beta )

Qu’est-ce qu’un groupe de contrôle ?

Un groupe de contrôle est très utile pour mesurer la performance d’une campagne. Un groupe de contrôle est un petit groupe d’utilisateurs (un pourcentage d’utilisateurs des segments associés) qui est volontairement non exposé à une publicité ou à un email afin de mesurer la différence en termes d’engagement ou de conversion entre la population non exposée (groupe de contrôle) et la population exposée (utilisateurs dans les segments associés).

Dans notre cas, nous ne prenons en compte pour l’instant que les conversions (achats en ligne et hors ligne).

Comment ça marche ?

Un groupe de contrôle se configure sur un stream (menu de partage). Cochez la case « Définir un groupe de contrôle » pour activer la possibilité de configurer un groupe de contrôle.

Spécifiez le % d’utilisateurs que vous souhaitez définir pour votre groupe de contrôle : ces utilisateurs ne seront pas poussés sur le stream (et donc pas exposés à la campagne).

10 % est généralement suffisant pour obtenir des métriques statistiquement significatives ; cependant, pour de très petits segments, il est recommandé de doubler ce %.

Dès que vous lancez le stream, le groupe de contrôle sera lui aussi lancé, et les résultats seront enregistrés.

****⚠️ Limitations

• faites attention à la modification des streams avec un groupe de contrôle actif, car cela impacte les résultats sur le Dashboard de performance de la campagne. Même chose avec les segments utilisés dans un stream avec un groupe de contrôle actif : si vous modifiez une condition, cela impacte tous les résultats.

• Lorsqu’un stream est terminé, vous ne pouvez pas le relancer, vous devez le dupliquer

Comment puis-je lire les résultats ?

Lorsqu’un stream avec un groupe de contrôle est activé, une icône apparaîtra à droite du nom du stream sur la page de liste des streams.

Cliquez sur cette icône pour accéder à la partie analytics.

Commencez par sélectionner la période d’analyse : vous pouvez par exemple choisir de lire les résultats sur les 3 derniers jours ou la semaine dernière.

Tous les chiffres seront liés à cette période d’analyse.

Définition de chaque métrique :

Population totale : nombre d’utilisateurs dans les segments qui ont été sélectionnés sur le stream. Il est égal à Audience activée + groupe de contrôle.

Audience activée : nombre d’utilisateurs qui ont été poussés sur le stream (et exposés à la campagne). Il est égal à Segments associés – groupe de contrôle.

Groupe de contrôle : nombre d’utilisateurs dans le groupe de contrôle ; cela représente le % d’utilisateurs sélectionnés pour faire partie du groupe de contrôle et ne pas être exposés à la campagne. Il est égal à Segments associés – audience activée.

---

Cartes

Vous avez ici quelques métriques liées aux conversions.

Nous comparons la performance entre les utilisateurs exposés et non exposés en termes de conversions (achats en ligne et hors ligne).

En détail :

Revenu incrémental

Le revenu incrémental représente l’impact de la campagne sur votre revenu.

Tout commence par une supposition : si nous considérons l’ensemble de la population dans le groupe de contrôle, quelles sont les performances et quel est le revenu incrémental généré par la campagne ?

Ce revenu incrémental peut être positif ou négatif, et il représente la performance et l’impact de la campagne.

En détail, nous considérons l’ensemble de la population d’utilisateurs (= Audience activée + utilisateurs dans le groupe de contrôle) et nous appliquons à tous ces utilisateurs les résultats du groupe de contrôle pour le taux de conversion et le montant moyen du panier : \

Ensuite, nous pouvons facilement comparer le revenu généré par l’Audience activée et le revenu simulé généré par la population totale comme groupe de contrôle et voir si le revenu incrémental est négatif ou positif.

Formule :

Revenu incrémental = (Revenu généré par l’Audience activée + Revenu généré par le groupe de contrôle) - (revenu simulé généré par la population totale comme groupe de contrôle)

Taux de conversion

Pour chaque population, nous calculons ici le taux de conversion sur la période sélectionnée.

Formule :

Taux de conversion = nombre de conversions ÷ nombre d’utilisateurs

(nous comparons le taux de conversion calculé pour la population « audience activée » et pour la population « groupe de contrôle »)

Uplift (% de différence du taux de conversion)

Représente l’impact de la campagne. Comme nous comparons les utilisateurs de l’audience activée et les utilisateurs du groupe de contrôle, nous devons déterminer l’impact de la campagne en termes de conversions.

Si l’uplift est faible ou négatif, cela signifie que les utilisateurs du groupe de contrôle obtiennent de bons résultats sans exposition à la campagne et que la campagne n’est donc pas aussi efficace qu’elle devrait l’être.

À l’inverse, si l’uplift est élevé, cela signifie que la campagne surperforme, car les utilisateurs exposés à la campagne convertissent davantage que les utilisateurs du groupe de contrôle ; l’impact sur les achats est très positif.

Formule :

Uplift = ((taux de conversion « Audience activée » - taux de conversion « Groupe de contrôle ») ÷ taux de conversion « Audience activée ») x 100

Revenu moyen par utilisateur (ARPU)

Nous comparons ici le revenu par utilisateur pour chaque population (audience activée et groupe de contrôle).

Formule :

Revenu moyen par utilisateur (ARPU) = revenu total ÷ nombre d’utilisateurs

(nous comparons l’ARPU calculé pour la population « audience activée » et pour la population « groupe de contrôle »)

Montant moyen du panier

Nous comparons ici le montant moyen du panier pour chaque population.

Formule :

Montant moyen du panier = revenu total ÷ nombre de conversions

(nous comparons le montant moyen du panier calculé pour la population « audience activée » et pour la population « groupe de contrôle »)

Graphiques

Évolution du taux de conversion

Vous pouvez voir ici l’évolution du taux de conversion jour après jour pour les deux populations : l’audience activée et le groupe de contrôle.

Ce graphique est cumulatif afin de mieux refléter l’impact en termes d’utilisateurs, d’exposition et de conversions ; cela signifie que, pour chaque jour, les conversions sont ajoutées.

Radar

Vous pouvez visualiser directement ici la comparaison entre les deux populations (audience activée et groupe de contrôle) pour les métriques suivantes : ARPU (Revenu moyen par utilisateur) ; Montant moyen du panier ; Taux de conversion. Cela vous permet d’analyser rapidement quelles métriques ont un impact important et sont pertinentes pour comparer les populations.

Métriques

Vous avez ici un résumé de toutes les métriques nécessaires pour comparer les populations, comme le nombre d’utilisateurs et le nombre de conversions (nécessaires, par exemple, pour calculer le taux de conversion). Le chiffre d’affaires est basé sur total_final_conversion_amount, ce qui signifie qu’il peut évoluer en fonction des retours de produits, par exemple.

Puis-je exporter le groupe de contrôle ?

Oui, vous pouvez sélectionner un export (email, S3 ou FTP par exemple) et sélectionner l’univers 'campaign' :

Vous pouvez sélectionner 1 segment ou choisir 'all users' et vous pouvez exporter les variables suivantes :

• Groupe de contrôle : l’utilisateur appartient-il au groupe de contrôle ? Vrai / Faux

• Exposure count : nombre d’expositions à la campagne pour un utilisateur = nombre de fois où un utilisateur est entré dans un segment et a été poussé via le connecteur

• First exposure : date de la première exposition

• Last exposure : date de la dernière exposition

• Stream ID : ID du stream pour lequel le groupe de contrôle a été activé