Shopify a récemment lancé SimGym, une nouvelle application gratuite développée nativement par Shopify. Annoncée lors de la dernière édition Winter Editions, elle est enfin disponible au public après quelques mois d'attente.
Le principal avantage des applications créées par Shopify ? Elles sont gratuites. Vous pouvez installer SimGym sans frais, quel que soit votre forfait Shopify (nous l'avons testée avec notre forfait Shopify Grow).
Nous avons testé l'application nous-mêmes pour déterminer si elle vaut le détour. Voici son fonctionnement, les résultats de nos tests et notre avis en toute transparence.
Qu'est-ce que Shopify SimGym ?
Le mot clé à retenir ici est "simulation".
Contrairement aux outils de test A/B classiques comme Intelligems qui répartissent votre trafic réel, SimGym ne teste pas vos variantes sur vos visiteurs. Shopify déploie plutôt des agents IA (bots) pour simuler du trafic sur chaque version de votre thème.
Notre configuration de test : avec ou sans lots
Pour mettre l'IA à l'épreuve, nous avons créé une simulation comparant deux versions de notre boutique :
- Le Champion (Thème par défaut) : Les clients peuvent choisir un lot de 1, 3 ou 5 articles sur la page produit pour bénéficier d'une remise supplémentaire.
- Le Challenger (Variante) : Les lots ont été désactivés et les clients choisissaient simplement entre un paquet d'un demi-kilo ou d'un kilo.
En dehors de cela, aucun autre changement n'a été effectué. Nous avons nommé le test, sélectionné une exécution "dès que possible" et avons été placés dans la file d'attente.
Lancement de la simulation
Une fois le test lancé, le processus est assez impressionnant. Vous pouvez voir les agents IA être déployés et lire leurs retours en temps réel pendant qu'ils parcourent la boutique. On croirait presque voir de vrais visiteurs naviguer sur votre site.
Notre test a duré exactement 30 minutes. Il a progressé très rapidement au début avant de stagner à 96-97 % pendant un moment.
Les résultats : l'IA est-elle fiable ?
Une fois le test terminé, nous avons analysé les résultats et les recommandations.
Les points positifs :
- Les bots génèrent des retours qui imitent fidèlement de vrais clients, ce qui est une excellente initiative.
Les points négatifs :
- SimGym a conclu que le Champion était plus performant, affirmant que le Challenger avait un taux d'ajout au panier inférieur de 36 %. Cela semble incohérent, étant donné que notre seule modification consistait à supprimer les lots de produits.
- Si vous lisez les recommandations spécifiques, elles sont rarement pertinentes, sauf si votre boutique néglige les principes fondamentaux de l'UX.
- Les bots ont testé le thème dans son ensemble, et non uniquement les éléments modifiés. Par conséquent, les agents IA ont formulé des critiques sur des éléments inchangés, prétendant par exemple que « les prix étaient difficiles à trouver », ce qui était totalement faux.
Verdict final
Dans l'ensemble, SimGym est une excellente idée. Offrir aux marchands la possibilité de réaliser des simulations de tests A/B sans outils coûteux ni trafic massif constitue une avancée majeure.
Cependant, l'outil doit encore évoluer. Pour l'instant, je ne vous conseille pas de vous fier aveuglément aux recommandations de l'IA ni de l'utiliser pour une optimisation rigoureuse de votre taux de conversion.
Je recommande plutôt de l'utiliser comme un outil de validation. Si vous refondez entièrement votre boutique et lancez un nouveau thème, SimGym est idéal pour le comparer à l'ancien et vérifier que vous n'avez rien oublié d'essentiel avant la mise en ligne.
Connaissant Shopify, je suis convaincu qu'ils continueront d'améliorer cet outil pour atteindre le niveau attendu.
