Shopifyが最近リリースした SimGym は、Shopifyが独自に開発した新しい 無料アプリ です。前回のWinter Editionsで発表され、数ヶ月を経てついに一般公開されました。
Shopify製アプリの最大のメリットは、無料であることです。SimGymは、どの Shopifyプラン を利用していても（今回は Shopify Growプラン で検証しました）、無料でインストールできます。
実際にアプリを試して、導入する価値があるのかを検証しました。仕組みやテスト結果、そして率直なレビューをお届けします。
Shopify SimGymとは？
ここで最も重要なキーワードは 「シミュレーション」 です。
実際のストアトラフィックを分割する Intelligems のような従来のA/Bテストツールとは異なり、SimGymは実際の訪問者を使ってバージョンを比較するものではありません。その代わり、Shopifyが AIエージェント（ボット）を投入し、各テーマバリエーションへのトラフィックをシミュレートします。
テスト設定：バンドルあり vs なし
AIの性能を試すため、ストアの2つのバージョンを比較するシミュレーションを作成しました。
- チャンピオン（デフォルトテーマ）： 商品ページで1パック、3パック、5パックのバンドルを選択でき、割引が適用される。
- チャレンジャー（バリエーションテーマ）： 数量バンドルを無効にし、0.5kgまたは1kgのパッケージのみを選択できるようにした。
それ以外のテーマ変更はありません。テストに名前を付け、スケジュールを「できるだけ早く」に設定してキューに入れました。
シミュレーションの実行
テストが始まると、非常に興味深い光景が見られます。AIエージェントが投入される様子や、ストアを閲覧する際のリアルタイムなフィードバックを確認できます。まるで実際の訪問者がサイトを巡回しているかのようです。
テストはちょうど30分で完了しました。最初の数分は非常にスムーズに進みましたが、その後96〜97%のところでしばらく停滞しました。
結果：AIの判断は正しいのか？
テスト終了後、結果と推奨事項を詳しく分析しました。
良い点：
- ボットが生成するフィードバックは、実際の顧客をうまく模倣しようとしており、素晴らしい工夫です。
残念な点：
- SimGymは、数量バンドルを削除しただけにもかかわらず、チャレンジャーのカート追加率が36%低いという結果を出し、チャンピオンの方が優れていると結論付けました。これは納得しがたい結果です。
- 具体的な推奨事項を読んでも、基本的なUX原則が欠けているストアでない限り、納得できるものはほとんどありません。
- ボットはテーマを全体としてテストしており、変更した要素だけを評価しているわけではありません。そのため、AIエージェントは変更していない要素に対しても「価格が見つけにくい」といった事実と異なるフィードバックを残していました。
総評
全体として、SimGymは非常に優れたアイデアです。高価なツールや膨大なトラフィックを必要とせずにA/Bテストのシミュレーションを行えるようにしたことは、マーチャントにとって大きな前進です。
ただし、現状ではまだ改善の余地があります。現時点では、AIによる具体的な推奨事項を鵜呑みにしたり、厳密なコンバージョン率最適化のためにこのツールに頼り切ったりすることは避けた方がよいでしょう。
その代わり、検証ツールとして活用することをお勧めします。ストアを全面的にリニューアルして新しいテーマを導入する際、公開前に重要な見落としがないかを確認するために、旧テーマと比較テストを行うには最適なツールです。
Shopifyのことですから、今後もこのツールを改善し、理想的な形に仕上げてくれるはずです。
