広告のABテストをやってみたいけれど、何を比べればいいのか、何日くらい回せばいいのか、どうなったら勝ちと決めていいのか分からない。広告を手動でオンオフして比べてみたけれど、結果が信用できるのか自信がない。広告のABテストを調べる人には、こうした迷いがよくあります。
この記事では、Meta、Google 広告（YouTube）、TikTok、LINEヤフー広告、X 広告の公式ヘルプをもとに、広告のABテストのやり方を整理します。各社に共通する進め方、媒体ごとのテスト機能と設定手順、結果の見方、よくある失敗、勝ったクリエイティブが疲れたときの入れ替え方を順に解説します。最後に、ABテストに必要な「比べる動画」を何本も作る手間を、Zideaでどう減らせるかを紹介します。
各社に共通する、ABテストの5つの原則
各社の公式ヘルプは、細かな違いはありますが、ほぼ同じことをすすめています。
| 原則 | 公式の言い方 |
|---|---|
| 仮説を先に立てる | Meta「測定可能な仮説に焦点をあてる」、Google「まず、テストの戦略のもとになる仮説を立てましょう」 |
| 変える要素は1つ | Meta「変数を1つに絞って有意な結果を得る」、TikTok「1つのスプリットテストで選択できる変数は1つだけ」、X「all else equal（ほかはすべて同じ）」 |
| 予算と期間をそろえる | Meta「両方のバージョンに同額の予算を使うことをおすすめします」、LINEヤフー「検証するポイント以外の要素（配信期間、予算など）はそろえてください」 |
| 途中で触らない | Meta「日時の変更やキャンセルを行うと…結果の信頼性に影響」、TikTok「テスト設定を変更しないことを推奨」 |
| 差は大きく | TikTok「変数が非常に異なるテストセットを設定します」、Google「より顕著なパターンをテストできます」 |
手動のオンオフでは比べない
広告を2つ作って、手動でオンとオフを切り替えて比べるやり方は、公式がすすめていません。Metaは、こうした略式のテストでは「オーディエンスが重複することがあります」と書いています。各社のテスト機能は、同じ人が両方の広告を見ないように、配信先を分けてくれます。ABテストは、各社のテスト機能で行うのが基本です。
（出典：Meta A/Bテストについて、Meta A/Bテストのベストプラクティス、TikTok スプリットテストの変数、TikTok ベストプラクティス、Google 動画テスト、X A/B testing）
媒体ごとのテスト機能の比較
| 媒体 | 機能 | 比べられる数 | 期間 | 勝ちの決め方 |
|---|---|---|---|---|
| Meta | A/Bテスト | 最大5つ | 7日以上を推奨、30日以内 | 選んだ指標の単価が最も低いもの。トロフィーのアイコンが付く |
| Meta | クリエイティブテスト | 2〜7案 | 手動で止めるまで | 最も成果の高い広告が示される。信頼度は表示されない |
| Google（YouTube） | 動画テスト | A/Bは2つ、カスタムは最大10 | 結果が出なければ4〜6週間以上 | 信頼度70%・80%は方向性、95%で確実な結果 |
| TikTok | スプリットテスト | 2つ | 7日以上を推奨、最大30日 | 信頼度90%で判定 |
| LINEヤフー | A/Bテスト（ディスプレイ広告） | 2つのキャンペーン | 最大90日 | 自分で数値を比べる |
| X | A/B test | 最大5つの広告グループ | 2週間以上を推奨 | Win Chance（勝つ確率）。単価が最も低いもの |
（出典：Meta テストについて、Meta クリエイティブテスト、Google 動画テスト、Google テスト、TikTok スプリットテスト、LINEヤフー A/Bテストについて【運用型】、X A/B testing）
媒体ごとの設定手順
Meta：広告マネージャのツールバーから
| 手順 | 操作 |
|---|---|
| 1 | 広告マネージャで、比べたい広告（または広告セット、キャンペーン）を選ぶ |
| 2 | ツールバーの［A/Bテスト］をクリックする |
| 3 | ［この広告のコピーを作成する］か［既存の広告2件を選択する］を選ぶ |
| 4 | 変える要素（クリエイティブ、オーディエンス、配置など）を選ぶ |
| 5 | テスト名と、結果を決める指標を選ぶ |
| 6 | 開始日と終了日を決めて、公開する |
Metaは、通常は広告マネージャのツールバーから作ることをすすめています。動画だけを比べるなら、変える要素は「クリエイティブ」です。
Meta：既存のキャンペーンの中で動画を比べる（クリエイティブテスト）
新しい「クリエイティブテスト」では、既存のキャンペーンの中で、2〜7案のクリエイティブを比べられます。キャンペーンの学習データが残るのが特長です。
- 広告のレベルで［クリエイティブテスト］の欄までスクロールし、［テストを設定］を押す
- テスト予算は、既存の予算の20%以内がおすすめ
- テストが終わっても、自動では何も変わらない。止めるまで配信が続く
- 最も成果の高かった広告は示されるが、信頼度は表示されない
Google 広告（YouTube）：動画アセットのA/Bテスト
| 手順 | 操作 |
|---|---|
| 1 | ［キャンペーン］メニューの［テスト］を開く |
| 2 | ［動画テスト］→［動画アセットの A/B テスト］を選ぶ |
| 3 | 成功の指標（コンバージョン単価、CTR、動画再生率など）を選ぶ |
| 4 | 対照群のキャンペーンを選び、［複製］する |
| 5 | 複製したほうに、比べたい動画を［動画を追加］で入れる |
| 6 | 予算と期間を確かめて保存する |
動画アセットのA/Bテストは、動画リーチ キャンペーン（効率的なリーチ）と動画視聴キャンペーンで使えます。デマンド ジェネレーションでは、別の「デマンド ジェネレーション テスト」を使います。
TikTok：広告セットを作るときにトグルをオンにする
- 広告の目的を選び、「スプリットテストを作成」のトグルをオンにする
- 「スプリットテスト」のタブで、変える要素を選ぶ。「クリエイティブアセット」には、動画の最初の2〜3秒のフックも含まれる
- 主要な指標を選び、テストの広告セットを作る
- 期間は7日以上を推奨（最大30日）。予算は、画面に出る「テストパワー」が80%以上になるように決める
LINEヤフー広告：ツールからA/Bテストを作る
- 比べたい2つのキャンペーンを用意する（キャンペーンのコピーが便利）。検証するところ以外の期間や予算はそろえる
- 広告管理ツールの右上の「ツール」→「A/Bテスト」→「A/Bテストを作成」
- テスト名、キャンペーンA・B、テスト期間（最大90日）を決める
- 共有予算やポートフォリオ入札を使っているキャンペーンは、対象にしないのがおすすめ
X 広告：キャンペーンを公開する前にオンにする
- キャンペーンの作成で、「Campaign details」の「A/B test」をオンにして、広告を2つ以上作る
- オンにできるのは、キャンペーンを公開する前だけ
- 比べられるのは、画像・動画・テキスト・CTAのクリエイティブだけ
（出典：Meta 広告マネージャでのA/Bテストの作成、Meta 作成方法の一覧、Meta クリエイティブテスト、Google 動画テスト、TikTok スプリットテストの作成、LINEヤフー A/Bテストについて【運用型】、X A/B testing）
結果の見方
信頼度を見る
信頼度は、「同じテストをくり返したときに、同じ結果になる確率」です。Google は、信頼度70%は「70% の確率で同じ結果が得られることを意味します」と説明しています。
| 媒体 | 信頼度の扱い |
|---|---|
| Google（動画、デマンド ジェネレーション） | 70%と80%は方向性を示す結果。95%で確実な結果。カスタムテストは既定で80% |
| TikTok | 信頼度90%で、より効果的な広告セットが判明したかどうかを示す |
| Meta | 何万回もシミュレートして、勝つ頻度を計算する。勝者にはトロフィーのアイコンが付く |
| X | ベイズ方式で、各セルの Win Chance（勝つ確率）を示す |
コンバージョンの数が足りているか
Google の動画テストとデマンド ジェネレーション テストでは、コンバージョン系の指標は、100件以上集まるまで結果が出ません。100件は結果が表示されるための条件で、結論を出すのに十分な数とは限りません。デマンド ジェネレーションは、コンバージョンを目的にした入札なら、テスト群ごとに50件以上のコンバージョンをすすめています。数が集まらないときは、「カートに追加」など、手前の段階のコンバージョンで最適化することもすすめています。
クリック数や視聴回数の指標には、最低限の数の決まりはありません。コンバージョンが少ないうちは、クリック率や視聴率で傾向を見て、コンバージョンで確かめるのが現実的です。
勝ちが決まらないときは
- 期間が短すぎた、結果の数が足りなかった：期間を延ばす、予算を増やす（Meta、Google）
- 違いが小さすぎた：もっと違いの大きいパターンで比べる（Google、TikTok）
- 有意な差が出なかったテストも参考になる。差がないなら、作る費用が安いほうを選べる（Google）。ただし、有意な差がないことは、成果が同じという意味とは限らない
（出典：Google 動画テスト、Google 動画テストのモニタリング、Google デマンド ジェネレーションの A/B テスト、Google カスタムテストの結果、Meta 判定方法、TikTok スプリットテストの結果）
よくある失敗
| 失敗 | なぜよくないか | どうするか |
|---|---|---|
| 動画とターゲットを同時に変える | どちらが効いたのか分からない（Meta） | 変えるのは1つだけ。動画を比べるなら、ターゲットや入札はそろえる |
| 2〜3日で勝ちを決める | 結果が足りず、たまたまの差を勝ちと思ってしまう | 7日以上（Meta、TikTok）、2週間以上（X）を目安に、最後まで回す |
| 途中で広告を直す | 結果の信頼性が下がる。Metaでは実施中に変数を変えられない | 直したくなったら、テストを終えて新しいテストを作る |
| 同じオーディエンスにほかの広告も出す | テストの結果がゆがむ（Meta） | テストのオーディエンスは、並行するほかのキャンペーンで使わない |
| 少しだけ違う動画を比べる | 差が出にくく、勝ちが決まらない（Google、TikTok） | 冒頭のフック、訴求、構成など、違いの大きいところで比べる |
| 1回勝ったら終わりにする | 勝ったのは、そのとき比べた中での1番にすぎない | 勝った動画を基準にして、次のテストを続ける |
勝ったクリエイティブが疲れたら入れ替える
ABテストで勝った動画も、同じ人に何度も見られるうちに効きにくくなります。Metaは、これを「広告疲れ」と呼び、同じクリエイティブを何度も見ると結果の単価が高くなることがあると説明しています。
疲れのサインを公式の指標で見る
| 媒体 | 公式の指標 | 中身 |
|---|---|---|
| Meta | 配信列の［過少クリエイティブ］［広告疲れ］ | 結果の単価が過去の広告より高く、2倍未満なら［過少クリエイティブ］、2倍以上なら［広告疲れ］と表示される。開始後7日以内に疲れると予測されると、公開前に警告が出る。対象はクリエイティブが1件の広告セットだけ |
| Meta | クリエイティブの多様性 | 広告セットの中の画像や動画のサムネイルが似ているかを「高・中・低」で示す（Meta自身が推定値、開発中としている） |
| アセットの評価（最良・良好・低） | 同じタイプのほかのアセットと比べた相対的な評価。「低」は置き換えを検討する改善の候補。「最良」のアセットは、同じようなアセットを足す | |
| TikTok | 成果の減少傾向、新規ユーザーの減少 | 成果が下がり続けたり、1日の新規ユーザーが少なかったりしたら、クリエイティブを更新する |
入れ替え方（公式のすすめ）
| 媒体 | 入れ替え方 |
|---|---|
| Meta | 元とは素材の違う、新しい画像や動画で別の広告を作る。元の広告は止めずに残しておくと、結果を最大化できることがある |
| Google（P-MAX） | アセットの数が上限なら、成果の低いアセットを置き換える |
| Google（フリークエンシー目標） | 目標の表示回数と同じ数以上のクリエイティブを入れて、鮮度を保つ |
| TikTok | 新しい広告セットを作らず、今の広告セットに新しいクリエイティブを足す。目安は、アカウントあたり広告セット3〜5個、各セットに広告3〜5本 |
何日ごとに入れ替えるべきか、という日数の目安は、各社とも公式には示していません。公式の指標に加えて、CTR・CPA・フリークエンシー（同じ人に表示された回数）が時間とともにどう変わっているかも見ながら、疲れのサインが出たら入れ替えるのが現実的です。そのためにも、次に試す動画をいつも何本か用意しておくことが大切です。
（出典：Meta 広告疲れに関する推奨事項、Meta クリエイティブの多様化、Google アセット レポートについて、Google P-MAX の成果を評価する、Google ターゲット フリークエンシー、TikTok クリエイティブのベストプラクティス、TikTok オークションのベストプラクティス）
比べる動画を、何本も用意するには
ABテストを続けるときに一番の壁になるのは、比べる動画を用意することです。変えるのは1つだけ、違いは大きく、勝ったら次のテストへ。この流れを回すと、条件をそろえた動画が毎週のように必要になります。
Zideaを運営する株式会社zokujinは、広告の制作と運用の受託もしています。当社の受託案件では、以前は撮影して動画を作っていたため、費用の面で比べられるのは1本ずつでした。動画広告AIのZideaで作るように変えてからは、同じ費用で約20本を比べられるようになりました。Meta広告で月約560万円を配信した約3か月の運用で、週ごとに勝った動画を基準に次のテストを回し、CPAは24,000円から14,800円（-38%）に下がっています。広告費が同じなら、CV数は月約230件から約380件に増えた計算です（広告費とCPAから出した目安）。
Zideaでは、この記事で見てきた比べ方に合わせて、次のような動画を作れます。
- 1か所だけを変えた動画：台本・映像・テロップ・演出を自分で直せるので、冒頭のフックだけ、締めの一言だけを変えた動画を作れます
- 訴求を変えた動画：商品のLPのURLを入れると、AIが訴求軸を分析し、訴求ごとの台本と絵コンテから動画まで作ります
- 見た目の違う動画：AIアバターが話すUGC風の動画や、漫画・アニメの見た目の動画など、違いの大きいパターンも作れます
- 入れ替え用の次の動画：広告疲れのサインが出たときの次の動画も、同じLPから作れます。参考にしたい広告の動画のリンクを入れれば、その構成を手本に、自社の商品と素材で広告を作れます
Standardプランは月額29,800円で約17本作れるので、毎週4本ほど新しい動画を試せます。
試すには無料アカウントの作成が必要です。新規登録すると絵コンテを1本無料で作れます。動画は7日間の無料トライアルがあります。
こんな広告動画が、URL ひとつで
まとめ：広告のABテストを始める前のチェックリスト
- 「何を変えたら、どの指標がどう良くなるか」の仮説を先に書いたか
- 変える要素を1つに絞ったか
- 手動のオンオフではなく、各社のテスト機能を使っているか
- 予算と期間をそろえたか
- 期間は7日以上（TikTokは最大30日、Xは2週間以上）とったか
- コンバージョンの数が足りるか確かめたか。足りなければ、手前の指標も見るか
- テストの途中で、広告や設定を直さないと決めたか
- 勝ちが決まらないときに、期間を延ばすか、違いの大きいパターンで比べ直すか決めたか
- 勝った動画の疲れのサイン（Metaの［広告疲れ］、Googleの「低」の評価、CTR・CPA・フリークエンシーの変化など）を見ているか
- 入れ替え用の次の動画を用意してあるか
