Pola yang sering terjadi: dua iklan dinyalakan, tiga hari kemudian salah satunya punya biaya per order Rp42 ribu dan satunya Rp51 ribu. Yang murah dipertahankan, yang mahal dimatikan, dan kesimpulannya dicatat sebagai pelajaran.
Masalahnya, dengan jumlah order sekecil itu, hasil yang sama besar kemungkinannya muncul dari kebetulan. Kalau tesnya diulang minggu depan, urutannya bisa terbalik.
Menguji itu bagus. Menguji tanpa syarat yang benar cuma menambah keyakinan pada kesimpulan yang belum tentu benar, dan keyakinan yang salah lebih mahal daripada ketidaktahuan.
Apa syarat sebuah tes layak dipercaya?
Empat, dan semuanya harus terpenuhi bersamaan.
| Syarat | Kenapa perlu |
|---|---|
| Satu perbedaan saja | Kalau gambar dan audiens diganti bersamaan, kamu tidak tahu mana yang bekerja |
| Waktu yang sama | Minggu ini dan minggu lalu bisa berbeda karena musim atau harga lelang |
| Audiens tidak berebut | Dua adset ke orang yang sama saling menaikkan harga sendiri |
| Cukup hasil per sisi | Selisih dari lima order bukan bukti, itu keramaian biasa |
Syarat ketiga yang paling sering dilanggar tanpa disadari. Kalau kamu menyalakan dua adset biasa dengan audiens yang sama, mereka ikut lelang untuk orang yang sama, dan salah satunya akan kalah bukan karena materinya lebih jelek. Fitur pengujian A/B bawaan Ads Manager memang dibuat untuk mencegah itu: audiensnya dibagi acak sejak awal. Dokumentasinya ada di Business Help Center.
Berapa jumlah hasil sebelum boleh memilih pemenang?
Angka pastinya bergantung seberapa besar selisih yang ingin kamu buktikan. Semakin tipis selisihnya, semakin banyak data yang dibutuhkan.
Patokan kasar yang cukup jujur untuk toko kecil:
- Di bawah 10 hasil per sisi: jangan menyimpulkan apa pun.
- 10 sampai 30 hasil per sisi: boleh menyimpulkan kalau selisihnya besar, misalnya satu sisi dua kali lebih murah.
- Di atas 30 hasil per sisi: selisih sedang mulai bisa dipercaya.
- Selisih di bawah 10 persen: hampir tidak pernah bisa dibuktikan dengan data sebesar akun UMKM. Anggap seri.
Kalau tesmu berakhir seri, itu bukan kegagalan. Itu jawaban yang sah: perbedaannya tidak cukup besar untuk dipedulikan, dan waktumu lebih baik dipakai menguji hal lain yang bedanya lebih tajam.
Cara berpikir yang sama kami pakai saat memutuskan sebuah iklan layak dimatikan, dan itu kami tulis di kapan iklan disebut boncos.
Apa yang paling layak diuji lebih dulu?
Urutkan dari yang selisihnya paling besar, bukan yang paling gampang diganti.
- Gambar atau tiga detik pertama video. Ini penentu apakah orang berhenti menggulir. Selisih antar versi bisa berkali lipat.
- Kalimat pembuka. Terutama bagian yang menyebut masalah pembacamu.
- Penawaran. Gratis ongkir, bonus, atau paket isi dua. Ini sering mengalahkan semua urusan materi.
- Audiens. Baru sesudah materinya menang, karena materi jelek akan terlihat jelek di audiens mana pun.
- Tujuan campaign dan tempat orang mendarat. Ini bukan tes kecil, ini perubahan strategi.
Yang biasanya tidak layak diuji di akun kecil: warna tombol, susunan kata yang mirip, dan hal-hal yang selisihnya terlalu tipis untuk dibuktikan.
Kenapa hasil tes sering berbalik saat diulang?
Karena tiga hal yang tidak kelihatan di tabel:
- Jumlah kejadian yang kecil. Satu order tambahan bisa mengubah biaya per order puluhan persen ketika totalnya baru lima.
- Fase belajar. Adset yang baru menyala biasanya mahal di awal. Kalau satu sisi mulai lebih dulu, ia diuntungkan tanpa alasan yang berhubungan dengan materinya.
- Perubahan pasar. Harga tayang naik turun mengikuti musim dan hari. Tes yang berjalan di rentang tanggal berbeda membandingkan dua pasar berbeda.
Kalau kamu ingin hasilnya lebih dipercaya, jalankan tesnya sekali lagi dengan pemenang yang sama melawan penantang baru. Pemenang yang bertahan dua kali jauh lebih layak dipercaya daripada pemenang sekali.
Bagaimana mencatat hasil tes supaya tidak terulang?
Ini bagian yang paling sering hilang. Tes dijalankan, pemenangnya dipakai, dan enam minggu kemudian orang yang sama menguji hal yang persis sama karena tidak ada catatannya.
Catat empat hal saja, di mana pun kamu terbiasa mencatat:
- Apa yang diuji, dan apa yang dibuat identik.
- Rentang tanggal dan jumlah hasil tiap sisi.
- Angka biaya per hasil tiap sisi.
- Keputusan yang diambil, dan alasannya.
Catatan seperti ini yang membuat akun iklan pelan-pelan jadi pintar, bukan cuma sibuk. Di PahamAds, riwayat iklan yang pernah mati beserta sebabnya kami simpan otomatis supaya keputusan lama tidak diulang dari nol. Cara membaca perbandingan angkanya ada di analisis Meta Ads untuk pemilik bisnis, dan istilah dasarnya di kamus CTR serta kamus CPA.
Pertanyaan yang sering ditanyakan
Bagaimana cara A/B testing di Facebook Ads?
Ads Manager punya fitur pengujian A/B bawaan yang membagi audiens secara acak supaya dua versi tidak saling berebut orang yang sama. Pilih satu variabel yang diuji, misalnya materi iklan atau audiens, biarkan sisanya identik, lalu jalankan keduanya di rentang waktu yang sama. Menyalakan dua adset biasa secara manual juga bisa, tapi risikonya kedua adset saling bersaing di lelang.
Berapa lama A/B testing sebaiknya dijalankan?
Sampai tiap sisi mengumpulkan cukup hasil, bukan sampai hari tertentu. Patokan praktisnya sekitar sepuluh hasil per sisi sebagai batas paling minimal, dan lebih banyak lebih baik. Kalau belanja hariannya kecil, tesnya bisa memakan dua minggu. Menghentikan di hari ketiga karena satu sisi terlihat unggul adalah cara paling umum menghasilkan kesimpulan yang salah.
Apa yang paling layak diuji duluan?
Materi iklan, terutama gambar atau tiga detik pertama video, lalu kalimat pembuka. Di situlah selisih antar versi biasanya paling besar. Menguji hal kecil seperti tombol ajakan atau warna latar biasanya menghasilkan selisih yang terlalu tipis untuk dibuktikan dengan jumlah data yang dimiliki toko kecil.
Apakah boleh menguji lebih dari dua versi sekaligus?
Boleh secara teknis, tapi tiap versi tambahan membagi lagi datamu. Dengan budget kecil, empat versi berarti tiap versi cuma dapat seperempat hasil, dan tidak satu pun mengumpulkan cukup bukti. Untuk kebanyakan toko, dua versi adalah pilihan yang jujur.