Thử nghiệm A/B: khi nào thực sự nên
A/B là công cụ tinh chỉnh, không phải công cụ khám phá. Dùng đúng chỗ thì có giá trị, dùng sai chỗ thì tốn công mà không học được gì.
A/B chỉ đáng làm khi trang đã có lưu lượng đủ lớn, thường cần hàng nghìn lượt tương tác để kết quả có ý nghĩa thống kê, và câu hỏi của Anh Chị là chọn phương án nào trong hai bản chỉ khác nhau một điểm. Nếu trang còn ít khách, quan sát năm người dùng thật sẽ cho Anh Chị câu trả lời nhanh hơn và rẻ hơn nhiều. Khi vấn đề còn ở mức cấu trúc lớn hoặc chưa hiểu tại sao khách vấp, cần làm nghiên cứu định tính trước, không phải A/B.
A/B là công cụ tinh chỉnh, không phải công cụ khám phá. Sinh Vũ thấy nhiều chủ doanh nghiệp nghe đến A/B rồi nghĩ đây là cách khoa học để giải quyết mọi câu hỏi thiết kế. Nhưng thực tế, A/B chỉ trả lời được một câu hỏi rất hẹp: trong hai bản khác nhau một điểm, bản nào dẫn đến tỷ lệ chuyển đổi (conversion rate, tức tỷ lệ khách thực hiện hành động mong muốn) cao hơn. Câu hỏi đó chỉ có giá trị khi Anh Chị đã có đủ dữ liệu để nghe.
Lưu lượng là điều kiện tiên quyết
Để A/B cho ra kết quả đáng tin, Anh Chị cần đủ lượt tương tác để đạt ý nghĩa thống kê (statistical significance, tức mức độ chắc chắn rằng kết quả không phải do ngẫu nhiên). Theo Nielsen Norman Group, con số này thường ở mức hàng nghìn lượt, và phụ thuộc vào tỷ lệ chuyển đổi nền (baseline conversion rate) hiện tại cùng mức khác biệt tối thiểu muốn phát hiện.
Trang mới ra mắt hoặc trang có lưu lượng thấp không đáp ứng được điều kiện này. Chạy A/B trong trường hợp đó không phải là tiết kiệm, mà là lãng phí thời gian chờ dữ liệu không bao giờ đủ, rồi ra quyết định dựa trên kết quả chưa có nghĩa gì.
Khi nào nên và không nên chọn A/B
Nên dùng A/B khi: Trang đã có lưu lượng đủ lớn. Câu hỏi là chọn phương án nào trong hai bản chỉ khác nhau một điểm, ví dụ chữ trên nút kêu gọi hành động, tiêu đề của một khối, hoặc thứ tự hai phần nội dung. Anh Chị muốn tinh chỉnh chi tiết đã hoạt động, không phải thiết kế lại từ đầu.
Không nên dùng A/B khi: Lưu lượng còn thấp, lúc đó quan sát năm đến mười người dùng thật sẽ cho kết quả nhanh hơn và giàu thông tin hơn nhiều. Vấn đề còn ở mức cấu trúc lớn, tức là Anh Chị chưa biết tại sao khách vấp, chưa hiểu luồng nào phù hợp. Trong tình huống đó, cần nghiên cứu định tính trước.
A/B chỉ nói phương án nào thắng, không nói tại sao. Nếu Anh Chị cần biết tại sao khách không điền form hay không nhấn nút, A/B không trả lời được câu đó.
Nielsen Norman Group, A/B Testing 101
Nguyên tắc một yếu tố một lần
A/B chuẩn chỉ thay một yếu tố mỗi lần. Đây không phải quy tắc hình thức mà là điều kiện để kết quả có thể dùng được. Nếu Anh Chị đổi màu nút, chữ tiêu đề và bố cục khối cùng một lúc rồi một bản thắng, Anh Chị không biết thứ nào tạo ra khác biệt đó. Kết quả không giúp Anh Chị học được gì cho lần tinh chỉnh tiếp theo.
Điều tương tự áp dụng cho thời lượng chạy. Nên chạy tối thiểu một đến hai tuần để bao trọn dao động hành vi theo ngày trong tuần, và không dừng sớm chỉ vì thấy một phương án đang dẫn trước sau vài ngày đầu.
Lỗi thường gặp
- Chạy A/B trên trang ít khách rồi kết luận khi chưa đủ ý nghĩa thống kê.
- Đổi nhiều yếu tố trong một phương án nên không quy được nguyên nhân.
- Dừng thử nghiệm ngay khi thấy một bản dẫn trước, chưa đủ mẫu và thời lượng.
- Dùng A/B để tìm hiểu tại sao khách vấp, trong khi A/B chỉ cho biết phương án nào thắng.
- Bỏ qua dao động hành vi theo ngày trong tuần, chạy quá ngắn nên bắt phải nhiễu.
Góc nhìn của Sinh Vũ
Sinh Vũ là studio thiết kế và bàn giao website. Phần lớn khách đến với Sinh Vũ đang ở giai đoạn ra mắt hoặc lưu lượng chưa đủ lớn để A/B có giá trị. Vì vậy, Sinh Vũ ưu tiên dựng luồng đúng ngay từ đầu bằng nghiên cứu và kiểm thử định tính, thay vì chờ đủ dữ liệu rồi mới thử.
A/B là công cụ tinh chỉnh về sau, phù hợp khi trang đã có lưu lượng đủ và đội của Anh Chị đang vận hành tối ưu liên tục. Đó là giai đoạn sau bàn giao, và Sinh Vũ sẵn sàng tư vấn khi Anh Chị đến giai đoạn đó. Nhưng nếu hôm nay trang mới lên hoặc khách chưa đều, đừng chờ A/B. Hãy ngồi với năm người dùng thật và quan sát, Anh Chị sẽ học được nhiều hơn trong vài giờ so với vài tuần chờ dữ liệu.
Nguồn tham khảo
A/B Testing 101, Nielsen Norman Group. Measuring a 1% Increase in Sales Through A/B Testing, Nielsen Norman Group. How to calculate sample size of A/B tests, Optimizely.
Câu hỏi thường gặp
Trang mình chưa nhiều khách, vẫn có thể chạy A/B không?
Không nên. Với lưu lượng thấp, A/B sẽ không đủ dữ liệu để kết luận có ý nghĩa thống kê, và Anh Chị dễ dừng sớm khi thấy một phương án dẫn trước rồi ra quyết định sai. Thay vào đó, hãy quan sát trực tiếp năm đến mười người dùng thật: nhanh hơn, rẻ hơn và cho Anh Chị biết tại sao khách hành xử vậy, không chỉ phương án nào thắng.
Mình muốn đổi màu nút, tiêu đề và bố cục cùng một lúc để xem bản nào tốt hơn, có được không?
Không nên làm vậy trong một lần A/B. Khi Anh Chị thay nhiều thứ cùng lúc, dù một phương án thắng thì cũng không biết thứ nào trong số đó tạo ra khác biệt, và kết quả không dùng được cho lần tinh chỉnh tiếp theo. A/B chuẩn chỉ thay một yếu tố mỗi lần để quy được nguyên nhân rõ ràng.
Chạy A/B bao lâu thì đủ?
Tối thiểu một đến hai tuần, bất kể kết quả trông như thế nào ở ngày thứ ba hay thứ tư. Hành vi khách khác nhau theo ngày trong tuần, chạy quá ngắn sẽ bắt phải nhiễu chứ không phải xu hướng thật. Thời lượng cụ thể còn phụ thuộc vào tỷ lệ chuyển đổi hiện tại và mức khác biệt Anh Chị muốn phát hiện, nên tính cỡ mẫu trước khi bắt đầu.