A / B Testing

A / B Testing ?

• 웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준다.
• 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여, 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식을 말한다.
  • 여기에서 성과란 새 사이트가 목표로 했던 바에 따라 다른데, 보통은 회원 가입율, 재방문율, 구매전환율 등의 지표를 본다.

웹 사이트에서의 A / B 테스트 예제. 한 웹 사이트에서 한 개의 버튼 요소의 디자인만 다른 두 가지 버전을 무작위로 방문자에게 제공해, 두 디자인의 상대적인 효용성을 측정할 수 있다. 출처 : Wikipedia

 

A / B Testing의 4가지 장점

• 다음 URL의 Benefit을 번역했다 : https://www.nngroup.com/articles/putting-ab-testing-in-its-place/

1. 웹 사이트 분석의 한 분야로서, 실제 상황에서 고객의 실제 행동을 측정한다.
   • 버전 B가 버전 A보다 더 많이 판매된다면, 버전 B는 향후 모든 유저에게 보여줘야 할 디자인이라고 자신 있게 결론 내릴 수 있다.
2. A / B Testing은 각 디자인에서 많은 사람들 (Boatloads) 의 트래픽을 던질 수 있기 때문에, 높은 통계적 유의성을 가지고 매우 작은 성능 차이를 측정할 수 있다.
   • 사이드바는 두 디자인 사이의 판매에서 1%의 차이를 어떻게 측정할 수 있는지를 보여준다.
3. 상황에 따라 어떤 것이 가장 큰 비중을 차지하는지 결정함으로써, 상충되는 지침 (Conflicting Guidelines) 이나 질적 사용적합성 결과 (Qualitative Usability Findings) 사이의 Trade-Off를 해결할 수 있다.
   • 예를 들어, 전자 상거래 사이트에서 유저에게 할인 쿠폰을 입력하기를 권유하면, 유저 테스트를 통해 사람들은 다른 고객들보다 더 많은 돈을 지불하고 싶지 않기 때문에 쿠폰을 가지고 있지 않으면 몹시 불평할 것이다.
   • 동시에, 쿠폰은 좋은 마케팅 도구이며, 코드를 입력하는 쉬운 방법이 없다면 쿠폰 소지자의 쿠폰 사용성은 분명히 감소한다.
   • 전자상거래 사이트가 쿠폰 입력 필드를 포함하거나 포함하지 않고 A / B Testing을 시도할 경우, 유저가 기본 구매 및 결제 경로에서 쿠폰 입력을 요청받지 않았을 때, 전체 판매는 일반적으로 20-50% 증가했다.
   • 따라서, 일반적인 지침은 눈에 띄는 쿠폰 필드를 피하는 것이다.
   • 그래도 당신의 사이트는 쿠폰이 단점이 되는 것보다 더 도움이 되는 경우일 수 있다.
   • 당신은 당신 자신의 특정한 상황에서 당신의 A / B Testing을 함으로써 쉽게 발견할 수 있다.
4. 비용이 저렴하다.
   • 일단 두 가지 디자인 대안 (또는 현재 설계에 대해 테스트할 수 있는 하나) 을 만든 후에, 두 디자인 대안 모두를 서버에 배치하고 각 새로운 유저에게 한 버전 또는 다른 버전을 무작위로 제공하기 위해 아주 작은 소프트웨어를 사용하기만 하면 된다.
   • 또한, 당신은 일반적으로 유저들이 변동하는 페이지 대신 다음 방문에서 동일한 버전을 볼 수 있도록 유저의 쿠키가 필요하며, 이는 또한 실행하기 쉽다.
   • 값비싼 사용적합성 전문가가 각 사용자의 행동을 관찰하거나 복잡한 상호작용 디자인 질문 (Questions) 을 분석할 필요도 없다.
   • 당신은 충분한 통계량이 수집될 때까지 기다린 다음, 가장 좋은 값을 가진 디자인을 사용하기만 하면 된다.

 

단점

1. 테스트를 많이, 그리고 자주하면 단기적으로 손해가 발생할 수 있다.
   • 예를 들어, 쇼핑몰에서 구매전환율이 높은 상품 이미지가 무엇인지 알아보기 위한 테스팅을 진행한다고 치자.
   • 2주 동안 전체 방문자를 절반씩 나눠 기존 상품 이미지와 새로운 상품 이미지를 보여주고자 한다.
   • 테스트를 3일 쯤 진행했더니 새로운 이미지를 본 방문자 집단에서의 매출이 기존에 비해 절반 밖에 나오지 않는다면 어떻게 해야할까?
   • 애초에 계획했던 2주동안 테스트를 계속 진행하려면 막심한 매출 손해를 감수해야한다.
2. A / B Testing 결과는 계절 변화나 취향 변화 등 시간의 흐름에 따라 바뀔 수 있다.
   • 과거에 수행한 A / B Testing을 통해 얻은 결론은 언제까지 유효할까?
   • 통제실험은 시공간의 보편성에 대한 가정을 깔고 있다.
   • 이 가정은 물리학이나 화학 수준에서는 확실히 보장되고, 생물학을 거쳐 사회과학 분야로 가면서 점점 약해지며, 비즈니스 맥락에서는 크게 약해진다.
   • 결국 확실성을 유지하기 위해서는 실험을 지속적으로 반복해서 해야하는데 첫번째 단점 (비용 문제) 과 엮어서 생각해본다면 곤란한 얘기가 된다.
3. A / B Testing만 해서는 지역최적점에 머물게 될 위험이 있다.
   • A / B Testing이라는 것은 기존 상태에서 작은 변화 (되도록 하나의 변수만 살짝 바꾸기) 를 가하며 점진적으로 더 나은 상태를 찾아가는 방식으로 진행된다.
   • 하지만 이 방식으로는 지역최적점에 수렴할 수 있을 뿐 전역적인 최적점을 찾을 수 없다.
4.  이 중 첫 번째와 두 번째 문제에 대해서는 MAB (Multi-Armed Bandit) 알고리즘이라고 불리는 효과적인 해결책이 있다.

 

Reference

• https://boxnwhis.kr/2015/01/29/a_b_testing.html
• https://ko.wikipedia.org/wiki/A/B_테스트
• https://www.nngroup.com/articles/putting-ab-testing-in-its-place/