MAB (Multi-Armed Bandits)
A / B Testing 의 단점을 보완 A / B Testing : A / B Testing URL A / B Testing이 단점을 간단히 얘기하면 다음과 같다. 테스트를 많이 하면 단기적으로 손해가 발생할 수 있다. A / B Testing의 결과는 시간의 흐름 (계절 / 취향 변화) 에 따라 바뀔 수 있다. MAB (Multi-Armed Bandits) ? A / B Testing의 문제를 해결하기 위해 실험을 길게 하거나, 일정한 주기로 동일한 실험을 반복하는 방식으로 보완할 수는 있지만 비효율적이다. 아래 그림은 카카오의 추천 AI 플랫폼인 '토로스'의 내부 로직이다. MAB가 어느 시점에 쓰이는지 직관적으로 알 수 있다. 어원 및 정의 A / B 테스트가 가진 문제점을 해결한다고 알려진 MA..
A / B Testing
A / B Testing ? 웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준다. 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여, 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식을 말한다. 여기에서 성과란 새 사이트가 목표로 했던 바에 따라 다른데, 보통은 회원 가입율, 재방문율, 구매전환율 등의 지표를 본다. A / B Testing의 4가지 장점 다음 URL의 Benefit을 번역했다 : https://www.nngroup.com/articles/putting-ab-testing-in-its-place/ 웹 사이트 분석의 한 분야로서, 실제 상황에서 고객의 실제 행동을 측정한다. 버전 B가 버전 ..