A/B테스트

안녕하세요, 이번에는 그로스해킹을 활용해 다양한 비즈니스 요소를 결정할 수 있는 테스트인 A/B 테스트에 대해 알아보겠습니다.

 

A/B 테스트

목차

1. A/B테스트란?

2. 절차

3. 장점과 단점

 

1. A/B 테스트란?

A/B 테스트는 동일 기간에 기존 안과 새로운 안 중 어떤 것이 더 나은지 사용자의 반응을 비교하는 대조실험입니다. 

A/B 테스트는 데이터를 기반으로 가설을 검증하고 인과관계를 입증하는데 중점을 둬 연구실에서 진행하는 사회과학 실험과 유사합니다. 

A/B 테스트는 제품, 마케팅, 알고리즘 등 다양한 분야에서 활용됩니다. A/B 테스트를 하기 좋은 질문의 예시는 아래와 같습니다.

1. 신규 기능이 추가되면 유저가 우리 제품에 더 만족할까?
2. push 메시지에 어떤 문구를 넣어야 클릭율이 높을까?
3. 어떤 추천 시스템이 유저에게 더 잘 추천했다고 볼 수 있을까?
4. 어떤 고객에게 할인 쿠폰을 줘야 효과적일까?

 

 

---

2. 절차

1) 가설 및 목표 설정

검증하고자 하는 가설을 설정하고 가설을 검증하는 기준을 마련하기 위해 목표를 설정합니다.

예를 들어 '상품을 에디터 추천순이 아니라 판매 수량이 많은 순으로 노출하면 전환율이 높아질 것이다.'라고 가설을 세우면 목표는 '노출 대비 구매 전환율이 10% 상승'으로 잡을 수 있습니다.

 

---

2) A/B 그룹 생성

기존 버전(A그룹), 새로운 버전(B그룹)으로 나눠서 그룹을 생성합니다. 이 때, 모집단의 특성을 반영해 설계하고 통제변수를 관리하는 것이 중요합니다.

아까 든 예시에서 에디터 추천순은 A그룹이 되고 판매 수량이 많은 순은 B그룹이 되겠습니다.

 

샘플 크기는 목표에서 정한 기준에 따라 달라질 수 있습니다.

샘플 크기 계산을 도와주는 사이트가 있으니 참고하세요. (https://www.abtasty.com/sample-size-calculator/)

 

---

3) 실험 설계 

어떤 지표를 측정하고 성공의 기준은 무엇인지, 기간과 대상은 어떻게 정할 것인지 구체적이고 명확하게 설계해야 합니다. 위 예시를 이어가면 '구매 전환율을 주요 지표로 설정하고 해당 지표가 10% 이상 증가하면 성공으로 판단한다.' 기조가 될 수 있고, 해당 기조를 유지하며 실험 문서를 작성하며 설계합니다. 아래 이미지는 당근 마켓에서 사용하는 실험 문서 템플릿입니다.

 

해당 템플릿 중 '실험준비'에 여러 지표들이 보이는데, 해당 지표들을 정리하면 아래 표와 같습니다.

지표	설명
핵심(성공)지표	프로젝트의 성공을 증명할 수 있는 지표입니다. 예) 주문 전환율(convertion rate)
보조지표	핵심지표가 기대와 다를 때 실험 결과를 해석하기 위해 참고할 수 있는 지표입니다. 예) 상품 노출 대비 장바구니 담기율 >> 장바구니 담기율이 높을수록 주문 전환율도 높아지는 경향이 있습니다.
가드레일지표	프로덕트가 원하지 않는 방향으로 나아가고 있는지 확인하는 지표입니다. 성공 지표가 높아지더라도 가드레일 지표가 나빠진다면 실험 결과가 좋다고 볼 수 없습니다. 예) 반품 및 환불 비율, 고객 불만족 건수, 시스템 오류 발생 횟수 등

 

---

4) 실험 진행

실험 설계를 바탕으로 실험을 진행하는데, 실험 도중 외부 요인들(급격한 날씨 변화, 사회적 변화 등)이 개입되지 않는지 모니터링해야 합니다.

 

---

5) 데이터 분석 및 결과 도출

실험을 통해 수집한 데이터를 분석해 가설을 검증합니다. 이 때 데이터는 기업 자체 DB나 Google Analytics(GA)를 통해 수집합니다.

T검정, ANOVA 등 다양한 통계 분석 기법을 통해 집단 간 차이가 통계적으로 유의미한지 확인합니다.

 

그리고 또 하나 고려해야 할 점은 사업적인 관점에서 실질적으로 의미가 있는지 여부입니다.

예를 들어, 에디터 추천순으로 노출했을 때 전환율이 7%, 판매량 순으로 노출했을 때 전환율이 7.5%이며 T검정 결과 통계적으로 유의미한 차이라고 가정해봅시다.

이 때 기업 입장에서 무조건 판매량 순으로 노출하는 것으로 바꾸는 것이 유용할까요?

만약 DAU가 1,000명이고 ARPPU가 만원이라면, 구매 전환율이 0.5%가 개선되었을 때 하루 5만원의 추가 매출이 발생합니다.

DAU가 100만명이고 ARPPU가 똑같이 만원이라면 구매 전환율이 0.5% 개선되면 하루 5천만원의 추가 매출이 발생합니다.

 

A안에서 B안으로 바꿨을 때 발생하는 비용까지 고려하면 분석 결과가 통계적으로 유의미하다고 무조건 B안으로 바꾸는 것은 아닙니다.

 

마지막으로, A/B 테스트에 대한 결과는 신중하게 도출해야 합니다.

바로 초두효과(primary effect)와 신기효과(novelty effect)가 발생할 수 있기 때문입니다.

A/B테스트에서 초두효과는 처음에 있던 정보가 익숙해 새로운 정보를 받아들이는데 어려워하는 현상입니다. 초두 효과가 나타나면 실험 초기에 A안과 B안의 차이가 없거나 오히려 B안의 지표가 나빠지기도 합니다.

일반적으로 심리학에서 쓰이는 초두효과(처음에 접한 정보에 대한 기억이 지배적으로 작용해 나중에 접한 정보를 제대로 기억하지 못하는 현상)와 다르기 때문에 유의해주세요.

 

신기효과는 변화를 좋아하고 기존 정보보다 새로운 정보를 선호해 발생하는 효과로, B안을 제시한 초기에 관련 지표가 크게 상승하는 모습을 보이다가 시간이 지남에 따라 익숙해지면 관련 지표가 하향하는 모습을 보입니다.

그렇기 때문에 A/B 테스트 결과에서 유의미한 차이를 발견하지 못했다고 하더라도 낙담하지 말고 조금 더 지켜보고 초두효과나 신기효과 여부를 확인한 다음 실제로 유의미한 차이가 없으면 왜 차이가 없는지 그 이유를 찾아보고(예. 통제변수를 제대로 통제하지 못함) 다른 방식으로 바꾸거나, 보조 지표가 얼마나 개선이 되었는지 확인하고 A나 B 중 하나를 선택하시면 됩니다.

 

위 분석 결과를 바탕으로 실험 결과가 목표를 달성했는지, 달성했다면 어떤 의사결정을 내릴 것인지 결정해야 합니다.

 

참고로, A/B 테스트 결과를 분석하는데 도와주는 사이트도 있습니다. (www.evanmiller.org)

---

6) 반복

위 과정은 특정 기간에서 실시한 A/B 테스트 결과입니다. 그래서 실험을 실시한 직후에는 효과가 있을 수 있으나 유저층이나 계절 변화, 사회적 변화로 인해 효과가 떨어질 수 있습니다. 그렇기 때문에 주기적으로 추가 실험을 반복해서 진행해서 B안의 효과가 유지되는지 확인해야 합니다.

 

---

3. 장점과 단점

1) 장점

A/B 테스트는 명확한 원인과 결과, 즉 인과관계를 확인할 수 있습니다.

A/B 테스트의 장점을 잘 보여주는 사례에 대해 링크 달아놓겠습니다.( 직관만 믿고 덤볐다가 큰코다친 PM의 사연. 안녕하세요, 검색실 PM Demi예요. | by Demi | 당근 테크 블로그 | Medium )

그리고 사안에 따라 3개 이상의 옵션을 놓고 A/B테스트를 진행할 수 있습니다.

2) 단점

그렇다고 A/B 테스트가 만능은 아닙니다. A/B 테스트의 한계점은 크게 두 가지가 있습니다.

1. 기존의 선택지 안에서 더 나은 결정을 할 수 있지만, 새로운 아이디어를 도출하거나 큰 그림을 그리는 데 한계가 있습니다.

 A/B 테스트는 주어진 조건 안에서 최적의 결과를 찾느 도구이기 때문에 모든 의사결정을 완벽하게 해결할 수 없습니다.

이런 특성을 고려해 A/B 테스트는 구체적이고 명확한 기능이나 디자인을 대상으로 진행하는 것이 좋으며, 로그 분석, 사용성 테스트, 유저 인터뷰 등 보완적인 방법들을 함께 사용해야 합니다.

그리고 테스트 설계 단계에서 조건을 신중하게 설정하고, 실험에 사용될 변수들을 신중하게 선택하고 정의하는 것이 중요합니다.

 

2. 테스트 결과의 유효성이 일시적입니다.

위에서도 언급했지만 계절 변화, 시장 변화, 사용자 변화, 취향 변화 등 시간의 흐름에 따라 결과가 달라질 수 있습니다.

이런 특성을 고려해 A/B 테스트 결과가 일시적인 현상인지 확인하기 위해 주기적인 재평가가 필요합니다.

---

이상으로 A/B 테스트에 대해 알아보았습니다. 처음에 A/B 테스트를 배울 때 기업에서 진행하는 초스피드 실험 같은 느낌이 들었습니다. 보다 많은 기업에서 직관보다 A/B테스트와 같은 데이터 기반 의사결정을 진행하면 더 나은 성과를 보일 수 있을 것 같습니다.

 

 

참고글

AARRR 프레임워크 (tistory.com)

AARRR 프레임워크

 

기계식 키보드와 AARRR (tistory.com)

기계식 키보드와 AARRR

1주 1개 실험하는 프로덕트 팀이 되는 여정. 안녕하세요 당근마켓 중고거래팀에서 데이터 분석가로 일하고 있는… | by matthew l | 당근 테크 블로그 | Medium

1주 1개 실험하는 프로덕트 팀이 되는 여정

직관만 믿고 덤볐다가 큰코다친 PM의 사연. 안녕하세요, 검색실 PM Demi예요. | by Demi | 당근 테크 블로그 | Medium

직관만 믿고 덤볐다가 큰코다친 PM의 사연