경험적 설정의 한계에 부딪힌 추천 파이프라인
토스 쇼핑의 추천 시스템은 사용자에게 알맞은 상품 후보군을 빠르게 추리는 후보 추출(Retrieval)과, 추출된 상품들의 클릭 및 구매 확률을 정밀하게 예측해 순위를 매기는 순위화(Ranking)의 2단계 구조로 운영되고 있습니다. 초기 운영 환경에서는 각 리트리벌 모델이 다음 단계로 넘겨주는 상품 수인 TopK를 머신러닝 엔지니어의 경험적 판단에 의존하여 결정해 왔습니다.
그러나 새로운 리트리벌 모델이 지속적으로 추가되면서 문제가 발생하기 시작했습니다. 각 모델 단위에서는 합리적으로 보였던 후보 수가 누적되면서 전체 후보군 규모가 비대해졌고, 이에 따라 랭커 모델의 연산 부담과 광고 유효성 검사 비용이 급증하며 피드 생성 응답 속도(Latency)가 지연되는 병목이 나타났습니다. 아울러 모델마다 상품 순위별 기대 가치 하락 곡선이 상이함에도 모든 모델의 후보를 일괄 축소할 경우 고가치 상품이 탈락할 위험이 상존했습니다.
배낭 문제와 정수계획법을 통한 후보 예산 최적 배분
토스 커머스 개인화 팀은 이 문제를 한정된 용량 내에서 전체 효용을 극대화하는 배낭 문제(Knapsack Problem)로 재정의했습니다. 전체 리트리벌 모델이 반환할 수 있는 총 후보 수 예산을 배낭의 용량으로 두고, 각 모델의 순위별 상품을 물건으로, 랭커 모델이 오프라인 배치로 예측한 노출 후 구매 확률(pICVR = pCTR × pCVR)을 물건의 가치로 설정했습니다.
이를 해결하기 위해 선택 여부를 이진 결정 변수로 다루는 정수계획법(Integer Programming)을 도입했습니다. 모델은 전체 TopK 총합을 기존 대비 약 50% 이내로 엄격히 제한하되, 특정 리트리벌 모델이 완전히 배제되지 않도록 최소 수량을 보장하고, k번째 순위 상품을 채택하려면 1번부터 k-1번째 순위 상품도 반드시 포함해야 한다는 상위 순위 보존 조건을 제약식으로 반영해 현실적인 후보 조합을 도출했습니다.
후보 절반 축소로 거둔 유의미한 비즈니스 전환 성과
홈 피드 사용자를 대상으로 7일 동안 진행된 온라인 A/B 테스트에서 정수계획법 실험군은 기존 대비 후보 수를 약 50%만 사용했음에도 뛰어난 성과를 기록했습니다. 노출 대비 구매 사용자 비율인 User CVR은 비교군 대비 7.552% 상승했고, 사용자당 주문 수(Order PU)는 10.133% 증가했습니다. 두 핵심 지표의 p-value는 모두 0.0001 미만으로 집계되어 통계적 유의성이 검증되었습니다.
또한 인당 거래액(GPU)은 11.218%, 구매 전환율(CVR)은 13.496% 상승했으며 가드레일 지표였던 인당 매출(RPU) 역시 0.832% 소폭 증가하며 안정세를 유지했습니다. 반면 전체 클릭률(CTR)은 3.710% 하락했고 인당 고유 노출 상품 수도 22.07% 감소하는 양상이 확인되었습니다.
극단적 지표보다 비즈니스 균형을 고려한 의사결정
A/B 테스트 과정에서 TopK를 일괄 1/4로 줄인 공격적 축소군은 User CVR 8.89%, Order PU 10.52% 상승으로 전환 지표 면에서는 가장 높은 수치를 보였습니다. 그러나 인당 매출(RPU)이 3.98% 감소하고 평균 주문 금액(AOV)이 5.73% 하락하여 저가 상품 위주의 편향이 확인되었습니다. 반대로 커버리지를 극대화한 실험군은 매출 방어율은 높았으나 주문 전환 개선 폭이 미미했습니다.
토스 엔지니어링 팀이 단일 지표의 극대화 대신 정수계획법 안을 최종 선택한 점은 실무적으로 주목할 부분입니다. 추천 시스템 최적화에서 지표 간 트레이드오프를 평가할 때, 특정 전환율 수치에 매몰되지 않고 플랫폼 전체의 객관적 효용과 매출 건전성을 함께 지키는 가드레일 중심의 균형 잡힌 검증 기준을 세우는 것이 실무 운영에서 필수적임을 시사합니다.
다양성 저하 대응과 개인화 TopK를 향한 과제
정수계획법 도입 초기 드러난 고유 노출 상품 수 22.07% 감소는 예측 모델이 전환 가능성이 검증된 상품에만 편중되어 발생한 전형적인 다양성 훼손 현상으로 볼 수 있습니다. 토스 측은 이를 극복하기 위해 TopK 규모를 유지하면서 검베 가중 샘플링(Gumbel Weighted Sampling)을 적용해 피드 중복도를 11.25% 낮추고 상품 다양성을 4.61% 개선하는 후속 조치를 취했습니다.
향후 과제로 제시된 동적 Global K 주기 갱신과 사용자 행동 이력 기반의 개인화 TopK 배분은 리트리벌 효율을 한 단계 더 끌어올릴 수 있는 접근입니다. 다만 사용자별 최적화가 정밀해질수록 예측 오차 증폭이나 신규 리트리벌 모델의 콜드스타트 문제가 동반될 수 있으므로, 섀도 로깅(Shadow Logging) 인프라 구축과 중복도 모니터링 체계가 선제적으로 뒷받침되어야 할 것입니다.
출처
토스테크의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법 (새 창)
.png&w=1200&q=75)