추천 목록에서 실시간 후보 선택으로
토스증권의 황호익 머신러닝 엔지니어는 기술블로그에서 추천과 검색을 공통 데이터 기반 위에서 발전시키는 과정을 소개했다. 미리 계산한 사용자 군집별 추천 목록을 저장하던 방식에서, 이용자의 행동과 새 콘텐츠를 반영해 후보를 찾고 순위를 매기는 구조로 옮겨가는 사례다. 외부에 출시한 검색 제품의 발표라기보다 자사 서비스에 쓰이는 데이터·모델 운영 경험에 가깝다.
소개된 추천 흐름은 온라인 검색기가 벡터 후보를 찾고 순위 모델이 최종 목록을 고르는 방식이다. 콘텐츠가 바뀌면 임베딩과 색인도 갱신한다. 특히 모델만 교체하면 같은 이름의 벡터라도 비교 기준이 달라질 수 있어, 질의 모델과 색인 벡터의 버전을 맞추고 새 모델·재임베딩·색인 전환을 함께 관리한다고 설명했다.
뉴스 검색은 의미와 조건을 함께 다룬다
뉴스 검색에서는 질의를 해석해 범주와 날짜 같은 조건을 만들고, 엘라스틱의 키워드·벡터 검색과 메타데이터 필터를 결합한다. 이어 별도 모델로 후보 순서를 다시 평가한 뒤 생성 서비스에 전달한다. 회사는 전문 임베딩만으로 기업명이나 금융 용어를 모두 해결하기 어려워 사전 관리, 잡음 제거와 범주 일치 보정도 필요했다고 밝혔다.
그래프 검색은 이미 정의한 기업·종목·제품·사건·테마의 관계 체계에서 출발한다. 먼저 기존 검색 흐름으로 시작할 개체를 찾고 주변 관계를 확장한다. 이 글의 공개 범위는 질문에 필요한 부분 그래프를 찾는 검색기다. 모든 문서에서 개체와 관계를 추출하는 방법이나 그래프 구축 전체를 설명한 것으로 넓혀 읽기는 어렵다.
멀리 탐색할수록 후보가 폭증한다
회사가 제시한 한 기업 노드의 예에서는 탐색 거리를 한 단계에서 세 단계로 늘리자 후보 수가 1,105개에서 약 4,924만 개까지 증가했다. 이는 특정 그래프에서의 탐색 사례이며 일반적인 그래프 데이터베이스의 성능 수치가 아니다. 질문에 유용한 관계가 멀리 있을 수 있지만, 무제한 확장은 메모리와 처리 비용을 빠르게 키웠다는 설명이다.
팀은 빔 탐색에서 착안해 단계별로 관련성이 높은 후보만 남기고 탐색 깊이와 후보 수를 제한했다. 질문과의 관련성, 시작 개체와의 관계, 최근 사건 등을 평가하고 시가총액은 보조 신호로 사용한다. 서비스가 선호하는 관계 경로를 가산하되 다른 경로를 모두 배제하는 규칙으로 만들지는 않았다고 밝혔다.
후보를 버리는 기준도 품질의 일부다
이 방식의 중요한 절충은 한 번 제거한 경로를 뒤에서 되살릴 수 없다는 점이다. 후보 제한을 강화하면 비용을 줄일 수 있지만, 처음에는 관련성이 낮아 보였던 연결에서 유용한 근거를 놓칠 수 있다. 따라서 최종 답변의 정확도만 살피기보다 어느 단계에서 어떤 관계가 사라졌는지도 평가해야 검색기 변경의 영향을 설명할 수 있다.
질의 최적화와 탐색 품질은 구분해서 다루는 편이 합리적이다. 네오포제이 공식 문서는 데이터 접근과 질의 계획을 최적화하고 EXPLAIN으로 실행하지 않은 계획을 확인하는 방법을 설명한다. 같은 후보를 더 적은 비용으로 읽는 개선과 후보 자체를 줄이는 개선은 답변 근거에 미치는 영향이 다르므로, 한 성능 수치로 묶으면 품질 손실을 놓치기 쉽다.
공통 플랫폼은 근거를 추적할 때 가치가 커진다
추천, 뉴스 검색과 그래프 검색을 함께 운영한다면 공통화할 대상은 API 형식만이 아니다. 입력 데이터 시점, 모델 버전, 색인 상태와 후보 선택 이유를 연결해야 같은 질문의 결과가 바뀌었을 때 원인을 좁힐 수 있다. 관계 경로를 함께 반환하는 설계는 생성된 답변을 검토하고 잘못된 근거를 수정하는 데도 도움이 된다.
이 사례는 새로운 모델 하나로 검색 문제를 해결했다는 이야기보다, 데이터가 바뀌는 속도와 서비스별 요구를 운영 구조에 반영한 기록으로 읽을 만하다. 도입팀은 기존 질의와 대표적인 관계 질문을 함께 유지하면서, 버전 전환과 후보 제한 변경마다 근거의 유지 여부를 비교할 수 있다. 다만 공개된 사례만으로 다른 서비스의 정확도 향상 폭이나 비용 절감률을 예측할 수는 없다.
출처
토스테크의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
토스증권 추천과 검색은 어떻게 진화하고 있을까? (새 창)
