NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
메타데이터만 변경하여 안전하다고 여겨지던 인덱스 가시성(INVISIBLE) DDL 작업이 Aurora MySQL 환경에서 리더 인스턴스의 버퍼풀을 무효화시키는 엔진 결함이 드러났습니다. 당근 DB팀의 원인 추적과 MySQL 표준 캐시 무효화 메커니즘 분석을 통해 확인된 이번 버그는 AWS 측의 공식 인정을 거쳐 향후 3.14 버전에 패치가 반영될 예정입니다.