NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
“NUMA” 검색 결과검색 초기화1편
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
