NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
“쿠버네티스” 검색 결과검색 초기화2편
쿠버네티스 GPU 인식을 넘어 운영 신뢰성으로: 토스증권의 클러스터 고도화와 업스트림 기여
토스증권이 쿠버네티스 기반 GPU 클러스터 운영 문제를 해결하기 위해 하드웨어 헬스체크와 5단계 사전 검증 게이트를 구축하고, MIG 자원 파편화를 해결하는 Packed Allocation 정책을 구현해 엔비디아 공식 디바이스 플러그인에 병합시켰습니다.
