쿠버네티스 GPU 인식을 넘어 운영 신뢰성으로: 토스증권의 클러스터 고도화와 업스트림 기여
토스증권이 쿠버네티스 기반 GPU 클러스터 운영 문제를 해결하기 위해 하드웨어 헬스체크와 5단계 사전 검증 게이트를 구축하고, MIG 자원 파편화를 해결하는 Packed Allocation 정책을 구현해 엔비디아 공식 디바이스 플러그인에 병합시켰습니다.
“하드웨어” 검색 결과검색 초기화2편
메타, 온패키지 NIC와 독립 메시지 엔진 결합한 AI 가속기 'MTIA 300' 아키텍처 공개
메타가 대규모 추천 모델 학습을 겨냥해 12개 커스텀 800Gbps RDMA NIC를 칩 패키지에 내장하고 연산과 통신을 물리적으로 분리한 3세대 AI 가속기 'MTIA 300'의 상세 설계를 공개했다. 통신 부하를 하드웨어로 오프로드해 자원 경합을 해소했으나 연산 집약적 LLM에서는 범용 GPU 대비 한계도 뚜렷하다.
