메타, 유휴 추론 자원으로 광고 후보·모델 적용 폭 조정…기본 서비스 보호 구조 공개
메타가 회수 가능한 유휴 추론 자원을 광고 추천에 활용하는 구조를 공개했다. RMA는 평가 후보 수를, SBM은 더 강력한 모델로 보내는 요청 비율을 조절한다. 자원이 줄면 추가 작업을 덜어내 기본 서비스에 부담이 넘어가지 않게 설계했다. 자원 구성·부하 분산·모델 계산·배분 정책이 함께 작동하며 결과를 단일 모델 효과로 볼 수는 없다.
“AI추론” 검색 결과검색 초기화2편
Azure·AMD 협력 확대, 데이터 처리·칩 설계·AI 추론에 서로 다른 인프라
마이크로소프트와 AMD가 Helios와 차세대 EPYC 기반의 Azure 인프라 확대를 발표했다. HDv2·HXv2·ND MI455X v7의 용도를 나누고 CPU·메모리·네트워크를 함께 구성한다. 공개한 예정 사양과 이용 가능성, 실제 작업의 성능을 구분해 살핀다.
