일부 남는 추론 자원을 선택적 작업에 사용
메타가 10월 12일 여러 곳에 일시적으로 남는 추론 자원을 광고 추천에 활용하는 운영 구조를 공개했다. 전체 자원이 부족해도 시간대·지역·CPU와 가속기 비율·하드웨어 종류의 차이 때문에 일부는 놀 수 있다는 설명이다. 회사는 이를 공유 자원 묶음으로 활용하지만 원래의 수요가 돌아오면 언제든 회수될 수 있다고 밝혔다. 그래서 추가 작업을 늘리고 줄일 수 있는 광고 추론에 연결한다. 상시 확보한 전용 자원과 임시로 이용하는 용량은 제공 조건이 다르며 남는 자원이 곧 모든 모델에 사용할 수 있는 연산 능력을 뜻하지는 않는다.
후보 확대와 더 큰 모델의 적용 폭을 따로 조정
구조의 두 축은 RMA와 SBM이다. RMA는 순위 평가 단계가 살펴보는 광고 후보 수를 늘린다. 검색과 특성 처리 등 앞단 CPU 작업도 증가해 CPU·가속기 여유가 함께 필요하다. SBM은 후보 수를 유지하면서 더 강력한 모델로 보내는 요청 비율을 조정해 앞단 CPU 수요를 비교적 안정적으로 둔다. 둘을 함께 쓰면 자원 구성에 맞는 추가 작업을 선택할 수 있다. 후보를 더 평가하는 것은 이용자에게 보여줄 광고 수를 무조건 늘린다는 뜻이 아니고 모델 적용 비율의 확대도 모든 요청에 가장 큰 모델을 고정 배치한다는 방식과 다르다.
자원이 회수되면 추가 작업을 먼저 줄인다
SBM은 기본 모델과 더 강력한 모델을 별도 경로로 배치해 추가 용량이 줄면 기본 모델로 요청을 돌린다. RMA는 전역 예산으로 추가 후보 작업을 제한하는 논리적 분리를 쓴다. 개별 요청에 기본·추가 작업이 섞일 수 있어 모두를 별도 서버로 나누는 구조는 아니다. 메타는 중앙 제어가 따라오기 전에 자원이 회수될 상황을 위해 서버와 클라이언트가 가치가 낮은 추가 작업을 빠르게 덜어내도록 설계했다고 설명한다. 추가 작업의 기회를 포기하면서 기본 서비스에 부담을 넘기지 않으려는 정책이다. 회사의 설계 목표이며 어떤 부하에서도 지연과 오류가 생기지 않는다는 보장은 아니다.
평균 여유와 일부 서버의 과부하는 다른 문제
메타의 2024년 추론 운영 자료는 서버의 평균 이용률이 낮아도 부하가 높은 일부 서버가 먼저 과부하에 이르러 추가 여유 용량을 요구하는 문제를 설명했다. 모델마다 CPU·메모리·가속기 등 자원 수요가 달라 배치와 부하 분배를 조정하는 일이 필요하다는 내용이다. 이번 공유 자원 구상에서도 여유의 총합만으로 작업을 늘리기 어려운 이유가 드러난다. 사용할 모델과 필요한 자원이 맞는 곳에 있어야 하기 때문이다. 기존 자료의 부하 분산 개선은 서버 간 편중을 다루고 새 구조는 회수 가능한 자원으로 선택적 일을 늘리는 문제를 다룬다. 서로 연관된 운영 과제지만 앞선 개선 수치를 이번 방식의 효과로 그대로 계산할 수는 없다.
모델의 규모와 요청의 가치를 함께 평가하는 흐름
2026년 3월의 Adaptive Ranking Model 설명은 광고별로 같은 사용자 정보를 반복 계산하던 구조를 요청 중심 계산으로 바꾸고 요청 맥락에 맞춰 모델 복잡도를 조절하는 방향을 제시했다. 모델을 크게 만드는 일과 그 모델을 실시간 서비스에서 효율적으로 쓰는 일은 별도 설계 과제라는 맥락이다. 이번에는 남는 연산을 후보 확대와 모델 적용 폭 중 어디에 쓸지 결정한다. 요청 자체의 가치가 높다는 것과 더 강력한 모델을 사용했을 때 추가 이득이 크다는 것도 같지 않다. 이런 차이를 평가해야 단순히 큰 모델의 호출 수를 늘리는 데서 벗어날 수 있다. 모델 계산 구조의 개선과 가변 자원의 배분은 함께 볼 문제다.
자동화와 확장의 다음 단계는 별도 개발 과제
메타는 사전 계산 작업과 하드웨어 간 모델 이식, 지역을 넘는 추론, 효과에 따른 자동 자원 배분을 다음 개발 방향으로 설명했다. 현재 운영 설명과 미래 확대 계획은 구분된다. 중앙 제어와 현장의 빠른 작업 축소가 협력해야 하는 것도 회수 속도와 서비스 수요가 일정하지 않기 때문이다. 이 구조가 보여주는 변화는 자원이 남는 동안 후보 탐색과 모델 적용을 더 할 기회를 만들고 부족해지면 기본 작업으로 돌아갈 길을 설계한 데 있다. 광고주의 결과는 모델뿐 아니라 후보 범위·트래픽·자원 구성·배분 정책이 함께 만든 결과다. 회사의 전체 시스템 설명을 모든 광고주에게 동일한 전환 개선이나 비용 절감을 제공하는 단일 모델의 성과로 해석할 수는 없다.
출처
Meta Engineering의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Turning Opportunistic AI Inference Capacity Into Better Ads Recommendations (새 창)
