반복되는 컴플라이언스 병목과 기존 검색 증강의 한계
메타 엔지니어링 팀은 2026년 9월 2일 공식 기술 블로그를 통해 모델 재학습(Retraining) 없이 도메인 전문가의 판단 논리를 보존하고 확장할 수 있는 사내 AI 에이전트 시스템 '조직 세컨드 브레인(Organizational Second Brain)' 아키텍처를 공개했습니다. 발표에 따르면 사내 규제 준수(컴플라이언스) 부서에서는 수백 건에 달하는 제품 검토 과정에서 유사한 유형의 질의가 반복적으로 발생하고 있으며, 전문가들이 개별 검토를 수행하는 데 수일간의 수작업 조사가 필요했습니다.
기존의 검색 증강 생성(RAG) 기반 에이전트는 사용자의 질의가 입력될 때마다 원본 문서 조각을 검색해 추론 논리를 매번 처음부터 다시 유도해야 하므로 일관성이 떨어지고 실행 속도가 지연되는 한계가 있었습니다. 특히 전문가 간의 미세한 판단 불일치가 조직 차원의 규제 위험으로 이어질 수 있어, 암묵지로 머물러 있는 고유 지식을 구조화해 일관되게 제공하는 체계가 필요했습니다.
지식과 추론을 분리한 4계층 아키텍처
메타가 공개한 시스템은 지식 시스템, 추론 계층, 평가 프레임워크, 자체 개선 루프 등 총 네 개 계층으로 나뉩니다. 지식 시스템은 200개 이상의 정형 텍스트 파일로 구성되어 있으며, 회사의 공식 입장을 다루는 '입장 파일', 조직 내 표준 용어집 역할을 하는 '분류 및 어휘 파일', 단순 벡터 유사도 대신 입력 속성에 따라 문서를 매핑하는 '라우팅 인덱스', 분석 진입 요건을 검증하는 '게이트웨이 파일' 등으로 세분화되어 있습니다. 모든 파일은 YAML 프론트매터를 통해 상호 의존 관계를 정의합니다.
추론 계층은 사실 지식과 분석 절차를 엄격히 분리해 도메인 사실을 직접 포함하지 않는 모듈형 '레시피(Recipes)' 형태로 작동합니다. 분석 순서와 단계별 판정 절차를 명시하기 때문에 장애가 발생했을 때 지식의 누락 때문인지, 절차적 오류 때문인지 원인을 명확히 파악할 수 있도록 설계되었습니다.
회귀 테스트 중심의 지속적 개선 구조
이 시스템의 핵심 특징 중 하나는 기본 모델을 재학습시키지 않고 전문가 피드백을 지속 축적한다는 점입니다. 전문가가 에이전트의 출력물에 교정 의견을 제시하면, 자체 개선 파이프라인이 근본 원인을 분석한 후 지식 파일이나 추론 레시피에 대한 최소한의 편집본으로 변환합니다.
수정된 내용은 즉시 반영되지 않고 평가 프레임워크의 회귀 테스트(Regression Test) 벤치마크를 통과해야만 실제 시스템에 병합됩니다. 통과된 수정 케이스는 향후 발생할 수 있는 기능 퇴행을 방지하기 위해 테스트 스위트에 영구적으로 추가되며, 모호한 케이스는 인간 전문가 체크포인트를 거쳐 상향 전달되는 방식으로 운영 안전성을 확보합니다.
효과성 주장과 실증적 데이터의 공백
메타는 이번 시스템을 통해 사내 도메인 전문가들의 업무 시간을 대폭 절감했다고 발표했습니다. 또한 이 아키텍처가 보안, 재무, 엔지니어링 등 고도의 전문 지식이 필요한 모든 엔터프라이즈 영역으로 일반화될 수 있다고 주장했습니다. 그러나 발표 내용에는 구체적인 절감 시간 비율, 월간 처리 건수, 토큰 비용 절감액 등 정량적 수치 메트릭이 전혀 포함되지 않았습니다.
또한 시스템에 사용된 기반 LLM이 메타의 공개 모델인 라마(Llama) 제품군인지, 별도의 내부 전용 모델인지도 명시되지 않았습니다. 현재로서는 메타 내부의 '특정 규제 준수' 부서라는 제한된 환경에서 거둔 정성적 성과에 국한되므로, 이를 일반적인 기업 환경 전체에 검증된 성공 사례로 단정하기는 어렵습니다.
기업 도입을 위한 실무적 시사점과 한계
메타의 이번 발표는 상용 B2B 소프트웨어 출시나 소스 코드 오픈소스 공개가 아닌 아키텍처 방법론의 공유 형태입니다. 일반 기업이 이 설계를 벤치마킹하려면 파일 기반의 정교한 분류 체계와 엄격한 코드 리뷰, 그리고 자동화된 회귀 테스트 파이프라인을 사내에 직접 구축하고 유지보수할 수 있는 엔지니어링 역량이 전제되어야 합니다.
모델 재학습 비용을 줄인 대신 지식 파일과 레시피를 지속 검토하고 갱신하는 전문가의 인적 투입이 여전히 요구된다는 점도 고려해야 합니다. 따라서 기술 도입을 검토하는 기업은 임베딩 기반 단순 RAG를 무작정 대체하기보다, 변경 영향도 추적과 엄격한 감사 추적이 필수적인 고위험 의사결정 업무를 선별해 점진적으로 아키텍처를 검증할 필요가 있습니다.
출처
Meta Engineering의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
An Organizational Second Brain: Building an AI That Learns From Experts (새 창)
