파편화된 테스트 환경의 중앙화와 Test Copilot 도입
당근 모바일실은 전담 QA 인력을 별도로 두지 않고 각 목적 조직이 개발부터 테스트, 배포까지 전담하는 조직 구조를 취하고 있다. 이에 따라 품질 검증 기록이 노션, 구글 시트, 외부 도구 등으로 분산되었으며, 작성자마다 테스트 케이스 서술 방식과 상세도에 큰 편차가 발생하는 문제가 존재했다. 또한 기존 Appium과 Selenium 기반 자동화 스크립트는 저장소와 특정 기기 환경에 익숙한 엔지니어만 다룰 수 있어 전사 확산에 한계가 있었다.
당근은 이러한 문제를 해결하기 위해 테스트 관리와 실행 전 과정을 포괄하는 표준 플랫폼 'QAHub'를 구축했다. 현재 22개 프로젝트에서 2,000개 이상의 테스트 케이스가 이 플랫폼으로 통합 관리되고 있다. 더불어 기획 문서와 깃허브(GitHub) 코드를 분석해 테스트 설계와 BDD(행위 주도 개발) 시나리오를 자동 생성하는 'Test Copilot'을 도입하여 사람의 검수를 거쳐 일관된 양식의 명세를 확보하도록 했다.
하이브리드 실행 구조와 자가 치유(Self-healing)를 통한 안정화
QAHub는 웹 대시보드에서 시나리오, 대상 플랫폼(Android, iOS, Web), 빌드 종류, 로케일(KR, JP, CA, US)을 선택하면 실제 기기에서 검증이 진행되는 환경을 지원한다. 특히 채팅처럼 상대방과의 상호작용이 필요한 기능은 두 대의 실기기를 동시에 제어해 테스트한다. 플로우는 로그인이나 딥링크 등 이미 안정화된 단계는 '코드 스텝'으로 빠르게 처리하고, 화면 탐색과 맥락 판단이 필요한 단계는 'AI 스텝'으로 위임하는 하이브리드 방식으로 설계됐다.
테스트 도중 돌발 상황으로 중단되는 현상을 방지하기 위해 자가 치유(Self-healing) 기능도 구축되었다. UI 코드 변경으로 버튼 위치(Selector)가 바뀌면 이전 스텝 맥락과 다국어 텍스트를 인지해 대체 요소를 찾고, 추천 수정안을 슬랙(Slack)으로 전송한다. 불시에 등장하는 권한 팝업 등은 팝업 힐링이 자동으로 넘겨준다. 해당 체계를 통해 월 3,000건 이상 실행되는 테스트 중 복구가 필요했던 사례의 90% 이상이 사람의 개입 없이 테스트를 통과했다.
화면 지문 기반 Path Replay를 통한 비용과 속도 최적화
모든 단계를 AI 모델에 의존할 경우 호출 비용과 응답 지연이 누적되고 실행 결과가 일정하지 않은 문제가 발생한다. 당근은 이를 해결하기 위해 AI가 최초에 성공한 화면 조작 경로를 기억하여 재사용하는 'Path Replay' 기능을 개발했다. 이 기능은 화면 스크린샷을 64비트 지문으로 압축한 뒤 비트 차이가 10개 이하이면 동일 화면으로 판정하여 저장된 경로를 즉각 재실행한다.
기억된 경로를 실행하기 직전에는 실제 대상 요소가 해당 좌표에 존재하는지 사전 검증하여 오작동을 방지하며, 구조가 변경된 경우에만 AI를 호출하도록 설계했다. 2026년 8월 기준 정식 리그레션에 등록된 AI 스텝 80개 중 44%에 달하는 35개 스텝이 이 경로를 기억해 수 초 만에 재생되었다. 당근에 따르면 Path Replay가 적용된 반복 시나리오에서는 AI 호출 횟수가 5분의 1 수준으로 줄고 전체 실행 시간은 3분의 1 수준으로 단축되었다.
페르소나 기반 사용성 평가와 사실 기반 디버깅 체계
QAHub는 단순 기능 동작 여부를 넘어 가상의 연령과 사용 목적을 부여한 페르소나 검증을 지원한다. AI가 가상 사용자 관점에서 앱을 직접 탐색하며 문구의 난이도나 흐름의 직관성을 분석하지만, 이는 테스트의 합격·불합격 판정에는 영향을 주지 않고 사람이 참고할 수 있는 별도 관찰 리포트로 제공된다.
실패 분석 단계에서는 AI의 환각(Hallucination) 현상을 차단하는 데 주력했다. 초기에는 AI가 '탭 인식 지연'과 같이 사실과 다른 그럴듯한 오진을 내놓는 문제가 있었기 때문에, 분석 모델에 스텝별 실제 에러와 판단 기록 데이터만 제공하고 기록 외 사실을 추정하지 못하도록 제약했다. 더불어 장면별 스크린샷 리플레이와 실패 직전 구간의 비디오 녹화 영상을 함께 첨부해 개발자가 원인을 즉시 파악할 수 있도록 지원하고 있다.
자동화 테스트 패러다임의 변화와 엔지니어링 실무적 시사점
당근 QAHub의 구현 사례는 생성형 AI 기반 소프트웨어 테스트가 단순한 스크립트 작성 보조를 넘어 종합 실행 플랫폼으로 진화할 수 있음을 보여준다. 특히 '어떻게 누르는가(How)'라는 절차적 명세 중심에서 벗어나 '제품이 무엇을 보장해야 하는가(What)'라는 검증 목표 중심으로 테스트케이스 작성 방식을 전환한 점은 소프트웨어 공학 측면에서 주목할 만한 패러다임 변화로 풀이된다.
실무적으로는 순수 AI 모델에 모든 제어를 일임하는 방식 대신, 결정론적 코드 스텝과 시각적 캐싱(Path Replay), 그리고 예외적 자가 치유(Self-healing)를 결합한 하이브리드 아키텍처가 현실적인 대안임을 시사한다. AI의 추론 비용과 비결정적 특성을 제어하기 위해서는 엄격한 안전장치와 로컬 화면 지문 매칭 같은 최적화 계층이 필수적이며, 추정성 판단을 배제한 사실 기반 디버깅 파이프라인의 설계가 플랫폼 신뢰도 확보의 핵심 열쇠로 작동할 것으로 평가된다.
출처
당근 기술 블로그의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
한 문장으로 앱을 테스트하기까지 (새 창)
