활성화 여부에서 결과 관찰로 확장
GitHub는 10월 13일 보안 개요에 AI Scan의 생성·해결 결과, 수정 비율과 Autofix 적용 빈도 등을 살피는 지표를 추가했다고 밝혔다. 기존 CodeQL pull requests 페이지 이름은 Code scanning on pull requests로 바뀌고 CodeQL과 AI Scan 탭을 분리한다. 이번 공개 프리뷰는 GitHub.com과 Enterprise Cloud에서 Code Security 또는 Advanced Security 고객을 대상으로 안내됐으며 Enterprise Server는 지원하지 않는다. 관리자가 개별 PR을 일일이 열지 않고 결과의 분포를 볼 수 있도록 한 집계 화면의 변경이다.
기간과 제안 유무를 맞춰 읽는 지표
공식 보고서 문서에 따르면 AI Scan 탭은 전체 finding 수와 Autofix 제안이 있는 수·비율을 보여 준다. 시간에 따른 그래프도 제안 있음과 없음을 나누며, 두 집단에서 수정 적용 또는 finding 해제 같은 처리 결과를 확인할 수 있다. 선택한 기간과 필터는 표시되는 AI Scan 지표 전체에 적용된다. CodeQL 지표는 별도 탭에 있으므로 두 도구의 결과를 같은 항목처럼 합쳐 읽지 않는 것이 필요하다. 또한 해당 저장소의 코드 스캐닝 경고에 접근할 수 있는 역할 등의 가시성 조건이 있으므로, 대시보드가 조직에 있다는 이유만으로 모든 구성원이 동일한 결과를 볼 수 있는 것은 아니다.
PR 분석 기능 자체의 지원 범위
AI Scan 공식 문서는 CodeQL이 다루지 않는 언어·프레임워크의 보안 탐지를 보완하는 기능이라고 설명한다. 저장소 전체 스캔이 아니라 PR 대상이며, finding은 PR에 표시되고 저장소의 보안 backlog 경고로 나타나지 않는다. 포크에서 온 PR과 Dependabot이 만든 PR에서는 실행되지 않는다는 제한도 있다. 결과는 권고 성격으로 병합을 막지 않으며, 현재 규칙 집합의 병합 요구 조건으로도 쓸 수 없다. 따라서 결과 집계를 추가한 이번 공지를 모든 변경을 자동 차단하는 보안 게이트의 출시로 받아들여서는 안 된다. 모든 finding에 수정 제안이 있는 것도 아니다.
지난 커버리지 화면과 다른 질문
지난 10월 6일 공지는 Coverage 화면에서 AI Scan의 enabled·not-enabled 저장소 수와 실효 활성화 상태를 조회하고, 필터 및 CSV 열로 추적하는 변경이었다. 이번 지표는 그 위에서 무엇을 찾았고 개발자가 어떻게 처리했는지를 묻는다. 활성화한 저장소가 많아지는 상황과 탐지 결과가 늘어나는 상황은 관련될 수 있어도 같은 수치는 아니다. 기능을 켠 뒤 일정 기간이 지나야 결과가 축적될 수 있고, 분석 대상 PR의 종류에 따라서도 보이는 분포가 달라질 수 있다. 도입 현황과 처리 성과를 나눠 보면 어느 단계의 변화를 보고 있는지 설명하기 쉽다.
해제와 수정 적용의 의미를 분리
ARCH.B는 처리 결과의 분모와 상태를 함께 보는 것이 이번 지표의 활용 기준이라고 본다. AI Scan 문서는 오탐 가능성과 피드백 경로를 명시한다. finding을 해제한 경우에는 오탐 판단이나 별도 위험 검토가 있었을 수 있어, 숫자가 줄었다는 사실을 코드 수정 완료와 같게 볼 수 없다. 반대로 Autofix 제안이 있는 비율이 높더라도 제안이 실제로 적용되고 적절한 수정이었는지는 다른 판단이다. 제안 제공, 개발자의 적용, 이후 검토를 구분하면 모델의 탐지 범위와 조직의 대응 과정을 혼동하지 않을 수 있다. 이는 대시보드가 독립적인 보안 정확도 시험을 대신한다는 뜻이 아니다.
확대 배포 전 비교할 작업 흐름
운영팀은 같은 기간과 저장소 범위를 고른 뒤 제안 유무별 처리 결과를 비교하고, 미해결 결과가 집중된 저장소의 실제 PR을 살펴볼 수 있다. 도구 지원 범위 밖의 PR이 포함됐는지, 새 저장소를 추가해 전체 탐지량이 늘었는지도 함께 확인할 대상이다. 이 과정은 지표만으로 담당자의 생산성을 순위 매기기보다 검토가 막히는 지점과 필요한 안내를 찾는 데 적합하다. 공개 프리뷰에서는 지원 언어와 탐지 범주가 바뀔 수 있다고 공식 문서가 알린다. 도입 판단에는 집계값뿐 아니라 기능의 실행 조건과 현재 라이선스·AI 크레딧 사용 조건도 별도로 확인해야 한다.
출처
GitHub Changelog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Code scanning AI Scan metrics in security overview (새 창)
