새 관측 플랫폼보다 장애 대응의 흐름에 집중
여기어때 전시개발팀은 다른 팀에서 옮겨온 엔지니어가 기존 관측 파이프라인을 활용해 업무에 맞는 대시보드를 만든 과정을 공개했다. 기술블로그는 상품과 가격을 제공하는 전시 서비스가 여러 시스템의 응답을 조합하기 때문에, 장애가 자기 서비스에서 생겼는지 호출 대상에서 생겼는지 빠르게 구분해야 했다고 설명한다. 화면 구성의 출발점은 새로운 도구 목록이 아니라 이 대응 질문이었다.
팀은 익숙한 APM 분석 흐름을 유지하고 추가 에이전트나 전용 데몬 없이 이미 수집되는 자료를 활용하는 기준을 세웠다. OpenTelemetry와 Grafana를 바탕으로 메트릭은 Mimir, 트레이스는 Tempo, 로그는 Loki에 연결된 환경을 사용했다. 기존 핀포인트에서 경험하던 느린 요청의 선택과 상세 확인도 새 화면에서 재현하는 것을 목표로 했다.
상태에서 연계 호출, 개별 요청으로 좁히기
대시보드의 개요에는 요청과 성공·실패, TPS를 숫자로 보여주고 다음에는 Incoming과 Outgoing을 나눠 배치했다. 기술블로그는 이를 통해 자기 응답의 지연과 호출 대상의 지연을 구분할 수 있게 했다고 설명한다. 이후 레이턴시와 오류 패널에서 개별 트레이스로 이동하고, 같은 조건의 요청 목록과 원인 로그를 확인하도록 구성했다.
로그 패널은 Loki Drilldown과 Explore로 연결된다. Grafana 공식 문서는 Tempo의 스팬에서 연관 로그로 이동하고 로그에서 트레이스로 돌아오는 기능을 설명한다. 이 연결에는 Tempo와 Loki 양쪽 설정, 로그와 트레이스의 공통 식별자가 필요하다. 도구를 같은 화면에 배치했다는 사실만으로 모든 요청의 연결이 자동으로 만들어지는 것은 아니다.
AI 구현 보조가 팀원의 후속 개선으로 이어지다
실제 메트릭을 찾고 쿼리와 패널을 구성하는 반복 작업에는 클로드 코드와 사내 Yapp MCP를 사용했다고 기술블로그는 밝혔다. 무엇을 왜 보여줄지의 기준과 설계는 사람이 정했다. 팀에 공유한 뒤에는 동료가 마이크로서비스 전체의 이상 지점을 찾는 보드를 추가하고 서비스별 상세 화면으로 연결해, 단일 애플리케이션 분석을 보완했다.
이벤트 시점의 서버 증설을 살피기 위한 리소스 보드도 추가됐다. 그러나 글은 팀원이 문제를 얼마나 쉽게 찾게 됐는지를 정량화하지 못했다고 명시한다. 시작 전에 비교할 기준선을 남기지 않았기 때문이다. AI가 메트릭·트레이스·로그를 조합해 근본 원인을 분석하고 대응하는 구상 역시 현재 완료된 기능이 아니라 다음 과제의 가설로 제시됐다.
관측 화면은 조사 경로를 공유하는 인터페이스
ARCH.B의 관점에서 이 사례는 대시보드가 같은 지표를 여러 사람에게 보여주는 화면을 넘어, 장애를 조사하는 순서를 공유하는 인터페이스가 될 수 있음을 보여준다. 상태 확인과 영향 범위, 요청 상세와 원인 로그를 연결하면 경험이 적은 담당자도 다음에 볼 자료를 찾기 쉽다. 반면 패널 수를 늘려도 질문 사이의 연결이 없으면 담당자는 도구와 시간을 다시 맞춰야 한다.
상관관계 링크를 검토할 때는 성공 화면뿐 아니라 로그가 비거나 엉뚱한 요청이 나오는 경우도 확인할 필요가 있다. 공통 식별자와 시간 범위, 서비스 라벨이 맞지 않으면 링크는 존재해도 조사를 돕지 못한다. 연결 규칙을 보드와 함께 보존하면 새로운 서비스를 추가하거나 관측 도구의 설정을 바꿀 때 같은 경로를 재검토할 수 있다.
화면 개선과 대응시간 개선은 따로 측정하기
대응 속도를 평가하려면 첫 화면의 사용성과 실제 장애 해결을 구분해야 한다. 다음 개선에서는 이상을 발견한 시각, 담당자가 원인 후보를 좁힌 시각, 복구한 시각을 같은 기준으로 남겨볼 수 있다. 사건의 규모와 호출 대상이 달라지므로 사례 몇 건의 시간을 단순 평균하기보다 어떤 조사 경로가 짧아졌는지 함께 기록하는 편이 설명력이 있다.
이번 글이 스스로 밝힌 기준선의 부재는 아카이빙할 때 남겨야 할 중요한 조건이다. 보기 편해진 화면이나 AI로 빨리 구성한 과정이 곧 장애시간 단축의 증거가 되지는 않는다. 팀원의 후속 참여로 조사 범위가 넓어진 점과, 정량 효과는 아직 확인하지 못한 점을 함께 기록하면 다음 단계에서 무엇을 검증해야 하는지 분명해진다.
출처
여기어때 기술블로그의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
새로운 팀에 기여하기, 그리고 기여의 확장 (feat. 전시개발팀 옵저버빌리티 향상 시키기) (새 창)
