변화의 인식을 같은 질문으로 추적한다
피그마 연구자 셰인 존스턴은 AI가 디자인과 제품 개발에 미친 영향을 조사하는 방법을 소개했다. 2024년 시작한 연구는 해마다 설문과 인터뷰를 수행하고 지수를 만든다. 조직 목표, 개인 생산성과 업무, 협업, 프로젝트, 제품·서비스와 도구의 여섯 차원에서 지난12개월의 경험과 다음12개월의 기대를 묻는 방식이라고 설명한다.
답은 영향 없음부터 근본적인 변화까지0~100의 척도로 바꾼다. 회사는2026년 종합 지수를62점으로 제시했다. 이는 실제 생산성이62%늘었다는 측정이 아니라 응답자의 경험과 인식을 수치로 표현한 지수다. 별도 공식 보고서 소개는3년간 설문 응답8,403건과 질적 인터뷰639건을 기반으로 하며 조사 시장을7개에서10개로 넓혔다고 밝힌다.
인터뷰의 주제를 원래 발언에 연결했다
이번 연구에서는 AI 진행자가 확인 질문을 던지고 대화의 맥락에 맞춰 인터뷰를 이어가는 도구를 사용했다.639개 대화 기록과 약200만 단어를 분석한 과정으로 소개됐다. 피그마는 기존 분석 도구가 자료를 어떻게 해석하는지 보기 어려워, 대화의 아이디어에 표지를 붙이고 더 큰 주제로 묶는 주제 분석 도구를 자체 제작했다고 설명한다.
도구는 어떤 주제를 언급한 참여자와 실제 발언을 보고 원래 인터뷰로 돌아갈 수 있도록 했다. 연구자는 분석 방법, 세부 수준, 충돌하는 주제 처리와 원문 추적 기준을 명시해 시스템에 반영했다고 밝혔다. 회사는 일관된 분석 관점을 적용하는 데 도움이 됐다고 설명하지만, 공개 글에는 사람이 작성한 정답과 비교한 코딩 정확도나 편향 감소의 독립 평가가 제시되지는 않았다.
연구자 밖의 팀도 같은 자료를 탐색하게 했다
분석 뒤에는 수많은 자료가 노트북과 텍스트 파일에 있어 다른 직군이 활용하기 어려웠다고 설명한다. 연구자·작성자·마케터·분석가가 같은 근거를 보도록3년의 설문 결과와 인터뷰 분석, 역할·지역별 분류와 지수 차원을 담은 내부 대시보드를 만들었다. 필요한 숫자나 차트를 연구자가 매번 내보내 주는 흐름을 바꾸려는 목적이다.
원출처는 분석 자료를 독립 HTML로 묶고 Figma의 MCP 서버와 캔버스를 활용해 화면·상호작용을 다듬었다고 설명한다. 배포에는 Payload CMS를 사용해 버전과 접근을 관리했다. 이는 해당 연구팀의 내부 도구 사례이며 전체 대화 기록을 외부에 공개했다는 발표는 아니다. 공유된 자료를 바탕으로 여러 직군이 해석과 보고를 함께 수행하는 구조를 소개한다.
지수의 변화와 실제 성과를 서로 다른 질문으로 본다
경험과 기대를 같은 척도로 물으면 AI에 대한 인식이 어느 영역에서 움직이는지 비교할 수 있다. 그러나 인식의 상승은 실제 업무 시간이나 산출물 품질의 같은 폭 개선을 뜻하지 않는다. 조직이 이 지수를 참고한다면 설문 결과와 실제 업무 관측을 나누어 읽을 필요가 있다. 협업에 영향을 느끼는 사람이 늘었다는 사실과 어떤 협업 방식이 성과를 냈는지는 다른 자료를 요구한다.
조사 범위의 확대도 시계열을 해석할 조건이다. 공식 소개는2026년에 브라질·인도·한국을 추가했다고 밝힌다. 같은 질문을 유지한 것은 비교의 기반이지만 시장 구성의 변화가 포함되므로 모든 차이를 AI 발전 하나의 효과로 설명할 수는 없다. 지수의 숫자를 도입 목표로 그대로 옮기기보다 자기 팀의 업무와 응답 조건이 연구 범위에 얼마나 가까운지 확인하는 편이 구체적인 판단을 돕는다.
AI 분석의 규모보다 해석을 되짚는 경로가 중요하다
수백 인터뷰를 처리하는 자동화는 자료를 더 넓게 살펴볼 기회를 준다. 하지만 같은 규칙을 일관되게 적용하더라도 그 규칙 자체가 발언의 의미를 잘못 묶을 수 있다. 그래서 주제에서 참여자의 말로 돌아갈 수 있는 연결이 중요하다. 연구자는 요약을 확인하고 예외와 충돌을 검토하며 범주를 수정할 근거를 얻는다. 사람의 판단을 시스템 밖에 마지막으로 붙이는 것보다 과정에 검토 가능성을 넣는 접근이다.
공유 대시보드도 숫자를 모두에게 보여 주는 화면에만 의미가 있지 않다. 어떤 분류와 기준으로 나온 값인지 함께 볼 수 있어야 여러 직군이 같은 수치를 다르게 해석할 때 근거를 되짚을 수 있다. 이 사례를 적용하는 팀은 주제의 이름뿐 아니라 원문과 분석 기준, 변경 이력을 연결할 수 있다. AI가 연구의 모든 판단을 대신했다는 주장보다 전문적인 판단을 반복하고 검토할 자료 구조를 만들었다는 점에 초점을 둘 이유가 있다.
출처
Figma Blog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
How do you actually measure the impact of AI on design? (새 창)
