UX 투자 수익의 숫자를 읽는 법…다섯 명 테스트와 디자인 성장 지표의 조건

보기 좋은 화면에서 사업의 질문으로

캐리 웹스터는 5월 15일 스매싱 매거진에서 사용자 경험의 가치를 사업 성과와 연결하는 열 가지 관점을 소개했다. 디자인을 화면의 외관에 한정하지 않고 속도, 사용성 조사, 반복 개선과 조직의 의사결정까지 보아야 한다는 취지다. 원문에 여러 수익과 효과 수치가 함께 등장하지만 서로 다른 조사와 개인 경험을 동일한 보장으로 읽을 수는 없다.

이번 기사에서는 원문이 인용하는 다섯 명 테스트와 디자인 역량이 높은 기업의 성장 비교를 원래 자료에서 다시 살폈다. 수치를 그대로 가져오기보다 대상과 측정 방식, 단위를 확인하면 자신의 프로젝트에 어디까지 적용할 수 있는지 판단하기 쉽다. 웹스터의 주장 전체를 독립적으로 입증했다는 뜻은 아니며 검토한 근거의 범위를 구분한다.

다섯 명은 반복 조사에 관한 설명이다

닐슨 노먼 그룹의 2000년 글은 비슷한 사용자와 과제를 다루는 사용성 검사에서 소규모 조사를 반복하는 접근을 설명한다. 한 번에 많은 사람을 만나기보다 문제를 찾고 고친 뒤 다시 시험하면, 앞서 수정한 설계가 작동하는지와 새 문제가 생겼는지 함께 볼 수 있다는 것이다. 서로 다른 사용자 집단을 하나의 표본으로 합쳐도 된다는 주장이 아니다.

이 글의 모형은 한 사람이 문제를 발견할 가능성의 평균값을 31%로 두고 참가자가 늘어날수록 새로 발견하는 문제가 줄어드는 관계를 계산한다. 흔히 인용되는 다섯 명의 약 85%는 이런 조건에서 나온 설명이다. 정량적인 성공률 비교나 모든 오류를 찾는 보편적인 기준과 구분해야 한다. 구매자와 판매자, 어린이와 보호자처럼 행동이 다른 집단은 별도로 고려하라고 원문도 안내한다.

32와 56의 단위는 퍼센트포인트다

맥킨지가 2018년 발표한 연구는 의료 기술, 소비재, 소매 금융의 상장사 300곳을 5년 동안 살펴 디자인 행동과 재무 성과의 관계를 분석했다. 회사는 디자인 지수 상위 사분위 기업이 비교 대상보다 매출 성장에서 32퍼센트포인트, 주주 총수익 성장에서 56퍼센트포인트 높은 결과를 보였다고 제시한다. 원래 연구의 단위는 단순한 상대 증가율과 다르다.

분석은 리더십이 디자인을 성과 지표로 다루는 방식, 전체 경험, 여러 직무의 협업과 지속적인 반복을 주요 방향으로 묶었다. 그러나 높은 디자인 지수와 성장 사이의 관계가 확인됐다는 것과 디자인 예산을 늘리면 같은 만큼 성장한다는 인과적 약속은 다르다. 대상 산업과 상장사라는 범위도 새 서비스나 작은 조직에 자동으로 적용되는 조건은 아니다.

투자 판단에 필요한 분모와 비교 기준

ARCH.B는 수익률이 크게 보이는 숫자부터 고르기보다 어떤 문제를 줄이려는지 먼저 정하는 접근이 유용하다고 본다. 고객이 중요한 단계를 완료하지 못하는 문제와 내부 작업이 오래 걸리는 문제는 평가할 결과가 다르다. 하나의 화면 개선에서도 완료율, 문의 건수와 수정 시간은 서로 다른 측정값이므로 모든 결과를 같은 성과로 묶지 않는 편이 정확하다.

비교를 시작할 때에는 기존 상태와 관찰 기간, 대상 사용자, 실제 비용을 함께 남길 수 있다. 계절이나 마케팅, 상품 조건이 동시에 바뀌었다면 개선 전후의 차이를 디자인만의 효과라고 확정하기 어렵다. 외부 연구는 어떤 항목을 살필지 제안하는 근거가 되지만 자신의 프로젝트에서 측정한 결과를 대신하지 않는다.

작은 테스트는 효과를 단정하는 도구가 아니다

다섯 명 테스트의 설명을 적용할 때 중요한 행동은 참가자 수를 다섯에 맞추는 일만이 아니다. 대표적인 과제를 수행하는 동안 어떤 부분에서 막혔는지 확인하고, 그 문제를 수정한 다음 같은 목표를 다시 시험하는 과정이다. 새 사용자 집단이나 다른 중요한 과제가 있으면 작은 표본의 결과를 전체에 확대하지 않고 조사 범위를 조정할 수 있다.

이처럼 반복 조사와 성장 지표를 나눠 읽으면 UX의 가치를 설명하면서도 과장된 보장을 피할 수 있다. 사용성 검사는 구체적인 문제를 발견하는 데 쓰고, 재무 지표는 여러 조직적 조건과 함께 읽는 방식이다. 문제를 발견했다는 사실과 사업 수익을 확정했다는 주장을 서로 다른 단계로 다루는 기준이 된다.

웹스터의 글은 UX를 사업의 언어로 설명하자는 출발점이다. 이 기사에서 확인한 두 자료가 특정 팀의 투자 회수 기간이나 수익을 계산해 주지는 않는다. 원래 자료의 조건을 남긴 채 자신의 실패 지점과 개선 비용을 관찰하는 것이 큰 숫자 하나를 약속하는 것보다 검토 가능한 투자 설명으로 이어진다.