세 시제품에서 비교한 사용자 경험
페이블의 케이트 칼세비치는 6월 10일 스매싱 매거진에 인지 접근성 참여자를 포함한 탐색 연구를 보고했다. UC 어바인 연구자 등과 함께 AI 도구로 만든 레시피·서점·미용실 웹 시제품을 시험했다. 온라인 인터뷰는 총 30회였으며 사이트별 10명 중 인지적 어려움이 있다고 스스로 밝힌 참여자와 그렇지 않은 참여자를 각각 5명씩 배치했다.
연구자는 참여자가 제기한 어려움과 질문, 관찰한 누락을 문제로 세고 개선 제안도 기록했다. 같은 참여자의 같은 항목은 한 번만 세지만 다른 사람에게 반복된 문제는 다시 포함한다. 따라서 총계가 모두 서로 다른 제품 결함의 수라는 의미는 아니다. 작은 시험에서 누가 어떤 장벽을 드러냈는지 살펴보는 집계다.
문제의 수와 사용성 점수는 다른 결과
보고된 문제 총계는 인지 접근성 그룹 197건과 비교 그룹 113건, 제안은 93건과 54건이었다. 콘텐츠 설명과 버튼·아이콘에서 차이가 나타났지만 탐색 문제는 거의 비슷했다. 사용성 설문에서도 인지 그룹이 모든 사이트를 더 낮게 평가한 것은 아니다. 미용실 시제품은 해당 그룹의 평균 점수가 더 높아 문제 발견 수와 전체 경험 평가가 같은 방향으로 움직이지 않았다.
연구자는 본인의 페이블 소속과 이용 플랫폼을 공개했다. 두 그룹은 서로 다른 모집·시험 플랫폼을 사용했고 인터뷰 진행자도 달랐다. 모든 문제 집계는 같은 연구자가 했지만 표본이 작아 정량적으로 일반화된 결과보다 탐색적 발견에 가깝다고 한정한다. 참여자 특성만이 관찰 차이의 유일한 원인이라고 단정할 수 없다.
진단명보다 참여에 필요한 조건을 확인
페이블의 별도 파일럿 안내는 기억·주의·읽기·쓰기의 어려움을 중심으로 참여자를 모집하고 의료 진단을 필수로 요구하지 않는 접근을 설명한다. 이 자료의 대상과 세 시제품 비교 연구는 동일 시험이 아니다. 파일럿은 페이블의 학습 제품을 대상으로 진행한 연구 방법 조정 사례이므로 세 사이트의 문제 수를 검증하는 독립 복제로 읽지 않았다.
방법 안내는 가정 상황보다 구체적인 과제를 쓰고, 제품에 대한 의견을 듣는 과정임을 분명히 설명하며, 필요한 경우 조용히 수행한 뒤 경험을 말하게 하는 선택을 제안한다. 계속 생각을 말하면서 과제를 수행하는 요구 자체가 일부 참여자의 부담이 될 수 있다는 관찰이다. 인지적 어려움과 신경다양성은 겹칠 수 있지만 같은 범주로 취급하지 않는다는 설명도 포함한다.
완료 여부만으로는 부담을 읽기 어렵다
ARCH.B는 과제 완료와 과정의 이해를 따로 기록하는 것이 이 사례의 중요한 검토 지점이라고 본다. 사용자가 예약을 끝냈더라도 무엇을 선택했는지 확신하지 못했다면 완료율만으로 문제를 설명하기 어렵다. 같은 일을 반복하거나 화면의 의미를 추측한 경로도 관찰할 필요가 있다. 이 연구의 숫자가 보여주는 것은 이런 정보를 더 찾을 가능성이지 모든 팀의 일정한 효율 개선은 아니다.
화면의 작은 표현도 행동의 불확실성을 만들 수 있다. 버튼을 누른 뒤 저장됐는지 알 수 없거나 비슷한 서비스 이름의 관계가 분명하지 않다면, 실수 없이 다음 단계로 가기 위해 기억해야 할 것이 늘어난다. 문제의 수를 세는 것과 어떤 표현을 고칠지 정하는 것은 다른 작업이다. 실제 발언과 행동을 함께 남겨야 수정할 지점을 판단할 수 있다.
방법을 바꾸면서 비교 조건도 남긴다
참여자가 과제를 이해하도록 돕는 조정은 연구에서 배제되는 경험을 줄일 수 있다. 동시에 어느 시작점을 알려줬는지, 언제 설명을 추가했는지를 기록해야 스스로 찾는 능력과 도움을 받은 수행을 혼동하지 않는다. 안내를 늘리는 것이 모든 연구 질문에 같은 영향을 주지는 않기 때문이다. 참여 조건의 지원과 평가 대상의 경계를 함께 정하는 편이 해석에 도움이 된다.
후속 연구는 같은 모집 조건과 진행 방식에서 발견의 차이가 유지되는지, 실제 서비스에서도 같은 장벽이 나타나는지를 따로 확인할 수 있다. 30명의 한 번 시험을 근거로 인지 그룹이 언제나 특정 배수의 문제를 찾는다고 약속하지 않는 이유다. 이번 보고는 포함하지 않았다면 놓칠 수 있는 설명·피드백의 문제를 보여주며, 연구의 참여 범위와 측정 방식을 함께 점검할 계기를 제공한다.
출처
Smashing Magazine의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
The Benefits Of Cognitive Inclusion In UX Research (새 창)
