]UIUX[ 사용성 테스트

Usability Testing (1)

유저는 자신이 원하는 바를 제대로 말할 수 없다. 따라서 그들의 말이 아닌, 행동에 초점을 맞추어야 한다.

사용성 테스트의 8절차

1. 테스트 계획을 짭니다
2. 테스트 환경을 조성합니다
3. 피실험자를 선발합니다
4. 테스트에 필요한 물건을 준비합니다
5. 테스트 과정을 진행합니다
6. 테스트 종료 후 참여자와 관찰자에게 설명합니다
7. 실험 데이터 및 관찰 결과를 분석합시다
8. 찾아낸 바와 개선 사항을 보고합시다

1. 사용성 테스트 계획

육하원칙(누가 언제 어디서 무엇을 어떻게 왜)에 따라 작성한다. 테스트가 절차에 따라 잘 진행되도록 해 준다. 테스트 계획을 토대로 개발자, 디자이너, 진행자, 팀원들은 어떤 제품이 테스트 되어 결과거 어떻게 해석될 것인지 등을 확인할 수 있다.

• 테스트에 필요한 자원들이 명시된다
• 테스트 핵심점과 마일스톤이 명시된다
• 주먹구구식 테스팅은 원하는 데이터를 얻지 못하는 시간낭비가 된다

Format

1. 테스트의 목적

2. 사용성 테스트로 연구하고픈 싶은 질문

   V&V 테스트가 품질 속성을 Verify하는 것과는 다르네!

3. 피실험자의 특징

4. 실험 메소드 (실험 방식)

5. 피실험자에게 시킬 작업 리스트

   Q: 숙박 업소 예약을 잘 수행하실까?

   T: 앱으로 함 해 보세요

6. 수집할 자료와 평가 메져

7. 보고서에 포함할 내용

Research Questions

• 추상적이지 않으며 측정 가능하도록 구체적으로 명시한다.

  BAD) 우리 제품이 사용할 만 한가요?
  BAD) 우리 제품을 배포해도 될까요?

  GOOD) 사용자는 무엇을 클릭할 지 잘 알아채는가?

  GOOD) 사용자는 필요한 정보나 기능을 쉽고, 성공적으로 찾아내는가?

  GOOD) 사용자들이 네비게이션 중간에 홈이나 원하는 페이지로 빨리 갈 수 있는가?

Participant Characteristics

• V&V에서 입력 공간을 체계적으로 나누듯이
  UX에서는 사용자를 잘 특성화하는 카테고리를 식별한다

  • 테스트 타입에 따라
    Pliot 테스트: 소수의 사전 테스트 인원
    Regular 테스트
    Backup 테스트

  • 여행의 빈도에 따라

  • 여행의 유형에 따라

    비지니스 / 레져

  • 예약 경험

  • 나이

  • 성별

• 큰 자원을 집중할 Focus Group을 선정할 수 있다

Introduction to the session

실험과 절차에 관해 소개하는 시간을 계획해야 한다.

Think Aloud를 적극적으로 해 주세요 등.

Background interview

피실험자의 배경을 조사하는 시간을 계획해야 한다.

Tasks

피실험자에게 태스크 리스트를 준비한다.

그룹을 나누어 서로 다른 태스크를 시켜볼 수 있다

태스크 우선순위 매기기

• 자주 수행되는 작업 (Frequency)
• 위중한 문제를 발생시킬 수 있는 치명적인 작업 (Criticality)
• 디자인 결함이 의심되는 작업 (Vulnerability)
• 테스트가 준비된 작업 (Readiness)

Post-test debriefing

실험 후에 문제점이나 소감을 들을 시간을 계획한다.

보고할 내용

• 리서치 질문으로 얻은 답안은 무엇인지
• 수집된 데이터의 의미에 대한 토론
• 앞으로 어떻게 되었음 좋겠다는 제언

2. 테스트 환경 조성

어떻게 인원 배치, 물건 배치, 방 구성 ..

3. 피실험자 선발

• 사용자를 설문조사하여 관련 도메인 전문성을 식별하기
• 테스트 계획에 명시한 대로 유형에 맞는 인원 모집

Screening participans

• Questionnaire 진행

• Matrix Test

  유저를 그룹화하고, 전문성을 살펴보기 위해

• 제약에 따라 참여자 수 조정한다

  Confidence

  Available resources

  Availability of the type of participant

  Duration of test session

4. 테스트 재료 준비

• 오리엔테이션 스크립트

• 배경 설문조사지

  피실험자의 분포를 재확인할 수 있어욤

• 데이터 수집 장비

  • Reseach Question 해결에 필요한 Data를 수집

  • Performance에 관한 데이터

    실수, 성공률, 실패 복구 시간

    관찰을 통해 얻는 객관적 수치

  • Preference에 관한 데이터

    참여자가 느낀 감정, 의견,

    서비스 만족도 랭킹

  • 대표적인 데이터들

    태스크의 성공적 완수 / 도움이 요청되었는가 /

    문제가 발생했는가 / 수행시간 /

    피실험자 행동에 대한 코멘트

• 외부누설금지 서약서, 녹음기록 동의서

• 테스트 전 설문

• 태스크 시나리오

• 테스트 후 설문

  대개 Preference Data를 수집한다

• 디브리핑 주제 가이드

Developing Questionnaire

• 리서치 질문 해결에 연관되는 항목을 물어본다
• 사용자가 보인 특정 패턴에 대해 물어본다
• 디자인, 디자인 혹은 타 팀 간 의견 불일치가 있던 사안을 물어본다
• 관찰이 불가능한 "느낌", "의견" 등을 물어본다
• SUS(System Usability Scale) 미국에서 개발한 설문 양식이 있다

Likert Scales

매우 동의 | 동의 | 보통 | 비동의 | 매우 비동의

Semantic Differentials

개념 | 3 2 1 0 1 2 3 | 반대개념

Fill-in Questions

체크 형식 + 브랜칭 가능

___ 항목1

___ 항목2

___ 항목3 (마지막 질문으로)

---

Usability Testing (2)

5. 테스트 과정 진행하기

• 테스트 진행자는 사람과 소통하며 작업을 관리한다
• 경험 많은 진행자가 필요

가이드라인

• 진행자가 테스트에 끼칠 수 있는 영향을 인지해야 한다

• 진행자는 중립적인 인사가 좋다

  테스트 진행은 독립적인 제 3사에 맡기곤 한다

• 실수가 있건, 성공했건 반응의 차이를 보여선 안 된다

• 참여자가 자유롭게 탐구할 수 있도록 해야한다

• "뜻 밖이다" 같은 반응을 보여선 안 된다. 회사가 기대하는 바를 참여자에게 주지시켜선 안 된다

• 문제를 바로 도와주는 것은 안 된다. 힌트 수준부터 알려준다

Think Aloud 기법

참여자가 지금 생각하는 바를 큰 목소리로 표현하도록 요구.

• 참여자의 기분과 선호도를 실시간으로 확인
• 참여자의 심상 모델을 평가하는데 도움이 된다
• 표현이 서투른 참여자는 부담을 느낄 수도 있다

향상된 Think Aloud 기법

• Think Aloud 기법이 편한 분위기가 형성되고, 잘 좇아 행할 수 있는데 시간이 좀 필요함
• 따라서 짧은 테스트에선 굳이 이용할 필요가 없다
• 강한 저항이 있을 경우 강제하지 않는다
• 갑자기 조용해질 경우 문제를 맞닥뜨렸을 확률이 많으니 그에게 주의를 집중한다
• 낄낄빠빠 적당한 타이밍에 피드백을 준다

참여자를 돕는 법

• 영향 최소화
• 비난 금지
• 실마리부터 점진적으로 알려주기

사전 체크리스트 1

파일럿 테스트 진행하기

파일럿 테스트 결과를 제품에 반영하기

테스트 장비와 환경 점검하기

잠시 버전 얼려두기

사전 체크리스트2

장비 설치

진짜 돌아가는 제품

각종 문서

피실험자의 상황 체크

테스트 장비와 환경 더블 체크

6. 피실험자와 관찰자에게 디브리핑

• 피실험자의 행동을 리뷰한다

  "이 행동을 보인신 이유가 뭘까요?"

• 발생한 모든 결함과 어려움에 대해 이해한다

• 피실험자가 행동, 선호도, 이유 등을 설명하도록 한다

Review 기법

• 상대를 방어적으로 만들지 않는다

  "아니 이걸 왜 실수했어요?"

• 답변을 잠자코 들을 뿐 구체적인 반응을 표하지 않는다

Debriefing 기법

• 상위 수준 질문부터
• 세부사항 질문으로 진행
• 어떻게 문제가 발생했는지 이해
• Futher Contact 여지 남기기

7. 데이터 분석

Preliminary Analysis

시급한 문제를 발견하고 개발자 측에 신속히 전달하여 바로 수정반영하는 단계이다.

1. Complie data

2. Summarize data

   • Performance data

     ex) Mean/Median time to complete

   • Preference data

     객관식 설문, 주관식 설문, 코멘트, 인터뷰 등으로 획득

Comprehensive Analysis

최종적으로 진행하는 Exhuastive 분석

Analyze Data

• Success criterion 충족하지 못 한 태스크를 구분

• 실수의 원인 분석

  • 작업 난이도에 문제
  • 제품 근본의 (설계/성능) 문제

• 문제의 우선순위를 파악한다

  • 심각성에 따라
  • 빈도에 따라

• 그룹 별 반응을 분석한다

Ex) 예약에 포인트를 함께 사용하기

• 로그인 해야 되는 걸 몰랐어요
• 예약 과정에 로그인으로 갈 수 있는 네비게이션이 없어요
• 포인트 전시하는 부분이 잘 안 보여요

Comparison Test

• A버전과 B버전을 비교 분석

• 타 사 제품과 우리 제품을 비교 분석

• 그룹 별 비교 분석 (초보 그룹/전문가 그룹)

8. 보고서 작성

디자이너와 개발자들이 문제점을 보완할 수 있도록 보고하는 문서이다.

• Findings에 대한 Overview

• 발견한 문제점 / 분석 내용 / 분석의 결론 / 제언

• 문제의 우선순위

  Local/Global, Impact on Users, Frequency

  Robustness, Task, Visibility, Cost to fix