Испытание прототипа по заранее выбранным критериям помогает проверить конкретные предположения, не подменяя наблюдения мнением команды. До начала зафиксируйте задачи, условия, способ измерения и правила принятия решения. Во время теста записывайте действия и результаты отдельно от интерпретаций; после сравните данные с критериями и выберите следующий шаг.
Опорные решения для проверки прототипа
- Формулируйте критерии так, чтобы по ним можно было однозначно записать наблюдаемый результат.
- Согласуйте сценарий и условия до теста, а не после получения первых результатов.
- Не подсказывайте участнику решение и не меняйте формулировки задач между испытаниями.
- Разделяйте факты — действия, ошибки, завершение задачи — и выводы команды о причинах.
- Заранее определите, какие результаты означают доработку, повторную проверку или переход к следующей итерации.
Как перевести цели испытания в проверяемые критерии
Такой подход подходит, когда команде нужно проверить отдельные функции, сценарии использования или понятность интерфейса до дальнейшей разработки. Он полезен, если участники команды по-разному оценивают готовность прототипа и важно договориться о признаках успеха заранее.
Не начинайте испытание, если прототип не позволяет выполнить выбранный сценарий, задача сформулирована расплывчато или команда ещё не решила, какое решение будет принимать по результатам. В этом случае сначала уточните гипотезу и подготовьте тестируемый вариант.
- Запишите цель в форме проверяемого вопроса: что именно должно стать понятно после испытания?
- Для каждой цели выберите наблюдаемый показатель: например, завершение задачи, выбор нужного действия или возникновение затруднения.
- Уточните способ фиксации и правило оценки. Например, отметьте, выполнена ли задача без подсказки, а не просто «понравился ли экран».
- Определите заранее, какой результат повлечёт доработку, повторное тестирование или переход к следующему этапу.
Критерий должен относиться к задаче, а не к общему впечатлению. Формулировка «интерфейс удобный» не задаёт способ проверки; формулировка «участник находит нужное действие без подсказки» задаёт наблюдаемое событие.
Какие условия и сценарии зафиксировать до начала теста
Запишите условия, при которых будет проходить испытание: версию прототипа, устройство или среду, исходное состояние, текст задания и допустимые подсказки. Если проверяется физическое изделие, отдельно определите безопасный порядок использования, ограничения и условия остановки. Не просите участников выполнять действия, которые могут привести к травме или повреждению.
Выбор способа фиксации зависит от критерия и ограничений проекта:
| Что проверяете | Подход к фиксации | Что записать |
|---|---|---|
| Выполнение пользовательской задачи | Наблюдение по сценарию | Завершение задачи, выбранные действия, точки затруднения |
| Понимание содержания или интерфейса | Наблюдение и уточняющий вопрос после действия | Дословный ответ и действие, которое ему предшествовало |
| Работа функции или изделия | Проверка по согласованной процедуре и измерительным средствам | Условия, показания, отклонения и факт остановки при необходимости |
Подготовьте сценарий без подсказок, форму заметок, средства записи результатов и доступ к тестовой версии. Для сложного изделия могут понадобиться услуги по испытанию прототипов или лабораторные испытания прототипов: заранее уточните, какие условия и методы подходят именно для вашей задачи. Стоимость тестирования прототипа зависит от объёма и состава работ, поэтому запрашивайте расчёт по конкретному техническому заданию.
Как подготовить прототип, участников и измерительные инструменты
-
Соберите план испытания.
Укажите цель, критерии, сценарий, условия и способ фиксации данных. Убедитесь, что каждый критерий связан с конкретной задачей. -
Проверьте версию прототипа.
Зафиксируйте, какой именно вариант тестируется, и проверьте, что нужный сценарий можно пройти. Уберите элементы, не относящиеся к проверке, если они способны отвлечь участника. -
Подготовьте участников.
Пригласите людей, для которых предназначен проверяемый сценарий, и объясните порядок участия. Сообщите о записи, если она ведётся, и получите согласие; не собирайте лишние персональные данные. -
Настройте фиксацию.
Подготовьте таблицу или форму для наблюдений, часы или подходящий измерительный инструмент, если он нужен по критерию. Проверьте доступы и работу оборудования до начала. -
Проведите пробный проход.
Пройдите сценарий самостоятельно или с коллегой, чтобы найти технические сбои и неоднозначные инструкции. Не меняйте критерии по результатам пробного прохода без документирования изменений.
Быстрый режим
- Выберите одну цель и запишите наблюдаемый критерий.
- Зафиксируйте сценарий, версию прототипа и условия проверки.
- Подготовьте участника, средство фиксации и безопасный порядок действий.
- Проведите тест без подсказок и отдельно запишите наблюдения.
- Сопоставьте результат с критерием и назначьте следующий шаг.
Как провести испытание и не исказить поведение пользователя
Следуйте одному сценарию и одинаковым правилам для всех участников. Наблюдатель не должен направлять участника к «правильному» решению или объяснять, как задумана функция.
- Проверьте, что участнику доступна нужная версия прототипа и он понимает условия задания.
- Озвучьте задачу нейтрально: не называйте нужную кнопку, последовательность действий или ожидаемый результат.
- Не подсказывайте во время выполнения; если вмешательство необходимо для безопасности, остановите испытание и зафиксируйте причину.
- Записывайте действия и точные слова участника, не заменяя их оценками вроде «не понял» или «неудобно».
- Отмечайте, была ли задача завершена самостоятельно, с подсказкой или не завершена.
- Фиксируйте технические сбои и отклонения от сценария отдельно от поведения участника.
- Задавайте уточняющие вопросы после действия, чтобы вопрос не повлиял на выбор участника.
- При риске травмы, повреждения или другого небезопасного исхода сразу остановите проверку и следуйте заранее установленной процедуре.
Как свести результаты по критериям в сравнительную таблицу
Сначала внесите наблюдаемые данные, затем отдельно сформулируйте интерпретацию и решение. Не объединяйте разные критерии в общую оценку: это затрудняет понимание, что именно сработало или требует доработки.
| Критерий | Наблюдаемый результат | Интерпретация команды | Следующее действие |
|---|---|---|---|
| Участник находит нужное действие без подсказки | Запишите выбранные действия и факт завершения | Укажите возможную причину затруднения, не выдавая её за наблюдение | Оставить без изменений, доработать или повторно проверить |
| Функция выполняет назначенное действие | Запишите результат проверки и условия | Сопоставьте результат с установленным критерием | Проверить повторно или передать на доработку |
Частые ошибки при сведении результатов:
- Менять критерий после теста, чтобы результат выглядел успешным.
- Записывать вывод команды как будто это действие участника.
- Смешивать результаты разных версий прототипа без отметки о версии.
- Считать отсутствие замечаний доказательством того, что задача выполнена.
- Не отмечать подсказки, технические сбои и другие отклонения от условий.
- Делать общий вывод по одному наблюдению, не обозначая ограничений проверки.
Как определить, готов ли прототип к следующей итерации
Сверьте результаты с правилами решения, которые команда определила до испытания. Если данных недостаточно или условия заметно отличались от плана, не трактуйте неопределённый результат как подтверждение готовности.
- Перейти к следующей итерации — если выбранные критерии выполнены и значимых отклонений от условий не было.
- Доработать прототип — если наблюдения указывают на конкретное затруднение или несоответствие критерию.
- Повторить испытание — если результат мог быть искажён подсказкой, сбоем или непоследовательным сценарием.
- Уточнить критерии — если по собранным данным нельзя однозначно определить, что считать успешным результатом.
В решении укажите, какие данные его поддерживают, какие ограничения остались и что именно будет проверяться в следующий раз. Это делает следующий тест продолжением работы, а не повторением без ясной цели.
Что прояснить перед испытанием прототипа
Чем испытание прототипа отличается от обсуждения идеи?
При испытании участник выполняет заранее выбранную задачу, а команда фиксирует действия и результаты. Обсуждение идеи собирает мнения, но само по себе не подтверждает, что сценарий работает.
Можно ли менять критерии после первых результатов?
Можно уточнить их для следующего цикла, но изменения нужно записать и не применять задним числом к уже собранным данным. Иначе результаты разных испытаний будут несопоставимы.
Что делать, если участник просит подсказку?
Не подсказывайте, если цель — проверить самостоятельное выполнение. Зафиксируйте просьбу и действуйте по заранее выбранному правилу: продолжить наблюдение без помощи или завершить этот сценарий.
Как выбрать инструмент фиксации?
Выбирайте его по критерию: для действий подходит структурированное наблюдение, для показаний — подходящий измерительный инструмент. Записывайте только данные, необходимые для решения.
Когда нужны лабораторные испытания прототипов?
Они уместны, когда выбранную проверку нельзя надёжно выполнить в обычной среде или нужны специальные условия и оборудование. Метод и меры безопасности следует согласовать до передачи прототипа на испытание.
Как оценить стоимость тестирования прототипа?
Сначала опишите цель, прототип, условия, критерии и требуемый результат. По этому описанию можно запросить смету; не сравнивайте предложения, если в них различаются состав работ и условия проверки.
Автор: Дмитрий Кузнецов.