Я вообще-то не люблю контрольные списки. Мне они кажутся шорами, символом жестко организованных процессов, тогда как я люблю импровизировать. Но вместе с тем я предпочитаю иметь дело с методами, которые работают, и потому я не стал бы умалять ценность контрольных списков.
При проведении тестирования надо держать в голове кучу каких-то мелочей. Надо помнить, что, в какой последовательности будет происходить и что для этого потребуется. Не сомневаюсь, что у вас хорошая память и вы можете запомнить почти все. Но я гарантирую, что рано или поздно вы забудете нажать кнопку «Запись» и вспомните об этом, когда тестирование уже будет подходить к концу. Почему-то это случается практически со всеми, поэтому в те списки, которые я привожу ниже, включены и такие напоминания.
Если во время тестирования под рукой у вас будет контрольный список, вам не придется нервничать по мелочам и вы сможете лучше сосредоточиться на происходящем.
С сайта нашего издательства по адресу www.piter.com можно скачать электронную версию этих списков. Приведите их в соответствие с реалиями вашего проекта и используйте во время тестирования.
За три недели до тестирования
• Понять, что я буду тестировать (сайт, каркасную модель, прототип или что-нибудь другое).
• Написать список заданий для участников тестирования.
• Определиться с требованиями к участникам тестирования.
• Пригласить участников тестирования.
• Арендовать помещение с доступом в Интернет, столом, двумя стульями и устройством громкой связи.
• Рядом с комнатой, где будет проходить тестирование, найти место, где участники могли бы дожидаться своей очереди.
• Арендовать помещение для наблюдателей с доступом в Интернет, столом, достаточным количеством стульев, устройством громкой связи, проектором и экраном (или не забыть взять с собой проектор/большой монитор).
• Арендовать помещение для разбора полетов, в котором хватит места всем участникам тестирования.
За две недели
• Получить комментарии от команды разработчиков и других заинтересованных лиц по поводу списка заданий.
• Решить вопросы, связанные с вознаграждением для участников (например, заказать подарочные сертификаты или написать заявку на выдачу наличных денег).
• Приступить к отбору участников, назначить время, в которое они должны явиться.
• Разослать команде разработчиков и другим заинтересованным лицам электронные письма с напоминанием о предстоящем тестировании.
За неделю
• Разослать участникам тестирования электронные письма с инструкциями, картой проезда, схемой здания, договором о неразглашении, именем и телефоном ответственного лица, которому они смогут позвонить в случае чего.
• Договориться с «запасным игроком» на случай, если кто-нибудь из участников не явится.
• Если предстоит первый раунд тестирования, установить и проверить ПО для захвата видеопотока и дублирующего монитора.
За день-два
• Позвонить участникам и узнать, не изменились ли их планы и нет ли у них каких-нибудь вопросов.
• Разослать напоминалки наблюдателям.
• Дописать сценарии.
• Проверить сценарии.
• Получить все технические сведения (логины/пароли) и тестовые данные (например, фиктивные номера кредитных карт или счетов).
• Сделать копии раздаточных материалов для участников:
– соглашение о ведении записи во время тестирования (с. 203);
– наборы сценариев, напечатанных на отдельных листах;
– дополнительные экземпляры договоров о неразглашении.
• Сделать копии раздаточных материалов для наблюдателей:
– инструкции для наблюдателей (с. 128);
– комплект сценариев;
– копия текста для ведущего.
• Договориться с кем-нибудь, кто сможет встретить участников и дать им указания о дальнейших действиях.
• Договориться с кем-нибудь, кто займется подготовкой комнаты наблюдателей, выдать ему экземпляр Инструкции для дежурного (с. 133).
• Убедиться, что вознаграждения для участников тестирования готовы.
• Убедиться в наличии микрофона, динамиков, удлинителей, компакт-дисков для записи видеофайлов.
• Заказать плюшки и напитки для наблюдателей.
• Убедиться, что никто не забронировал арендованные вами помещения на то же самое время (такое иногда случается!).
• Найти кого-нибудь, кто встретит участников тестирования, разместит их и в нужный момент проводит в комнату тестирования.
В день тестирования (перед началом первого теста)
• Заказать угощения, которые вы предложите участникам тестирования, когда будете заниматься с ними «разбором полетов».
• Отнести раздаточные материалы в комнату наблюдателей.
• Убедиться, что объект тестирования установлен (или доступен через Интернет) и работает.
• Проверить устройство видеозахвата: записать небольшой отрывок (со звуком!) и проиграть его.
• Проверить дублирующий монитор и систему громкой связи в комнате наблюдателей.
• Закрыть все работающие на тестовом компьютере программы, которые могут помешать процессу (среди них, например, почтовые клиенты, сервисы мгновенных сообщений, напоминалки календаря, антивирусное ПО).
• Создать закладки для всех страниц, которые могут понадобиться при тестировании.
• Убедиться, что у вас есть все нужные номера телефонов:
Комната наблюдателей ___________________________.
Комната для проведения тестирования _____________________________.
Тот, кто встречает участников тестирования _________________________________.
Разработчик __________________________.
( позвонить при возникновении проблем с тестируемым объектом )
Системный администратор ___________________________.
( позвонить при возникновении проблем с сетью или сервером )
• Убедиться, что все динамики в комнате наблюдателей и в комнате для тестирования работают.
Перед каждым тестом
• Очистить историю браузера.
• Открыть пустую страницу в браузере.
Пока участник заполняет соглашениео ведении записи
• Включить запись!
В конце каждого теста
• Остановить запись!
• Сохранить запись!
• Отключить (при необходимости) дублирующий монитор.
• Сделать пятиминутный перерыв и записать краткие комментарии к проведенному тесту.
• Если этот тест последний в данном раунде, скинуть файл с записью на компакт-диск или флеш-карту.