Суть удаленного тестирования проста: вместо того чтобы звать пользователей к себе, вы сами приходите к ним – по проводам. Вместо того чтобы заглядывать в экран через плечо пользователя, вы пользуетесь программой дублирования экрана. Ну а вместо разговора с глазу на глаз, говорите по телефону.
Первый сеанс удаленного тестирования я провел 15 лет назад. Не было тогда еще никаких программ для дублирования экрана, поэтому мне приходилось самому догадываться, что делает пользователь (он описывал мне это по телефону), и повторять его действия на своем компьютере. Разумеется, очень много времени уходило на вопросы типа: «Какое окошко сейчас у вас активно?»
Теперь, с приходом быстрого Интернета и классных программ для дублирования экрана, удаленное тестирование максимально приблизилось к очному.
Зачем это нужно?
Все объясняется одним-единственным словом: удобство. Удаленное тестирование обладает рядом существенных достоинств.
• Легко подыскивать участников . Можно не беспокоиться о том, где находится человек, – главное, чтобы у него был высокоскоростной Интернет. Такое расширение параметров поиска особенно сильно выручает, когда надо найти людей, обладающих знаниями в какой-нибудь узкой предметной области.
• Не надо никуда ехать . А значит, на всю процедуру участнику тестирования придется потратить не два и не три часа, а ровно час. На таких условиях помочь вам согласятся даже весьма занятые люди.
• Удобство планирования . Можно назначать тестирование на любое время. Если вам нужен редкий специалист, который освобождается только в 11 часов вечера, вы можете запросто назначить тестирование на это время.
• Дает [почти] те же результаты, что и очное тестирование . Да, удаленное тестирование действительно способно вскрыть те же проблемы.
Может, в таком случае полностью перейтина удаленное тестирование?
Что я могу сказать. Результативность удаленного тестирования на 20 % ниже по сравнению с очным, а усилий на его организацию требуется на 30 % меньше [35] .
Итак, вы теряете 20 % чего-то за счет того, что участник тестирования не сидит рядом с вами. Конечно, вы получаете более богатый опыт, когда пользователь находится в метре от вас: так вам гораздо проще понять, о чем он думает.
Когда между двумя людьми возникает некий технологический барьер, это часто приводит к недопониманию. Согласитесь, одно дело – говорить с глазу на глаз, другое дело – по телефону. В ходе телефонного разговора часто приходится переспрашивать, что сказал или имел в виду собеседник.
Кроме того, удаленным тестированием труднее управлять. Если, например, кто-нибудь войдет в кабинет участника тестирования и отвлечет его, то вы почти ничего не сможете с этим поделать. Особенно туго придется, если попадется «душный клиент»: у вас не будет возможности взглядом или жестом показать ему, что пора вернуться к выполнению задания.
Как это делается?
Все очень похоже на очное тестирование: выбираете объект тестирования, пишете сценарий, проходите его с пользователем пункт за пунктом, напоминая ему, что думать нужно вслух. Потом проводите этап «расследования», ну и так далее. Тестировать можно все, что выводится на экран. Возможно, вам придется внести в сценарий минимальные изменения, а оплату перевести почтовым переводом.
Вам надо будет заранее проверить работу программы для дублирования экрана. Это можно сделать, например, когда вы созвонитесь, чтобы назначить время начала сеанса.
Еще надо решить, чей экран будет ведущим, а чей – дублирующим. Лучше всего попросить пользователя предоставить доступ к его рабочему столу, чтобы вы могли только наблюдать за его действиями. Участнику тестирования не придется при этом нервничать из-за неизбежных (но обычно все-таки небольших) временных задержек. Если же вы тестируете некий программный продукт, который установлен только на вашем компьютере, сделайте наоборот: предоставьте пользователю доступ к своему рабочему столу.
(Если при тестировании вы будете видеть экран пользовательского компьютера, не забудьте попросить его спрятать все окошки, которые ему не хотелось бы вам показывать. Например, окно почтового клиента.)
В главе 8 я писал, что ассортимент программ для дублирования экрана весьма широк. При удаленном тестировании на первый план выходит удобство и простота использования. Следовательно, вам надо выбрать такое ПО, которое а) быстро настраивается (меньше чем за минуту), б) «пробивает» корпоративные брандмауэры и, возможно, в) не требует инсталляции приложения на компьютер (поскольку это может быть запрещено системными администраторами).
И снова я агитирую за GoToMeeting. И снова у меня нет к ней претензий. Скачивается и устанавливается она за 30 секунд, и я еще не встречал пользователя, который не смог бы с ней справиться. В ней очень хорошо реализовано обновление изображения, так что задержки будут практически незаметны.
Еще при использовании GoToMeeting не возникает проблем с изменением размеров экрана (это важный нюанс: ведь у вас и у пользователя могут быть совсем разные мониторы с разным разрешением) и со сменой ведущего/ведомого экрана [36] .
Для передачи звука можно использовать функцию «конференцсвязь», встроенную в GoToMeeting (в стоимость подписки входит возможность использования этой функции, но каждый звонящий платит за себя по своему тарифу, в зависимости от местонахождения). А можно воспользоваться технологией VoIP.
Если вы не собираетесь пользоваться IP-телефонией, посоветуйте участнику тестирования поставить на столе телефон с громкой связью, чтобы не пришлось в течение 50 минут прижимать трубку к уху. Попросите вашего собеседника сделать так, чтобы во время тестирования ему никто не звонил. Впрочем, будьте готовы к тому, что его время от времени все равно будут отвлекать.
Организовать запись тестирования можно, придвинув микрофон к телефону.
Еще быстрее, еще дешевле и еще менее управляемо
В главе, посвященной удаленному тестированию, я не могу не рассказать про еще одну возможность, которую надо иметь в виду: неуправляемое удаленное тестирование [37] .
Такую услугу предоставляет сайт Usertesting.com [38] . Вот как все происходит.
Вы сообщаете адрес той страницы, которую хотите протестировать, и задание (или дватри коротких задания), которое должен выполнить пользователь. После этого указываете, сколько человек должно участвовать в тестировании и кто это должен быть (пол, возраст, доход, уровень владения компьютером).
Запрос направляется в пул тестировщиков, некоторые из них соглашаются пройти тестирование. На вашей страничке они проводят около 15 минут, выполняя задание (или задания) и размышляя вслух. После этого вы получаете запись сеансов тестирования.
Очевидно, что такой метод работы сильно отличается от традиционного тестирования юзабилити: вы не можете задавать вопросы и проводить «расследование». И все же он на удивление результативен. (Владельцы сервиса тщательно отбирают тестировщиков, которые хорошо умеют думать вслух.)
Прелесть метода в его дешевизне (29 долларов за одного участника), в том, что от вас не требуется почти никаких усилий (надо всего лишь дать задание), и в скорости (результаты зачастую можно получить уже на следующий день).
Качество, конечно, уступает управляемому тестированию, но все равно я был впечатлен, когда впервые воспользовался этим сервисом.
С учетом всего сказанного вполне имеет смысл рассматривать такое тестирование как запасной вариант. Оно поможет вам быстро получить ответы на животрепещущие вопросы, которые по разным причинам не удалось выяснить в ходе ежемесячного тестирования. Еще с помощью этого сервиса очень удобно проверять, исчезла ли обнаруженная проблема после внесения изменений (сценарий задания у вас останется с «большого» тестирования, так что вам достаточно будет просто ввести уже готовые данные в форму заказа).
ЧАВО
ПОЧЕМУ Ж ВЫ ПОМЕСТИЛИ ЭТУ ГЛАВУ В КОНЕЦ КНИГИ?!
Прекрасный вопрос. Согласен, эти советы смотрелись бы более логично в первой части книги. Но я сознательно переставил их в конец. И вот почему:
Не надо пытаться устраивать удаленное тестирование, если есть возможность провести очную сессию.
Удаленное тестирование требует большей сосредоточенности, и при этом у вас нет возможности наблюдать, например, за выражением лица тестировщика, а это (особенно поначалу) очень важно.
Я советую провести как минимум три раунда традиционного тестирования, прежде чем пытаться затеять удаленное. За это время вы постигнете большинство нюансов, весь процесс станет привычным, вы немного расслабитесь и будете лучше подготовлены к разного рода неожиданностям.
НУЖНА ЛИ КОМНАТА НАБЛЮДАТЕЛЕЙ?
Да. Присутствие наблюдателей при удаленном тестировании ничуть не менее важно, чем при очном. Это важно, поскольку одной из составляющих успеха является общение, обмен мнениями и опытом. К тому же для наблюдателей вообще нет никакой разницы между удаленным и очным тестированием: в обоих случаях они смотрят на дублирующий экран и слушают высказывания пользователя через динамики.