6.1. Зачем бизнес-тренеру проводить оценку эффективности и анализ тренингов
Оценка эффективности обучающих программ и даже отдельных тренингов – важная задача для компании, которая серьезно относится к инвестициям. Заказывая тренинг, она затрачивает существенные ресурсы, которые не ограничиваются только гонорарами тренеров. Естественно, менеджменту нужна уверенность, что эти вложения будут выгодны и в итоге принесут прибыль.
Предлагаю рассмотреть тему оценки эффективности тренинга с точки зрения тренера, а не заказчика. Если бы я писал этот раздел для HR-менеджеров или руководителей компании, наверное, он был бы другим.
Итак, зачем именно бизнес-тренеру проводить оценку эффективности своих тренингов, даже если заказчик этого не требует? Для этого есть как минимум четыре веских основания.
В я говорил о том, что у тренера должна быть своя миссия. По моему мнению, она не может сводиться к зарабатыванию денег, получению известности и даже к максимально полному удовлетворению потребностей клиентов. Миссия профессиональной деятельности всегда связана с ответом на вопрос о том, что мы привнесем в этот мир, что изменим в нем.
В самом начале книги я приводил притчу о трех рабочих (см. начало ). Если вы не помните, о чем речь, прошу – перечитайте ее. Лично мне гораздо комфортнее быть тем, кто строит храм, хотя он тоже таскает камни и зарабатывает деньги для семьи.
Во-первых, тренеру важно быть уверенным в том, что он не отклонился от своей миссии, последовательно реализует ее. Он должен видеть, как благодаря его усилиям «возводится храм». Это дает ему смысл, энергию, силы, делает его харизматичным. И это первая причина, по которой ему важно оценивать эффект своих тренингов.
Во-вторых, тренеру нужно повышать свою эффективность. Материал для анализа и развития собственной деятельности, тренинговых программ, своих навыков, корректировки собственного стиля проведения тренинга он может получить в рамках процедуры оценки.
В-третьих, тренеру важно показать практический эффект от тренинга заказчику. И не только для того, чтобы получить письмо-отзыв, новый заказ или даже добиться, чтобы заказчик рекомендовал его всем своим друзьям и коллегам. Тренинги, не дающие желаемых результатов, потенциально вредны для рынка тренинговых услуг. Они могут демотивировать участников и сформировать в компании заказчика ложное представление о неэффективности тренингов в целом. Поэтому тренер как представитель профессионального сообщества обязан заботиться не только о своем индивидуальном имидже или имидже своей компании, но и продвигать тренинг как эффективный инструмент решения бизнес-задач.
Наконец, в-четвертых, опытные тренеры говорят, что сам по себе тренинг или даже целая программа вряд ли приведут к существенным изменениям в компании, если их эффект и внедрение изменений, на которые они направлены, не будет поддерживаться менеджментом этой компании в каждодневной практике.
Поэтому тренеру в рамках оценки результатов важно получить четкую картину того, насколько участники улучшат свою деятельность и какого типа поддержка от менеджмента компании-заказчика или посттренинговое сопровождение будут способствовать закреплению эффекта. Эта информация может послужить материалом для обсуждения итогов тренинга с заказчиком.
6.2. Модели оценки бизнес-тренинга
Существует достаточно много подходов, моделей и технологий оценки эффективности тренингов. В реальной практике тренеру вряд ли удастся реализовать их целиком, однако полезно понимать методологию, которая лежит в их основе.
Кратко разберем наиболее известные модели оценки эффективности тренингов. Классической считается модель, предложенная Дональдом Киркпатриком. Согласно ей, выделяются четыре уровня оценки обучения:
• уровень «реакции» (оценка отношения участников к тренингу и тренеру);
• уровень «усвоения» (оценка изменения знаний, навыков и установок участников в результате проведения тренинга);
• уровень «поведения» (оценка того, насколько изменились действия участников после тренинга, как они используют полученные знания и навыки);
• уровень «результатов» (оценка изменений нефинансовых бизнес-показателей компании, которые связаны с тем, что участники прошли обучение: повышение уровня обслуживания клиентов, производительности труда, качества, снижение текучести кадров).
Модель Киркпатрика имеет иерархическое строение: каждый последующий уровень результатов не может быть достигнут без предшествующего. Говоря о важности оценки степени удовлетворенности участников тренингом, он отмечает, что если те не будут реагировать позитивно, то у них не появится мотивации к обучению. По мнению Киркпатрика, удовлетворенность участников – не гарантия успешного обучения, однако отрицательная реакция почти наверняка означает уменьшение вероятности усвоения знаний и навыков.
Далее, согласно модели, формирование у участников новых знаний и навыков, изменение их установок в результате тренинга должно приводить к изменению их способов действий в практической деятельности, если соблюдены определенные условия. В качестве таковых Киркпатрик выделяет следующие:
• желание участников изменить поведение;
• понимание участниками, что и как делать по-новому;
• создание соответствующего социально-психологического климата (имеется в виду прежде всего отношение и поддержка изменений со стороны непосредственных руководителей участников тренинга);
• поощрение участников за изменение поведения.
Наконец, изменение способов действий участников должно приводить к повышению эффективности и, как следствие, росту экономических показателей бизнеса.
Каждый уровень модели Киркпатрика подразумевает определенные методы оценки. Ниже приведены методы для первых трех уровней.
Уровень «реакции»
1. Анкетирование участников по итогам тренинга.
2. Интервью с каждым участником после прохождения тренинга, направленное на выяснение его мнения о содержании, методах и практическом эффекте.
3. Фокус-группы с участниками. Обычно проводятся дважды: через несколько дней и через 2–3 месяца после тренинга. Фокус-группы направлены на сбор мнений участников о прошедшем тренинге, его практической значимости для них, процессе, путях повышения эффективности
Уровень «усвоения»
1. Тестирование на знание изученного материала в форме специально разработанных заданий или опросов.
2. Контрольные упражнения для проверки усвоения навыков.
3. Экспертное наблюдение: специально выделенный эксперт в ходе тренинга или в рамках беседы с участниками выставляет оценки каждому по степени сформированности у них определенных навыков.
4. Обучение участниками тренинга других сотрудников компании:
– проведение презентации полученных в рамках тренинга инструментов, представлений, технологий для сотрудников своего подразделения либо коллег из других отделов компании;
– помощь в адаптации и обучении новых сотрудников;
– наставничество.
5. Составление участниками тренинга плана того, как они будут использовать полученные навыки в своей практической деятельности, включая ответы на вопросы о том, какие препятствия могут возникнуть при внедрении полученных знаний и навыков, какая поддержка необходима
Уровень «поведения»
1. Наблюдение за действиями сотрудников (отслеживание изменений поведения).
2. Отслеживание выполнения планов действий сотрудников по внедрению полученных на тренинге навыков и технологий. Самоконтроль участников тренинга. Встречи непосредственного руководителя с каждым из сотрудников, обратная связь по динамике изменений поведения.
3. Фокус-группы по обсуждению внедрения полученных знаний, навыков и технологий с участниками.
4. Обучение на рабочем месте, наблюдение наставника за тем, изменились ли действия сотрудника после тренинга
В настоящее время существует много моделей оценки эффективности тренингов, но практически все они так или иначе основаны на предложенной Киркпатриком.
Модель COMA (Cognitive, Organizational, Motivational and Attitudinal variables training evaluation model) существенно расширяет количество факторов и переменных, которые подвергаются оценке, а также, в случае если участники не изменили свое поведение после тренинга, позволяет проанализировать причины такого явления. Дает возможность провести точную оценку и анализ четырех групп факторов:
• получили ли участники тренинга необходимые знания и навыки. Причем в модели различается так называемое декларативное и процедурное знание, и прежде всего оценивается наличие у участников знания второго типа, то есть усвоения способов и алгоритмов действия (когнитивные переменные);
• насколько организационная среда компании позволяет и помогает участникам реализовать полученные знания и навыки в своей деятельности. Оценивается широкий круг факторов: обучающая культура и среда, поддержка от руководства различного уровня, возможность практиковаться (организационные переменные);
• насколько участники мотивированы к развитию и внедрению полученных знаний и навыков (мотивационные переменные);
• насколько участники тренинга уверены, что смогут внедрить полученные знания, навыки и технологии, каковы их ожидания от этого процесса (переменные, связанные с отношением к деятельности).
Модель DBE (Decision-Based Evaluation), разработанная Куртом Крейгером, исходит из того, что цели оценки тренинга могут быть различными и в зависимости от них выбираются содержание (какие показатели, переменные нужно измерить, оценить) и методы оценки. Модель описывает три возможные цели оценки:
• оценка изменений, произошедших с участниками тренинга;
• оценка результатов тренинга с точки зрения эффекта для компании;
• совершенствование тренинговой программы.
После выбора цели выделяются конкретные задачи, которые должны быть решены в рамках оценки тренинга. Они и определяют содержание оценки. В зависимости от конкретных задач могут быть проанализированы разные изменения участников: в когнитивной сфере (изменение знаний и представлений), поведении (изменение способов действия), в эмоционально-мотивационной сфере. В зависимости от этого используются разные методы сбора данных.
Главная особенность модели состоит в том, что она декларирует зависимость содержания и методов от целей оценки тренинга.
6.3. Содержание оценки бизнес-тренинга
Давайте обсудим вопрос о том, что оценивать и анализировать по итогам проведения тренинга.
Тренинг – деятельность; следовательно, к нему применимы различные подходы управления деятельностью. На мой взгляд, один из наиболее эффективных способов – проектный. На схеме представлены четыре основных логически взаимосвязанных составляющих любого проекта: цель, задачи, действия (операции) и эффект.
Каждый тренинг, как и любой проект, может быть разложен на цель, задачи, действия и операции и эффект, ради которого он проводится:
• цель описывает, как должно измениться поведение участников после тренинга;
• задачи определяют, какие перемены должны произойти в участниках, чтобы они смогли поменять свое поведение, способы действия;
• программа тренинга (действия и операции тренера) должна быть спроектирована как механизм реализации поставленных цели и задач;
• достижение цели приводит к эффекту проекта, в случае с тренингом – повышению бизнес-показателей.
Анализируя эффективность тренинга, мы прежде всего оцениваем результат: достигнуты ли цель и задачи, есть ли эффект для компании-заказчика?
Проявление результата имеет самостоятельную ценность: только в этом случае мы можем, с одной стороны, подвергнуть его оценке и анализу, с другой – оформить и представить третьей стороне, например заказчику.
Проектная логика предполагает, что если тренинг спроектирован и проведен правильно, то возникает следующая логическая цепочка: тренер реализует программу, которая обеспечивает развитие компетенций участников, что, в свою очередь, приводит к изменению их способов действия и в конечном итоге – к повышению эффективности деятельности компании-заказчика. Если ожидаемого результата нет, тренеру важно понять, где произошло нарушение проектной логики и почему.
Когда результат оценивается тренером как неудовлетворительный, возможны четыре варианта нарушения проектной логики:
• Логика проекта нарушается на уровне действий: действия тренера оцениваются как неэффективные. Тренер испытывал трудности уже в самом процессе реализации запланированной программы. Например, мотивация участников была неожиданно низкой, или они не принимали методы тренинга, или были не удовлетворены содержанием, тренер не справился с конфликтом между участниками. Как следствие, задачи тренинга реализовать в необходимом объеме не удалось.
• Логика проекта нарушается на уровне задач: действия кажутся эффективными, но задачи не решены. Все прошло внешне удачно, участники были активны и хорошо отзывались о тренинге, но непосредственные задачи по формированию определенных компетенций решены неудовлетворительно.
• Логика проекта нарушается на уровне целей: задачи решены, но цель не достигнута. Компетенции участников сформированы в соответствии с задачами тренинга, но способы действия в их практической деятельности существенно не поменялись.
• Логика проекта нарушается на уровне эффекта: цель и задачи реализованы, но эффекта нет. Поведение и способы действия участников изменились, как было запланировано, но заказчик недоволен эффектом тренинга.
Причины того, почему цель или задачи тренинга не были реализованы независимо от типа нарушения проектной логики, могут лежать в трех разных областях:
• тренинг как инструмент решения задач был неправильно спроектирован. Иными словами, тренер провел неточный анализ ситуации участников и в программе не были учтены те или иные ключевые факторы, такие как мотивированность участников к развитию своей деятельности, уровень их компетенций и др.;
• тренером допущены те или иные ошибки в проведении тренинга, который был спроектирован правильно;
• организационная среда компании-заказчика не обеспечивает адекватную поддержку использованию участниками полученных знаний, навыков и технологий или даже препятствует этому.
Совместив типологию возможных нарушений проектной логики и области причин неэффективности тренинга, мы получаем следующую матрицу.
В таблице обозначены двенадцать разных типов ситуаций, описывающих разные группы причин неэффективности проведенного тренинга.
Матрица иллюстрирует, что важно понять, с одной стороны, где произошло нарушение проектной логики, с другой – в какой области лежат причины недостаточной эффективности (это позволит более точно их локализовать).
Четкое осознание причин неэффективности проведенного тренинга позволит тренеру скорректировать свои действия на будущее, а в ряде случаев – предпринять меры, которые повысят результативность проведенного тренинга.
В зависимости от выявленных причин неудовлетворительных результатов тренинга тренер может разработать комплекс действий, направленных:
• на взаимодействие с заказчиком;
• на изменение дизайна тренинга;
• на развитие собственных тренерских компетенций.
6.4. Инструменты оценки бизнес-тренинга
Прежде всего сделаем общий обзор инструментов, которые могут быть использованы для сбора информации, ее дальнейшего анализа и выявления причин недостаточной эффективности тренинга. Затем более детально разберем распространенные инструменты оценки бизнес-тренинга.
В соответствии с проектной логикой, которая была представлена выше, можно выделить четыре уровня оценки тренинга.
6.4.1. Оценочные анкеты по итогам тренинга
Данный метод оценки предполагает заполнение участниками анкеты обратной связи по итогам тренинга в целом или отдельных его частей (например, по завершении каждого дня).
В сообществе тренеров и HR-менеджеров к применению анкет обратной связи как инструмента оценки результатов сложилось неоднозначное отношение. Это объясняется тем, что в случае неправильного применения такие анкеты становятся всего лишь отражением степени эмоциональной удовлетворенности участников – иными словами, не более чем оценкой того, насколько им понравилось, как они провели время, и насколько хорошо их развлекал тренер. Сторонники этой точки зрения не верят, что правильное применение этого метода может дать хороший результат. Тем не менее анкеты обратной связи остаются одним из основных и наиболее распространенных инструментов оценки результативности бизнес-тренингов.
Тренер, который осознает опасность несерьезного отношения участников к такого рода анкетам, может учесть это при применении анкет и повлиять на отношение участников, настроив их на деловой лад. Чтобы повысить эффективность анкет обратной связи как метода оценки, тренер должен сделать следующее:
1. Грамотно сформулировать вопросы. Анкета обратной связи должна быть, во-первых, короткой (обычно на одну, максимум – две страницы); во-вторых – информативной для тренера с точки зрения получения материала для анализа того, насколько участники изменили свою деятельность. Обычно анкета включает три блока вопросов:
– закрытые вопросы-шкалы;
– открытые вопросы, направленные на оценку практического эффекта тренинга для участников;
– открытые вопросы, позволяющие участникам высказать обратную связь по содержанию, процессу, психологической атмосфере и любым другим аспектам проведенного тренинга.
2. Убедить участников, что заполнение анкеты – часть программы тренинга, эти сведения необходимы для ее улучшения, это их вклад в достижение бизнес-целей всей компании. Надо рассказать, каковы задачи оценки и насколько они значимы для тренера, попросить участников потратить некоторое время на заполнение анкеты, особенно в случаях, когда вопросы требуют развернутого письменного ответа. Если вы знаете конкретные примеры, когда обратная связь привела к значительным изменениям тренинговых программ или обучающих мероприятий, приведите их и обсудите с участниками.
3. Создавать свои анкеты таким образом, чтобы они соответствовали:
– специфическим задачам тренинга. Анкета может содержать общие вопросы («Что вы измените в своей практической деятельности по результатам тренинга?») или более конкретные, непосредственно связанные с темой тренинга («Какие способы вы будете использовать, чтобы преодолеть “барьер секретаря” и выйти на лицо, принимающее решение в компании клиента?»);
– интересам участников. Во-первых, анкета должна быть составлена так, чтобы участники были уверены, что ее заполнение в их интересах, и у них не возникало впечатления, будто их мнением пытаются манипулировать. Во-вторых, участники должны иметь возможность высказать обратную связь по любому аспекту тренинга, который представляется им важным. Например, в анкету может быть включен вопрос, сформулированный в максимально общем виде: «Ваши комментарии, предложения и пожелания по итогам проведенного тренинга». В-третьих, само собой, анкета должна быть составлена на языке, понятном участникам;
– способам использования результатов оценки. Если тренеру важно знать, насколько реализованы задачи тренинга, с помощью вопросов анкеты он будет выяснять, что усвоено участниками. Если ему важно получить обратную связь о том, насколько проведенный тренинг соответствует аудитории и ее ожиданиям, вопросы будут направлены на оценку отношения участников к методам тренинга и работе тренера. Если актуальна задача планирования следующего тренинга или целой программы, вопросы будут направлены на выявление ожиданий участников от последующих тренингов.
На ниже приведен пример краткой анкеты по итогам тренинга. Итоговые анкеты могут содержать различное число вопросов (в зависимости от целей). Например, могут быть добавлены вопросы-шкалы такого рода:
• Насколько цели обучения были ясны и понятны?
• Насколько содержание обучения соответствовало вашим потребностям и запросам?
• Насколько интересной и доступной была подача материала?
• Насколько много новой информации вы получили?
• Насколько комфортной для вас была психологическая атмосфера на тренинге?
• Насколько полезными и похожими на реальные ситуации были практические упражнения и игры?
• Насколько полезными и информативными были раздаточные материалы?
• Насколько хороши были организационные условия тренинга?
В анкету могут быть добавлены и различные открытые вопросы:
• Какая часть тренинга была для вас наиболее интересной и полезной? Почему?
• Какая часть тренинга была для вас наименее интересной и полезной? Почему?
• Видите ли вы препятствия для использования на практике техник и технологий, рассмотренных на тренинге? Если да, то какие?
Анкета обратной связи [20]
Тренинг «_________________________»
«___» __________ 20 ____ г.
Просим вас дать максимально развернутые оценки. Это поможет нам совершенствовать программу тренинга и повысить его эффективность.
Что вы измените в своей практической деятельности по итогам тренинга? ________________
Какие навыки и умения требуют еще более глубокого развития по окончании обучения? ________________
Что вы порекомендуете для совершенствования данной программы обучения? ________________
Спасибо!
6.4.2. Тестовые задания
Тестовые задания проводятся в завершающей части тренинга. Их целью может быть не только оценка развития компетенций участников, но и демонстрация, что они овладели определенными знаниями и навыками, укрепление уверенности в своих силах и, как следствие, мотивация к использованию полученных в ходе тренинга наработок. Форма тестовых заданий может быть различной: письменная, основанная на обсуждении, игровая.
Важно сохранять максимально неформальный характер тестовых заданий. В противном случае участники будут чувствовать себя скованно и, как на экзамене, пытаться все вспомнить и сделать правильно. Тренеру необходимо оценить, что действительно усвоено участниками, во что они верят и что хотят использовать в своей практике, а не что они смогут вспомнить и продемонстрировать после тренинга.
Выбор конкретных форм и содержания тестовых заданий зависит от того, какие задачи ставились тренером.
6.4.3. Механизмы оценки тренинга, предполагающие взаимодействие с заказчиком
Оценить реальное изменение способов действия участников в их профессиональной деятельности и тем более эффект от тренинга невозможно без взаимодействия с заказчиком. Основные механизмы такой оценки следующие:
1. Отзывы участников о применении усвоенных знаний и технологий на практике. Они могут быть получены в рамках индивидуальных бесед, общей встречи, путем анкетирования.
Типовые вопросы для получения отзывов участников:
• Как вы считаете, дал ли вам прошедший тренинг новые знания и навыки?
• Изменили ли вы что-либо в своих действиях после тренинга? Что именно?
• Каких результатов вы ожидаете от новых усилий, изменений своих способов действия?
• Насколько легко было изменить свои действия? Что помогало? Что мешало?
• Что могло бы вам помочь еще лучше реализовать новые техники и технологии, освоенные на тренинге?
2. Отзывы об изменениях в действиях участников тренинга со стороны непосредственных руководителей.
Этот механизм оценки достаточно объективен, а кроме того, позволяет не только обсудить, насколько изменилось поведение сотрудников после тренинга, но и совместно планировать действия, которые могут быть предприняты непосредственным руководителем для поддержки изменений поведения сотрудников.
Структура встречи с непосредственными руководителями обычно включает такую последовательность вопросов для обсуждения:
• Изменились ли поведение, способы действия сотрудников после тренинга? Если да, то что и как они делают по-другому? Наступили ли эти изменения сразу после тренинга или через некоторое время? Насколько они устойчивы, есть ли динамика изменений во времени? Все ли сотрудники продемонстрировали одинаковые изменения? Если нет – в чем разница?
• Если изменений нет (либо они недостаточны, либо отмечены только у части сотрудников) – каковы причины? Задавался ли этот вопрос тем сотрудникам, которые не изменили способы действия после тренинга? Каковы их ответы? Каково мнение непосредственного руководителя о причинах?
• Какие действия предпринимались непосредственным руководителем для поддержки изменений в сотрудниках? Каков был эффект от этих действий?
• Что еще могут сделать непосредственный руководитель и тренер (если он готов к этому), чтобы повысить эффект от тренинга и усилить/укрепить изменения в способах действия сотрудников?
Оценка эффекта от тренинга, как правило, осуществляется тренером в рамках обсуждения итогов с тем руководителем, который выступал в роли заказчика, поскольку он наиболее четко осознавал свои ожидания и может дать обратную связь о том, насколько тренинг был эффективен.
Основным содержанием обсуждения (в отличие от обсуждения с непосредственными руководителями) является то, насколько ожидания заказчика оправдались и в чем он видит результат тренинга, что может быть сделано как со стороны заказчика (компании), так и со стороны тренера, чтобы усилить эффект.
Безусловно, в этом случае оценка эффекта тренинга с точки зрения влияния на развитие бизнеса будет довольно субъективной. Однако это нисколько не умаляет ее значимость. Если заказчик искренне считает, что тренинг способствовал развитию компании, повышению ее показателей, это очень ценно. Тогда тренеру важно оформить результат в виде письма-отзыва, в котором обязательно отразить практический эффект, который, по мнению заказчика, дал тренинг.