Процедура

До этого момента мы рассматривали вопросы, связанные с планированием исследования. Как отобрать испытуемых, каким экспериментальным воздействиям их подвергнуть? Как лучше всего сравнивать разные возрастные группы и экспериментальные условия? Как, иными словами, составить план исследования, которое даст валидные результаты?

Несомненно, разрешение этих вопросов является необходимым условием грамотного проведения исследования; однако, как уже говорилось в главе 1, этого недостаточно. Разрабатывая план и систему оценок, мы лишь подходим к началу исследования; принятые решения нужно воплотить в жизнь, тестируя или наблюдая испытуемых. При реализации задуманного может возникнуть масса проблем. Именно этим проблемам — тому, что может привести к ошибочным результатам, — и посвящена эта глава. Или, другими словами, в этой .главе говорится о том, как избежать проблем и получить валидные результаты.

Следует еще раз подчеркнуть то, на что мы обращали внимание в главе 1. Знание общих принципов проведения исследования не может избавить от всех проблем. В конечном счете, эти принципы предстоит применить на практике, в процессе живого общения с испытуемыми и использования конкретных методик.

 

Стандартизация

Я начну с рассмотрения того, что, несомненно, является необходимым условием для проведения большинства исследований — стандартизации. Стандартизация означает создание единообразия всех аспектов процедуры для всех испытуемых. Для проведения стандартизации исследователь должен заранее решить, как именно будет реализовываться каждый аспект процедуры — как будет сформулирована инструкция, как и когда будет предъявляться стимул ьный материл.! и т.д. Приняв решения о стандартизации, исследователь должен на практике проконтролировать их выполнение.

Основная причина проведения стандартизации обсуждалась в главе 2 — необходимость экспериментального контроля. Исследователь должен иметь возможность контролировать ряд аспектов экспериментальной обстановки: точную фор-

му независимых переменных, способ измерения зависимых переменных, а также другие факторы ситуации. При отсутствии такого контроля невозможно ни узнать наверняка, что именно изучается в данном исследовании, ни проинтерпретировать полученные результаты.

Рассмотрим некоторые примеры затруднений, которые могут возникнуть при отсутствии адекватной стандартизации. Допустим, проводится исследование кратковременной памяти у школьников, скажем, у 1- и 4-классников. Экспериментатор показывает по одной серии картинок с изображением знакомых предметов, и дети получают задание вспомнить и назвать как можно больше из увиденного. В табл. 5.1 представлены разнообразные варианты отклонения экспериментатора от стандартной процедуры и, следовательно, искажения результатов. Экспериментатор может, к примеру, непреднамеренно варьировать время экспозиции для разных картинок или для разных детей; или забыть сказать некоторым детям, что порядок воспроизведения свободный, что достаточно существенно при попытке вспомнить последовательность, состоящую из множества предметов; или же экспериментатор может дать некоторым детям больше попыток, повышая их шансы на успех.

Таблица 5.1 Варианты отклонений от стандартной процедуры и их эффекты при изучении памяти

Как явствует из табл. 5.1, такие погрешности в стандартной процедуре могут вызвать разного рода проблемы. В лучшем случае, недостаточная стандартизация приведет к неопределенности, поскольку будет неясно, в чем состоят экспериментальные условия, и поэтому непонятно, как интерпретировать полученные результаты. Неопределенность может исказить и дескриптивную информацию, которую дает стандартизованное исследование: как узнать, к примеру, насколько ответ определенного испытуемого выделяется на общем фоне, если мы не знаем точного времени экспозиции и количества попыток? Она может отразиться и на внешней валидности результатов. Если то, что обнаруживается, зависит от некоего (незапланированного и неизвестного) сочетания условий, полученные результаты нельзя перенести на тот контекст, на который исследователь намеревается их перенести.

Недостаточная стандартизация может исказить и внутреннюю валидность в том случае, если отклонения от стандарта систематически распределены между разными группами неравномерно. Предположим, что экспериментатор дает старшим детям больше попыток, чем младшим (возможно, из убеждения, что правильный ответ скорее придет на ум старшим детям). Б этом случае выявленные возрастные различия могут в действительности отражать изменения в процедуре. Мы придем к ложному выводу о причинно-следственных связях, от чего пострадает внутренняя валидность.

Таким образом, стандартизация имеет огромное значение. Может показаться, что провести стандартизацию довольно просто — все, что необходимо, это заблаговременно составить план процедуры, а затем действовать в соответствии с этим планом. Но на практике, как известно каждому, кто имеет исследовательский опыт, все не так просто. Трудно предусмотреть все проблемы, которые могут возникнуть в ходе исследования, трудно также строго придерживаться плана долгой и сложной процедуры при непосредственном взаимодействии с испытуемыми. Эти трудности усугубляются еще и тем, что в большинстве исследований с детьми общению с ребенком желательно придать неформальный, естественный характер, что является лучшим способом создания у ребенка ощущения комфорта и поддержания его интереса. Жесткое следование плану — самый легкий путь стандартизации — может нарушить естественность, которая необходима для поддержания положительного настроя и активности ребенка.

Вероятно, основным условием оптимальной стандартизации является наличие опыта, как проведения исследования вообще, так и работы с определенным возрастным контингентом, использования определенных приемов. Хотя исследовательское мастерство приходит со временем, приобретение необходимого специфического опыта возможно в процессе пилотажного исследования — экспериментирования с исследовательскими приемами и приобретения навыка их использования до начала самого исследования. Тщательное пилотажное исследование дает возможность заблаговременно устранить дефекты и сомнительные моменты и, таким образом, иметь на руках схему стандартизованной процедуры еще до появления перед экспериментатором первого испытуемого. Кроме того, в ходе пилотажного исследования экспериментатор учится уверенной,.непрпнужденной манере инструктирования испытуемых и взаимодействия с ними, учится преодолевать скованность и избавляется от привычки работать по бумажке. В процессе пилотажного исследования экспериментатор учится предвосхищать и быть готовым прореагировать на некоторые проблематичные ситуации, когда поведение испытуемого вынуждает отступить от стандартной процедуры. Часто в исследовании с детьми наиболее важным качеством экспериментатора является не столько умение следовать стандартной схеме, сколько мастерство индивидуального подхода к каждому ребенку, при котором результатам эксперимента не грозит искажение, а ребенок не чувствует отчуждения.

 

Отклонения от стандартной процедуры

Стандартизация желательна, но не является безусловной целью. Нередко имеет смысл удовлетвориться неполной стандартизацией. Мы только что рассмотрели подобный случай: ситуацию, в которой поведение ребенка вынуждает к отступлению от стандартной процедуры. В этом разделе мы проанализируем еще несколько примеров.

Начнем с того, что вспомним замечание, сделанное в главе 2: полная стандартизация, в смысле создания абсолютно равных условий для всех испытуемых, невозможна. Если, к примеру, тестирование проводится индивидуально, нельзя протестировать всех испытуемых в 10 часов утра 30 сентября; время тестирования неизбежно будет разным у разных испытуемых. Невозможно поддерживать на одном уровне и такие факторы, как расписание занятий в день тестирования, то, насколько хорош обед, погоду и ряд других обстоятельств, влияющих на результаты каждого ребенка. Как говорилось в главе 2, важно не то, чтобы все испытуемые находились в одинаковых условиях, а то, чтобы любые потенциально значимые факторы были равномерно распределены между сравниваемыми группами. При этом мы получаем возможность исключить смешение любого фактора с интересующими нас независимыми переменными.

В других случаях вынужденное отклонение от стандарта обусловлено попыткой объединить в одном исследовании разные возрастные группы. Рассмотрим исследование, направленное на оценку успешности решения задач испытуемыми в возрасте от дошкольного до окончания колледжа (например, Zelniker, Oppen-heimer, & Renan, 1975). Одной из независимых переменных здесь является возраст. Действуя в соответствии с данной выше рекомендацией, мы должны были бы избегать возможных изменений в процедуре при изучении разных возрастных групп. Однако маловероятно, что исследователь будет вести себя с 5-летним испытуемым так же, как с 20-летним. Условия, в которых будет проводиться исследование, скорее всего будут различаться: детей будут тестировать в одном из школьных кабинетов, а взрослых — в университетской лаборатории. Инструкции, по крайней мере частично, тоже будут различаться: 20-летнего студента не будут приглашать «пойти поиграть». Даже если слова инструкций одни и те же, изменяется темп и тон речи; естественная манера разговора неодинакова для 5- и 20-летних. Наконец, в процедуру могут быть внесены и существенные изменения; Маленьким детям иногда необходима помощь. Например, исследование Зелни-Кер и др. (Zelnicker et al., 1975) включало предварительную тренировку только Для самых младших.

Сказанное выше не означает, что если между испытуемыми большая разница в возрасте, стандартизация и контроль не нужны. Необходимость, стандартизации в рамках одной возрастной группы сохраняется. Кроме того, центральные моменты процедуры, например условия задач в исследовании Зелникер и др., должны быть неизменными для всех испытуемых; иначе не имеет смысла проводить возрастное сравнение. Однако, что касается других аспектов процедуры, при изучении разных возрастных групп исследователь должен попытаться достичь не буквальной, а функциональной эквивалентности процедуры. Иными словами, цель — сделать так, чтобы процедура была равно соответствующей возрасту для всех изучаемых возрастных групп. Условия школьной библиотеки отличаются от условий университетской лаборатории; однако их обстановка одинаково естественна и знакома для изучаемых групп. В этой ситуации уравниваются не характеристики помещений самих по себе, а уровень естественности обстановки при тестировании. Тот же аргумент можно предложить и для обоснования адаптации к определенному возрасту слов инструкции, тона речи, обратной связи, похвалы и т. д. Каждый раз исследователь пытается проводить процедуру в соответствии с возрастом испытуемого, и в то же время, насколько это возможно, сохранять ее единообразие для разных возрастных групп. Трудность здесь заключается в том, чтобы, адаптируя процедуру для каждой из возрастных групп, не исказить результаты их сравнения.

Последний вариант отклонения от стандарта — в эксплоративном исследовании. Как следует из названия, эксплоративное исследование — это исследование, цель которого в разработке новой, малоизученной проблематики оригинальными, не определенными заранее способами. Суть такого исследования — в возможности творческого подхода, в возможности разобраться в неожиданных результатах, опробовать различные методы изучения, поэкспериментировать с самой процедурой, модифицировать ее в ходе проведения исследования. Классическими примерами эксплоративного исследования являются многие из работ Пиаже (например, Piaget, 1926; Piaget & Szeminska, 1952). Как станет понятно из дальнейшего рассуждения, важнейшим элементом успеха Пиаже была его способность открывать и анализировать новые феномены, придерживаясь гибкого стиля при постановке вопросов и формулировании задач, руководствуясь как ответами ребенка, так и нормами процедуры. Именно такого рода экспериментирование и изменения исключаются в жестко стандартизированном исследовании.

В дальнейшем, говоря о Пиаже, мы отметим еще один момент. Для оценки валидности выводов Пиаже потребовалось провести множество более строго контролируемых стандартизованных исследований. Эксплоративное исследование, как никакое другое, подходит для открытия новых феноменов и генерирования идей, однако верификация этих феноменов и идей зависит от точности и контроля, которые могут обеспечить только стандартизованные процедуры.

 

Сверхстандартизация

Как мы только что увидели, стандартизация не может быть абсолютной. Полная стандартизация, без преувеличения, невозможна. По мере исследования испытуемых что-то всегда изменяется. Несмотря на все старания исследователя стандартизировать процедуру, поведение испытуемого может вынудить к отступлению от установленной схемы. Изучая разные возрастные группы, исследователь намеренно изменяет определенные параметры процедуры. Исследователь, разрабатывающий новую проблематику, намеренно отказывается от стандартизации ради возможности свободного экспериментирования и совершения открытии.

Но предположим, что мы имеем дело с ситуацией, не соответствующей ни одному из вышеперечисленных исключительных случаев. Допустим, мы работаем с испытуемыми одного возраста, имея четкий план действий, контролируя ситуацию, не изучая нечто новое, а пытаясь с максимальной точностью определить, каким образом связаны некие переменные. Есть ли основания в этом случае строго придерживаться стандарта? Или существует, даже здесь, такое понятие, как излишняя стандартизация?

Кэмпбелл и Стэнли (Campbell & Stanley, 1966) полагают, что сверхстандартизация действительно бывает. Приведенный ими пример касается исследования способности к убеждению, в котором сравнивается эффективность обращения к рассудку и эмоциям. Чтобы произвести стандартизацию, исследователь решает записать на магнитофон по одной версии обращения обоих типов; таким образом, всем испытуемым в определенной экспериментальной ситуации предъявляется один и тот же стимул. Такой контроль кажется желательным, поскольку мы должны были бы знать наверняка, что представляют из себя определенные экспериментальные условия. Однако в действительности решение сохранять ситуацию неизменной означает отказ от возможности выяснить, какие именно аспекты экспериментальных условий объясняют обнаруженный эффект. Возможно, имеет значение тот фактор, который мы намеревались изучить: обращение к эмоциям или к рассудку. Но возможно, что имеет значение пол говорящего, или некоторые особенности его голоса, тон или темп его речи. Возможно также, имеет значение определенное сочетание вышеперечисленных качеств — к примеру, апеллирование к эмоциям колоритным мужским голосом. Суть в том, что любой фактор, одинаковый для всех испытуемых, потенциально становится частью независимой переменной. Предпочтительнее в такой ситуации допустить разнообразие этих дополнительных факторов (пола, особенностей голоса и т. д.), в то же время оставляя неизменным фактор, который нас действительно интересует: характер обращения. Тогда любой обнаруженный эффект можно с большей уверенностью объяснить характером обращения.

Понятно, что сверхстандартизация может быть причиной искажения внешней валидности. В описанном выше исследовании цель — получить в той или иной мере обобщенные выводы относительно эффективности апелляции к рассудку или эмоциям. Для нас нежелательно, чтобы результаты зависели от индивидуальных качеств говорящего или от способа подачи текста, так как полученные в этом случае выводы нельзя считать справедливыми для конкретного исследования.

Трудности, создаваемые сверхстандартизацией, доказывают значение, которое в научном исследовании имеет воспроизведение. При воспроизведении, по определению, сохраняются неизменными те характеристики, на изучение эффекта которых направлено само исследование; к примеру, обращение к эмоциям или к рассудку в гипотетическом исследовании эффективности убеждения. В то же время другие характеристики практически неизбежно изменяются, особенно если исследование воспроизводит другой исследователь, в другой лаборатории. Поэтому человек, выступающий в роли убеждающего, скорее всего будет другим, как и экспериментатор, взаимодействующий с испытуемыми, а также помещение, в котором проводится эксперимент, время года и т. д. Обнаружив те же эффекты эмоционального и рационального убеждения, несмотря на все изменения, мы сможем более уверенно говорить о том, что тот или иной результат действительно обусловлен характером обращения. И наоборот, если бы нам не удалось воспроизвести изначально полученные результаты, это означало бы, что параметры процедуры, считавшиеся несущественными, в действительности не так уж несущественны.

Когда сверхстандартизация становится проблемой в исследовании психологии развития? Пожалуй, чаще всего в случаях, аналогичных тем, которые описали Кзмпбелл и Стэнли: когда все данные собирает один экспериментатор. В обзоре журналов по психологии развития (табл. 1.3) учитывалось в том числе и количество экспериментаторов, принимавших участие в исследованиях, в которых могли иметь значение характеристики экспериментатора. В 30 % отчетов из тех, в которых имелась подобная информация, указывалось на наличие одного экспериментатора; только в 22 % случаев количество экспериментаторов достигало четырех. Обратите внимание, что по меньшей мере 69 % статей при данном подсчете не учитывалось, поскольку в них не содержалась информация о количестве экспериментаторов; в действительности в 52 % отчетов вообще отсутствовала какая-либо информация об экспериментаторах.

Неудивительно, что исследования, проводимые одним экспериментатором столь распространены. Использование одного экспериментатора требует меньше расходов, меньше времени на подготовку и не связано с проблемой составления графика проведения исследования и подбора экспериментаторов. Каким бы заманчивым ни казался этот выбор, всегда помните о том, что если экспериментатор работает в одиночку, то становится константным элементом экспериментальной процедуры, элементом, который может влиять на результаты исследования. Совпадение результатов, полученных разными экспериментаторами, служит залогом внешней валидности исследования.

 

Некоторые систематические ошибки

Мы пришли к заключению, что недостаточная или чрезмерная стандартизация может создать определенные проблемы. В этом разделе будет рассмотрено еще несколько, теперь уже более специфических причин искажения валидности. При этом я ссылаюсь на работы Кэмпбелл и Стэнли (Campbell & Stanley, 1966), а также Куки Кэмпбелл (Cook & Campbell, 1979), выводы которых сведены в табл. 2.4. Мы проанализируем четыре специфические причины: инструментарий, систематическую ошибку при отборе испытуемых, фактор истории и реактивность.

Как отмечалось в главе 4, инструментарий — это фактор изменения физических инструментов измерения либо экспериментаторов и наблюдателей в ходе проведения исследования. Поэтому он попадает в категорию неудовлетворительной стандартизации: некоторый аспект процедуры, который должен быть неизменным, в Действительности изменяется в процессе исследования. Хотя в некоторых случаях изменения затрагивают инструментарий в буквальном смысле (например, секундомер, неисправно работающий в сырую погоду), чаще всего изменения касаются человека, выполняющего роль экспериментатора или наблюдателя. К примеру, в ходе исследования экспериментатор приобретает мастерство и уверенность при инструктировании испытуемых. Или наоборот, процесс работы утомляет и разочаровывает экспериментатора, и он начинает допускать небрежности. В любом случае, процедура, которую проходят первые испытуемые, будет отличаться от той, которую проходят следующие.

Наибольшее значение проблема инструментария приобретает тогда, когда изменения, происходящие в ходе исследования, смешиваются с одной из изучаемых независимых переменных. Рассмотрим исследование, в котором осуществляется сравнение успешности выполнения 1 -классниками и 2-классниками некой экспериментальной задачи. Исследователь решает протестировать большинство или всех 1-классников прежде, чем тестировать 2-классников. Для этого может быть множество причин: возможность работать только с одним учителем в одном кабинете, получение разрешения родителей только в одном классе, «нетерпение пойти поиграть* детей из одной группы, желание учителей, чтобы тестирование в их классе прошло как можно быстрее, и т. д. Однако исследователь, уступающий давлению факторов удобства, рискует упустить из вида потенциально значимый источник смещения. Если есть хоть какая-то вероятность изменения экспериментатора в ходе проведения исследования, различия между 1- и 2-классниками нельзя будет интерпретировать однозначно.

Вопрос инструментария встает не только при сравнении разных возрастных групп, но и при сравнении двух или более экспериментальных условий. Часто в исследовании с несколькими условиями легче всего сначала собрать данные для одного условия, а затем — для другого, поскольку в этом случае в одном сеансе за-действуется только один набор материалов и методик. Однако вновь цена удобства — возможное смешение. Лучше, если бы время, когда проводится тестирование в одних экспериментальных условиях, примерно соответствовало времени, когда проводится тестирование в других экспериментальных условиях.

Есть и еще один источник систематических ошибок в ситуации, когда переход к другому экспериментальному условию происходит только после завершения работы с предыдущим. Это систематические ошибки, обусловленные повсеместным требованием получения родительского разрешения на проведение практически любого исследования с детьми. Допустим, исследователь разослал по домам детей одного из классов бланки разрешений. 15 бланков вернулись незамедлительно, и эти 15 детей тестируются в условиях 1. Неделю спустя были возвращены еще 15 бланков, и эти дети тестируются в условиях 2. В этом случае валидность может исказить (помимо фактора инструментария) систематическая ошибка при отборе. Вполне вероятно, что родители, заполнившие бланки незамедлительно, отличаются от тех, кто затягивал процедуру. Тогда и дети из обеих групп, скорее всего, будут различаться независимо от изменения условия 1 на условие 2.

Необходимость предотвращения смешения факторов возраста или экспериментальных условий со временем тестирования подтверждается еще одним фактом. Как бы ни были постоянны поведение экспериментатора и процедуры, в ходе исследования могут изменяться другие потенциально значимые факторы. Это хорошо известно любому исследователю, который хоть раз пытался протестировать школьников накануне праздника или просто днем в пятницу. Исследование — это лишь одно из множества событий в жизни испытуемых, и необходимо позаботиться о том, чтобы это множество событий не привело к смешению при каком бы то ни было сравнении.

От сказанного выше легко перейти к рассмотрению переменной, которая в работах Кэмпбслл и Стэнли (1966) названа историей. В том смысле, в котором этот термин употребляют Кэмпбелл и Стэнли, история связана с вопросом, который мы только что затронули: с влиянием внешних по отношению к исследованию событий на результат этого исследования. Особое значение данная проблема приобретает в планах «претест-поеттест», в которых некое постороннее событие ведет к появлению альтернативного объяснения обнаруженных изменений. Допустим, мы изучаем отсроченное удовлетворение желания, то есть способность детей отказываться от немедленного получения небольшой награды ради получения через некоторое время чего-то более привлекательного (исследование Паттерсон и Картер (Patterson & Carter, 1979), кратко описанное в главе 2, направлено на изучение именно этого понятия). В нашем исследовании ребенок стоит перед выбором: получить одну конфету сразу или подождать до следующего дня и получить несколько конфет. Оценив способность детей к отсрочиванию удовольствия, мы вводим экспериментальное воздействие, направленное на развитие этой способности. Экспериментальная программа длится всю вторую половину октября, а повторное тестирование осуществляется в начале ноября. Мы обнаруживаем, что после прохождения экспериментальной программы детям легче устоять перед соблазном немедленного получения сладостей. Является ли это подтверждением эффективности наших действий? Необязательно, если учесть, что на один из дней между первой и второй проверкой выпадает Хэллоуин, а следовательно, и море сладостей. Имеет место смешение экспериментального воздействия и фактора истории, которое затрудняет интерпретацию результатов.

О факторе истории уже говорилось в главе 3. Тогда в качестве примера приводилось исследование эффективности некой образовательной программы, направленной на повышение успеваемости неблагополучных детей. При этом было найдено решение проблемы, связанной с фактором истории: использование контрольной группы, не подвергающейся экспериментальному воздействию, — то есть группы, переживающей те же жизненные события, что и экспериментальная группа, за исключением экспериментального воздействия. В случае исследования способности отсрочивать удовлетворение желания мы могли бы просто протестировать какую-то группу детей до и после обильных праздничных угощений, обычных для Хэллоуина. Однако заметьте, что использование контрольной группы не решает всех проблем, обусловленных влиянием внеэкспериментальных событий. В определенных случаях эти события взаимосвязаны с экспериментальным воздействием. Возможно, что естественно получаемый опыт празднования Хэллоуина и опыт, полученный при прохождении составленной нами программы, эффектнвны только в сочетании друг с другом; ни угощения, ни экспериментальное воздействие сами но себе не влияют на способность ребенка отсрочивать удовлетворение желаний. В этом случае использование контрольной группы не прояснит ситуацию. Тогда мы столкнемся с серьезным ограничением на генерализацию полученных результатов.

 

Реактивность и связанные с ней проблемы

Следующая причина искажения валидности заслуживает того, чтобы посвятить ей отдельный раздел. Как указывалось в табл. 2.4, термин реактивность означает непреднамеренное воздействие экспериментальных мероприятий на поведение испытуемых — или, проще говоря, тот факт, что, находясь под наблюдением, люди ведут себя не так, как в естественной обстановке. В случае со взрослыми эффект реактивности обусловлен осознанием испытуемыми того, что они принимают участие в эксперименте. Дети же чаще всего не осознают, что являются объектом исследования; в действительности самые маленькие из них вообще этого не понимают. Тем не менее выполнение роли объекта исследования может изменить поведение кого угодно, и поэтому реактивность может стать проблемой при изучении любых возрастных групп.

Исследование со взрослыми испытуемыми связано с рядом специфических проблем, относящихся к категории реактивности (Silverman, 1977). Особого упоминания заслуживают две из них. Суть первой проблемы легче всего объяснить на примере. Мартин Ори (Martin Orn, 1962) попытался найти задание, которое можно было бы использовать для изучения гипнотического контроля, — задание, которое было бы столь скучным, что все не впавшие в гипнотическое состояние испытуемые отказывались бы продолжать его выполнение. Одним из опробованных заданий было решение примеров на сложение случайных чисел. Каждый листок содержал но 224 примера, а каждому испытуемому выдавалась пачка из 5000 листов. Пять с половиной часов спустя некоторые испытуемые все еще были заняты работой! Тогда Ори добавил еще одно условие: покончив с каждым листом, испытуемый должен был разрывать его на 32 кусочка. Несмотря на явную бессмысленность этого задания, некоторые испытуемые продолжали работу, пока их в конечном счете не остановил экспериментатор.

Это исследование, как и другие исследования Орна, демонстрирует тот факт, что люди, принимающие участие в эксперименте, иногда (хотя, конечно, не всегда — критические замечания по этому поводу можно найти у Берковитц и Дон-нерстайн (Berkowitz & Donnerstein, 1982)) способны пойти на многое, если считают, что это необходимо экспериментатору. Поведение «идеального испытуемого» может принять форму и общей готовности следовать указаниям, и отдельных попыток подтвердить любую гипотезу, которая, по мнению испытуемых, положена в основу исследования. Используя термин Орна, можно сказать, что испытуемые реагируют на характеристики запроса экспериментатора, то есть «на совокупность признаков, по которым испытуемый судит об экспериментальной гипотезе» (Огпе, 1962, р. 779). Такая тенденциозность реакций испытуемого приводит к тому, что называется эффектом выдвигаемых требований.

Вторая причина систематических ошибок — «эффект ожидания оценки» (Rosenberg, 1965); еще один термин, используемый для сравнения с «идеальным испытуемым», — «самолюбивый испытуемый» (Silverman, 1977). Здесь речь идет о том, что испытуемые своим поведением стараются заслужить высшие оценки экспериментатора; иными словами, пытаются произвести благоприятное впечатление. Разумеется, создание благоприятного впечатления по смыслу может совпадать с выполнением того, что хочет экспериментатор; в этом случае фактор выдвигаемых требований и фактор оценки имеют общий эффект. Однако они не всегда синонимичны; например, испытуемый может попытаться удивить экспериментатора своими «высокоинтеллектуальными» ответами. Силвермен (Silverman, 1977) приводит данные, свидетельствующие о том, что в борьбе фактора запроса и фактора оценки выигрывает, как правило, последний.

Острее всего проблемы, связанные с ожиданием оценки, стоят в исследованиях с использованием самоотчетов. Как следует из названия, при использовании метода самоотчета экспериментальные данные представляют из себя вербальные отчеты людей о самих себе — о своих качествах, своем опыте, типичном поведении и т. д. В таком исследовании для испытуемого очень легко и заманчиво подкорректировать ответы в сторону желаемого, а не описывать то, что есть на самом деле. Например, в исследовании, направленном на изучение методов воспитания, мать может утверждать, что она никогда не бьет ребенка, хотя в действительности время от времени прибегает к физическому наказанию.

Описанные в этом разделе эффекты исследовались в основном на взрослых испытуемых. Насколько велико их значение в детской психологии? Очевидно, что при изучении маленьких детей нам нет необходимости беспокоиться об эффекте запроса и об эффекте оценки в том смысле, в каком они описаны для взрослых. В действительности, исследователь, изучающий младенцев или 2-3-летних детей, может даже сожалеть, что его маленькие испытуемые столь безразличны к целям исследования и к стремлениям самого исследователя. Установку на сотрудничество можно приветствовать, одновременно помня об опасности эффекта запроса. Непривычность и неестественность экспериментальной ситуации может повлиять даже на самых маленьких детей. Вполне можно ожидать, что при обследовании в лаборатории младенец будет проявлять большую тревогу и беспокойство, чем при обследовании дома. При общении с незнакомым взрослым дошкольник может замкнуться или же, увлекшись стимульным материалом, обрадовавшись вниманию взрослого, говорить о чем угодно и делать все, что угодно, кроме того, что нужно исследователю. А к школьному возрасту у детей начинают появляться некоторые из классических признаков реактивности, которые наблюдаются у взрослых. Любому, кто хотя бы однажды тестировал школьников, легко вспомнить ребенка, который по лицу взрослого пытается понять, что требуется сделать; который повышает голос в конце каждого ответа, будто спрашивая; «Верно?»; который в целом более всего обеспокоен тем, чтобы угодить взрослому, тем, чтобы произвести приятное впечатление, или и тем и другим.

Как минимизировать эффект реактивности? Поскольку реактивность обусловлена осознанием себя объектом изучения, очевидным решением является сокрытие того факта, что идет исследование. Степень сокрытия может быть разной.

В простейшем случае исследователи представляют маленьким детям свои экспериментальные задания как игры, а не «тесты» или «эксперименты». Такое объяснение зачастую достаточно точно, более понятно для ребенка, чем сложные термины, и скорее всего не вызовет такой тревоги, как приглашение «протестироваться». Еще один характерный прием при изучении дошкольников — игра исследователя со своими маленькими испытуемыми, целью которой является установление доверительных отношений до начала самого эксперимента. Разумеется, нужно помнить о том, что.использование этих приемов снятия напряженности не гарантирует отсутствия тревоги или сопротивления; ребенок все равно понимает, что происходит нечто необычное. Кроме того, экспериментатор должен следить, чтобы предупредительные учителя не делали напрасными его усилия, приглашая ребенка «пойти протестироваться у доктора Такого-то».

Вероятность реактивности минимальна в исследованиях, проводимых в обстановке, максимально приближенной к естественной. Рассмотрим исследование, направленное на изучение того, какие игрушки предпочитают дети дошкольного возраста. Исследователь может выполнить эту задачу, приводя каждого ребенка в комнату, где проходит эксперимент, и там предлагая специальный опросник или тест-(называя их при этом «игрой», а не «тестом»). В этом случае измерение является непосредственным и эффективным, однако вероятность реактивности (тревоги в связи с необходимостью отвечать на вопросы, угадать, что хочет услышать взрослый, и т. п.) крайне высока. Еще один способ — также привести ребенка в комнату, где проводится эксперимент, но теперь уже просто наблюдать, с какой из игрушек, находящихся в комнате, он захочет играть. Если предложение поиграть будет звучать естественно и непринужденно (например, «Ты можешь поиграть, пока я закончу свою работу»), вероятность эффекта реактивности будет невелика. Третий способ — наблюдать детей в естественной обстановке игровой комнаты детского сада; в конечном счете, дошкольники значительную часть времени проводят за игрой. Если исследователю удастся понаблюдать за детьми, оставаясь для них невидимым (к примеру, через одностороннее зеркало), тогда реактивность вообще не будет проблемой. Наконец, в некоторых случаях о поведении можно судить по его физическим эффектам, без наблюдения за самими испытуемыми. Популярность разных игрушек можно, к примеру, определить, отметив в конце дня, какие из игрушек стоят нетронутыми на полках, а какие — разбросаны по комнате. Если проводить более длительное изучение, о популярности игрушек можно судитьпо тому, насколько они истрепаны; какие из игрушек все еще как новенькие к концу года, а какие потерты и сломаны? Здесь, конечно, возможность реактивности полностью отсутствует. В книге Уэбб, Кэмпбелл, Шварц, Секрест и Гроу (Webb, Campbell, Schwartz, Sechrest, & Grow, 1981) подробно обсуждается использование таких приемов «невмешательства» при изучении моделей поведения. В книге Лагрека (LaGreca, 1990) можно найти ряд рекомендаций по снижению эффектов реактивности в ситуации, когда для сбора данных необходима личная беседа с испытуемым.

 

Установка на определенный ответ

Обратимся теперь к проблеме, тесно связанной с проблемой реактивности. Установка на определенный ответ — это склонность испытуемого отвечать на вопрос или выполнять задание неким заранее определенным способом, независимым от содержания задания.

Рис. 5.1. Варианты расстановки предметов и вопросом при изучении представлении о сохранении числа

Согласно этому определению, поведение «идеального испытуемого», которое рассматривалось как проявление реактивности, можно считать одним из видов установки на определенный ответ: испытуемый стремится сказать или сделать то, что, как ему кажется, ждет от него экспериментатор, а не выполняет задание само по себе. В этом разделе мы проанализируем установки на определенный ответ, которые в большей мере зависят от испытуемого, а не от экспериментальных условий. Однако нужно признать, что граница между описанными выше проблемами реактивности и установками на определенный ответ, которые рассмотрены ниже, довольно прозрачна и условна. В обоих случаях мы имеем дело с искаженными ответами, которые могут привести к невалндным выводам.

Принципы, изложенные в этом разделе, легче будет понять на конкретном примере. Рисунок 5.1 иллюстрирует задание, которое более подробно будет рассматриваться в главе 11: задача Пиаже на сохранение числа (Piaget & Szeminska, 1952). Если говорить о числе, сохранение означает осознание того, что количество предметов в наборе не изменяется исключительно из-за их перестановки. На рис. 5.1 изображены несколько вариантов подобных трансформаций, которые можно использовать

для выявления наличия или отсутствия представлений о сохранении. Рисунок также иллюстрирует разные способы формулировки вопроса о сохранении.

Какие установки на ответ могут возникнуть у детей при решении задачи на сохранение? Типичная форма установки — «соглашательство»: склонность отвечать утвердительно на любой вопрос. Очевидно, что оно становится потенциальной проблемой всегда, когда задается однонаправленный вопрос, как в первых двух примерах на рис. 5.1. Дети, которых каждый раз спрашивают: «Одинаковое?» и которые каждый раз отвечают «да», могут в действительности понимать принцип сохранения, хотя их ответы и не имеют никакого отношения к стоящей перед ними задаче.

Простое соглашательство можно предотвратить использованием двунаправленных вопросов, как в третьем примере на рисунке. Однако возникают и другие проблемы. Некоторые дети склонны выбирать вариант, названный последним, то есть соглашаться со всем, что стоит на последнем месте в вопросе взрослого. Если постоянно задавать вопрос так, как в третьем примере, результатом будет вывод об отсутствии (но вполне вероятно, псевдоотсутствии) представлений о сохранении. Другие дети склонны чередовать ответы, давая то один ответ, то другой, в зависимости лишь от того, в который раз им задан вопрос. При изучении сохранения чередование ответов может наблюдаться и в рамках одной задачи, и от одной задачи к другой, поскольку вопрос о количестве, как правило, задается и до и после изменения расстановки. Наконец, при выполнении некоторых заданий, включая и задачи на сохранение, определенные трудности могут создавать позиционные предпочтения. Маленький ребенок, к примеру, может постоянно отвечать, что больше всего предметов в ближайшем к нему ряду.

Следует сделать несколько общих замечаний, касающихся установок на определенный ответ. Во-первых, хотя я и привел в качестве примера задание на сохранение, возможность подобного затруднения ни в коем случае не ограничена случаями изучения сохранения или, коли на то пошло, изучения дошкольников. Всегда, когда испытуемый должен дать вербальный ответ, присутствует вероятность предпочтения утвердительного ответа. И, как будет понятно из главы 10, определенные виды позиционных предпочтений наблюдаются уже у новорожденных.

Второе замечание касается интерпретации установок на определенный ответ. Что означает склонность ребенка отвечать «да» на любой вопрос о сохранении? Эту тенденцию вполне можно принять за свидетельство непонимания принципа сохранения — ребенок, прибегающий к столь элементарной форме ответа, вряд ли имеет представление о феномене сохранения. И действительно, такая интерпретация зачастую оправданна. Проблема в том, что это нельзя выяснить наверняка. Постоянно указывая на более длинный ряд, как на содержащий большее количество предметов, ребенок дает однозначно неправильный ответ. Ребенок же, который отвечает только утвердительно, просто не выполняет задание — возможно, не понимая изучаемого феномена, возможно, сбитый с толку формулировкой вопроса, возможно, не имея достаточной мотивации к тщательному обдумыванию или по любой Другой причине. Установки на определенный ответ не дают сделать никаких вы-

водов, за исключением вывода о том, что у ребенка есть установка на определенный ответ.

Это подводит нас к последнему замечанию: исследователь должен стремиться минимизировать вероятность установок. Существуют разные подходы к решению этой задачи. В случае с сохранением исследователь должен использовать простой и понятный язык, предложить ребенку потренироваться до начала тестирования, мотивировать ребенка к обдумыванию ответов и т. п. Но в некоторых, даже самых изощренных исследованиях установки на определенный ответ неизбежны. В такой ситуации необходимо, чтобы исследователь по крайней мере осознал их наличие, иначе он неправильно истолкует поведение испытуемого. Исследователь, который проверяет понимание принципа сохранения, предлагая лишь одно задание, никогда не сможет с уверенностью сказать, что означает ответ ребенка. Получение ответов на ряд вопросов, сформулированных по-разному, является более надежным основанием для вывода о том, понимает ли ребенок принцип сохранения и проявляет ли в своих ответах установку.

 

Коммуникация между испытуемыми и диффузия

В эксперименте исследователей Хорка и Фэрроу (Horka & Farrow, 1970) была обнаружена довольно странная систематическая ошибка в ответах, не соответствующая ни одной из описанных в предыдущем разделе категорий. В их исследовании от испытуемых (5- и 6-классников) требовалось идентифицировать ряд букв, выделяющихся на фоне черных бессмысленных фигур. Использовавшийся стимуль-ный материал изображен на рис. 5.2. Половине детей, тестировавшихся утром в один день, предъявляли стимул, изображенный внизу рисунка; а тестировавшимся днем того же дня — стимул, изображенный сверху. На рассмотрение рисунка отводилось 4 минуты, а за правильный ответ ребенок получал в награду 50 центов.

Искажение ответов наблюдалось у испытуемых, проходивших тестирование днем. Многие из них сообщали, что видят слово /е/£-( «левый»), то есть давали ответ, который был бы верным утром. Частота этого ответа приблизительно в два раза превышала частоту ответа, правильного для дневного тестирования. Кроме того, днем ответ left давался в два раза чаще, чем это было утром, когда left было именно тем словом, которое показывали испытуемым!

Причиной этому, конечно, являлось то, что некоторые из испытуемых, проходивших тестирование утром, общались с некоторыми из испытуемых, которых должны были тестировать днем. По окончании процедуры всем детям, тестировавшимся утром, сообщили правильный ответ и напомнили, что они смогли бы получить 50 центов, всего лишь сказав слово left. Их также просили никому не рассказывать об исследовании. По всей видимости, это предупреждение не смогло заставить детей отказаться от шанса помочь другу или просто проявить свою осведомленность о необычном событии.

Исследование Хорка и Фэрроу доказывает, что причиной искажения ответов испытуемых бывает любая информация об исследовании, которую они получают от других испытуемых. Коммуникация между испытуемыми ведет к разнообразным последствиям. Иногда испытуемые успешнее справляются с заданием, потому что другие испытуемые подсказали верный ответ или обратили внимание на некий аспект процедуры, который должен был держаться в секрете.

Рис. 5.2. Стимульный материал, использовавшийся Хорка и Фэрроу при изучении коммуникации между испытуемыми. (S. Horka & В. Farrow, 1970 Journal of Experimental Child Psychology, 10, p. 364)

Иногда испытуемые хуже справляются с заданием, потому что процедура отличается от той, которую проходили другие испытуемые (как в исследовании Хорка и Фэрроу), или потому что услышанный ими рассказ об исследовании слишком сбивчив, чтобы служить подспорьем. Любой, кто хоть однажды слышал, как маленькие дети рассказывают о своих впечатлениях от исследования, знает, насколько далеко бывает их описание от того, что действительно происходило во время эксперимента. Эффект коммуникации может быть и специфичным, проявляясь в виде повышения или снижения интереса, настороженности и т. д., в зависимости от того, что услышали испытуемые. Каковы бы ни были конкретные эффекты, их общим следствием является искажение, которое может сделать невалидными полученные результаты.

Насколько общий характер носит проблема коммуникации испытуемых? Очевидно, что есть такие исследования, в которых эта проблема не стоит — к примеру, исследования младенцев (если не помешают родители!), исследования, в которых испытуемые либо не знакомы друг с другом, либо не имеют возможности общения в процессе исследования, Если взять противоположную ситуацию, исследование Хорка и Фэрроу имеет ряд особенностей, максимизирующих вероятность коммуникации. В их число входит простота, легкая вербализация правильного ответа и награда за него, что характерно далеко не для всех исследовании. По этой причине нужно быть осторожными при распространении результатов, полученных Хорка и Фэрроу, на все исследования. Тем не менее, как отмечают Хорка и Фэрроу, их процедура действительно имеет много общего с исследованиями, в которых дети обучаются или решают задачи, имеющие правильные ответы, которые могут достаточно свободно передаваться одним ребенком другому. Кроме того, изучение детей довольно часто происходит в школьной обстановке, при этом испытуемые хорошо знают друг друга и имеют практически неограниченные возможности для общения. И действительно, из всех областей психологического исследования именно исследование со школьниками чаще всего связано с проблемой коммуникации испытуемых. Поэтому со стороны исследователя, работающего в школе, будет разумно принять меры по предотвращению подобной коммуникации, а также использовать методы, направленные на выявления ее эффектов. В своей работе Брукс и Кендалл (Brooks & Kendall, 1982) анализируют способы минимизации коммуникации между испытуемыми.

Один из эффектов коммуникации настолько значим, что ему дали собственное название. Под термином диффузия подразумевается незапланированное распространепие эффекта экспериментального воздействия с экспериментальной группы на контрольную, не подвергающуюся воздействию. Рассмотрим в качестве примера программу вмешательства в дошкольном возрасте, направленную на улучшение подготовленности к школьному обучению детей, входящих в группу риска неуспеваемости (например, Gray, Ramsey, & Klaus, 1982). Типичным подходом в таких исследованиях является разделение испытуемых на две группы: экспериментальную, подвергающуюся воздействию определенной программы, и равноценную ей экспериментальную группу, не подвергающуюся воздействию этой программы. Однако, если обе группы детей проживают в одном квартале, на протяжении периода исследования наверняка будут контакты и коммуникация: дети будут играть друг с другом, а родители — беседовать и обмениваться впечатлениями. Поэтому эта программа может благотворно подействовать не только на экспериментальную группу; дети из экспериментальной группы, которые по замыслу исследователя не должны были подвергаться экспериментальному воздействию, также могут получить определенный опыт и продемонстрировать некоторое улучшение. Именно в связи с риском размывания границ между экспериментальной и контрольной группами при оценке эффективности программ вмешательства используются две контрольные группы: проксимальная контрольная группа, которую набирают из района проживания экспериментальных испытуемых, и дистальная контрольная группа, которую набирают из другого района. Использование последней, «бесконтактной* группы позволяет оценить вероятность диффузии.

 

Предубеждения экспериментатора

Мы обсудили уже ряд систематических ошибок, включая те, которые допускает исследователь, совершая просчеты при проведении исследования. За исключением, возможно, лишь эффекта выдвигаемых требований, рассмотренные выше типы искажения по сути являются ненаправленными, в том смысле, что они могут с равной вероятностью работать как на пользу исследованию, так и ему во вред. Обратимся теперь к тому, что, по-видимому, можно считать самой коварной формой искажения: к систематическому искажению результатов исследования, связанному с субъективизмом самого исследователя. Такое систематическое искажение приводит к так называемому эффекту предубеждений экспериментатора; другое, часто употребляемое название — эффект исследовательских ожиданий, О вероятности подобного эффекта упоминалось в главе 4 при обсуждении обсервативного исследования; в этом разделе мы рассмотрим эту проблему в более общем виде.

Первым, кто занялся вопросом предубеждений экспериментатора, был Роберт Розенталь (Robert Rosenthal, 1976). В типичном исследовании Розенталя испытуемым, чаще всего студентам, предлагается выступить в роли экспериментаторов. Этих экспериментаторов случайно делят на две группы. В качестве элемента подготовки каждой группе сообщают о том, что ожидает (и, возможно, надеется) обнаружить ведущий исследователь, Группы получают абсолютно противоположные сведения об ожидаемых результатах. Одной группе, к примеру, могут сказать, что ожидаются высокие результаты, а другой — что ожидаются низкие результаты. Не считая этой разницы-в ожиданиях, обе группы получают одинаковую подготовку

и следуют единому плану проведения эксперимента. Несмотря на это сходство, группы нередко получают разные результаты, и это различие отражает характер ожиданий каждой из групп. Иными словами, экспериментаторы обнаруживают то, что ожидают обнаружить. Подобные эффекты были продемонстрированы при изучении разнообразной проблематики и различных возрастных групп, включая и детей. На 1994 год насчитывалось 464 исследования, посвященных эффекту ожидания (Rosenthal, 1994a).

Каким образбм оказывают воздействие ожидания исследователя? Барбер и Силвер (Barber & Silver, 1968) описали 11 ситуаций искажения экспериментатором результатов исследования. Причины искажения перечислены в табл. 5.2. Наибольший интерес из них представляют первые пять: те, где искажение опосредовано непреднамеренными, зачастую практически незаметными действиями. Есть данные, полученные Розенталем и другими исследователями, что любой из 11 видов искажения может сыграть свою роль. Однако нужно отметить, что определить, где конкретно происходит искажение, подчас бывает невозможно.

Таблица 5.2 Причины эффекта необъективности экспериментатора

Непреднамеренные действия

1. Экспериментатор может влиять на поведение испытуемого, непреднамеренно подавая паралипгвистические сигналы — например, изменяя, тон речи.

2. Экспериментатор может влиять на поведение испытуемого, непреднамеренно подавая кинетические сигналы — например, изменяя позу или выражение лица.

3. Экспериментатор может влиять на поведение испытуемого непреднамеренным вербальным подкреплением.

4. Экспериментатор может непреднамеренно неверно истолковать поведение испытуемого.

5. Экспериментатор может непреднамеренно неверно зарегистрировать поведение испытуемого.

______________________________Преднамеренные действия____________________________

6-10. Экспериментатор может намеренно совершить описанные выше действия. 11. Экспериментатор может сфабриковать экспериментальные данные.

Источник; Т. X. Barber & M.J. Silver. Psychological Bulletin Monograph Supplement, 1968,70, 1-29.

Исследования Розенталя имеют и другие недостатки (анализ этого вопроса можно найти у Barber, 19.76; Barber & Silver, 1968; Rosenthal, 1968).

Возможно, важнейшим из них является недостаточный уровень внешней валидности. Во многих исследованиях, демонстрирующих эффект необъективности, в роли экспериментаторов выступают совершенно неопытные студенты, набранные исключительно Для исследования. Каждому экспериментатору недвусмысленно дается понять .каковы предполагаемые результаты. В некоторых случаях экспериментаторам обещают повысить оплату, если полученные результаты подтвердят гипотезу исследователя. Иными словами, задействуются все механизмы максимизации эффекта ожидания. Однако все эти исследования могут просто доказывать тот факт, что

существует вероятность неграмотного проведения исследования. Самый общий вывод, который можно сделать на основе этих результатов (то есть уровень внешней валидности), заключается в том, что исследования в целом имеют некоторые погрешности, которые проявляются при изучении эффекта ожидания.

Зная о причинах искажения, можно предложить способы сведения их к минимуму. Если участники исследования, которые будут проводить тестирование, недостаточно опытны, они, естественно, должны пройти тщательную подготовку. В этой подготовке следует акцентировать внимание на проблеме стандартизации, так как отклонение от стандарта — это первый шаг к искажению. Если есть возможность, экспериментаторов нужно не только обучить проведению стандартной процедуры, но и периодически проверять их работу, дабы удостовериться в том, что в ходе исследования она не стала небрежной, Нет необходимости говорить, что повышение оплаты за получение желательных результатов неприемлемо. Кроме того, исследователь должен избегать дифференцированного использования неденежного вознаграждения — например, выражение одобрения, когда экспериментатор сообщает о желательных результатах, и неудовольствия — при отсутствии таковых. Поскольку эффект необъективности обусловлен ожиданиями, нельзя допускать, чтобы у экспериментаторов сформировались четкие представления о том, каковы должны быть результаты исследования. Иногда с этой целью экспериментаторов держат в неведении относительно гипотез, проверяемых исследованием, и статуса испытуемых (например, экспериментальная или контрольная группа). Это метод «слепого эксперимента, который рассматривался в главе 4.

Хотя предложить способы предотвращения необъективности экспериментатора довольно просто, воплотить их на практике не всегда легко. В частности, иногда бывает трудно устроить «слепой» эксперимент или «слепое» наблюдение. В некоторых случаях ведущий исследователь (то есть человек, разработавший план исследования) тоже тестирует испытуемых, что, естественно, исключает возможность эксперимента, «слепого» в отношении гипотез. В других случаях было бы несерьезно надеяться на то, что у экспериментаторов, даже не обладающих никакой информацией об исследовании, не сформируются гипотезы о его целях и возможных результатах. Во многих ситуациях от экспериментатора невозможно скрыть статус испытуемого. Экспериментатор, к примеру, не спутает 3-летнего ребенка с 5-летним или мальчика с девочкой, а знание возраста или пола испытуемого может вызвать предвзятое отношение. Стоит отметить, что исследователи, работающие в области психологии развития, фактически всегда обладают информацией о своей главной независимой переменной — о возрасте испытуемого. Наконец, даже тогда, когда проведение «слепого» тестирования возможно, оно часто не используется. При обзоре журналов (таблица 1.3) учитывалось, использовались ли «слепой» эксперимент или «слепое» наблюдение там, где это было необходимо. Только 63% исследователей сообщили об использовании этого приема.

Ранее мы поставили под сомнение внешнюю валидность исследований необъективности экспериментатора. Суть вышесказанного сводится к тому, что результаты этих исследований не стоит слишком быстро сбрасывать со счетов как ограниченные искусственностью созданной экспериментальной ситуации. Несомненно, эффекты необъективности экспериментатора существуют. Как чисто они имеют место и сколько ложных выводов явилось их следствием — спорный вопрос. Цель исследователя — предупредить подобные споры в отношении своего исследования, то есть при планировании и проведении исследования, а также при сообщении его результатов сводить к минимуму вероятность необъективности экспериментатора.

 

Выбывание испытуемых

Большая часть этой главы была посвящена проблемам, которые могут возникнуть при работе с испытуемыми. В некоторых случаях эти проблемы столь серьезны — а также столь очевидны, — что сохранить данные какого-то испытуемого не представляется возможным. Выбывание или отсев испытуемых может происходить по ряду причин, обсуждавшихся в этой главе, — из-за неприемлемого отступления от стандартной процедуры со стороны экспериментатора, из-за крайне высокой реактивности со стороны испытуемого, из-за жесткой, непреодолимой установки испытуемого на определенный ответ. Кроме того, некоторые группы испытуемых и некоторые виды исследования могут создавать особые проблемы, приводящие к выбыванию даже при идеальном проведении исследования. Маленький ребенок может уснуть или расплакаться в ходе проведения эксперимента. При проведении лонгитюдного исследования испытуемые могут переехать в другую местность или умереть.

Главное, что следует запомнить об отсеве испытуемых, это то, что его нужно свести к минимуму. Отсев может вызвать ряд затруднений. С практической точки зрения, он связан с напрасной потерей времени и экспериментатора, и испытуемого. Если количество выбывших существенно, исследователь может остаться с выборкой, слишком маленькой для того, чтобы делать какие либо выводы. Наконец — и самое главное, — избирательное выбывание ставит под сомнение валидность исследования. Эта проблема рассматривалась в главе 3. Уход испытуемых действительно часто бывает избирательным и характерен для наименее компетентных, наименее мотивированных, наименее склонных к сотрудничеству с незнакомыми людьми и т. п. Такое выбывание может отразиться на внешней валидности или возможности генерализации результатов, поскольку исследователь будет изучать совсем не ту популяцию, на которую он хочет перенести свои выводы. Если выбывание зависит от возраста испытуемых или от экспериментальных условий, оно может отразиться и на внутренней валидности.

Методы минимизации выбывания можно вывести из описанных в этой главе проблем и соответствующих рекомендаций. Здесь стоит напомнить два общих принципа. Во-первых, до начала тестирования детей, особенно дошкольного возраста, с ними нужно установить доверительные отношения. Во-вторых, до начала осуществления исследования желательно провести пилотажные проверки в том объеме, в котором это необходимо. Исследователь, методики которого не подходят для большинства испытуемых, вероятно, просто проигнорировал фазу пилотажной проверки.

Помимо сведения к минимуму количества выбывших у исследователя есть еще две задачи. Во-первых, он должен заранее определить максимально объективный критерий отказа от испытуемого. С самого начала исследователю нужно иметь четкие представления о том, какое поведение испытуемого делает невозможным использование полученных результатов. Конкретные критерии будут разными в разных исследованиях; при изучении младенцев это может быть сон или плач; при изучении дошкольников — неудачное выполнение вербального претеста; при изучении старших детей и взрослых — распознание испытуемым обманного приема экспериментатора. Суть в том, что если сначала собрать все данные испытуемого, проверить, согласуются ли они с выдвинутой гипотезой, и только затем побеспокоиться о критериях выбраковки данных, можно получить искаженные результаты. Опасность заключается в том, что исследователь может легко поддаться соблазну сохранить результаты, согласующиеся с его ожиданиями, и исключить те результаты, которые с ними не согласуются.

О второй задаче мы уже упоминали в главе 2: предоставление точных данных о критериях выбраковки данных испытуемых и о количестве выбывших испытуемых. Как было сказано в главе 2, эта задача не всегда выполняется: подобная информация содержалась только в 50 % журнальных статей. Эта цифра говорит о некотором прогрессе, учитывая, что в обзоре, представленном в первом издании этой книги, данный показатель составлял 36 %. Тем не менее она оставляет желать лучшего.

Следует отметить еще один момент. Я постоянно подчеркиваю необходимость сохранения как можно большего количества испытуемых. Это, однако, не означает, что рыдающего младенца или перепуганного дошкольника нужно принудить продолжать участие в эксперименте. Против подобного образа действий можно выдвинуть два аргумента. Во-первых, результаты таких испытуемых вряд ли будут иметь какую-либо ценность. Во-вторых, что более существенно, как мы увидим в главе 8, важнейшим этическим принципом исследования, проводимого на людях, является право испытуемого в любой момент выйти из эксперимента. Этим правом, как любой другой испытуемый, обладает и не умеющий говорить младенец. А права испытуемых всегда стоят выше желаний экспериментатора.

 

Резюме

В этой главе рассматривается воплощение абстрактного исследовательского плана в конкретную процедуру. В ней анализируются проблемы, которые могут возникнуть при работе с испытуемыми, а также способы их разрешения.

Центральным понятием данной главы является понятие стандартизации создания условий, при которых важнейшие элементы экспериментальной процедуры будут одинаковыми для всех испытуемых. Стандартизация — это аналог контроля в экспериментальном исследовательском плане. При отсутствии стандартизации процедура изменяется от испытуемого к испытуемому, возникают систематические ошибки, а результаты не поддаются однозначной интерпретации. Возможно, наилучший способ стандартизации — тщательная проработка всех практических моментов на этапе пилотажного исследования. Лучшим является тот экспериментатор, который способен быть естественным, следуя стандартам, а также, когда это необходимо, найти подход к каждому испытуемому.

Хотя проведение стандартизации желательно, некоторое отступление от стандартной процедуры неизбежно и зачастую является разумным шагом. Полная стандартизация невозможна, поскольку некоторые аспекты процедуры (например, точное время тестирования) от испытуемого к испытуемому будут изменяться. При изучении разных возрастных групп может возникнуть необходимость внести в процедуру некоторые коррективы, чтобы она соответствовала возрастным особенностям разных групп. Цель эксплоративного исследования — открытие интересных феноменов в новой области исследования, и поэтому гибкость здесь имеет большее значение, чем стандартизация. Наконец, любой неизменный аспект процедуры (например, экспериментатор, осуществляющий сбор данных) потенциально становится частью независимой переменной, и подобная сверхстандартизация может ограничить возможность генерализации полученных результатов.

Затем речь идет о некоторых конкретных факторах, негативно отражающихся на валидности. Фактор инструментария подразумевает незапланированное изменение либо физических инструментов, либо экспериментаторов и наблюдателей в ходе исследования. Это изменение приобретает особое значение, если его ошибочно принимают за результат влияния возрастных особенностей или экспериментальных условий, что может произойти в ситуации, когда все или большинство испытуемых из одной группы проходят тестирование до начала тестирования другой группы. Еще одна причина, по которой следует избегать смешения условий и порядка тестирования, — вероятность систематической ошибки при отборе: испытуемые, с готовностью соглашающиеся на участие в исследовании (или родители, быстро соглашающиеся на участие своих детей), могут определенным образом отличаться от тех, кто затягивает с ответом. Третье основание для контроля порядка тестирования — возможность эффекта внешних по отношению к исследованию событий, например, эмоционального возбуждения накануне праздника. В планах «претест-посттест» те же события могут явиться фактором искажения валидности, который называют фактором истории — изменением, обусловленным действием неконтролируемых событий, происходящих в процессе исследования.

Очень часто искажение валидности связано с реактивностью — искажающим влиянием выполнения роли объекта исследования на поведение испытуемого. Лучше других изучены две формы реактивности: поведение «идеального испытуемого», когда человек стремится вести себя так, как того желает экспериментатор; и поведение «самолюбивого испытуемого», когда человек стремится произвести благоприятное впечатление. Чаще всего для снижения вероятности реактивности используются методы, направленные на сведение к минимуму очевидности манипуляций и измерений. Тесно связана с предыдущей проблема установки на определенный ответ — склонность испытуемого отвечать заранее определенным образом, независимым от содержания задания. К установкам на определенный ответ, характерным для детей, относят «соглашательство», выбор варианта, названного последним, чередование ответов и позиционное предпочтение. Исследователь должен также исключить возможность коммуникации между испытуемыми и диффузии, при которых искажение обусловлено общением испытуемых.

Особенно коварной является ситуация, когда то, что обнаруживает исследователь, зависит от его предположений и ожиданий. Подобные эффекты предубеждений экспериментатора принимают разнообразные формы. Хотя вопрос распространенности этого феномена является спорным, возможность необъективности экспериментатора существует и потому необходимо принимать меры по ее предупреждению. Если есть возможность, нужно проводить «слепое» тестирование, с тем чтобы исключить искажающий эффект ожиданий. Важны также предварительная подготовка и периодическая проверка экспериментаторов, гарантирующие стандартное проведение процедуры исследования.

В некоторых случаях проблемы, обсуждавшиеся в главе, столь серьезны, что от испытуемого приходится отказываться. Рассматривается несколько моментов, связанных с отсевом испытуемых. Во-первых, отсев следует свести к минимуму, так как он может повлиять и на внутреннюю и на внешнюю валидностьисследования. Во-вторых, исследователь должен заранее определить критерии отказа от испытуемого и отразить в своем отчете, сколько испытуемых выбыло и по каким причинам. И наконец, испытуемых нельзя принуждать к продолжению участия в исследовании против их воли.

 

Упражнения

Упражнения к последующим главам этой книги содержат рекомендации по Практической работе, то есть варианты простых исследований, которые вы сможете провести с разными группами испытуемых. Выполнение этих заданий предполагает, что у вас есть возможность осуществления некоторых из этих исследований; лучше всего, если вы выберете достаточно сложную процедуру (не просто раздачу опросников) и сможете опробовать ее в разных ситуациях. Следите за своими успехами как экспериментатора, приобретая опыт инструктирования, предъявления стимульного материала и проведения исследования в целом. Возможно, вам захочется записать процедуру эксперимента на магнитофон для последующего прослушивания; полезным может оказаться и получение обратной связи от испытуемых. Учитывайте следующие моменты: строгое следование стандартному плану процедуры, естественность поведения, ясность инструкций, исключение возможности эффектов запроса или предубеждений экспериментатора.

В этой главе упоминалась книга Уэбба «Unobtrusive Measures» (Webb et al., 1981) и приводился пример применения данного подхода в психологии развития. Придумайте как можно больше собственных примеров. Если есть возможность, достаньте экземпляр книги Уэбба и сравните собственные идеи с рассматриваем ы-ми в этой книге методами и примерами.