1.1. Современные тенденции развития образования: императив качества

С начала XXI в. в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами. К числу таких тенденций в первую очередь следует отнести интенсивное реформирование, охватывающее практически все уровни образования и требующее систематического анализа тенденций в изменении качества образования.

Во-вторых, это диверсификация образования, проявляющаяся в значительном расширении объема его содержания в условиях научно-технической революции начала ХХI в., введения новых методов обучения и информатизации на всех уровнях образования. В управлении качеством образования диверсификация приводит к необходимости интенсивного развития механизмов управления и увеличения числа факторов, нуждающихся в учете при управлении и влияющих на устойчивость образовательных систем. Хотя сегодня многие специалисты дают оптимистичные оценки диверсификации, к подобным прогнозам лучше относиться осторожно, так как последствия ее развития с учетом многих не выявленных последствий предсказать пока просто невозможно.

В-третьих, к числу современных образовательных тенденций, актуализирующих разработку проблем качества образования, следует отнести индивидуализацию, имеющую развитую теоретическую базу, но трудно приживающуюся в реальном учебном процессе. Теоретические положения развивающего личностно-ориентированного обучения, разработанные отечественными дидактами, пока еще не нашли адекватной практической реализации, не изучено влияние рекомендуемых методов и приемов индивидуализации обучения на результаты учебного процесса.

В-четвертых, следует выделить интернационализацию образования, вызванную политическим и экономическим сближением стран мира и требующую обеспечения общего образовательного пространства с сохранением позитивных национальных традиций учебных заведений России. Следствием интернационализации стало присоединение России к Болонской декларации, для реализации принципов которой потребовалось реформирование отечественного образования на различных уровнях. В высшей школе процесс реформирования привел ко многим инновациям, среди которых в первую очередь следует назвать введение двухуровневой системы высшего профессионального образования и компетентностного подхода к трактовке качества результатов образования, положенного в основу разработки образовательных стандартов третьего поколения.

В целом можно сказать, что высшая школа России подвергается той же модернизации и переживает те же трудности, что и образование во многих европейских странах. Происходит интенсивный рост числа специальностей и специализаций в связи с появлением новых профессий и «демаркации» прежних на рынке труда. Возрастает роль горизонтальной мобильности выпускников вузов в течение трудовой жизни, что приводит к стиранию граней между классическими академическими и прикладными профессиями. Возникает феномен массового высшего образования. Происходит глобализация профессий и профессионалов на фоне нарастания конвергентных процессов в системах образования, децентрализации экономической ответственности и ответственности за качество работы. Развиваются тенденции к повышению ориентации результатов образования на требования работодателей, прозрачности процедур аттестации и аккредитации в условиях сопоставимости результатов образования. Наблюдается усиление роли непрерывного образования, усложнение задач личностного развития в сочетании с внедрением рыночных механизмов в высшее профессиональное образование и т.д.

Возникающие трудности связаны в основном с расширением влияния факторов динамизма и неопределенности, замедляющих темпы проведения Болонских реформ во всех странах. Попытки подстегнуть развитие Болонского процесса, предпринимаемые управленцами в сфере образования, приводят не к его интенсификации, а к нарастанию критики и сомнений в его эффективности [5]. Нередко представители педагогической общественности высказывают серьезные опасения по поводу введения двухуровневой подготовки, которая для бакалавров может привести к значительному снижению качества результатов образования. Прослеживается четкая тенденция к продолжению образования после получения степени бакалавра, которая в массовом сознании пока еще рассматривается как подготовительная ступень к получению полного образования. В среде работодателей нет ясного понимания сферы трудовой деятельности бакалавров, не сложилась четкая дифференциация структуры квалификаций в соответствии с уровнями подготовки. Вскрылись проблемы, связанные с необходимостью преодоления инертности профессорско-преподавательского состава, представители которого неохотно воспринимают изменения, связанные с реализацией Болонской декларации и требующие значительной перестройки их работы. Трудно приживаются инновации, ориентированные на модульную организацию образовательного процесса, кредитную систему учета трудоемкости и требующие значительных затрат времени преподавателей для внедрения в учебный процесс.

Дополнительные трудности возникают при внедрении компетентностного подхода к оцениванию результатов обучения, поскольку совокупность компетенций должна задаваться профессиональными стандартами и потребностями рынка труда. Однако сегодня основная часть сообщества работодателей в нашей стране не имеет профессиональных стандартов. В основной своей массе работодатели, топ-менеджеры и собственники бизнес-организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что приняв на работу молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию.

В целом краткий анализ современных социально-экономических тенденций, особенностей развития системы профессионального образования, имеющихся и прогнозируемых трудностей свидетельствует о необходимости принятия ряда обоснованных управленческих решений, в основе которых должна лежать надежная и валидная информация о качестве результатов образования. Для ее получения предстоит выполнить развернутый анализ подходов к трактовке качества высшего профессионального образования в контексте компетентностной модели подготовки специалистов, сформировать репрезентативную совокупность показателей качества, разработать научно обоснованные оценочные методики и инструментарий на основе аппарата теории педагогических измерений.

 

1.2. Основные подходы к трактовке качества образования в России и за рубежом

Международные организации, занимающимися стандартизацией на основе ИСО 9001, приняли определение, в котором качество трактуется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности [11]. В образовании качество обычно рассматривается не только как результат деятельности, но и как процесс, направленный на достижение запланированных результатов с учетом внутреннего потенциала и внешних условий объекта. В связи с этим, говоря о содержании термина «качество образования», всегда следует проводить четкую грань между процессом и результатом, дифференцируя уровни образования и разграничивая требования к качеству со стороны потребителей и заказчиков образовательных услуг. Как правило, в системе профессионального образования выделяют не две, а три группы характеристик: качество потенциала достижения цели образования, качество процесса формирования профессионализма и качество результата образования.

Применительно к результатам в самом общем случае под качеством образования понимают интегральную характеристику системы образования, отражающую степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям обучаемых. Несомненно, данное определение выполняет лишь ориентирующую функцию, поскольку компоненты интегральной характеристики меняются в соответствии с целями образовательного этапа, а их совокупность раскрывается в сочетании различных показателей и факторов, определяющих качество образования в зависимости от уровня его трактовки. В частности, варьируя требования и показатели, можно применять это определение как к системе профессионального, так и к системе среднего образования. Например, если в системе профессионального образования на первый план вынести требования рынка труда, выступающего в роли потребителя, то совокупность показателей обретет вполне конкретный вид множества профессиональных компетенций и будет раскрываться по-разному в зависимости от направлений и профилей подготовки профессионального образования.

В роли потребителей и заказчиков образовательных услуг могут выступать студенты и их родители, преподаватели, общество, рынок труда и т.д. В общем случае при оценивании качества образования в процессе аккредитации вузов приходится принимать во внимание целую совокупность составляющих, включающих качество преподавания, научно-педагогических кадров, образовательных программ; технологий обучения, контроля образовательного процесса, мотивирующих приемов педагогической деятельности, материально-технической базы, информационно-образовательной среды, результатов обучения студентов, управления образованием, научных исследований и т.д.

Можно лишь говорить о том, что понятие «качество образования» носит комплексный характер, объединяя характеристики всех компонентов обучения, условий и результатов образовательного процесса. Каждый из компонентов рассматривается по-разному в зависимости от того, кто выступает в роли оценщика достигнутого уровня качества. Например, в системе высшего образования администрацию вуза в первую очередь интересуют показатели качества, связанные с числом неуспевающих в учебном заведении, процентом отчислений, затратами на обучение, эффективностью реализации учебных программ и т.д. Преподаватель определяет качество с позиций результатов каждого студента и отдельных учебных групп, оценивая умения обучаемых применять знания при решении практических задач, нестандартно мыслить и ответственно относиться к учебному процессу. Студент воспринимает качество образования как подготовленность к преуспеванию, получению престижной работы на рынке труда после окончания вуза. С позиций последнего качество результата образования можно трактовать как степень осознания профессионализма, способность к успешному трудоустройству и карьере, реализацию запросов на высокую оплату труда.

Представления о качестве варьируются не только по группам участников образовательного процесса, но и изменяются с учетом временного фактора. Современные требования общества к развитию личности выпускника вуза претерпели значительные изменения даже по сравнению с недавним прошлым – 90-ми гг. прошлого века. Приоритеты при трактовке качества результатов образования сместились на характеристику способностей выпускника к адаптации в профессиональном сообществе, развитие его когнитивных и креативных способностей, формирование гражданской ответственности и правового самосознания, духовности и культуры. В наши дни при оценке качества учебных достижений выпускников системы профессионального образования на первый план выходит не объем усвоенных знаний или алгоритмы их воспроизведения по образцам, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в ситуациях, близких к будущей профессиональной деятельности.

На фоне этих изменений возникло новое определение качества образования, в рамках которого оно трактуется как комплекс характеристик результатов образовательного процесса, определяющих последовательное, эффективное формирование компетентности, профессионального сознания, организационной культуры, способности к самообразованию. В целом совокупность таких характеристик на уровне целеполагания должна отражать способность специалиста осуществлять профессиональную деятельность в соответствии с требованиями современного этапа развития экономики, высокой эффективности в сочетании с социальной ответственностью за результаты профессиональной деятельности.

При целевой парадигме к трактовке качества результатов образования в процессе его оценивания на всех уровнях образовательного процесса необходимо ответить на вопросы: получили ли то, что ожидалось и можно ли говорить о наличии определенного уровня качества. Таким образом, в учебном процессе появляется возможность констатировать наличие качественных знаний в тех случаях, когда реализуемый уровень учебных достижений близок к планируемому, выступающему в роли критерия и заданному в виде требований государственных образовательных стандартов.

Оценивание качества учебных достижений существенно затрудняет подход к разработке государственных образовательных стандартов, принятый и реализуемый на протяжении многих лет их методологами и создателями. Несмотря на систематические поиски путей совершенствования структуры и формы представления требований стандартов, из года в год проявляет себя недооценка роли педагогических измерений. Доминирующая целевая парадигма делает стандарты неизмеряемыми, исключая тем самым возможность их эффективного использования для сбора эмпирической информации и реализации на основе обратной связи механизма управления качеством образования.

С конца 90-х гг. ХХ в. во многих зарубежных странах, имеющих высокоразвитую культуру в области педагогических измерений, сформировался динамический подход к трактовке качества результатов образования. Хотя идея введения временного фактора не согласуется с целевой парадигмой, заложенной в основе концептуального подхода к разработке образовательных стандартов, где качество нормируется путем задания требований к результатам образования и нуждается в сопоставлении достигнутых и планируемых результатов обучения, динамический подход прочно вошел в практику деятельности многих структур, занимающихся оценкой качества образования. В его пользу говорит многолетняя практика аттестации, требующая проведения оценочных процедур на основе операционализации требований стандартов и показывающая ограниченность возможностей целевой парадигмы для эффективного управления качеством образования. Согласно динамическому подходу, качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные развитием науки и производства и отражающие тенденции в изменении целей образования, запросов обучающихся, общества и рынка труда. Выявление таких изменений позволяет оперативно вносить корректирующие воздействия в процесс обучения, способствующие эффективному решению задач управления качеством образования.

Для применения динамического подхода при оценке качества результатов образования необходимо накапливать данные о познавательной творческой активности, уровне сформированности компетенций, освоенных знаниях и умениях или о других учебных достижениях студентов на протяжении всего периода обучения и фиксировать эти данные для анализа прироста качества в виде дескриптивной (описательной) статистики и различных документов на количественном и качественном уровнях измерения. Таким образом, в динамическом подходе оценка качества результатов обучения строится на проведении многофакторного анализа изменений по ряду показателей качества образования, позволяющих выявлять тенденции изменения качества, прогнозировать их и принимать не только оперативные, но и стратегические управленческие решения.

В целом требования к качеству образования и само его понимание изменяются по мере развития общества, экономики и науки. Из-за несоответствия результатов образования современным запросам общества и потребностям рынка труда возник компетентностный подход к трактовке качества, отражающий стремления участников образовательного процесса к повышению его эффективности на фоне приоритета прагматизма без ущерба для фундаментальности результатов образования. Таким образом, в настоящее время наиболее плодотворным можно считать то понимание качества образования, в котором идут по пути соединения компетентностного и динамического подходов, позволяющих сформировать совокупность требований к качеству, адекватную современным тенденциям в изменении целей образования, запросов обучающихся, общества и рынка труда, применять аппарат педагогических измерений и получать надежные и валидные оценки тех позитивных изменений в процессах и результатах образования, которые можно соотнести с принятой инновационной трактовкой показателей качества образования.

 

1.3. Зарубежный опыт реализации компетентностного подхода к оцениванию качества результатов обучения

За рубежом принято выделять три основных подхода к определению и введению в практику образования компетентностной трактовки качества результатов обучения. Эти подходы появились независимо друг от друга сначала в США, затем в Великобритании и в последнюю очередь во Франции и Германии.

При обсуждении американского подхода к компетентностной трактовке качества результатов обучения нередко используют термин «поведенческий подход», подчеркивая тем самым четкую ориентацию результатов образования на способность к их применению на практике после окончания учебного заведения. Считается, что термин «компетенция» ввел в обращение Вайт (White, 1959) для описания тех способностей выпускника учебного заведения, которые наиболее тесно связаны с его хорошей работой на основе полученной подготовки и сформированной в процессе обучения высокой мотивацией к ее выполнению. Постулируя взаимосвязь между когнитивными компетенциями и мотивационными тенденциями, Вайт определил компетентность как «… эффективное взаимодействие человека с окружающей средой…» и утверждал, что в числе личностных характеристик выпускника должна быть «компетентностная мотивация» в дополнение к компетенции, которую можно трактовать как сформированную способность. Следуя этому теоретическому подходу, в США для оценивания компетенций стали разрабатывать компетентностные тесты, позволяющие предсказывать эффективность в работе после окончания обучения с высокой прогностической валидностью.

Наряду с оцениванием так называемых общих компетенций, в США развивались подходы, ориентированные на измерение ядерных или других видов компетенций. В частности, Американская ассоциация менеджмента (AMA) при классификации компетенций выделила пять кластеров, в число которых вошли ресурсные, межличностные, информационные, системные и технологические компетенции. Связь между различными кластерами компетенций и их дифференциация, по мнению разработчиков этого подхода, должна осуществляться в процессе моделирования ключевых факторов успеха (Lucia, Lepsinger, 1999) и оценивания уровня их сформированности (Spencer и др., 1997) в отдельных кластерах.

В частности, в модель компетентности лидера, созданную в 2000 г. (Holton и Lynham), включено шесть кластеров компетенций, проявляющихся на трех уровнях (рис. 1.1), включающих общеорганизационный уровень, уровень процессов и индивидуальный уровень.

Рис.1.1. Модель компетенций лидера Holton и Lynham (американская традиция)

В процессе оценивания происходит детализация, при которой кластеры каждого уровня разбиваются на отдельные группы компетенций, дробящиеся, в свою очередь, на субкомпетенции. Например, представители этого подхода идентифицировали два кластера компетенций на общеорганизационном уровне: стратегическое мышление и стратегическое управление, в которые входят четыре и пять групп компетенций соответственно с дальнейшим дроблением на субкомпетенции (Collins и др., 2000). На уровне процессов каждый из двух кластеров (управление процессами и планирование процессов) разбивается на три группы компетенций, которые делят на субкомпетенции (Baker и др., 2000).

На индивидуальном уровне сформировано два кластера: эффективность работников и оценка работников, в которых были выделены четыре группы компетенций с соответствующими субкомпетенциями (Wilson и др., 2000). Хотя с первого взгляда входящие в модель кластеры компетенций носят функциональный характер, однако в основе формирования их классификации лежат поведенческие аспекты, поэтому в целом представленный пример нисколько не противоречит американской традиции в разработке компетентностного подхода в образовании.

Для Великобритании в компетентностном подходе характерно стремление к большей целостности и функциональности путем интеграции знаний, понимания, ценностей и навыков, присущих тем, кто сформировался как профессионал после окончания обучения. В частности, Чисмэн и Чиверс в 1996– 1998 гг. предложили интегративную модель профессиональной компетентности (рис. 1.2), включающую пять групп связанных компетенций и требующую пять уровней измерений соответственно. В состав этих групп вошли:

Рис. 1.2. Интегративная модель профессиональной компетентности (британская традиция)

     • когнитивные компетенции, охватывающие знания, полученные при обучении, либо основанные на индивидуальном опыте и саморазвитии. При этом, несмотря на использование привычного термина «знания» для обозначения компетентностных результатов обучения, предполагалось, что традиционная трактовка знания (знают – что), подкрепленная пониманием (знают – почему), отличается от компетенций;

     • функциональные компетенции (навыки или ноу-хау), включающие характеристики того, что выпускник учебного заведения может сделать и способен продемонстрировать в определенной профессиональной области;

     • личностные компетенции, иногда называемые поведенческими, определяющие относительно устойчивые характеристики личности выпускника учебного заведения и причинно связанные причинно с эффективным и качественным выполнением профессиональной деятельности;

     • этические компетенции, предназначенные для обозначения тех сформированных личностных и профессиональных ценностей, которые связанны со способностью выпускника учебного заведения принимать обоснованные решения в жизненных или профессиональных ситуациях;

     • метакомпетенции, характеризующие способность выпускника учебного заведения преодолевать неуверенность, воспринимать замечания руководителей и делать правильные выводы из критических замечаний руководства или коллег.

Характеризуя компетентностный подход к оцениванию качества результатов образования в Великобритании в целом, можно говорить о расширительной трактовке понятия «компетенция» по сравнению с американским пониманием этого термина. Действительно, в отличие от США, где кластеры компетенций нацелены исключительно на поведенческие характеристики результатов обучения, связанные со спецификой будущей профессиональной деятельности выпускника учебного заведения, в Великобритании при классификации компетенций охватываются также функциональные характеристики качества базисных знаний и результатов обучения.

Логика построения компетентностного подхода во Франции, который нередко называют многомерным, поляризуется в два отличных друг от друга направления: личностное, сосредоточенное на характеристике поведения каждого обучаемого, и коллективное, нацеленное на построение модели компетенций, необходимых для эффективной организации работы коллективов и участия в этой работе в качестве одного из членов коллектива. Поэтому при классификации компетенций основные кластеры занимают некоторое промежуточное положение между этими полюсами со смещением в ту или иную сторону. Например, кластер компетенций, характеризующих грамотность, рассматриваемых как универсальный признак подготовки выпускников учебных заведений, либо кластер компетенций, сформулированных в терминах индивидуальных способностей, проявляющихся только в контексте задач будущей профессиональной деятельности выпускника. Многомерность описанному подходу придает многообразие кластеров компетенций, тяготеющих к тому или иному полюсу и требующих построения различных шкал. Как и английский, французский подход более всесторонний по сравнению с американским, поскольку в нем рассматривают знаниевые, функциональные и поведенческие характеристики результатов обучения.

Немецкая система образования приняла иной подход, который был изначально ориентирован на так называемые компетенции действия (рис. 1.3). Особенность подхода состоит в том, что в нем фокус смещается на учебные планы системы профессионального обучения. В начале каждого плана помещается совокупность компетенций, специфических для каждого предмета и определяющих в основном приоритетные области изучения, а также (в меньшей степени) планируемые к усвоению знания, умения и навыки. Стандартная типология компетенций ориентирована на сферу будущей профессиональной деятельности выпускников учебных заведений. Она включает предметные, личностные и социальные компетенции.

Рис. 1.3. Немецкий подход: «компетенции действия»

Согласно принятой типологии в немецкой системе образования, предметные компетенции познавательного и функционального характера описывают способности обучаемого выполнять задачи и решать практические проблемы на основе предметных знаний и навыков. Общие когнитивные компетенции рассматриваются как предпосылки для развития предметных компетенций. К числу важнейших личностных компетенций, включающих в числе других когнитивные и социальные, относят способности обучаемых к поиску, анализу и оценке возможных путей саморазвития, самостоятельному формированию требований и ограничений в личной, трудовой и общественной жизни, развитию навыков выбора и реализации жизненных планов.

Как следует из рисунка, помимо перечисленных основных кластеров компетенций, иногда обращаются к представлениям о самокомпетенции (Selbkompetenz), которая определяется как способность личности к отстаиванию положительного «я-образа» и развитию нравственности, взаимодействию с другими членами общества рациональным и честным способом, включающим развитие чувства социальной ответственности и солидарности. В настоящее время в Германии выделено 350 профилей профессиональной подготовки, составленных по общему формату в рамках компетентностного подхода и включающих компетенции в рамках единого терминологического аппарата.

Рис.1.4. Зарубежные подходы к определению и выделению кластеров компетенций

Обобщая опыт зарубежных стран на пути развития компетентностного подхода (рис. 1.4), можно утверждать, что одномерные модели, рассчитанные на построение единственной шкалы при оценивании качества результатов образования, значительно уступают многомерным оценочным структурам. Появление функциональных и когнитивных компетенций расширило начальный поведенческий подход, сложившийся в США в период формирования представлений о компетенциях в образовании.

С годами компетентностный подход обрел более целостную структуру, наиболее характерную для Франции и Германии, где знания, умения и навыки вместе с поведенческими и мотивационными аспектами вошли как составные элементы общей кластерной структуры компетенций.

Рис. 1.5. Модель многомерной структуры компетенций

Модель многомерной структуры компетенций представлена на рис. 1.5. Она широко используется при оценочных процессах, когда речь идет об измерении уровня сформированности компетенций в рамках компетентностного подхода. Согласно модели профессиональные компетенции, столь необходимые для эффективной работы выпускников после окончания учебного заведения, включают в себя кластеры когнитивных и функциональных компетенций. Личностные компетенции распадаются на метакомпетенпии, социальные компетенции и т.д. Три кластера, включающие когнитивные, функциональные и социальные компетенции, являются универсальными для всех подходов. Метакомпетенции отличаются от первых трех кластеров, они служат базисом для приобретения других компетенций.

Целостную структурную модель компетенций можно представить также в виде тетраэдра, отражающего единство компетенций (рис. 1.6).

Рис. 1.6. Структурная модель компетенций

С течением времени многомерный (целостный) подход к трактовке и оцениванию компетенций становится все более распространенным, так как он обеспечивает расширение возможностей для синхронизации образовательного процесса с требованиями общества и рынка труда.

 

1.4. Компетентностный подход и оценивание качества результатов обучения с позиций федеральных государственных образовательных стандартов нового поколения

В наши дни к причинам интенсивного развития компетентностного подхода в большинстве публикаций обычно относят следующие факторы и тенденции:

     • появление нового типа экономики, вызвавшее потребность в изменении требований к качеству подготовки выпускников, содержания труда и видов профессиональной деятельности;

     • интенсивное развитие информационных технологий;

     • возрастающий приоритет творческих аспектов профессиональной деятельности и интеллектуального потенциала специалистов;

     • рост динамики модификации профессий, их глобализация.

Во многих публикациях утверждается, что компетентностный подход к трактовке качества учебных достижений возник в конце 90-х гг. ХХ в. в связи с несоответствием подготовки выпускников учебных заведений современным запросам общества и потребностям рынка труда. На самом деле это не вполне верно, так как отдельные идеи компетентностного подхода, связанные с ориентацией обучения на формирование обобщенных способов учебной деятельности и с теорией развивающего обучения, были намечены в трудах советских педагогов еще в 60–70-е гг. ХХ в. Также неправильно полагать, что компетентности пришли на смену знаниям, если последние соотносить не с выученной информацией, а с возможностью использования когнитивных новообразований в жизни. В целом понятие компетентности шире суммарного представления об усвоенных знаниях, умениях, навыках, поскольку не только включает их в себя, но и предполагает их эффективное использование для решения определенного круга проблем.

По поводу интерпретации понятий «компетентность» и «компетенция» на сегодняшний день нет единой точки зрения ни в России, ни в Европе, как нет и четкого представления об их отличиях. К числу наиболее распространенных точек зрения на соотношение этих понятий можно отнести следующие [10, 15, 16].

Компетенция – это способность применять знания, умения, навыки и личностные качества для успешной деятельности в различных проблемных профессиональных ситуациях.

Компетентность – это уровень владения совокупностью компетенций, степень готовности к применению компетенций в профессиональной деятельности.

Первое понятие также имеет многочисленные трактовки. В частности, в работах отечественных и зарубежных исследователей можно встретить следующие формулировки.

1. Компетенция – это знание и понимание того, как действовать в различных профессиональных и жизненных ситуациях (проект TUNING – Настройка образовательных структур в Европе).

2. Компетенция основывается на знаниях, конструируется через опыт, реализуется на основе воли (Джон Эрпенбек).

3. Компетенция – способность применять знания, умения, навыки и личностные качества для успешной деятельности в различных проблемных профессиональных либо жизненных ситуациях; компетентность – уровень владения совокупностью компетенций, отражающий степень готовности выпускника к применению знаний, умений, навыков и сформированных на их основе компетенций для успешной деятельности в определенной области (ФГОС третьего поколения).

4. Компетенции – это интегрированные характеристики качеств личности, позволяющие осуществлять деятельность в соответствии с профессиональными и социальными требованиями, а также личностными ожиданиями (И.А. Зимняя).

5. Компетенции – это совокупность знаний, умений, навыков и способов деятельности, необходимых для качественной продуктивной деятельности после обучения (А.В. Хуторской).

6. Компетенции – это интегральные надпредметные характеристики подготовки обучаемых, которые проявляются в готовности к осуществлению какой-либо деятельности в конкретных проблемных ситуациях в процессе или после окончания обучения (В.И. Звонников).

Не останавливаясь на анализе терминологических проблем в разграничении представлений о компетенциях, в целом можно сказать, что они отражают современные тенденции в понимании качества результатов образовательного процесса. Конечно, такое определение качества через совокупность компетенций не самоцель, главное – как фиксировать достигнутый уровень компетентности с помощью оценочных процессов и обеспечить его повышение. Поэтому каждая из компетенций выпускников учебных заведений, характеризующая качество достигнутых результатов образования, нуждается в структурировании путем выделения существенных признаков своего проявления в конкретных сферах профессиональной деятельности.

В частности, пример такого структурирования одной из компетенций менеджера высшего звена, характеризующей его способность к решению управленческих проблем, приведен на рис. 1.7. Каждая из пронумерованных позиций требует отдельного анализа и является объектом системы управления, сознательного влияния со стороны педагогов в учебном процессе. Такое управление невозможно без современной системы оценивания всех составляющих компетенций, основанной на многомерных измерениях.

Рис. 1.7. Пример структурирования компетенции для менеджера высшего звена, характеризующей его способность к решению управленческих проблем

Рис. 1.8. Пример структурирования компетенции менеджера, характеризующей его способность к лидерству

Другой пример структурирования компетенции менеджера, характеризующей его способность к лидерству, дается на рис. 1.8. Построенная структура дает возможность операционализировать отдельные компоненты компетенции в процедуре измерения.

Оправдаются ли все ожидания и надежды, возлагаемые на компетентностную модель подготовки специалистов для повышения качества результатов образования, пока неизвестно. Во многом это зависит от того, как будет реализован этот подход в системе образования и как это связано с решением большого числа пока еще открытых вопросов.

Например, сумеют ли государственно-общественные объединения и академическое сообщество вузов России создать жизнеспособную схему взаимодействия с работодателями в процессе внедрения ФГОС по различным направлениям подготовки специалистов? Действительно ли заложенные во ФГОС компетенции позволят с высокой вероятностью прогнозировать будущие профессиональные успехи выпускников вузов, т.е., иными словами, обладают ли эти компетенции высокой прогностической валидностью? Правильно ли был корреспондирован таксономический ряд «знать – уметь – владеть» и перечень дисциплин в основной образовательной программе с составом компетенций по различным образовательным уровням при разработке ФГОС по разным направлениям подготовки? Произойдет ли существенная перестройка содержания и методов обучения с ориентацией на компетентностную модель подготовки специалистов? Сумеют ли вузы и структуры, занимающиеся государственной аккредитацией, создать адекватные компетентностному подходы системы контроля и оценки качества подготовки выпускников, обладающие высокой прогностичностью? Ответов на эти и многие другие вопросы пока не существует, их даст только многолетняя практика внедрения компетентностного подхода в отечественное образование.

В целом можно сказать, что процесс совершенствования перечней компетенций и дисциплин по различным профилям подготовки специалистов должен носить растянутый во времени характер и основываться не только на мнениях экспертов из числа профессорско-преподавательского состава вузов или работодателей, но и на опыте преподавания, анализе тенденций изменения качества образования.

Однако уже сейчас понятно, что введение компетентностного подхода серьезно затронет все компоненты процесса обучения и потребует существенного пересмотра содержания образования, методов обучения и традиционных вузовских контрольно-оценочных систем. Согласно существующему законодательству, оценка качества подготовки выпускников происходит в процессе аттестации, требующей репрезентативного отображения требований ФГОС в содержании аттестационных оценочных средств. Но теперь в ходе аттестации придется оценивать не привычные знания, умения и навыки, а уровень освоения достаточно большого набора общекультурных и профессиональных компетенций.

В этих условиях вузы и структуры, занимающиеся комплексной проверкой деятельности учебных заведений, не смогут ограничиться существующими и ставшими уже привычными заданиями по отдельным предметам с выбором ответов, поскольку компетенции не являются некоторым набором предметных знаний, умений и навыков. Необходимы будут новые оценочные средства, построенные на основе современных достижений теории педагогических измерений и позволяющие измерять уровень сформированности многоплановых и многоструктурных характеристик качества подготовки выпускников вузов, которые не должны сводиться к простой сумме предметных знаний и умений.

Так как в рамках компетентностного подхода результаты образования признаются значимыми после окончания обучения, то необходимы будут аттестационные тесты с высокой валидностью, указывающей меру вероятности прогноза успешности дальнейшей профессиональной деятельности выпускников вузов, оцениваемой путем корреляции результатов по тестам с оценками качества профессиональной деятельности выпускников, собранными на протяжении первых 2–3 лет работы. Не стоит полагать, что разработка таких измерителей – забота профессионалов. Для реализации компетентностного подхода каждому вузу придется перестраивать свою систему контроля на основе введения компетентностно-ориентированных заданий в учебный процесс.

Проблема структурирования компетенций и создания измерителей для аттестации усугубляется теми дополнительными трудностями, которые возникают при попытках оценивания компетенций.

Во-первых, компетенции – многофункциональны и надпредметны, поэтому при аттестации понадобятся комплексные измерители, требующие включения различных оценочных средств, использования методов многомерного шкалирования и специальных методов интеграции аттестационных баллов по различным количественным и качественным шкалам.

Во-вторых, уровень освоения компетенций во многом предопределен доминантой способностей обучаемых, что приводит к необходимости использования отдельных психодиагностических методик в процессе аттестации, не предусмотренных в нашей стране нормативными документами. О такой необходимости говорит опыт многих зарубежных стран, где психологи участвуют в оценивании компетенций в образовании.

В-третьих, при интерпретации оценок уровня освоения компетенций придется принимать во внимание, что формирование компетенций является производной многих факторов: содержания образования, организационно-технологических педагогических решений, методов обучения, стиля взаимодействия со студентами, качества системы контроля в вузе, вовлеченности студентов в образовательный процесс, общего «образовательного климата» вуза, характера практик и стажировок и т.п.

Интересно проанализировать опыт стран, отказавшихся от традиционной информационно-знаниевой модели подготовки выпускников и идущих по пути внедрения компетентностного подхода в образование уже на протяжении 8–10 лет. В частности, можно рассмотреть схему разработки компетентностно-ориентированных экзаменов в Нидерландах. В число участников работ по созданию такого экзамена входят конструкторы теста, группа разработчиков заданий, когнитивная лаборатория, которая специально создается для реализации компетентностно-ориентированных экзаменов, экспертная группа из числа преподавателей, не участвовавших в разработке экзамена, и внешняя контролирующая группа из числа работодателей и представителей академического сообщества.

Программа экзамена включает описание группы экзаменуемых, название дисциплины и уровень контроля, перечень проверяемых компетенций, каждая из которых развернута в совокупности операционализированных, т.е. конкретизированных для измерения признаков, совокупности проверяемых знаний, умений и навыков. Оцениваемые результаты обучения, планируемые в модели экзамена, ориентированы на компетенции, относящиеся к образовательной области, личностной, трудовой и научной сфере с обязательными ограничениями по процентному представлению каждой из этих сфер в итоговом тесте и по минимальному/максимальному числу заданий для каждой компетенции. Каждая их сфер обычно разворачивается в наборе, содержащем несколько (2–3, но не более 4) компетенций. И даже такие ограничения приводят к довольно длинным (до 80–100 заданий) тестам, для которых строится несколько шкал в каждой из перечисленных сфер. (есть специальный термин – длина теста).

Полезно обратиться к опыту создания когнитивных лабораторий, отсутствующих в наших вузах, но которые в Нидерландах считаются необходимыми в учебных заведениях при переходе на компетентностную модель в образовании. В их состав рекомендуется включать педагогов, психологов и методистов, которые проводят аудиозапись и анализ реального хода выполнения студентами компетентностных заданий, разрабатывают оптимальные оценочные шкалы по отдельным заданиям, интерпретируют результаты текущего тестирования, а главное – проводят мониторинг прироста индивидуальных достижений по отдельным компетенциям на протяжении всего периода обучения каждого студента.

Итогом ежегодной деятельности такой лаборатории также является уточнение состава измерителей для каждой компетенции и наполнение банка компетентностных заданий вуза. Зарубежный опыт свидетельствует о том, что работа такой лаборатории в условиях систематически функционирующей системы контроля, ориентированной на компетентностную модель подготовки специалистов, приводит к позитивным тенденциям в динамике изменения качества образования.

В целом анализ зарубежного опыта ряда стран (США, Канада, Нидерланды, Австралия, Финляндия и др.) по внедрению компетентностного подхода в группе с высокоразвитыми системами образования позволил выявить несколько типичных тенденций:

     • преимущественная опора на динамическую трактовку качества результатов образования;

     • стремление к максимально возможной операционализации и конкретизации компетенций;

     • минимизация перечня компетенций;

     • создание специальных структур и систем мониторинга для реализации компетентностного подхода;

     • широкое использование многомерных педагогических измерений в условиях сочетания оценок, полученных на количественном и качественном уровнях измерения.

Не отказываясь от целевой парадигмы введения ФГОС в соответствии с нормативной документацией по аттестации, но обращаясь вместе с тем к преимуществам динамического подхода, можно выделить ряд основных обобщенных направлений анализа качества процесса и результатов образования, предполагающих оценивание:

     • уровня инновационности процесса образования и его связи с наукой;

     • степени соответствия содержания образования требованиям профессионального сообщества и интересам личности обучающегося;

     • уровня реализации вузом задач высшего образования;

     • уровня учебных достижений в терминах компетентностного подхода и корреспондирующей с ним совокупностью знаний, умений, навыков.

Если сосредоточиться на процессе обучения, то динамический анализ качества можно вести на различных уровнях.

Первый уровень – планирование обучения, когда определенные представления о планируемом качестве подготовки закладываются в образовательные программы по каждой дисциплине. Второй уровень – этап реализации образовательных программ в учебном процессе, на котором качество подготовки обучаемого приходится рассматривать в сочетании с целым спектром факторов, определяемых личностными особенностями усвоения, качеством преподавания и организации учебного процесса. Третий уровень анализа качества подготовки обычно проводится с позиций оценки результатов осуществленного учебного процесса.

В целом можно сделать вывод о том, что эффективность работы по анализу динамики изменения качества образования во многом зависит от того, насколько правильно структурирована совокупность компетенций, насколько она поддается операционализации, представляется в виде некоторой системы показателей, поддающихся измерению либо экспертному оцениванию. Уже сейчас на этапе перехода к новым стандартам следует отказаться от прежнего эклектического подхода к оцениванию качества результатов обучения в аттестации и разработать системный подход к формированию содержания измерителей, выбору их видов и форм заданий, построению стандартизованных шкал и интерпретации результатов аттестации в условиях их высокой надежности, валидности и сопоставимости.

Ядро такого системного подхода должна составлять методология педагогических измерений, к ведущим принципам которой следует отнести:

     • сочетание количественных и качественных уровней измерения, характерное для бипарадигмальной методологии;

     • привлечение психодиагностических методик и специальной теории для измерения изменений качества результатов образования;

     • учет совокупности факторов, оказывающих влияние на формирование компетенций, анализ их методами линейного иерархического моделирования;

     • обеспечение высокой надежности (объективности) результатов измерений (максимизация дисперсии наблюдаемых результатов измерения, минимизация дисперсии ошибочных компонентов, систематический контроль внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние);

     • обеспечение высокой конструктной, содержательной и прогностической валидности (обоснованности) результатов измерений;

     • применение методов анализа размерности пространства измерений и использование методов многомерного шкалирования;

     • применение лонгитюдных (проводимых с учетом фактора времени) измерений в аттестационных процессах, переход к режиму мониторинга качества результатов образования;

     • применение различных измерителей (тесты учебных достижений, тесты практических умений, кейсы, портфолио, психологические тесты);

     • использование, факторного, дисперсионного и метаанализа для изучения данных о качестве подготовки студентов;

     • сочетание внешних и внутренних экспертиз при аттестации.

Для реализации этих принципов в аттестации необходим ряд подготовительных работ, в число которых входят:

     • создание общей концептуальной базы аттестации;

     • разработка профессиограмм для различных направлений подготовки;

     • структурирование и операционализация компетенций (перевод в плоскость измерений);

     • концептуальный выбор размерности измерений;

     • определение дизайна измерений (схемы сочетания измерителей, обеспечивающих построение количественных и качественных шкал);

     • формирование репрезентативных выборок студентов или выпускников для апробации измерителей;

     • разработка первой версии инструментария (предметно-ориентированных тестов, компетентностных тестов, портфолио, кейс-измерителей, анкет и т.д.);

     • апробация, оценивание размерности пространства измерений и определение числа шкал;

     • получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;

     • анкетирование работодателей;

     • коррекция инструментария;

     • проведение измерений;

     • сбор и обработка данных;

     • взвешивание;

     • шкалирование;

     • интеграция данных по различным шкалам;

     • интерпретация результатов оценочного процесса.

Только выполнение всех этих этапов позволит в полной мере реализовать компетентностный подход в профессиональном образовании.

 

1.5. Показатели качества образования

Критерии выбора и структурирования совокупности показателей качества могут быть самыми разными. За основу для выделения такой совокупности иногда принимают модели системы образования, структурированные цели образовательной системы, критерии ее эффективного функционирования, актуальные проблемы управления и т.д. Вне зависимости от оснований по выбору совокупность показателей должна быть:

     • адекватной трактовкам качества образования, принятым педагогическим сообществом страны;

     • репрезентативной, обладающей достаточной полнотой;

     • операционализируемой на количественном или качественном уровнях измерения;

     • признанной пользователями и полезной на различных уровнях управления;

     • пригодной для сбора информации об образовательной деятельности по нужным в управлении направлениям;

     • нацеленной на ту информацию, которая обладает прогностическими возможностями и является значимой на протяжении нескольких лет;

     • надежной, простой, экономически целесообразной.

Для характеристики качества образования можно выделить обобщенные группы показателей, которые охватывают:

1) данные по образовательным системам;

2) характеристики качества учебного процесса;

3) характеристики качества результатов обучения;

4) данные об интенсивности научной и инновационной деятельности в вузе;

5) объемы вложений в образование;

6 ) данные по эффективности управленческой деятельности в образовании.

К показателям первой группы относятся: характеристики качества содержания образования; структуры и содержание образовательных программ; формы организации учебного процесса; реализация целей обучения и воспитания; сбалансированность образовательной системы, ее стабильность, способность к адаптации при взаимодействии с внешней средой; применяемые педагогические технологии; системы подготовки и переподготовки педагогических кадров; работы по повышению мотивации учебной и профессиональной деятельности педагогов и др.

Показатели второй группы включают характеристики доступности и индивидуализации обучения; организации образовательного процесса (назначения, принципов, методов, планирования, средств и методов контроля процесса и результата обучения); гуманистической и культурно-познавательной направленности образовательного процесса; стандартизации и вариативности учебных программ, соотношения традиционных и инновационных технологий обучения и контроля; способов организации самостоятельной работы студентов во внеаудиторное время и др.

Третью группу составляют показатели, построенные на результатах оценивания качества учебных достижений и требующие для корректной интерпретации развернутой дополнительной информации о демографической и социально-экономической обстановке в районе расположения вуза, качественного состава студентов; образования родителей, условий и атмосферы преподавания; данных рубежного контроля, сведений о дальнейшей судьбе выпускников и т.д.

Среди дополнительных факторов, учет которых необходим при анализе качества результатов образования, принято выделять показатели, не изменяющиеся со временем (географическое положение вуза, столичный вуз или периферийный, социально-экономическое окружение образовательного учреждения и др.), и показатели, подверженные изменениям по мере истечения образовательного процесса (программы обучения, учебники, система домашних заданий, система контроля качества подготовленности, профессорско-преподавательский состав, формы и методы дополнительного образования и др.). К ним можно отнести: индекс развития человеческого потенциала в регионе (процент грамотного взрослого населения, число обязательных лет обучения в школе основной доли взрослого населения, число людей с высшим образованием на 1000 человек), обобщенную характеристику экономической динамики в регионе, характеристику криминогенной обстановки в районе расположения вуза и др.

К четвертой группе относятся показатели интенсивности инновационной деятельности отдельных преподавателей и вуза в целом. При анализе показателей четвертой группы необходимо принимать во внимание последствия инновационной деятельности, которые могут иметь как позитивный, так и негативный характер. При оценивании последствий важно учесть временной фактор, поскольку многие тенденции могут проявляться в разной степени только с течением времени.

В пятую группу включают показатели, отражающие информацию о финансировании образования, его кадровом, информационном, материально-техническом (учебные помещения, лаборатории, оборудование, расходные материалы) и методическом (учебная литература, наглядные пособия, макеты, тренажеры и т.д.) обеспечении.

Шестую группу составляют характеристики эффективности управленческой деятельности, которая осуществляется как прямым административным вмешательством, так и в режиме всеобщей вовлеченности педагогического коллектива вуза и студентов в процесс управления качеством образования.

Таким образом, при оценке качества образования в рамках системного подхода приходится принимать во внимание совокупность самых разных показателей. Для принятия обоснованного решения о достижении либо не достижении определенного качества необходимо по каждому показателю выбрать некоторый критерий или набор критериев, характерный для уровневого подхода к оценке качества результатов образования. Выбор критериев проводится экспертным путем на основе соглашений, и он должен быть четко ориентирован на задачи управления качеством образования.

Для снижения субъективизма при оценке качества образования очевидна важность использования тех показателей, которые допускают трансформацию в количественные критерии и нормы. Значит ли это, что количественные показатели должны занимать приоритетное место при оценке качества образования? Ответ на этот вопрос не однозначный. Отечественный и зарубежный опыт свидетельствует о том, что неосторожное введение количественных критериев и чрезмерное увлечение ими могут привести к неверным представлениям о наличии или отсутствии качества и к ошибочным управленческим решениям.

Типичный пример, подтверждающий высказанное суждение, – практика эксперимента по введению ЕГЭ, где ориентируясь только на процент «двоечников» можно снизить критериальный балл при установлении границы между «двойкой» и «тройкой» и минимизировать тем самым число неуспевающих в большинстве регионов, не принимая во внимание требования к базовой подготовке выпускников. Такая минимизация создаст иллюзию высокого качества учебных достижений выпускников школ, которая не выдержит никакой критики при содержательной интерпретации подготовленности тех, кто получил удовлетворительные оценки.

Столь же проблематично в некачественной интерпретации выглядит вопрос о том, к чему приведет количественный прирост критериального балла для отсева неуспевающих за счет его повышения на 10–20%. Будет ли количественный прирост уровня минимальной подготовленности свидетельствовать о возросшем качестве подготовки аттестованных выпускников или речь идет о простом увеличении объема усвоенных знаний? Таким образом, несмотря на необходимость и важность количественных показателей при оценивании качества образования, абсолютизировать их, превращая в критерии, без развернутой интерпретации и учета дополнительных факторов недопустимо. Если количественные показатели не подвергаются такой интерпретации, то они являются просто статистическими данными.

Желательно, чтобы информация по показателям качества имела восходящий характер, непрерывно передавалась с более низких уровней на более высокие и постоянно агрегировалась на каждом последующем уровне управления. Тогда процесс управления качеством учебных достижений приобретает характер систематического отслеживания изменений в образовательных достижениях школ, муниципальных округов и регионов вместо выборочного оценивания учебных достижений в определенные периоды времени. Свойство непрерывности информации повышает обоснованность управленческих решений и эффективность управления качеством образования.

 

1.6. Системы менеджмента и оценки качества образования

Новые требования общества к выпускникам системы образования, обусловленные развитием науки и производства, инициируют создание в вузах современных систем менеджмента качества (СМК) образования, закладывающих базу для эталонной модели качества процесса и результатов образования на основе международных стандартов [11]. Сегодня эти процессы охватили в основном профессиональное образование, но постепенно система оценивания качества процесса и результатов образования, реализуемая не в режиме тотального контроля со стороны органов управления образованием, а как регулярная самооценка с осознанием необходимости и важности такой работы, разворачивается в среднем образовании.

Международные организации ЮНЕСКО и Совет Европы разработали теоретические подходы, модели и механизмы обеспечения качества образования, которые приняты всеми странами, являющимися членами этих организаций. Наибольшее распространение получила четырехступенчатая модель обеспечения качества, которая включает:

     • наличие национального органа по обеспечению качества (организации по сертификации систем качества);

     • внутреннюю самооценку (самоаттестацию) и внутренний аудит;

     • оценку внешних экспертов и посещение учебных заведений (внешний аудит);

     • систематическую публикацию отчетов о качестве.

Механизмом реализации такой модели служит вузовская СМК.

Основная цель ее создания – обеспечение условий, необходимых для перевода механизма управления научно-образовательной системой вуза в состояние, адекватное по своим результатам современным требованиям к качеству подготовки специалистов, обеспечивающее стабильное повышение качества образования и способствующее формированию у потребителей доверия к профессиональным качествам выпускников в сочетании с устойчивым повышением их конкурентоспособности на рынке труда.

Реализация основной цели направлена на следующее:

     • содействие эффективному проведению единой государственной политики в области образования и подготовки кадров;

     • защиту прав обучающихся на получение образования, соответствующего по своим характеристикам требованиям государственных образовательных стандартов;

     • защиту общества от появления некомпетентных обладателей дипломов и прочих документов об образовании;

     • непрерывное повышение качества образования;

     • обеспечение преемственности требований к качеству в профессиональном образовании и на рынке труда;

     • предоставление студентам, профессорско-преподавательскому составу и администрации вуза объективной информации о фактическом уровне учебных достижений и других показателях качества процесса и результатов образования;

     • совершенствование системы аттестации выпускников вуза.

В России и ряде других стран нормативной основой для построения СМК в образовании служит международное семейство стандартов ISO, предназначенное в основном для производственных процессов, плохо согласующееся со спецификой образования и ориентированное на процессную парадигму, рассматривающую деятельность организации через цепочку взаимосвязанных и интегрированных процессов. Согласно методологии процессного подхода, в системе управления качеством необходимо регулярно отслеживать состав и функционирование процессов, подлежащих документированию на основе измерений, оценивать результаты измерений в соответствии с постоянно изменяющимися требованиями потребителей, направлениями деятельности и корпоративной стратегией. Оценка адекватности реальных процессов документированным эталоном, проводящаяся с учетом результативности, степени риска и компетентности персонала, позволяет получить представления о реализуемом качестве образования.

С течением времени семейство стандартов ISO подвергалось многочисленным изменениям и переделкам. В основе такого обновления лежало сближение требований стандартов ISO с концепцией всеобщего управления на основе качества (ТQМ), в частности с ее восемью основополагающими принципами. Такое сближение происходило нелегким путем в силу различных целевых парадигм. В соответствии с основополагающими требованиями ISO, все процессы должны обладать высокой результативностью, в то время как TQM ориентирует на обеспечение эффективности процессов, анализируя то, какой ценой достигается результативность. В итоге появились стандарты ISO серии 9000 и 9001 версии 2000 г., которые, как отмечают специалисты, стали более демократичными и более пригодными для построения СМК в образовательных учреждениях. Сочетание этих двух подходов при построении СМК вуза, которое довольно трудно обеспечить, позволяет добиться оптимизации процессов, протекающих в образовании.

Безусловно, ключевым в деятельности вуза является учебный процесс. Поэтому при создании внутривузовской СМК, особенно на первом этапе, необходима преимущественная ориентация на совершенствование системы управления учебным процессом. В целом СМК носит многокомпонентный характер. Помимо всех структур вуза, являющихся объектами управления, в нее входят структурно-функциональная модель управления качеством образования, требования ФГОС по реализуемым в вузе направлениям подготовки, вузовская система контроля качества образования, информационные потоки нисходящего и восходящего характера, технологии контроля и мониторинга, инструментарий для измерений качества процессов и результатов образования, совокупность требований к качеству подготовки специалистов, профессиограммы, составленные с учетом требований работодателей, критерии качества и т.д.

При создании СМК в соответствии с требованиями ISO серии 9000:2000 для выделения всех необходимых элементов необходимо поэтапно описать весь учебный процесс на макроуровне, т.е. от этапа изучения возможности внедрения образовательной программы до выпуска специалистов. Затем детализировать каждый из процессов этой цепочки на среднем и первичном уровнях, описав его в виде блок-схемы или схемы информационных потоков с учетом системы управления процессом. Общие информационные потоки в системе управления качеством подготовки специалистов показаны на примере университета, имеющего в своей структуре ряд институтов (рис. 1.9).

Рис 1.9. Структура документации СМК образования

Перечень процессов (подпроцессов) каждого этапа жизненного цикла определяется путем систематизации функций, установленных положениями о каждом структурном подразделении вуза. Затем выделенный перечень процессов дополняется операциями, необходимыми с точки зрения системного подхода к осуществлению деятельности. Процессы детализируются с помощью специальных карт, в которых представляются входы и выходы каждого процесса, его участники, документальное и ресурсное обеспечение.

В целом в работе по созданию СМК в вузе можно выделить два этапа: построение системы и ее сертификацию, связанную с подтверждением возможности применения СМК. Для внедрения СМК образования в практику деятельности вуза необходимо соблюдать определенную последовательность действий:

     • осознать цели сертификации СМК образования и определить преимущества этого процесса для повышения престижа вуза и конкурентоспособности выпускников вуза на рынке труда;

     • ознакомить руководство вуза с целями СМК образования и обеспечить его участие в этом процессе;

     • разработать или усовершенствовать внутривузовскую систему оценки качества образования, включающую систему внутреннего аудита, мониторинга качества образования, инструментарий для измерений, программно-инструментальные средства обработки данных мониторинга, технологии и методики;

     • подготовить кадры по системам управления качеством, педагогическим измерениям, ведениям баз данных мониторинга, внутреннему аудиту, ведению документации по системе менеджмента качества образования;

     • разработать необходимую документацию согласно требованиям ИСО серии 9000 и критериям динамической модели EQUIS;

     • провести предварительную оценку текущего состояния процессов в вузе путем оценивания соответствия между реально протекающими и документированными процессами;

     • провести анализ результатов оценивания соответствия, выбрать необходимые направления совершенствования процессов, разработать процедуры;

     • создать действующую систему внутреннего аудита, анализировать данные аудита на протяжении нескольких лет, оценить динамику изменений в качестве образования;

     • выбрать орган по сертификации и провести внешний сертификационный аудит;

     • обеспечить механизм по обновлению и совершенствованию СМК образования в вузе.

В процессе создания СМК за основу можно взять два вида документального представления: документы по качеству и по подтверждению качества (и подтверждению улучшения качества).

К первой группе относятся:

     • документы по планированию качества (стратегическому и оперативному);

     • документы по управлению качеством (политика и цели в области качества, руководство по качеству, документированные процедуры управления), в которых сформулированы цели и задачи в области качества, описана система управления качеством и выполняемые в структуре университета процессы с учетом требований ISO 9001:2000 (ГОСТ ISO 9001-2001);

     • документы по обеспечению и улучшению качества, регламентирующие требования к результатам и процессу обучения с его составляющими, контролю и оцениванию качества процессов и результатов обучения (внутренние и внешние нормативные документы).

Ко второй группе относятся документы по подтверждению качества процессов и результатов обучения, сопровождаемые подтверждением позитивной динамики происходящих в них изменений. Основное требование к документам второй группы связано с возможностью накопления информации о качестве в специальных базах данных, обеспечивающих оперативное предоставление информации для ее статистической обработки и анализа.

Структуру документации СМК образования можно представить в виде треугольника (см. рис. 1.9), в которой документы по качеству формируют «фундамент» (документы по планированию, обеспечению и улучшению качества), а «надстройку» представляют документы по управлению качеством. Документы по подтверждению качества и улучшения качества образуют боковые грани.

Такое структурирование позволяет четко наладить управление документацией, поскольку документы разного уровня управляются по-разному. В документированных процедурах управления на уровне всего вуза и его подразделений необходимо описать установленный порядок выполнения процессов с учетом требований ISO 9001:2000 (ГОСТ ISO 9001:2001) и установить четкие информационные потоки при взаимодействии участников процессов (рис. 1.10). При документировании учебная деятельность рассматривается как процесс со своим входом и выходом. Границы процесса устанавливаются на основе определения информации, служащей сигналом к его началу и к окончанию. Только в этом случае можно точно описать переходы от одного процесса к другому, установить взаимосвязь и взаимодействие процессов, правильно и четко организовать информационные потоки. Каждый процесс разделяется на подпроцессы, состоящие из микропроцессов (отдельных операций, действий, шагов), имеющих свои вход и выход, и нуждающиеся в документальном подтверждении.

Рис. 1.10. Информационные потоки в системе управления качеством подготовки специалистов в университете, включающем ряд институтов

Общие требования, предъявляемые к изложению и оформлению документации СМК образования:

     • системность – документация должна быть структурированной с указанием четких взаимосвязей между документами (обязательность ссылок на сопутствующие документы);

     • функциональная полнота – документация должна отражать все аспекты деятельности в СМК и содержать исчерпывающую информацию обо всех процессах и процедурах;

     • адекватность – соответствие требованиям ISO серии 9000: 2000;

     • идентифицируемость – каждый лист документации должен быть однозначно отнесен к определенному документу, а документ – к определенной части системы;

     • адресность – каждый документ должен быть адресован конкретным исполнителям;

     • простота – текст документа должен быть краток и точен, однозначен и понятен для исполнителя.

Перечень основной документации, нуждающейся в первоочередной разработке при создании СМК, приведен в табл. 1.1.

Таблица 1.1 Основные документы СМК

Процессный подход хорошо согласуется с организацией работы вуза, различные виды деятельности в котором (учебная, научно-исследовательская, издательская, производственно-коммерческая, финансовая и др.) должны представлять собой взаимосвязанные процессы. Однако когда дело доходит до построения СМК, то связать воедино все эти хотя и взаимодействующие, но разнородные процессы, считая выход одного процесса входом другого, оказывается достаточно сложно и не вполне корректно.

Подобного рода трудности встречаются не только в образовательных учреждениях, поэтому даже у профессионалов в области качества нет единого мнения относительно оптимальности процессного подхода при управлении качеством.

В настоящее время во многих зарубежных странах широкое распространение приобрела динамическая модель совершенствования качества образования, построенная в рамках Европейской системы совершенствования качества (EQUIS – European Quality Improvement System) и ориентированная на подготовку студентов в сфере управления [10]. В этой модели качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные совершенствованием образовательной системы и отражающие новые требования общества. Для реализации динамической модели необходимо накапливать данные о познавательной творческой активности и других учебных достижениях студентов на протяжении всего периода обучения и анализировать их прирост с помощью дескриптивной статистики. Таким образом, в динамическом подходе оценка качества учебных достижений строится на выявлении тех изменений в подготовке обучаемых, которые идентифицируются как улучшение знаний и умений или формирование компетенций (рис. 1.11).

Рис. 1.11. Динамическая модель анализа качества образования

Основные направления анализа, определяющие оценивание динамики изменения качества высшего образования, следующие:

     • уровень инновационности процесса образования и его связи с наукой;

     • степень соответствия содержания образования требованиям профессионального сообщества и интересам личности обучающегося;

     • уровень реализации вузом задач высшего образования.

Динамическая модель включает в себя основные качественные критерии, применяемые различными европейскими ассоциациями для национальной аккредитации учебных заведений. В модели используются одиннадцать областей для анализа изменений показателей качества образования. В Европе она развивается национальными ассоциациями в рамках программ совершенствования качества образования в бизнес-школах. Эти программы используют как инструмент самооценки учебных заведений, и они служат основанием для проведения внешнего аудита, ведущего к аккредитации в рамках EQUIS.

Вне зависимости от выбранного подхода к созданию СМК для функционирования в вузе необходимо решение целого ряда задач, среди которых приоритетными являются следующие:

     • постоянное изучение требований работодателей и рынка труда для повышения конкурентоспособности выпускников, разработка профессиограмм для выпускников вуза по реализуемым направлениям подготовки;

     • систематический анализ тенденций развития в областях знаний, соответствующих компетенции вуза;

     • постоянное изучение конъюнктуры мирового рынка в области образования и науки;

     • систематическая актуализация миссии, целей и политики вуза в соответствии с конъюнктурой отечественного и мирового рынков;

     • тесное взаимодействие с системой среднего образования (школами, гимназиями, лицеями, колледжами);

     • использование образовательных программ, гармонизированных с мировыми нормами и требованиями.

Первые шаги по построению СМК в вузе должны быть направлены на утверждение списков уполномоченных по качеству в подразделениях вуза и Положения о ключевых должностях в области качества. На основании такого положения руководители подразделений могут организовать работу по созданию своих положений о подразделениях и должностных инструкциях сотрудников в соответствии с методической инструкцией системы качества, общими требованиями к построению СМК, положениями о структурном подразделении и т.д.

Важной частью подготовительной работы по созданию СМК является обучение уполномоченных по качеству (менеджеров по качеству) и профессорско-преподавательский состав (ППС) вуза специальной дисциплине, которая обычно называется «Системы менеджмента качества в вузах. Разработка и совершенствование». В рабочую программу такой дисциплины необходимо включить общие представления о СМК образования и процессах, протекающих в деятельности вуза. Она также должна содержать методики документирования процессов, измерения их результативности и эффективности. Необходимы сведения по системе мониторинга качества образования, подходах к оцениванию удовлетворенности качеством результатов образования потребителей образовательных услуг и работодателей. В тематику обучения следует включить вопросы разработки инструментария для оценивания качества результатов образования и подготовки подразделений к сертификации систем качества.

Для функционирования СМК необходимы системы внутреннего и внешнего аудита. Внутренний аудит – это регламентированная внутренними документами организации деятельность по контролю звеньев управления и различных аспектов функционирования организации, осуществляемая представителями специального контрольного органа (аудиторами) в рамках помощи органам управления организации. Главная задача внутренних аудиторов в вузе – обеспечение потребностей администрации учебного заведения в информации по различным аспектам функционирования СМК и совершенствования качества образования. Помимо аудита, для создания и развития СМК в высших учебных заведениях целесообразно создавать системы мониторинга качества образования [8, 12].

Система мониторинга качества образования в вузе должна охватывать все аспекты характеристик качества процесса и результатов образования. Она предназначена не только для накопления данных о качестве образования, но и для проведения различных видов анализа оценок по показателям качества, обеспечивая внутренние потребности учебного заведения и поддерживая оперативный обмен информацией с внешней средой (с работодателями, органами управления образованием, общественностью, родителями студентов и т.д.).

Вузовская система мониторинга качества образования предполагает формирование единых требований к системе доступа, ввода, хранения и представления результатов контроля подготовленности студентов, создание общевузовского банка оценочных средств и специализированной системы управления банком, обеспечение возможности интерактивного обмена информацией с пользователями (администрацией университета, преподавателями и студентами) в рамках полномочий, определяемых персональными уровнями доступа. Интегрированная в единое информационное пространство вуза, система мониторинга качества образования позволит всем участникам образовательного процесса повысить эффективность своей деятельности и обеспечит непрерывность процессов совершенствования качества образования.

Основные функциональные задачи, решаемые с помощью системы мониторинга качества образования, следующие:

     • развитие системы менеджмента качества вузовского образования;

     • информационное обеспечение контроля и аттестации студентов;

     • информационное обеспечение системы принятия управленческих решений на различных уровнях;

     • сбор и хранение педагогических тестовых материалов для подготовки и проведения текущего, рубежного контроля и аттестации;

     • выдача информации пользователям;

     • построение шкал результатов оценивания;

     • авторизация доступа к информации пользователей на базе многоуровневой системы информационной безопасности;

     • анализ тенденций и прогнозирование динамики изменения качества вузовского образования;

     • обеспечение данных о запросах работодателей, формирование базы данных отзывов о выпускниках;

     • обработка и представление обобщенных результатов пользователям, в соответствии с их сценарием доступа.

Для обеспечения доступа пользователей к данным мониторинга в вузе необходимо создать распределенную информационную систему на основе технологии клиент-сервер, которая будет функционировать в рамках локальной информационной сети учебного заведения. В этой системе каждому пользователю отводится свой сценарий доступа, который определяет круг объектов и характеристик, доступ для чтения и модификации информации в соответствии со следующей классификацией:

     • пользователи, имеющие минимум прав доступа для просмотра открытых информационно-справочных ресурсов, таких как публичные годовые отчеты и справочные материалы по работе с информационной системой;

     • студенты (слушатели), имеющие возможность просмотра собственных результатов, в том числе и за предыдущие годы обучения, а также совокупных (средних) результатов по своей группе, курсу, институту и университету; получения примерных вариантов тестов по изучаемым дисциплинам для самоподготовки;

     • преподаватели, имеющие возможность контроля учебных достижений студентов в своих группах, доступа к банку тестовых заданий, ввода результатов контроля;

     • работники учебно-методических отделов (деканатов) институтов (факультетов), имеющие возможность контроля результатов оценивания учебных достижений студентов;

     • работники учебно-методического управления, контролирующие деятельность вузовских подразделений и преподавателей, а также имеющие доступ для ввода и коррекции информации об организационной структуре подразделений;

     • системные администраторы, осуществляющие контроль и анализ размещаемых фактических данных, назначение полномочий (сценариев доступа) пользователям, выполнение регламента представления информации, преобразования данных для последующего использования вне системы мониторинга качества университетского образования;

     • группы специалистов, имеющие права разработки и доступа к информационным базам системы мониторинга для анализа и передачи результатов обработки данных с последующим использованием в решении задач управления вузом;

     • другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и разделами банка тестовых заданий с целью их профессионального использования или размещения фактической информации, определяемой индивидуальным сценарием доступа и профессиональными обязанностями.

Пример модели мониторинга качества вузовского образования в условиях, когда в структуру университета входят различные институты, приводится на рис. 1.12.

Рис. 1.12. Пример общей структуры взаимодействия системы мониторинга института с внешними объектами (исходящая стрелка – просмотр информации, двусторонняя – просмотр, ввод и редактирование информации)

Обеспечение информационно-аналитической поддержки управления качеством образования в системе мониторинга реализуется введением модуля статистической обработки совокупной информации и предоставления результатов анализа в соответствии с запросами пользователей. Этот модуль позволяет анализировать фактическую информацию для последующего размещения в информационной среде и подготовки с целью дальнейшего использования в решении задач управления вузом, электронных таблицах, таблицах баз данных и информационных материалах отчетного характера. Собираемые фактические данные, представляющие собой результаты тестирований, оценок успеваемости, учебные планы и прочие материалы, допускают визуализацию для просмотра отдельными категориями пользователей, а также могут передаваться для последующей обработки вне информационной системы мониторинга.

Обновление хранимой информации в системе мониторинга обеспечивается путем доступа с клиентских рабочих мест к информационной базе системы для модификации документов и записей в соответствии с индивидуальным сценарием доступа каждого пользователя. При этом система обеспечивает целостность информационной базы благодаря интегрированным внутренним алгоритмам и обязательной регистрации вносимых изменений для предоставления возможности отмены некорректных действий. Контроль целостности информационной базы обеспечивают специальные индикаторы (контролирующие подпрограммы), которыми управляют системные администраторы. Направления обмена данными и информацией между различными объектами показаны в табл. 1.2.

Таблица 1.2 Объекты и направления обмена данными и информацией

Несмотря на явные достоинства СМК образования, далеко не все руководители вузов и преподаватели поддерживают идею создания такой системы и использования ее результатов. Возможные причины подобного неприятия могут носить субъективный характер и быть связанными с особенностями личностного восприятия информации, которая иногда кажется противникам мониторинга избыточной и излишне формализованной либо противоречащей собственным благоприятным оценкам результатов учебного процесса.

Помимо субъективных есть ряд объективных причин, способствующих негативной оценке мониторинга отдельными участниками образовательного процесса. Встречаются случаи неправильной или упрощенной интерпретации данных мониторинга и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности. Эти случаи способствуют формированию недоверия к возможностям мониторинга и скептицизма, особенно у тех руководителей и преподавателей, чья деятельность незаслуженно получает негативные оценки. Наблюдаемые, по данным мониторинга, отставания в итоговых результатах студентов могут быть следствием неучтенной слабой материально-технической оснащенности учебного процесса, низкой квалификации преподавательского состава, высокого уровня безработицы среди родителей студентов, ошибок при формировании выборочной совокупности студентов для проведения мониторинговых обследований и др. Вместе с тем возможны искусственно завышенные результаты, получаемые путем намеренного исключения из обследования слабых студентов, сговором экспертов и т.д.

Все эти причины в совокупности значимо снижают достоверность информации мониторинга и приводят к тому, что многие исследователи просто предлагают отказаться от проведения любых сравнений качества образования. К тому же они полагают, что мониторинг может отвлекать педагогов от учебного процесса и отнимать время на усвоение нового материала у студентов. К противникам мониторинга относятся сотни преподавателей и управленцев во всех странах, которые чувствуют, что проведение мониторинга нередко выдвигает нереалистичные требования к их времени и возможностям, а в конечном счете, уменьшает их власть и использует ими же собранную информацию против них.

Помимо временных потерь, проведение мониторинга требует больших денежных затрат. В финансировании нуждается работа по формированию выборочных совокупностей студентов, созданию инструментария (тестов, анкет, опросных листов, программного обеспечения и т.д.), сбору данных, кодированию и анализу данных, их обработке, интерпретации и подготовке информационных бюллетеней. Мировой опыт проведения мониторинга говорит о том, что затраты могут перевесить выгоды, если не приложить усилия по соблюдению всех методических требований к проведению мониторинга, не обеспечить достоверность информации и не создать условия для ее использования в управлении качеством образования.

Специалисты по мониторингу выделяют ряд условий его эффективности:

     • системный подход, обеспечивающий слаженную работу механизма по сбору, обработке, анализу и интерпретации информации;

     • сочетание количественных и качественных методов измерений в мониторинге;

     • преимущественная ориентация системы показателей, по которым проводится мониторинг, на практику и методы обучения, поддающиеся воздействиям со стороны преподавателей и руководства вуза;

     • достаточная полнота совокупности показателей, учет различных факторов, в том числе и косвенно влияющих на результаты обучения;

     • корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями;

     • репрезентативность выборочных совокупностей студентов, принимающих участие в мониторинге;

     • широкое привлечение к проведению мониторинга квалифицированных специалистов и преподавателей вуза;

     • использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга;

     • наличие необходимой материально-технической базы (статистических пакетов для обработки данных, техники и т.д.);

     • методическая и финансовая помощь со стороны администрации вуза.

Таким образом, даже если отвлечься от негативных последствий мониторинга и принять идею его проведения, придется решать много сложных проблем. Необходимо беспокоиться о проектировании системы мониторинга и выборе его модели, компетентности организаторов и участников, финансовых затратах, определении показателей, по которым будут собраны данные, методиках анализа данных, определении круга пользователей и структурирования данных по различным уровням доступа, выборе вида представления данных, методах их интерпретации и т.д. Нужно также договориться о направлениях использования данных мониторинга, поскольку его результаты можно применять как для поощрений, так и для санкций против отдельных преподавателей или кафедр в вузе. Для успешной работы по проведению мониторинга все эти соображения следует принять во внимание.

В целом можно утверждать следующее.

     • Системы мониторинга могут вносить значительный позитивный вклад в работу как преподавателей, так и управленцев. Мониторинг выполняет множество функций, релевантных повышению качества обучения и уменьшению несправедливости, вызванной субъективизмом преподавателей и управленцев в образовании.

     • Системы мониторинга могут стимулировать развитие многочисленных позитивных тенденций, они позволяют оценить эффективность различных инноваций в образовании.

     • Данные мониторинга не заменяют прочую информацию, необходимую для принятия управленческих решений в образовании. Их следует использовать совместно с другими данными о системе образования, собранными в результате бесед со штатом преподавателей и студентов.

     • При проведении мониторинга следует учитывать не только его позитивные возможности, но и вероятные негативные последствия. Преодолеть негативные результаты внедрения систем мониторинга в образование можно в том случае, если управленцы и педагоги заранее осведомлены о сложностях мониторинга и ограничениях на использование его данных, а сам мониторинг проводится в соответствии с научно-обоснованными методиками и технологиями в условиях четкой определенности перечня сообщаемых результатов на каждом уровне доступа к ним.

 

1.7. Эвалюация в образовании

Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов [6]. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [10].

За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте рационально-критического осмысления социально-педагогической значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самоорганизации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации предоставляли учителям возможность осуществлять рефлексию профессионального поведения, школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.

Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.

В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким образом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих широкого применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий по совокупности научно-обоснованные решения для управления его качеством.

Хотя методологические основы эвалюации в наше время строятся на сочетании количественных и качественных методов, тем не менее центральное место в научном аппарате отводится теории педагогических измерений, поскольку качественные данные также подлежат анализу для выявления их надежности и валидности, а инструментарий разрабатывается с применением математико-статистических методов.

Так как эвалюация сформировалась на стыке педагогики, психологии, экономики, менеджмента и других наук, то ее теория носит явный междисциплинарный характер. Применение количественных методов в эвалюации требует использования математики, статистики, дисперсионного, факторного анализа и метаанализа и т.д. Теория управления качеством образования привносит синергетический и процессный подходы к анализу эмпирических данных в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Теория генерализации, используемая в эвалюации для анализа точности данных на различных уровнях применения, непосредственно смыкается с теорией решений, относящейся к сфере менеджмента. Интерпретация данных эвалюации и постановка проблем предполагает обращение к аппарату педагогики и психологии. Оценивание эффективности деятельности образовательных учреждений обычно включает анализ соотношения финансовых затрат на образование и их отдачи, поэтому при рассмотрении вложений и реализации средств используются различные стоимостные модели и количественные методы анализа социально-экономических объектов. Связь эвалюации с менеджментом качества образования неизбежно влечет за собой применение стандартов качества ИСО 9000 и EQUIS.

Эти тенденции и направления деятельности нашли свое отражение во многих странах с высокоразвитыми системами образования. В США, Канаде созданы ассоциации оценщиков: American Evaluation Association (AEA) и Canadian Evaluation Society (CES), объединяющие педагогов, управленцев и других работников социальной сферы из разных стран мира. Проводятся ежегодные конференции по эвалюации, издается научная литература, энциклопедии и журналы по проблемам эвалюации в образовании, политике, медицине и т.д. Эвалюация является необходимым слагаемым современных образовательных систем, без которого нельзя решить многие современные проблемы образования. Она обеспечивает информацию о соответствии результатов обучения образовательным целям, позволяет прогнозировать различные, в том числе негативные, последствия модернизации программ обучения или образовательных инновационных проектов, которые могут оказывать различное влияние на качество образования.

Теоретики выделяют два уровня проведения эвалюации, охватывающие реализацию программ образовательных исследований, или модернизации образования и отдельные проекты. Под программой понимается единый скоординированный научный подход к исследованию области образования, включающий различные частные проекты, связанный с миссией учебного заведения и базирующийся на общей методологии выполнения исследовательских работ. Проекты нацелены на специфические исследования в образовании, входящие в программу и обеспечивающие в совокупности реализацию программных целей. Поэтому за рубежом в управлении качеством образования нередко используются термины «программная эвалюация» и «проектная эвалюация».

Применительно к уровню отдельного образовательного учреждения обычно говорят о формирующей (formative) и итоговой (summative) эвалюации. Цель первой состоит в оценке и анализе входных и текущих данных процесса обучения, включая информацию о соответствии хода образовательных проектов плановым характеристикам для информационно-аналитической поддержки оперативных административных решений. Данные формирующей эвалюации бывают направлены, главным образом, на повышение эффективности работы преподавателей с наиболее слабыми, неуспевающими студентами или учениками, нуждающимися в индивидуальных программах обучения. Наряду с тестами, в формирующей эвалюации широко используется инструментарий для сбора качественных данных. Итоговая эвалюация нацелена на оценку качества достигнутых результатов образования в рамках полностью осуществленных проектов и предназначается для принятия стратегических управленческих решений в образовании. Поэтому при проведении итоговой эвалюации ужесточаются требования к надежности, валидности и сопоставимости информации о качестве образования, что достигается обеспечением репрезентативности выборки обучаемых, высокого качества измерителей, используемых при сборе данных, приоритет среди которых отдается стандартизованным тестам.

Процессы итоговой и формирующей эвалюации проходят определенные этапы. К ним обычно относят шесть стадий:

1) построение концептуальной модели исследования в рамках программы или проекта;

2) идентификацию ключевых пунктов процесса эвалюации;

3) определение измеримых результатов эвалюации;

4) разработку модели проведения эвалюации;

5) сбор данных путем проведения измерений, анализ данных измерения;

6) интерпретация данных анализа для получения оперативной и прогностической информации об изменениях в качестве образования.

При отсутствии одной из стадий, каждая из которых является очень важной для получения надежной и валидной информации о качестве образования и путях его повышения, эвалюация не будет вносить существенный вклад в принятие обоснованных управленческих решений в образовании.

В основе эвалюации должна лежать концептуальная логическая модель, которая охватывает все этапы и устанавливает связи между ними, включая описание процессов взаимодействия компонентов эвалюации и планируемые формы представления данных в области краткосрочных и долгосрочных результатов. Типичная модель строится в рамках процессного подхода к управлению этапами эвалюации и имеет структуру, представленную на рис. 1.13.

Рис. 1.13. Общий вид модели эвалюации

В развернутом виде модель включает проект выполнения работ, являющийся частью общей программы исследований в образовании и содержащий постановку приоритетных задач управления качеством образования, характеристики входных данных эвалюации, описание различных источников финансирования, информационных и ресурсных потоков, обеспечивающих поддержку проекта. Помимо этого, в нее входит описание методологических основ измерения, инструментария, данных мониторинга, технологий сбора данных о качестве образования и требования к процессам сбора данных вместе с характеристиками подходов к обработке, анализу и интерпретации данных о качестве образования. Завершающая часть модели предназначается для описания выходных данных, подразделяющихся в соответствии с оперативными и стратегическими задачами управления качеством образования. В целом логическая модель идентифицирует все составляющие и показывает связи между процессами, протекающими при эвалюации.

Область результатов эвалюации оперативного характера должна охватывать рекомендации по совершенствованию образовательных программ, оптимизации методик преподавания, развитию системы повышения квалификации преподавательского состава учебных заведений и т.д. Стратегические результаты эвалюации включают рекомендации по тем изменениям в образовании, которые носят долгосрочный характер и рассчитаны на ближайшие годы. К ним могут относиться проекты по инновациям, модернизации учебных планов и программ, влекущие за собой изменения в статусе или структуре учебных заведений и т.д. В соответствии с современными взглядами многие команды управленцев в образовании предпочитают преимущественную ориентацию на долгосрочные результаты, связанные с задачами стратегического управления. Особенностью такого подхода является движение сверху вниз, когда конкретные количественные, реже качественные, но однозначно интерпретируемые показатели стратегического характера выступают в роли целевых критериев реализации данных эвалюации при принятии оперативных управленческих решений.

Возможность эффективного осуществления процесса эвалюации тесно связана с проблемой измеримости показателей качества образования, поскольку при оценивании изменений качества процесса и результатов образования необходимо обращение к теории педагогических измерений для обеспечения высокой надежности и валидности результатов оценки. Кроме слабой операционализируемости показателей качества, на достоверность данных эвалюации может негативно влиять отсутствие должной мотивации участников этого процесса, недостаточная репрезентативность выборки учащихся, недоработки по обеспечению логической корректности заданий, слабая устойчивость оценочных шкал, препятствующая сопоставлению результатов оценочных процессов, отсутствие условий для независимой работы экспертов при проверке результатов выполнения тестов с развернутыми ответами или других оценочных средств и т.д.

Можно считать, что становление и развитие эвалюации в образовании в наши дни – неизбежное следствие современных глобальных перемен XXI в., когда функции, методы процедуры и технологии менеджмента широко внедряются в различные направления профессиональной деятельности, в том числе и в образование. Современная парадигма теории управления, включающая системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, во всем мире постепенно входит в образование, позволяя управлять нововведениями, качеством образования, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые информационные технологии в образование.

 

Выводы

Таким образом, сегодня качество становится основным фактором, определяющим приоритеты прогресса в высокоразвитых странах мира во всех сферах жизнедеятельности, в том числе и в образовании, являющемся источником развития производительных сил общества и формирования человеческого капитала государства. Актуальность проблем повышения качества образования носит вечный характер, поскольку именно ему отводится ведущая роль в обеспечении воспроизводства необходимой квалификации населения, уровень образованности которого – залог успешного развития общества и экономики, повышения национальной безопасности и общего потенциала каждой страны.

Несмотря на непреходящий характер, проблема качества образования приобретает особую актуальность в наши дни в силу ряда причин, к которым можно отнести рост зависимости темпов развития общества от уровня образованности населения, нарастающую информатизацию всех уровней жизнедеятельности, развивающуюся глобализацию в сочетании с интернационализацией образования, переход от интенсивных методов развития образования к экстенсивным, повышение доступности образования на основе новых информационных технологий, модернизацию образования. Процесс модернизации образования, проходящий в условиях изменения содержания его гуманитарной составляющей, смещения акцентов в естественнонаучной базе, формирования новых взглядов на процесс обучения и его результаты, выдвигает новые требования к подготовке выпускников учебных заведений, благодаря которым проблема повышения качества образования приобретает политический и социальный характер.

Подводя итоги и сравнивая опыт России с опытом других стран, можно сказать, что на смену преимущественной констатации состояния качества образования по результатам оценочных процессов приходят инновационные методы долгосрочного прогноза и анализа тенденций в изменении качества образования. В связи с этим приоритет получают оценки изменений по совокупности показателей качества образования, накопление этих оценок в системах мониторинга, методы статистического анализа данных мониторинга с учетом многочисленных внутренних и внешних факторов влияния на результаты образования. Результаты оценочных процессов широко интерпретируются, что позволяет учебным заведениям, управленцам, администрации учебных заведений и преподавателям выбирать перспективные направления коррекции процесса обучения для повышения качества образования.

Во многих вузах ведутся целенаправленные систематические работы по созданию систем менеджмента качества. В нормировании требований к качеству образования главенствующее значение приобретает компетентностный подход, предполагающий четкую ориентацию совокупности компетенций на задачи будущей профессиональной деятельности выпускников учебных заведений и привлечение представителей профессиональных сообществ к оцениванию качества результатов образования, что способствует ориентации процесса управления качеством образования на реальные запросы современного общества.

Процесс управления качеством образования предполагает целенаправленную деятельность по реализации целей и координации действий всех составляющих образовательной системы, его субъектов для достижения планируемых результатов обучения. Информационное обеспечение процесса управления достигается на основе развития современных контрольно-оценочных систем, обеспечивающих надежную, валидную и сопоставимую информацию о качестве образования и опирающихся на аппарат теории педагогических измерений. Результаты измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования.

Для эффективного управления качеством образования необходимо сформировать системный подход, который должен опираться на разработки в области эвалюации. Результаты эвалюации оперативного и стратегического характера позволят получить обоснованные рекомендации по тем системным изменениям в образовании, которые будут опираться на различные проекты по инновациям в образовании и предназначаться для различных уровней, начиная от задач макроуровня до управления качеством в отдельном учебном заведении или в каждой учебной группе. Реализация комплексного подхода к использованию результатов эвалюации в управлении качеством образования должна включать динамический, сравнительный, дифференцирующий и прогностический анализ данных измерений и регламентироваться рядом научных требований к характеристикам информационной базы, учету смещающих факторов, процедурам сбора, обработки, анализа и интерпретации данных измерения. К этим требованиям следует отнести применение в осмыслении результатов измерения базисной методологии управления качеством, высокую надежность и валидность результатов измерения, широкое использование динамического подхода при оценивании качества обучения, учет всех факторов, влияющих на качество результатов обучения и обеспечение сопоставимости оценок качества образования.

 

Практические задания и вопросы для обсуждения

1. Назовите политические и социальные тенденции, которые приводят к резкому возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами.

2. В чем причины появления компетентностного подхода в профессиональном образовании?

3. Какие трудности по внедрению инноваций, компетентностного подхода и проведению болонских реформ вы видите в своем вузе и в целом в системе высшего профессионального образования?

4. Каковы компоненты качества процесса образования?

5. В чем вы видите преимущества динамического подхода к определению качества образования, каковы его недостатки?

6. Каковы требования к качеству государственных образовательных стандартов третьего поколения?

7. В чем различия между традиционным оцениваем и педагогическим измерением? Назовите основные компоненты педагогического измерения.

8. Назовите основные задачи системы менеджмента качества в вузе.

9. Предложите совокупность показателей качества результатов обучения для студентов своей группы. Проведите анализ факторов, влияющих на результаты обучения и выделите наиболее значимые.

10. Согласны ли вы с тем, что в настоящее время в подготовке студентов важен не объем усвоенных знаний или алгоритмы их воспроизведения по образцам, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в нестандартных ситуациях, близких к будущей профессиональной деятельности? Предложите способы и технологии реализации этого подхода к трактовке качества результатов обучения в учебном процессе.

11. Проведите сравнительный анализ трактовок терминов «компетентность» и «компетенции», выделите те, которые наиболее адекватны современным запросам работодателей к качеству подготовки выпускников системы профессионального образования.

12. Проанализируйте обобщенные группы показателей качества результатов образования. Предложите совокупность показателей для вузовской системы мониторинга качества образования.

 

2.1. Понятийный аппарат теории педагогических измерений

По наиболее распространенному определению, введенному американским психологом С. Стивенсом в 1946 г., измерение – это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правила ми [4]. Предложенное Стивенсом определение появилось в результате формального обобщения опыта количественных измерений, широко распространенных в физике и других естественных науках, но его на протяжении многих лет брали за основу и при трактовке представлений об измерениях в образовании.

По мере развития педагогики, психологии, социологии и других эмпирических наук возникла потребность во введении не только количественных, но и качественных оценок, поскольку, помимо величин, встречающихся в естественных науках, существуют другие показатели, отличающиеся по степени проявления того или иного свойства и поддающиеся измерению. Пожалуй, наиболее важную роль здесь сыграли социологические обследования и психологические тесты, по результатам которых выявлялись межкультурные различия либо социальные общности, строящиеся на основе факторного анализа результатов выполнения тестов. По данным факторизации проводилось многомерное шкалирование, результаты которого позволяли объединять сходные группы индивидов. Им приписывались некоторые символы или просто числа, в последнем случае создавалась видимость получения количественных оценок. На деле эти оценки имели качественный характер в силу того, что они получались путем привлечения экспертов.

Связь между количественными и качественными оценками устанавливается на основе традиционно сложившегося разделения их на две группы: классифицирующие или сравнительные оценки относят к категории качественных, метрические – считаются количественными. Качественные оценки всегда бывают менее точными по сравнению с количественными в силу способов и инструментов, применяемых для их получения. Например, на устном экзамене классифицирующие понятия (знающий, аттестованный, подготовленный или «отлично», «хорошо», «удовлетворительно» и др.) определяются субъективно с помощью суждений экзаменатора и содержат в себе, как правило, значительный ошибочный компонент. Поскольку эти суждения принимаются за оцениваемые характеристики объектов, то их надо уметь распознавать, отождествлять, сравнивать, абстрагировать и обобщать. Для удобства оценочные суждения выражают в виде некоторых баллов по традиционной пятибалльной шкале или по любой другой, которая выбирается на основе экспертных соглашений. Приписываемые числа могут быть не вполне определенны в тех случаях, когда для построения качественных шкал не используются измерители. Например, при традиционном контроле у каждого преподавателя есть свои представления о том, за что нужно ставить 5, 4, 3 и т.д.

Измерения можно подразделить на физические, характерные для естественных наук, и нефизические, встречающиеся в науках эмпирических. По времени появления физические измерения предшествовали нефизическим, потребность в последних сформировалась и стала развиваться в связи с запросами педагогики, психологии, экономики и социологии, нуждающихся в отражении на шкале оценочных суждений для их фиксации и сопоставления.

Принципиальное отличие одного класса измерений от другого лежит в области объектов, подвергающихся оценкам. В физических измерениях в большинстве своем присутствуют вполне реальные объекты. В эмпирических – все оцениваемые характеристики носят в основном латентный (скрытый) характер, препятствующий непосредственному измерению. В силу латентности оцениванию подвергаются не сами характеристики, а их эмпирические референты – наблюдаемые признаки характеристик. Выбор таких референтов происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в тщательном доказательстве, проводимом на основе экспертного и статистического анализа эмпирических результатов измерения.

При оценивании латентные характеристики (переменная А) являются первопричиной, порождающей наблюдаемое множество результатов измерения (переменная В). Однако на практике совершается обратный шаг, поскольку, именно отталкиваясь от наблюдаемых результатов, можно получить оценки латентных характеристик с определенной ошибкой измерения (рис. 2.1).

Рис. 2.1. Связь между латентной и наблюдаемой переменными

Неизбежная латентность переменных измерения, в роли которых в образовании выступают уровни освоения знаний, умений, навыков или компетенций, приводит к необходимости проверки адекватности полученных оценок концептуальной переменной (переменным) измерения и точности оценок, что обеспечивается благодаря коррекции свойств измерителя.

С течением времени в эмпирических науках определение измерений по Стивенсу было признано неудовлетворительным по двум причинам. Во-первых, оно не учитывало того, что результатами измерения могут быть не только числа. Во-вторых, оно никак не регламентировало правила измерения, хотя вся суть процедуры кроется именно в тех самых правилах, в соответствии с которыми осуществляется приписывание чисел. В связи с этим в 80-х гг. XX в. появилась современная теория измерений, строящаяся на более строгой аксиоматической основе и значительно расширяющая традиционные представления об измерениях в психологии и образовании [10].

В соответствии с современными воззрениями, педагогическое измерение можно трактовать как конструирование любой функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в соответствующим образом подобранную числовую структуру, представляющую собой шкалу оценок качества учебных достижений или других конструктов, являющихся целью измерения. Изоморфизм – важное понятие математики, которое определяет ряд условий для взаимно однозначного отображения двух множеств с сохранением их свойств процессе отображения. Хотя само по себе это понятие возникло в высшей алгебре, в наше время оно трактуется довольно широко и используется не вполне строго в понятийном аппарате ряда наук, как, например, в теории педагогических измерений.

Отображающая функция понимается достаточно обобщенно, поскольку позволяет устанавливать различные, не только количественные отношения между объектами, но и проводить любые, в том числе качественные оценки. Под процедурой измерения предлагается понимать совокупность эмпирических операций, позволяющих установить оценки измеряемых характеристик и представить их в количественной или качественной шкале. Поскольку эмпирическая структура и строящаяся по результатам оценивания числовая структура (шкала) изоморфны, то, имея шкалу, можно, не обращаясь непосредственно к измеряемым объектам, восстановить все их свойства, характерные для эмпирической структуры.

 

2.2. Переменные и компоненты измерений в образовании. Надежность и валидность результатов измерения

Процесс педагогических измерений включает:

     • выбор предмета измерения, под которым понимается одна или несколько латентных характеристик объектов (выбор переменных измерения и их числа);

     • выбор эмпирических референтов (наблюдаемых характеристик объектов), замещающих латентные переменные;

     • выбор измерительных процедур;

     • конструирование и использование измерительных инструментов;

     • выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);

     • построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;

     • анализ и интерпретацию результатов измерения.

Таким образом, процесс педагогических измерений состоит из совокупности операций, позволяющих получить количественные или качественные оценки измеряемых характеристик. Правильная организация процесса педагогического измерения очень важна, поскольку любые нарушения стандартизованных условий проведения, обработки, анализа и интерпретации результатов измерения снижают обоснованность и точность получаемых оценок. Приведенные компоненты процесса измерения имеют свои аналоги в традиционном контроле, где эти процедуры носят интуитивный характер и основываются на эмпирическом опыте педагога. При тестировании каждая компонента проходит процесс анализа и научного обоснования качества, базирующегося на теории педагогических измерений. Особенно важно такое обоснование, если речь идет об итоговом контроле, результаты которого связаны с принятием важных административных решений при аттестации выпускников или оценке эффективности деятельности учебных заведений. Тогда объектом измерения становятся знания, умения, навыки и компетенции, нередко называемые обобщающим термином «учебные достижения», структуру и уровень сформированности которых сравнивают с требованиями ФГОС при принятии аттестационных решений.

Отклонения получаемых результатов измерения от истинных значений измеряемых латентных характеристик представляют большую опасность в эмпирических науках, так как в силу латентного характера измеряемых переменных их не всегда можно своевременно выявить и скорректировать. Величину такого отклонения принимают за ошибку измерения. Возможность оценивания ошибки измерения является тем ключевым критерием, который позволяет провести четкую грань между оценками (количественными или качественными), которые можно считать результатами измерения, и результатами традиционного контроля. Эта же возможность выступает в качестве основного аргумента в защиту тестов. В отличие от традиционных средств контроля, не обеспечивающих никаких данных о точности оценок достижений студентов, тесты позволяют установить величину ошибки измерения и оценить тем самым надежность полученных оценок.

В силу существования ошибок измерения оцениваемые характеристики объектов могут принимать более или менее точные значения, поэтому такие характеристики обычно называют переменными измерения. По этой же причине принято говорить о надежных или ненадежных педагогических измерениях, где надежность характеризует степень устойчивости (повторяемости) и точности результатов измерения. Другая характеристика качества результатов педагогического измерения обычно называется валидностью. В самом общем случае она трактуется как адекватность эмпирических результатов поставленной цели измерения [14, 17, 28, 35, 36].

Цели педагогического измерения могут быть самыми разными, поэтому анализ валидности должен быть многоаспектным. Важнейшее место в нем занимает оценка конструктной валидности, строящаяся на доказательстве адекватности эмпирических референтов концептуально выделенной переменной (переменных) измерения. Таким образом, в практической работе по созданию теста анализ конструктной валидности находит свое отражение в работе по проведению доказательства того, что выбранные тестовые задания по своему содержанию и статистическим характеристикам позволяют оценить именно те аспекты подготовленности обучаемого, которые создатель теста намеревался измерить.

Проблема оценивания конструктной валидности приобретает особую актуальность в связи с введением компетентностного подхода к трактовке качества результатов образования. Никто не будет сомневаться в том, что набор заданий, в которых требуется перемножить числа, действительно проверяет навыки умножения. Значительно труднее разобраться в том, какую переменную оценивают междисциплинарные задания, характерные для компетентностных тестов. В последнем случае для выявления конструктной валидности приходится привлекать факторный и корреляционный анализ, оценивать число измеряемых переменных, сопоставлять содержательную трактовку результатов измерения с результатами, полученными по давно существующим и зарекомендовавшим себя тестам.

Измерительный инструмент включает два компонента. Один из них – само измеряющее устройство, роль которого при педагогических измерениях в большинстве случаев отводится тесту. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизованной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих надежные и валидные оценки концептуально выделенной переменной (переменных) измерения. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.

Многие преподаватели, никогда не принимавшие участия в процессе создания теста профессионалами и не имеющие специальной подготовки по теории педагогических измерений, путают тесты с наборами контрольных заданий, необоснованно полагая, что достаточно последние представить в форме задания с выбором ответа, как сразу получится педагогический тест. Этому поверхностному и неправильному восприятию педагогических тестов способствует латентная (скрытая от возможностей непосредственного наблюдения) природа характеристик тестовых заданий, которые проявляются только в процессе применения теста на выборке студентов и выявляются при обработке и анализе эмпирических данных тестирования. Иными словами, узнать тест это или набор обычных контрольных заданий можно только после анализа результатов апробации заданий на представительной выборке студентов.

Анализ предваряет специальная обработка данных апробации, основанная на аппарате теории педагогических измерений, позволяющая оценить статистические характеристики заданий, соотнести их с требованиями теории педагогических измерений и наметить пути коррекции характеристик для получения из набора контрольных заданий педагогического теста. Сама по себе форма заданий не имеет значения, поскольку с первого взгляда тестовые задания могут ничем не отличаться от традиционных контрольных и не иметь готовых ответов. Внешним необходимым, но не достаточным признаком теста может служить только число заданий, которых не должно быть меньше 25.

Таким образом, радикальное отличие теста от обычных заданий состоит не в форме представления вопросов и ответов, а в опоре на теорию педагогических измерений в процессе его создания и применения, что позволяет получить ряд важных преимуществ, отсутствующих в тех случаях, когда не используются тесты. В частности, благодаря аппарату теории педагогических измерений можно:

     • повысить полноту охвата содержания дисциплины в контрольных материалах за счет большого числа заданий в тесте (не менее 25);

     • проанализировать степень достоверности (уровень объективности) оценок подготовленности студентов, выявив величину ошибки измерения (надежность результатов измерений);

     • проанализировать степень обоснованности оценок подготовленности студентов, выявив уровень соответствия полученных результатов контроля поставленной цели его проведения путем оценивания величины валидности результатов измерений;

     • получить статистические оценки трудности заданий, отличающиеся от экспертных оценок высокой достоверностью;

     • повысить эффективность контроля путем оптимизации трудности, валидности и системообразующих свойств (оценок корреляции) тестовых заданий при создании теста;

     • обеспечить высокую сопоставимость оценок студентов за счет представления результатов тестирования в стандартных шкалах, введения норм и выравнивания при сравнительном анализе результатов выполнения тестов.

Высокая надежность и валидность инструментария не служит гарантией качества результатов педагогического измерения, но является необходимым условием его достижения, поскольку большое значение имеет также стандартизация процедуры применения теста, которая должна обеспечивать равенство условий для студентов. На величину ошибки измерения влияют также методы обработки, анализа и интерпретации данных, которые по уровню сложности и трудоемкости должны быть адекватны поставленным задачам измерения.

Второй компонент измерительного инструмента – заранее подготовленная шкала, которая служит для фиксации оценок (количественных или качественных) измеряемой переменной. Согласно наиболее распространенному определению, шкала – это средство упорядочения результатов измерения определенных свойств эмпирических объектов. В процессе такого упорядочения каждому элементу совокупности наблюдаемых эмпирических данных ставится в соответствие определенный балл, устанавливающий положение наблюдаемого элемента на шкале [20, 28, 36, 43]. В ситуации педагогического измерения на шкале откладываются не сырые, а производные баллы, которые подвергаются преобразованию для повышения сопоставимости и удобства интерпретации результатов выполнения педагогического теста.

Шкала с отложенными оценками переменной является целью измерения. При измерениях с высокой надежностью и валидностью шкала адекватно отображает, фиксирует оцениваемые характеристики, представляя их без существенных искажений. Таким образом, суть процедуры измерения состоит в переходе от самих объектов измерения к шкале, на которой выстроены оценки, замещающие исследуемые характеристики этих объектов. Подобная процедура позволяет уйти от объектов измерения и сосредоточить внимание на измеряемых характеристиках. В зависимости от количества измеряемых переменных можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответственно по результатам измерения строится одна шкала или несколько, число которых в последнем случае равно числу переменных измерения.

При создании аттестационных тестов в рамках компетентностного подхода по циклам специальных дисциплин обычно используют многомерные измерения, результаты которых откладываются не на одной, а на нескольких шкалах. В других случаях, когда речь идет об итоговой аттестации студентов на младших курсах, стараются ограничиться одномерными тестами. Вне зависимости от числа переменных построение шкалы возможно только по надежным и валидным данным, обладающим высокой объективностью и адекватностью цели измерения. Поэтому размерность, надежность и валидность являются взаимосвязанными свойствами, характеризующими различные аспекты качества педагогических измерений. Выявление размерности – это необходимый предварительный этап работ по оцениванию надежности и валидности результатов измерений. Таким образом, качество данных, полученных в педагогических измерениях, проходит процесс анализа, а характеристики самих измерителей являются предметом научного обоснования, основанного на специальной теории. В традиционном контроле такое обоснование отсутствует, поскольку не формируются никакие представления об оцениваемых переменных, их соответствии планируемым целям контроля и их точности.

Последний компонент процесса педагогических измерений – обработка, анализ и интерпретация данных – имеет двоякое назначение. В первом случае, при котором использование измерительных инструментов предназначается для их апробации, по результатам обработки выявляют качество результатов измерения для проведения коррекции и стандартизации инструментария. Во втором случае, когда уже есть апробированные стандартизованные измерители, полученные данные представляются в удобной для пользователей форме для интерпретации согласно поставленным задачам контроля и управления качеством образования. Среди трех компонентов – обработка, анализ и интерпретация – этап обработки носит первичный характер. Он завершается количественным анализом результатов измерения, данные которого используются либо для научного обоснования качества тестов и преобразования сырых баллов испытуемых в производные баллы (процесс шкалирования), либо для повышения удобства и сопоставимости при интерпретации результатов в учебном процессе. Таким образом, если измеритель разработан, и результаты измерений удовлетворяют требованиям высокой надежности, валидности и сопоставимости, то можно выстраивать интерпретацию результатов обучаемых, проводить мониторинг и принимать обоснованные решения в управлении качеством образования.

 

2.3. Объективность педагогических измерений

На ранних этапах истории развития педагогических измерений объективность считали неотъемлемой характеристикой результатов тестирования, поскольку стандартизованная проверка результатов выполнения тестов исключала педагога из оценочного процесса. По мере развития теории и практики применения тестов пришло понимание того, что абсолютная объективность – это недостижимая характеристика результатов любых, в том числе и педагогических, измерений в силу существования неизбежных ошибочных компонентов. На результаты измерений воздействуют различные факторы случайного и систематического характера, которые неизбежно влияют на величину ошибочных компонентов, изменяя их как в сторону увеличения, так и уменьшения. Поэтому в оценочных процессах можно лишь говорить о высокой или низкой объективности, оценка которой основана на выявлении надежности результатов педагогических измерений.

Наиболее полно трактовка термина «объективность измерений» представлена в исследованиях Вебстера [10, 36]. Он был первым ученым, осуществившим методологические исследования в этой области и предложившим восемь толкований обсуждаемого термина, три из которых непосредственно относятся к педагогическим измерениям: процедурная объективность, классическая (традиционная) объективность и инвариантная (специфическая) объективность.

Под процедурной объективностью понимается независимость результатов измерения от условий его проведения и субъективных оценочных суждений педагога, использующего тест. Эта независимость обеспечивается благодаря равенству условий тестирования для всех студентов, отсутствию списывания или других нарушений дисциплины, правильному инструктированию студентов, использованию для одной группы тестируемых параллельных (совпадающих по трудности и другим характеристикам) вариантов теста, стандартизации процедуры проверки результатов и максимальной ее автоматизации. Чем выше уровень применения компьютерных технологий в тестировании, исключающих любое субъективное влияние педагога или экспертов, тем больше величина процедурной объективности результатов тестирования, получаемой при измерении.

Хотя процедурная объективность является наиболее понятной всем пользователям тестов и часто используется при обсуждении достоинств тестирования в средствах массовой информации, ограничиваться ею при оценивании точности измерений нельзя, поскольку при таком подходе не выдвигается никаких требований к качеству теста. Может создаться превратное впечатление, что для получения объективных данных о подготовленности испытуемых достаточно перейти от традиционных экзаменов к любым наборам заданий в тестовой форме, устранив влияние педагога на оценку тестирования и поручив подсчет баллов испытуемых компьютерной программе.

Типичный пример подобного упрощенного толкования объективности встречается сейчас среди части педагогов, учащихся и их родителей в связи с проведением эксперимента по введению ЕГЭ. Широкий круг пользователей системы ЕГЭ не видит той работы профессионалов, которая стоит за созданием контрольно-измерительных материалов (КИМ), но в абсолютном большинстве своем полагает, что устранение педагогов из контрольно-оценочного процесса, сведение их участия к минимальному на этапе организации процедуры тестирования и выставления баллов позволяет говорить об объективности результатов ЕГЭ. На деле такое упрощенное толкование наносит вред развитию тестирования в России, поскольку допускает применение любых, в том числе некачественных, тестов. Оно не опирается на теорию педагогических измерений и лишь частично охватывает научные представления об объективности результатов выполнения теста.

Второе углубленное понимание объективности измерений основано на некоторых понятиях и аксиомах традиционной или, как ее называют иначе, классической теории тестирования. К числу таких понятий относится сырой (наблюдаемый, индивидуальный) балл, получаемый простым суммированием результатов испытуемого по отдельным заданиям теста. При дихотомической оценке результатов по заданиям (1 или 0) индивидуальный балл просто равен количеству правильно выполненных заданий теста. Другое понятие классической теории – истинный балл (параметр испытуемого) – отождествляется с абсолютно объективной оценкой испытуемого, свободной от влияния любых ошибок измерения. В отличие от наблюдаемого балла, который меняется в зависимости от теста и способа подсчета результата испытуемого, истинный балл трактуется как не зависящая от средств измерения константа учащегося, характеризующая оцениваемое свойство испытуемого в момент измерения с нулевой ошибкой измерения и меняющаяся в процессе обучения.

Согласно основной аксиоме классической теории тестов, предполагается, что любой наблюдаемый балл отличается от истинного на величину ошибки измерения. В тех случаях, когда ошибка измерения не превышает выбранные пределы точности измерений, говорят о высокой объективности результатов тестирования и принимают индивидуальные баллы испытуемых за их истинные баллы. Таким образом, углубленное понимание объективности измерений требует оценивания величины ошибки измерения, на размер которой влияют не только условия проведения тестирования, но и характеристики самого теста. Если эти характеристики не удовлетворяют определенным требованиям к качеству измерителей, то ошибка измерения, как правило, становится слишком большой, превышающей допустимую погрешность измерения и не позволяющей говорить о высокой объективности полученных результатов выполнения теста.

Третья трактовка объективности лежит в области современной теории конструирования тестов Item Response Theory (IRT). Преимущества IRT, позволяющие оценить подготовленность обучаемых независимо от трудности заданий теста, обеспечивают достижение так называемой инвариантной объективности измерений, которая превышает объективность, обеспечиваемую при использовании классической теории тестов [28, 29, 31, 37].

Согласно основным положениям теории IRT, инвариантная объективность характеризуется тем, что на оценку каждого испытуемого выборки не влияют оценки других испытуемых и трудность заданий теста. Благодаря этому оценки подготовленности студентов, обладающие высокой инвариантной объективностью, будут более точными, чем те, которые получаются при использовании традиционной теории при конструировании и применении тестов.

Правда, достижение эффекта инвариантной объективности обеспечивается не автоматически при обработке результатов тестирования с помощью алгоритмов теории IRT. Оно реализуется благодаря применению специальных процедур подгонки данных тестирования к требованиям моделей теории IRT и длительной серьезной работе над тестом. Поэтому на практике тестологи часто сталкиваются с тем, что эффект специфической объективности обеспечивается слишком дорогим путем либо не реализуется вообще в силу недостаточно высокого качества теста.

 

2.4. Размерность пространства измерений

После постановки цели измерения выбирают одну (одномерный случай) или несколько (многомерный случай) переменных измерения. При объединении одномерного и многомерного случая для обозначения измеряемых характеристик часто используют обобщающий термин – «конструкт». Концептуальное определение переменных измерения и их числа до начала разработки теста отличается обманчивой легкостью. Каждый разработчик теста уверен в том, что он ясно представляет себе измеряемые характеристики и способен на основании своего педагогического опыта точно подобрать задания, обеспечивающие оценивание конструкта. Можно так и остаться в заблуждении относительно того, что на деле измеряет тест, если не проверить соответствие задуманного конструкта и реальных результатов измерения.

Анализируют такое соответствие чаще всего с привлечением независимых экспертов до проведения тестирования, но, как правило, получают недостаточно достоверную информацию, поскольку объединение нескольких субъективных мнений не приводит к объективным выводам и суждениям. Практика измерений показывает, что априорное определение размерности, основанное на экспертном анализе концептуально выделенного конструкта, обычно оказывается недостаточным. Число априорно выделенных переменных измерения часто не подтверждается данными статистической обработки и интерпретации эмпирических результатов выполнения теста.

Каждый педагог вкладывает в оценивание учебных достижений обучаемых собственное понимание оптимального набора переменных измерения, характеризующих качество подготовленности по своей дисциплине, и, соответственно, свое видение размерности пространства измерений. Неоднозначность усугубляется по мере продвижения от начальных ступеней образования к более высоким. Если в школе и на начальных курсах высшего профессионального образования можно с определенной степенью общности считать уровень учебных достижений по дисциплине одномерным, то на старших курсах допущение об одномерности неправомерно в силу междисциплинарного характера содержания специальных дисциплин.

Хотя этап предварительной экспертизы качества содержания заданий обязателен при разработке теста, для детального выявления соответствия концептуальной и реальной переменных измерения необходим факторный и корреляционный анализ эмпирических данных тестирования, применяемый при оценивании конструктной валидности теста. Таким образом, понять, что же мы на самом деле измеряем, можно лишь после применения теста.

Выявление размерности конструкта – сложная задача, но ее решение необходимо, поскольку без знания размерности невозможно проведение надежных измерений и создание валидных тестов. Сложность процедуры установления размерности пространства измерений увеличивают проблемы, возникающие при переводе концептуальной переменной в область педагогических измерений, в силу неоднозначной трактовки и слабой операционализируемости (измеряемости) многих конструктов, характерных для образования и других социальных наук.

Пример такой неоднозначной трактовки приведен на рис. 2.2 (рисунок с третьей переменной).

Рис. 2.2. Пример неоднозначной трактовки конструкта

Процесс перевода латентных конструктов в эмпирические референты, сопровождающийся приданием оцениваемым латентным характеристикам формы, удобной для фиксации определенными правилами измерения, называется операционализацией. При педагогических измерениях в качестве конструктов обычно выступают знания, умения навыки, компетентности и так далее, которые в целом можно назвать обобщающим термином «учебные достижения».

В процессе операционализации происходит формирование набора эмпирических индикаторов, в роли которых выступают задания теста. Суммарный балл по правильно выполненным заданиям, подсчитанный и преобразованный по определенным правилам, дает основания для присвоения испытуемому определенного места на шкале переменной измерения. Результаты операционализации позволяют поставить в соответствие каждой точке оси латентной переменной определенный балл испытуемого, полученный путем тех или иных преобразований оценок по отдельным правильно выполненным заданиям теста.

Взаимосвязь результатов измерения и положения испытуемого на шкале переменной для одномерного случая представлена на рис. 2.3. Каждая оценка переменной измерения для учащихся из тестируемой группы соответствует одной из точек оси. В свою очередь, каждая точка определяет положение испытуемого или группы испытуемых с одинаковым тестовым баллом, полученным по результатам выполнения теста.

Рис. 2.3. Геометрическая интерпретация результата тестовых измерений

На изображенной оси более высокие баллы располагаются правее, низкие – левее. Крайний слева результат (не показанный на рисунке) обычно характерен для случая, когда испытуемый выполнил правильно лишь одно или несколько заданий теста. Обратный случай, когда студент справился со всеми или почти со всеми заданиями, соответствует крайней правой точке (не отмеченной на рисунке) на оси переменной измерения. Остальные точки занимают некоторое промежуточное положение на отрезке, где лежат тестовые баллы студентов.

Если соотнести правильно выполненные задания теста с результатами студентов и присвоить номера заданий по нарастанию трудности, расположив их вдоль оси переменной измерения, то естественно предположить, что более трудные задания будут смещены на оси вправо, так как их, скорее всего, будут выполнять правильно наиболее сильные студенты. Наоборот, более легкие задания будут смещены влево – они по силам студентам с низким уровнем подготовки (рис. 2.4).

Рис. 2.4. Соотношение между трудностью заданий и подготовленностью студентов: βj – уровень трудности j-го задания, j = 1, 2, …, 4, θ1 и θ2 – тестовые баллы двух студентов

Из дидактических соображений на рисунке приведено только четыре задания, однако все выводы, получаемые с помощью этого примера, применимы к любому числу заданий в тесте. Расположение тестового балла первого студента говорит о том, что он выполнил верно два самых легких задания, но не справился с третьим и четвертым заданиями. Второй студент имеет более высокий тестовый балл и подготовлен лучше. Он не выполнил только самое трудное четвертое задание теста.

Связь между заданиями различной трудности и оценками подготовленности студентов на оси переменной измерения, рассмотренная на рис. 2.4, является определенной идеализацией одномерного измерения. Расположение заданий по нарастанию трудности вдоль оси переменной измерения формально можно записать в виде β1 < β2 <…< βj < … βn –1 < βn , где j = 1, 2, …, n; n– число заданий в тесте, предположив, что речь идет не о четырех заданиях, а относится ко всему тесту.

В реальной ситуации тестирования локализация места расположения результата студента на оси переменной зависит от соотношения между величиной его истинного балла и трудностью заданий теста. Если балл студента довольно высок, а задание достаточно легкое, то у обучаемого есть все основания для успешного выполнения этого задания теста. В противном случае, когда соотношение между упомянутыми выше величинами меняется на противоположное, у студента есть веские основания для неуспеха. Конечно, наверняка предугадать ничего нельзя в силу действия различных смещающих факторов (эффект забывания, подсказки и т.д.). Поэтому при прогнозировании результата обычно говорят лишь о некоторой вероятности успеха или неуспеха обучаемого при выполнении заданий теста.

Таким образом, вероятностный характер наблюдаемых результатов выполнения теста обусловлен влиянием различных факторов, способствующих возникновению ошибок измерения. Среди них выделяют случайные и систематические. К числу последних принадлежат те, которые появляются из-за просчетов разработчиков в процессе создания теста. К ним могут привести нарушения требований методики сбора статистических данных, некачественная интерпретация результатов выполнения теста и ряд других причин. К случайным факторам относятся: настроение испытуемого, поведение экзаменатора, обстановка при тестировании в аудитории и многое другое – словом, все то, что учесть и предвидеть при тестировании невозможно.

Чаще всего при планировании измерений в образовании выбирают одномерные конструкты. Это упрощает процесс построения шкалы, но не всегда адекватно содержанию используемых или вновь создаваемых тестов. Рис. 2.5 иллюстрирует случай одномерных измерений, который в ситуации оценивания уровня подготовленности студентов можно интерпретировать следующим образом: одна латентная переменная Т – истинный уровень подготовленности каждого обучаемого при тестировании – приводит к возникновению одной оценки наблюдаемой переменной X — уровня подготовленности обучаемого. Помимо переменной Т, на оценки X оказывает влияние фактор Ε — ошибка измерения.

Рис. 2.5. Иллюстрация связи переменных при одномерном измерении

Чтобы принять гипотезу об одномерности теста, необходимо выявить связь между теоретическим конструктом и эмпирическими индикаторами, роль которых выполняют задания теста. Оценка связи требует ответа на вопрос: есть ли разница между доказательством одномерности конструкта и доказательством одномерности заданий теста?

На рис. 2.6 приведена измерительная модель для одномерного случая, иллюстрирующая связь между конструктом, обозначенным символом T, и четырьмя заданиями (x1, x2, x3, x4). Числа, стоящие у каждого луча, показывают меру предполагаемой корреляционной связи между конструктом и заданиями теста.

Рис. 2.6. Измерительная модель, иллюстрирующая связь между конструктом и заданиями теста (одномерный случай)

При анализе модели важно понимать, что конструкт является латентным (скрытым от возможностей непосредственного измерения) фактором, взаимодействие которого с заданиями порождает наблюдаемые результаты выполнения теста. Влияние конструкта, включающего одну или несколько латентных переменных измерения, на эмпирические индикаторы отражено на рассматриваемом рисунке с помощью направленных лучей.

Гипотетическая корреляционная матрица, показывающая меру связей между конструктом и заданиями теста, помещена в табл. 2.1. В силу симметрии чисел в матрице относительно главной диагонали, состоящей из единиц, таблица имеет треугольный вид.

Таблица 2.1 Значения корреляции между заданиями

Для анализа связи между размерностью конструкта и размерностью тестовых заданий, используемых при оценивании наблюдаемых переменных, необходимо подсчитать частные корреляции, получаемые путем удаления влияния на парные корреляции третьей переменной. Используя величины корреляций в табл. 2.1 и упомянутый подход, можно показать, что частная корреляция между любой парой наблюдаемых переменных x1, x2, x3 после удаления влияния латентной переменной T будет равна нулю.

Аналогичные вычисления можно провести для любой пары наблюдаемых переменных x1, x2, x3. Интерпретируя полученные нулевые результаты для анализа связи переменных, можно утверждать, что после удаления эффекта влияния фактора T связь между наблюдаемыми переменными исчезает. Таким образом, латентный фактор T является единственной переменной, связывающей наблюдаемые переменные x1, x2, x3, поэтому его следует трактовать как единственный общий фактор для совокупности наблюдаемых переменных. Отсюда следует вывод об одномерности совокупности заданий x1–x3, поскольку корреляция между ними после удаления влияния общего фактора становится равной нулю.

Подобный концептуальный подход к доказательству одномерности был предложен Макдональдом и Хати (McDonald, 1981; Hattie, 1985) [38]. Конечно, на практике при анализе размерности пространства измерений говорить о точном равенстве нулю частных корреляций не приходится в силу влияния различных ошибок измерения. Однако в случае близких к нулю значений частных корреляций по результатам педагогических измерений можно строить единственную шкалу. Поскольку каждое задание в рассмотренном гипотетическом примере измеряет один и только один конструкт, то справедлив вывод об одномерности заданий теста. Обратный вывод в общем случае не верен: из одномерности заданий не следует одномерность теста. Совокупность одномерных заданий, каждое из которых измеряет свой конструкт, не означает наличия общего единственного фактора, свидетельствующего об одномерности пространства измерений.

Если конструкт включает не одну, а несколько переменных, то измерения называют многомерными. Такая ситуация как раз характерна при разработке и использовании компетентностных тестов. Совокупность переменных образует пространство переменных измерения, размерность которого равна их числу. Геометрическая интерпретация двумерных измерений приведена на рис. 2.7. Рисунок изображает частный случай, когда каждая из латентных переменных F1 и F2 воздействует на обе наблюдаемые переменные Х1 и Х2, находящиеся под влиянием ошибок измерения E1 и E2.

Рис. 2.7. Иллюстрация связи переменных при двумерном измерении

Возможны, конечно, другие ситуации, в которых каждая из латентных переменных F1 и F2 воздействует только на одну из переменных X1 и X2, либо только одна из латентных переменных приводит к возникновению двух наблюдаемых.

Многомерность требует построения по результатам измерения не одной, а нескольких шкал, количество которых должно быть равно размерности пространства измерений. Иногда при проведении многомерных измерений создают несколько субтестов, каждый из которых является одномерным и измеряет свою переменную с помощью одномерных заданий. Примером такого подхода является полидисциплинарный тест, состоящий из набора одномерных субтестов. В другом случае разрабатывают междисциплинарный тест, задания которого не являются одномерными. Каждое из заданий измеряет свою совокупность переменных, которые могут отличаться как по количеству, так и по содержательной трактовке конструкта.

В практике педагогических измерений существуют специальные методы анализа размерности пространства измерений. Такую группу методов предоставляет исследовательский и конфирматорный факторный анализ, применение аппарата которого основано на использовании соответствующего программного обеспечения, например статистического пакета SPSS и др. [43].

 

2.5. Уровни и шкалы измерений

В теории измерений общая типология уровней измерения основывается на проявлении совокупности свойств, лежащей в основе построения шкал. В качестве таких свойств выделяют:

     • идентичность, позволяющую однозначно относить объекты к одной из выделяемых совокупностей;

     • транзитивность, способствующую ранжированию объектов в определенном порядке;

     • метричность, обеспечивающую единую единицу измерения и наличие абсолютного нуля.

Наиболее общая классификация, предложенная С. Стивенсом, включает четыре уровня измерений и фиксирует присущие им свойства. Согласно такой классификации, различают шкалы качественные (шкала наименований или классификаций, порядковая шкала) и количественные (интервальная шкала и шкала отношений). Качественные шкалы иногда называют неметрическими (концептуальными), количественные получили название метрических или материальных. Для каждого уровня измерений существуют группы допустимых преобразований и операций с различными математическими и статистическими величинами, характеризующими измеряемые признаки.

На качественном уровне отнесение эмпирических объектов измерения к различным классам проводится по признаку эквивалентности (шкала наименований) или по признаку упорядочения внутри эквивалентных объектов одного класса (порядковая шкала). Для отнесения или упорядочения применяются экспертные методы, при которых оценки на шкале считаются достоверными, если они признаны большинством экспертов.

В этой особенности построения качественных шкал в образовании есть свои плюсы и минусы. Положительным можно считать относительную легкость построения таких шкал, поскольку не привлекаются специальные оценочные средства, а участвуют только эксперты. Негативные характеристики качественных шкал – ограниченная сфера применения и низкая точность измерения. Числа или символы, приписываемые объектам путем экспертного оценивания, субъективны и носят исключительно условный характер. Поэтому эти числа нельзя суммировать или проводить с ними другие математические операции.

Количественные шкалы не предусматривают привлечения экспертов, поэтому представленные в них оценки измеряемых характеристик объектов обладают более высокой объективностью и поддаются определенным математическим операциям.

К простейшему типу качественных шкал относится шкала наименований (другое название – номинальная шкала), используемая для представления результатов классификации эмпирических объектов измерения, свойства которых проявляются только на уровне оценивания их эквивалентности. При построении шкалы наименований привлекаются эксперты, которые приписывают качественным свойствам объектов некоторые числа или другие символы.

Номинальные шкалы достаточно широко применяются в образовании в тех случаях, когда педагогическое измерение связано с объединением учащихся в группы по какому-либо признаку без установления порядка следования групп. Примером номинальной шкалы могут служить результаты зачетной сессии, когда все студенты делятся на две группы: получившие и не получившие зачет. Другой пример номинальной шкалы получается при дихотомическом оценивании результатов по отдельным заданиям теста. Если тестируемый студент за правильное выполнение задания теста получает 1, а за неправильное выполнение или пропуск задания теста – 0, то результаты тестирования будут представлены в номинальной шкале.

При отнесении каждого объекта к определенному классу в шкале наименований большое значение имеет стандартизация оценивающих правил, позволяющая минимизировать ошибки экспертов при классификации объектов измерения. Основное правило, которым должны руководствоваться эксперты, заключается в том, чтобы не приписывать объектам разных классов одинаковых наименований или чисел.

Так как числа в шкале наименований не несут в себе никаких количественных признаков, а характеризуют только отношение эквивалентности, то их применяют для определения вероятности или частоты появления в ряду наблюдений данного объекта. Поэтому для обработки количественных данных следует использовать не сами числа, а удельный вес количества объектов данного класса.

Номинальная шкала обладает свойствами симметричности и транзитивности. Симметричность означает, что отношения, существующие между градациями x1 и x2 имеют место и между х2 и x1. Транзитивность выражается в следующем: если x1 = x2 и х2 = х3 , то x1 = х 3 .  В номинальной шкале допустимы следующие статистические операции:

     • расчет частот (удельных весов) объектов данного класса;

     • определение моды изучаемого признака.

Если отнесение объектов к классам основано не только на отношении эквивалентности, но и учитывает возрастание или убывание степени проявления измеряемого свойства, то получаемая шкала носит название шкалы порядка. В порядковой шкале производится ранжирование объектов или классов объектов, связанных соотношением больше-меньше.

Порядковые шкалы используются в образовании в тех случаях, когда педагогический контроль осуществляется традиционными способами без применения теории измерений и тестов. Однако результаты тестирования также приводят к порядковой шкале, если их обработка проводится без алгоритмов теории IRT. Классический пример порядковой шкалы – привычная четырехбалльная шкала, которую иногда неоправданно называют пятибалльной. Каждой группе студентов, проявляющей согласно мнению преподавателя сходные знания, присваивается одинаковый (один из четырех) номер места от двух до пяти.

Вполне понятно, что номера мест не следует складывать и вычитать ввиду неопределенного смысла получаемого результата. Однако этой прописной истины придерживаются далеко не всегда. В образовании был период, когда директору любой школы немало хлопот доставлял так называемый средний балл, который рассматривался как важный показатель качества работы школы. При этом никто не думал о том, что арифметические действия с номерами мест групп школьников не имеют смысла, и потому средний балл нисколько не отражает объективных закономерностей результатов учебного процесса.

Если ранжируются не отдельные объекты, а целые классы объектов, то внутри каждой группы порядок не устанавливается. Поэтому часто говорят о том, что порядковая шкала обладает слабым дифференцирующим эффектом, особенно в тех случаях, когда оценивается подготовленность довольно большого числа студентов. Каждой группе объектов присваивается определенный порядковый номер, который позволяет отличить ее представителей от представителей другого класса.

Если упорядочение объектов требует определения некоторого направления возрастания или убывания измеряемой характеристики, то в порядковой шкале производят выбор условного нуля. Однако даже в тех случаях, когда на основе соглашения введена условная нулевая точка, в порядковых шкалах отсутствуют единицы измерения, поэтому никакие количественные выводы о степени отличия в проявлении измеряемого свойства не могут иметь место. Например, по оценкам в порядковой шкале можно ранжировать студентов от слабых к сильным или наоборот, но сделать вывод о том, на сколько один подготовлен лучше другого, нельзя в силу отсутствия единицы измерения. Одинаковым интервалам между присвоенными оценками свойства в порядковой шкале не соответствуют одинаковые интервалы между размерами измеряемой величины. По этой же причине неправомерны арифметические действия с числами, приписанными ранжированным объектам измерения. С помощью этих чисел можно найти вероятности, моды, медианы, квантили, но их нельзя использовать для сложения, вычитания и других арифметических операций.

При измерении признака в порядковой шкале возможны только монотонные преобразования, допускающие умножение на постоянный множитель, возведение в степень и извлечение корня, а также некоторые статистические операции. В частности, в порядковой шкале:

     • в качестве средней оценки используют медиану;

     • в качестве меры рассеяния применяют квантили;

     • в качестве меры связи двух признаков используют ранговый коэффициент корреляции.

Интервальная шкала – количественная. Она используется для упорядочения объектов, свойства которых удовлетворяют отношениям эквивалентности, порядка и аддитивности. В ней определено расстояние между объектами и предусмотрена общая для всех объектов единица измерения, а началом отсчета является условно выбранная нулевая точка. Благодаря существованию единицы измерения, в интервальной шкале возможны все арифметические действия над числами, кроме операции деления, в силу отсутствия абсолютного нуля. В ней также допустимы почти все статистические операции, кроме тех, которые предполагают знание «истинно» нулевой точки.

В интервальной шкале достигается корректная сравнимость результатов педагогических измерений. Хотя она лишена недостатков номинальной и порядковой шкал, в ней остается неизвестной естественная точка отсчета – абсолютный нуль. Поэтому при интерпретации результатов тестирования с помощью интервальной шкалы нуль верных ответов не означает полного отсутствия подготовленности обучаемых.

Для построения интервальной шкалы в педагогических измерениях необходимо обращение к современной теории тестов IRT. Ее возможности, связанные с инвариантностью оценок параметров подготовленности обучаемых, и трудности заданий теста в сочетании со специальными преобразованиями эмпирических результатов тестирования позволяют ввести единицу измерения и перевести баллы испытуемых из порядковой шкалы в интервальную [28, 35, 44].

Шкала отношений отображает свойства объектов, удовлетворяющие отношениям эквивалентности, порядка, аддитивности и пропорциональности. Последнее свойство появляется благодаря наличию в шкале отношений однозначного естественно определенного критерия нулевого проявления измеряемого свойства – абсолютного нуля. Другими словами можно сказать, что шкала отношений является интервальной с естественным, а не с условным началом отсчета, расширяющим возможности преобразований чисел, приписанных объектам. По сравнению со всеми ранее рассмотренными шкалами последняя (шкала отношений) обеспечивает самый высокий уровень измерений. В ней можно выполнять все арифметические и статистические операции, в том числе интерпретировать отношение чисел, приписываемых различным объектам.

Использование шкалы отношений в образовании невозможно в силу отсутствия абсолютного нуля, поэтому на сегодняшний день ее удалось реализовать только в рамках физических измерений. Общая типология уровней измерения приведена на рис. 2.8.

Рис. 2.8. Типология уровней измерения и соответствующих шкал

Помимо четырех уровней измерений, принятых согласно классификации Стивенса, в отечественной литературе по проблемам измерений иногда выделяют пятый уровень и вводят так называемые абсолютные шкалы. Под ними понимают шкалы отношений, обладающие не только естественно выбранным абсолютным нулем, но и естественно определенными единицами измерения, не зависящими от условных соглашений. Такие шкалы не встречаются в образовании, они характерны для оценивания относительных величин в физических измерениях.

Поскольку количественные шкалы предпочтительнее качественных в тех случаях, когда результаты педагогического измерения используются для принятия административно-управленческих решений, то возникает вопрос о необходимых условиях для получения данных на количественном уровне измерений. Такие условия можно разбить на две части, одна из которых относится к самому измерителю, а другая – к методам обработки данных при их шкалировании.

Не нуждается в доказательстве тот факт, что традиционные средства и методы контроля, включающие экзамены, контрольные работы, устные опросы и другое, позволяют получать баллы испытуемых только на качественном уровне в номинальной либо порядковой шкале. Точка зрения на возможности тестов для построения количественных шкал менялась по мере развития теории педагогических измерений и совершенствования технологии разработки тестов. Вначале, когда тесты только появились в образовании, педагогам казалось, что (не понятно, кто они: педагоги или тесты, нельзя удалять) они обеспечивают оценки в количественной шкале. Такое впечатление создавалось в силу того, что при тестировании получались баллы учащихся, подсчитанные на основе количества правильно выполненных заданий теста. Впоследствии возникли серьезные аргументы, подвергающие сомнению количественный характер результатов выполнения тестов.

Действительно, для тестовых баллов нельзя ввести единицу измерения в связи с зависимостью баллов от различной трудности заданий теста. Исключением мог бы стать тот случай, когда в тесте используются задания одинаковой трудности, но это нереально, поскольку не согласуется ни с основными положениями теории педагогических измерений, ни с потребностями учебного процесса. В любой оценке трудности задания всегда присутствуют ошибочные компоненты, поэтому с точки зрения теории измерений невозможно выбрать одинаково трудные задания в тесте. Да они и не нужны, поскольку все студенты отличаются по своей подготовленности, и для оценивания их учебных достижений необходимы различные по трудности задания, адекватные возможностям обучаемых. К тому же специфика содержания отдельных элементов учебного материала никогда не позволит сделать одинаковые по трудности контролирующие задания в любой форме, в том числе и в форме теста.

Таким образом, по мере развития теории и практики тестирования пришло осознание того, что результаты тестирования обучаемых позволяют установить отношение равенства или отношение «больше-меньше», а разность наблюдаемых (сырых) тестовых баллов при интерпретации отличий в подготовленности студентов не имеет никакого смысла.

Прогресс, достигнутый в 80-е гг. XX в. в методологии педагогических измерений и завершившийся созданием теории IRT, привел к новым возможностям шкалирования результатов тестирования [38]. В отличие от классической теории тестов, в рамках которой можно повысить сопоставимость сырых баллов путем их преобразования без изменения природы порядковой шкалы, IRT позволяет перевести наблюдаемые баллы обучаемых из порядковой в количественную шкалу интервального характера. Такое преобразование осуществляется путем введения специальной единицы измерения – логита – и получения оценок подготовленности студентов, не зависящих от трудности заданий теста.

Таким образом, для перехода на количественный уровень измерений необходимо использовать стандартизованные тесты с выбором ответов, автоматизированные формы проверки и обработки данных, а разработку тестов и шкалирование результатов их выполнения вести только на основе теории IRT. Несмотря на снижение объективности, возникающее за счет привлечения экспертов в тех случаях, когда в стандартизованном тесте есть задания со свободно конструируемым ответом, шкалу тестовых баллов, построенную на основе теории IRT по таким заданиям, также относят к количественным измерениям, что не вполне корректно. Для качественных измерений разрабатывают портфолио и анкеты, проводят интервью, собеседования, устные опросы и экзамены в традиционной форме. Иногда при аккредитации учебных заведений привлекается анализ документов, отражающих ход и результаты учебного процесса.

В целом можно отметить, что количественный и качественный уровни измерений имеют существенные отличия по проявлению совокупности свойств оцениваемых характеристик объектов, способам измерения, формам представления результатов, группам допустимых преобразований и операций с различными математическими и статистическими величинами, характеризующими измеряемые признаки. Количественные оценки обычно представляют в виде чисел на шкале, чтобы дифференцировать различные величины переменной. По результатам качественного измерения для оценочных характеристик выбирают дескрипторы в виде слов или символов, хотя нередко в образовании роль символов для удобства размещения на шкале отводят условно выбираемым числам.

В связи с введением компетентностного подхода роль качественных оценок, несомненно, будет расти, поскольку оценивание компетенции может проводиться на качественном уровне измерений. На деле приоритет качественного уровня вовсе не означает отказа от тестов при оценивании профессиональных компетенций выпускников вузов. В рамках компетентностного подхода количественные оценки должны дополняться многоаспектными качественными оценками и получать развернутую качественную интерпретацию по отношению к задачам профессиональной деятельности выпускников. Для повышения объективности оценок при построении качественных шкал необходимо использовать оценочные средства, разработка которых осуществлялась с опорой на теорию педагогических измерений. Применение таких измерителей должно обеспечивать высокую надежность и валидность оценок.

 

2.6. Бипарадигмальная методология

Разграничение количественного и качественного подходов проявлялось в методологии в течение нескольких десятилетий конца ХХ в., но протекало по-разному в зависимости от уровня развития измерений в социальных науках. В странах, где широко использовавших тесты в психологии и в образовании, сложились две противостоящие методологии: качественная и количественная, объединенные одной общей функцией – служить ориентиром в научной организации процесса измерений. На качественном уровне для методологических знаний характерна большая описательность. В количественном методологическом подходе преобладают нормативные предписания, находящие свое практическое отражение в нормах выполнения тестов, а для измерений используются стандартизованные шкалы.

В частности, в США общий ход развития методологии измерений протекал в условиях острых дебатов между сторонниками количественного и качественного подходов в измерениях (Дейт, Гейдж, Губэ и Линкольн, Хаус, Росс), которые вплоть до начала XXI в. не находили компромиссных точек зрения и утверждали приоритет только своего подхода в рамках одной из методологий. Аналогичные процессы протекали в психологии, где в 70–80-е гг. шли длительные методологические споры между такими учеными, как Кронбах, Кук и Кемпбелл, которые отстаивали противоположные точки зрения на преимущества количественных или качественных подходов к решению методологических проблем валидности измерений, разработке инструментария и интерпретации результатов измерений в практике. По сути, ни одно из направлений в социальных науках не избежало проявлений подобных споров и противостояния парадигм в оценочных процедурах [10, 38].

В основе одного методологического подхода, получившего за рубежом название позитивистской парадигмы, лежали количественные методы измерения, в то время как противоположная конструктивистская парадигма была основана на качественных методах, поэтому споры между этими двумя парадигмами часто называли качественно-количественными дебатами. В их развитии выделяют несколько этапов, не имеющих четких границ из-за некоторых переходных периодов. Первый из этапов дебатов, характеризующийся приоритетом количественных методов, протекал с 20-х до 80-х гг. ХХ в., когда в педагогических измерениях господствовали тесты с выбором ответа, которые рассматривались как единственный достоверный источник данных о результатах образовательного процесса и не нуждались в привлечении экспертов при оценивании результатов выполнения.

В 70–80-х гг. ХХ в. стали появляться многочисленные критические публикации, в которых утверждалось, что принципы позитивизма и количественная методология, утверждавшая эту парадигму, были дискредитированы (Линкольн и Губэ). Причинами критики позитивизма послужил нарастающий интерес к формированию творческих аспектов подготовленности обучаемых, развитию когнитивных навыков и коммуникативных компетенций, которые невозможно было оценить с помощью традиционных тестов с выбором ответов. В этой связи за рубежом началось возрождение качественных методов в педагогических измерениях и постепенный переход к качественной методологии, базирующейся на принципах конструктивизма (Смис и Хэсхусис).

Однако вопреки преобладающему конструктивизму, нарастающему противостоянию методологий и утверждениям о несовместимости количественных и качественных подходов еще в 60-е гг. появились зачатки новой методологии, которая совмещала их и стала доминирующей в 90-е гг. ХХ в. Наиболее серьезные попытки примирения парадигм в образовании, наметившиеся к концу ХХ в., принадлежат Хоуэ, Рейхардт, Раллис. Они выдвинули тезис совместимости количественной и качественной методологий, основанный на другой парадигме, которую ученые позже назвали прагматизмом. В наше время уже никто не сомневается в истинности прагматизма, а дебаты ученых о парадигмах рассматривают как фрагмент истории измерений в социальных науках. Все современно мыслящие исследователи обращаются к прагматической методологии педагогических измерений, в которой содержатся элементы и количественных, и качественных подходов (Брюэр и Хантер, Пэтон, Грин, Караселли и Грэхэм).

Движение от позитивизма к прагматизму в методологии педагогических измерений имеет свои характерные черты. Оно сопровождается переходом от монометода и единственного средства оценивания, в качестве которого выступают тесты, к использованию совокупности методов и средств измерения. Вместо единственного источника информации – результатов стандартизованного тестирования – появляются многочисленные источники данных, строящиеся на сочетании различных средств измерения. Нередко при качественном оценивании привлекается дополнительная информация о предыстории развития студента, результаты его анкетирования, краткие истории из его жизни и другие биографические материалы. Исследователи, идущие по пути количественных методов, применяют математические модели, статистические таблицы и графики, но стараются подвергать полученные числа последующей качественной интерпретации для анализа и использования в управлении качеством образования.

В нашей стране смена господствующих парадигм в методологии измерений шла несколько иным путем, чем в зарубежных странах, обладающих развитыми национальными системами тестирования. Из-за запрета на тестовые методики весь период до начала 90-х гг. в отечественном образовании преобладала монометодология, базирующаяся на качественных подходах и ориентированная на традиционные оценочные средства, разрабатываемые и используемые педагогами вне аппарата теории измерений в образовании. Однако вопреки трудностям становления тестовых технологий с начала 90-х гг. в нашей стране стали появляться отдельные исследования, направленные на разработку методологического обеспечения тестирования и привносившие элементы количественных подходов в традиционную оценку знаний обучаемых.

Расширение сферы применения тестов в России пришлось на период, когда в содержании контроля во всем мире стала приоритетной проверка творческих умений, а вместо заданий на воспроизведение фактов и простейших алгоритмов, предполагающих только одноуровневую деятельность, во многих странах в тесты стали включать задания для оценки разнообразных интеллектуальных и практических умений.

Наметилось смещение акцентов с преимущественной оценки результатов обучения на компоненты процесса получения результата, с пассивного ответа на заданный вопрос на активное конструирование содержания ответа, с оценки отдельных, изолированных умений на интегрированную и междисциплинарную оценку уровня сформированности компетенций. Эти тенденции нашли свое отражение в создании новых форм тестовых заданий и инновационных измерителей.

Наряду с заданиями с выбором ответов, стали использоваться формы, позволяющие экзаменуемым самостоятельно конструировать ответ и приводить его в произвольном виде в специальном бланке. Для проверки результатов выполнения таких заданий приходится привлекать экспертов, оценочные суждения которых проводятся на качественном уровне. Вместе с тем наличие заданий с выбором предполагает количественный уровень измерений. Таким образом, современная практика тестирования в России основывается на новой методологии измерений, позволяющей сочетать данные на количественном и качественном уровнях измерений, учитывая в том числе и данные анкетирования или результаты собеседования, например, при приеме в вузы, аттестации школ, педагогических кадров и т.д.

Для отражения идеи совмещения количественных и качественных уровней измерения в наши дни отечественные ученые ввели представление о бипарадигмальной методологии, под которой следует понимать систему принципов, способов функционирования и форм научной организации теоретической и практической деятельности в условиях сочетания количественных и качественных уровней измерений, а также учение об этой системе, закладывающее научный базис интеграции результатов измерений различных уровней при их шкалировании и использования в образовании [10].

Второе новое понятие, возникшее в научных трудах наших современников, – бипарадигмальные модели измерения, которые включают совокупность предположений, структурных связей, методов, методик, требований, показателей качества, определяющих функционирование и развитие всех компонентов процесса и средств измерения в условиях сочетания количественных и качественных подходов к измерению [Там же]. Понятие «модель измерения» необходимо дифференцировать от другого, близкого по смыслу – «метод измерения», отличающегося от первого по степени обобщенности и полноты включения компонентов измерения. Модель измерения представляет собой общую структуру, охватывающую не только количественные и качественные методы измерения, но и разработку измерителей, проведение тестирования или другие формы сбора данных, формирование выборочных совокупностей обучаемых для калибровки измерителей или сбора репрезентативных данных, анализ данных, их сопоставление и т.д. По форме представления бипарадигмальные модели могут носить не только описательный характер, но и включать математические модели IRT, методы факторной композиции измерителей и другие математико-статистические методы, используемые для разработки тестов и применения данных тестирования при оценивании качества образования.

Типология бипарадигмальных моделей измерения, охватывающая практически весь спектр задач, решаемых при оценивании качества образования, приводится на рис. 2.9.

Рис. 2.9. Типология бипарадигмальных моделей измерения

Педагогические измерения, основанные на бипарадигмальной методологии, могут включать сочетание и взаимное влияние качественных и количественных подходов на всех стадиях: в рамках планирования измерения, на стадии сбора данных и при анализе данных для формулировки выводов и их интерпретации для нужд управления качеством образования.

Бипарадигмальные методы измерений должны строиться с учетом принципа минимакса и контроля, объединяющего три компонента, которые регламентируют процесс измерений и доминируют в различной степени в зависимости от уровня и стадии измерений. На количественном уровне измерений преобладающим будет первый компонент, содержащий требование максимизации дисперсии наблюдаемых результатов измерения, но не снимающий и не ограничивающий влияние двух других компонентов. Реализация этого компонента означает обеспечение максимального дифференцирующего эффекта измерений для выявления всех значимых различий между оценками конструктов.

Второй компонент, предполагающий минимизацию дисперсии ошибочных компонентов, является наиболее важным на качественном уровне измерений, когда резко возрастает влияние субъективных факторов. Минимизация ошибочного компонента дисперсии на количественном уровне обеспечивает возможность повышения надежности измерения за счет уменьшения влияния случайных ошибок.

Выполнение третьего требования к измерениям означает систематическое осуществление контроля внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние. Примеры, подтверждающие важность осуществления контроля внешней дисперсии, можно часто встретить в мониторинге, где нередко встречаются случаи неправильной или упрощенной интерпретации данных и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности.

В целом, контроль внешней дисперсии означает, что необходимо устранить, если это возможно, влияние всех посторонних переменных на оцениваемые конструкты. Если прямое устранение невозможно, то посторонние переменные должны находиться под контролем, и процесс их влияния на измеряемые переменные должен быть управляем.

Проведение оценивания предполагает определенную последовательность получения количественных и качественных данных, собираемых на основе различных дизайнов измерения. Среди многочисленных возможных схем измерений при сочетании количественных и качественных уровней выделяют два основных дизайна, получивших название последовательного и параллельного. В последовательном дизайне качественные измерения сменяют количественные либо, наоборот, вначале идут количественные измерения. При параллельном дизайне количественные и качественные измерения ведутся одновременно с последующим объединением данных на основе единой методологии измерения.

Зачастую количественные и качественные результаты, полученные при одновременном измерении, в процессе анализа подвергаются сопоставлению для повышения обоснованности управленческих выводов. Например, при инспектировании школы можно разработать тест для учителей, содержащий задания с выбором ответов относительно процессов модернизации, происходящих внутри школы. Одновременно те же вопросы, но в форме устной беседы, можно задать администрации школы, используя протокол интервью с открытым форматом. Анализ количественных данных тестирования и качественных, полученных в процессе интервью, позволяет найти точки соприкосновения или расхождения мнений.

В целом, возможны многочисленные схемы измерения, строящиеся на вариации количественных и качественных этапов оценивания изучаемых переменных и применяемые на различных уровнях агрегирования данных измерения. Для бипарадигмальных методов измерения, предполагающих сочетание количественных и качественных подходов, можно предложить определенную типологию схем взаимодействия уровней измерения, приведенную на рис. 2.10–2.13.

Рис. 2.10. Первая схема реализации бипарадигмальных методов измерения

Первая схема (рис. 2.10) указывает наиболее нежелательный путь с точки зрения корректности последующих управленческих решений, но она жизнеспособна в силу простоты и распространена в практике. Измерение начинается с качественного сбора данных и их последующего анализа, который предваряет этап перевода качественных данных в некоторые числовые символы, носящие условный характер и обычно выражающие отношение порядка по измеряемой переменной. Количественная интерпретация полученных числовых символов, их упорядочение, рейтингование и вычисление ранговой корреляции входят в число возможных преобразований, с помощью которых качественные данные переводятся в удобную шкалу и используются в управлении качеством образования.

Примеры реализации первой схемы довольно многочисленны. Они сплошь и рядом встречаются в повседневном контроле знаний студентов, когда преподаватель выставляет оценки во время устных опросов или традиционных контрольных работ без применения тестов, а затем подвергает баллы студентов в четырехбалльной шкале количественной интерпретации, сравнивая результаты. В ЕГЭ примером количественной интерпретации качественных результатов может служить обработка данных экспертов по результатам проверки заданий КИМ со свободно конструируемым ответом на основе моделей IRT и последующее представление результатов выпускников в метрической шкале.

Вторая схема, приведенная на рис. 2.11, соответствует случаю, который довольно часто встречается в практике образования, поскольку любые результаты тестирования всегда подвергаются качественной интерпретации для объяснения количественных результатов измерения.

Рис. 2.11. Вторая схема реализации бипарадигмальных методов измерения

Результаты измерений могут использоваться в самых различных целях: например, для принятия управленческих решений в учебном процессе, связанных с усилением акцентов на отдельных разделах учебной программы, выделением дополнительного времени для повторения и так далее либо для осуществления диагностики пробелов в обучении, отбора студентов со специальными целями (обучение по индивидуальным программам и т.д.), проведения аттестации, оценки эффективности деятельности учебных заведений, планирования образовательной политики. Однако вне зависимости от сферы использования количественные данные должны пройти этап качественной интерпретации, чтобы стать информационной основой любых управленческих решений в образовании.

Особенно важны качественные методы в том случае, когда тесты разрабатываются на основе критериально-ориентированного подхода, позволяющего качественно интерпретировать количественные результаты тестирования при аттестации (процент освоенного содержания обучения) по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (см. Основные подходы к разработке измерителей ). Вначале балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. Затем полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста. Таким образом, в самом критериально-ориентированном подходе заложена идея качественной интерпретации с использованием конкретной области содержания и участием экспертов для выбора критериев выполнения тестов.

Третья и четвертая схемы, приведенные на рис. 2.12, кажутся подобными первым двум, хотя речь идет не о последующей интерпретации, расширяющей возможности количественных или качественных методов измерения, а об объединении методов в рамках последовательного дизайна в едином измерительном процессе.

Рис. 2.12. Последовательный дизайн реализации бипарадигмальных методов в измерении (схемы 3, 4)

Последовательный дизайн имеет отличающиеся по времени выполнения уровни измерения, поэтому его можно назвать двухстадийным. На верхней схеме качественные методы измерения предшествуют количественным, что соответствует практической ситуации, когда анкетирование предваряет тестирование по заданиям с выбором ответов. На нижней схеме ситуация полностью противоположна: студентов сначала тестируют, а затем собирают дополнительную информацию на основе анкет, опросных листов или собеседований для углубленного анализа данных тестирования и расширения возможностей интерпретации при использовании результатов измерений в управлении качеством образования. Обе схемы на рис. 2.12 предполагают анализ взаимного влияния данных качественного и количественного уровней, когда результаты тестирования пытаются соотнести с социально-экономическими, демографическими или другими факторами для корректного сопоставления количественных данных и получения долгосрочных прогнозов в управлении качеством образования.

Последний вариант взаимодействия количественных и качественных методов педагогических измерений, представленный на рис. 2.13, иллюстрирует параллельный дизайн, примером которого могут служить КИМ ЕГЭ, в которых сочетаются задания с выбором и со свободно конструируемым ответом. Вне практики ЕГЭ параллельный дизайн мало распространен в отечественном образовании, так как экспертная проверка заданий со свободно конструируемыми ответами довольно затратное мероприятие, требующее привлечения специально обученных экспертов.

Рис. 2.13. Параллельный дизайн реализации бипарадигмальных моделей в измерении (схема 5)

Соотнесение предлагаемых схем дизайна измерений с типологией бипарадигмальных моделей (см. рис. 2.9) позволяет дать расширенную интерпретацию предложенной на упомянутом рисунке классификационной схемы, которая выстроена в соответствии типами различных задач, решаемых в обучении на всех образовательных уровнях. Классификация моделей охватывает диапазон управленческих проблем от повседневного процесса обучения до выработки отдельных административных решений. Предполагается, что с помощью информации, полученной на основе бипарадигмальных моделей измерения, можно принять целый спектр управленческих решений в учебном процессе (построить индивидуальные обучающие траектории, усилить акценты на отдельных разделах учебной программы, выделить дополнительное время для повторения, придерживаться учебного плана и т.д.), осуществить диагностику пробелов в обучении, произвести отбор студентов со специальными целями, провести аттестацию, оценить эффективность инноваций в обучении, скорректировать образовательную политику и т.д.

В частности, в соответствии с классификацией задач (вход в обучение, текущий процесс, завершение определенного периода учебного процесса), решаемых с помощью измерений, можно выделить три основных типа бипарадигмальных моделей измерения и представить их основное назначение в обучении. Естественно, что каждый тип модели допускает использование и количественных, и качественных методов, поэтому с определенной степенью общности в типологической схеме можно говорить лишь о доминанте тех или иных уровней измерения.

В первой модели входных измерений доминируют количественные методы в соответствии со схемой 2, поскольку при начале обучения в основном, но не всегда, используют методы экспресс-диагностики, реализуемые с помощью претестов (предварительных тестов) с заданиями на выбор правильного ответа, результаты которых подвергаются качественной интерпретации [28, 39]. Благодаря кратким заданиям, обычно с двумя или тремя ответами, среди которых один верный, претесты позволяют с высокой эффективностью выявить готовность к усвоению новых знаний у всех студентов.

По результатам выполнения претеста преподаватель принимает управленческое решение о возможности продвижения по программе обучения или отказа от новых тем и повторения базового материала. Претесты работают также на режим индивидуализации обучения, поскольку помогают выделить тех, кто нуждается в дополнительной работе и консультациях педагога либо, наоборот, кто способен двигаться быстрее по индивидуальной программе обучения с максимальным развивающим эффектом. Применение данных входного измерения в адаптивном тестировании при контроле или обучении позволяет оптимизировать подбор трудности заданий с первых шагов продвижения студента по адаптивному тесту.

Модель текущих измерений ориентирована преимущественно на качественные методы в соответствии со схемой 1, поскольку в повседневном учебном процессе преобладают традиционные контрольно-оценочные средства: опросы, контрольные работы и так далее, результаты выполнения которых нередко подвергаются количественной интерпретации. Даже в тех случаях, когда для решения задач текущего контроля разрабатываются корректирующие и диагностические тесты, измерения носят качественный характер. Хотя тесты первого вида, как правило, являются критериально-ориентированными и в основном включают задания с выбором ответов, их результаты никогда не обрабатываются с помощью современной теории IRT, поскольку их применение полностью нацелено на дифференцированный подход к обучающимся при коррекции пробелов в усвоении. С помощью корректирующих тестов можно найти слабые места в подготовке студентов и выявить направления индивидуальной помощи им в освоении нового материала.

Логика критериально-ориентированного подхода при корректирующем тестировании достаточно проста и привычна для педагога. В тех случаях, когда число ошибок в тестах превышает установленный критерий, преподавателю следует вмешаться в процесс усвоения новых знаний и помочь учащемуся ликвидировать пробелы. При обычных условиях вся работа по выявлению пробелов и коррекции процесса усвоения лежит на преподавателях, что приводит к значительным перегрузкам. Благодаря корректирующему тестированию центр тяжести в работе педагога при управлении процессом усвоения новых знаний смещается на тесты.

Если затруднения студента при выполнении заданий по какому-либо разделу учебного материала носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов, которые предоставляют информацию исключительно на качественном уровне измерений. Основная цель диагностики – установление причин пробелов в знаниях студентов – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания теста. Подробная детализация позволяет выявить причины устойчивых ошибок студентов, конкретизировать характер возникающих затруднений и получить качественные выводы о несформированности тех или иных учебных умений.

Информация управленческого характера, которую получает преподаватель после применения диагностических тестов, довольно подробна и непосредственно увязывается с планируемыми задачами обучения. Например, по результатам диагностики можно установить, что одни пробелы в подготовке вызваны неумением обучаемого применять на практике полученные им теоретические знания, а другие – неумением переносить теоретические знания на новую нестандартную ситуацию и т.д. Поэтому диагностические тесты позволяют педагогу определить истинные источники постоянных неудач отдельных студентов в обучении и скорректировать свою работу соответствующим образом.

Модель итоговых измерений носит преимущественный количественный характер и строится на основе последовательного или параллельного дизайна, сочетания количественных и качественных методов. Для ее реализации, протекающей согласно схемам 3, 4 и 5, чаще всего применяют итоговые тесты учебных достижений. Поскольку основная цель итогового тестирования – обеспечение объективной оценки результатов обучения и ее последующее использование для принятия административных управленческих решений в образовании, то при оценивании стараются применять количественные методы измерения и стандартизованные тесты. По этим же причинам итоговому тестированию стараются придать независимый характер и привлекают к его проведению структуры, внешние по отношению к учебным заведениям. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аккредитации вузов и т.д. Разработкой и стандартизацией итоговых тестов, результаты которых используются для административных решений, обычно занимаются специалисты, прошедшие специальное обучение методике конструирования педагогических тестов.

Для обработки данных в модели итоговых измерений обычно обращаются к теории IRT, особенно в тех случаях, когда данные измерения применяются для сопоставления эффективности работы учебных заведений или прогнозирования тенденций в образовании на основе мониторинговых исследований. Применение IRT позволяет перевести результаты измерений в метрическую шкалу, что существенно повышает обоснованность выводов в процессе управления качеством образования. На фоне количественных методов в модели итоговых измерений широко применяются анкетирование, собеседование и другие методы сбора качественных данных. Для повышения обоснованности выводов относительно итоговых результатов обучения привлекаются данные портфолио или результаты по тестам практических умений, позволяющие перевести результаты измерения только в порядковую или номинальную шкалу.

 

Выводы

Процесс педагогических измерений состоит из совокупности операций, направленных на компоненты измерений и позволяющих получить количественные или качественные оценки оцениваемых характеристик.

В отличие от традиционных оценочных средств измерители являются объектом специального анализа, направленного на обеспечение необходимых характеристик для повышения надежности и валидности результатов измерений. Особенно важно такое обоснование качества измерителей при итоговом контроле, результаты которого связаны с принятием важных административных решений, например, при аттестации выпускников или оценке эффективности деятельности учебных заведений.

При аттестации объектом измерения являются знания, умения навыки и компетенции, нередко называемые обобщающим термином «учебные достижения», структура и уровень сформированности которых сравнивают с требованиями ФГОС.

Надежность, валидность и размерность – три взаимосвязанные характеристики качества результатов измерений. Задание является одномерным, если оно измеряет одну и только одну переменную. Размерность задания равна числу переменных, которые оно измеряет. Анализ размерности результатов измерения, основанный на исследовательском и конфирматорном факторном анализе необходим при разработке оценочных средств в рамках компетентностного подхода к трактовке качества результатов образования.

При разработке тестов и переходе к шкалированным показателям испытуемых желательно пользоваться методами современной теории тестов (IRT), позволяющей преобразовать сырые баллы студентов в интервальную шкалу, единую для оценок параметров испытуемых и трудности заданий теста.

Классическая теория тестов и рекомендованные в ее рамках линейные преобразования сырых баллов повышают сопоставимость результатов студентов, но не меняют природу порядковой шкалы наблюдаемых результатов выполнения теста. Стандартизованные тесты, разработанные на основе классической теории, не позволяют перевести результаты испытуемых в интервальную шкалу.

 

Практические задания и вопросы для обсуждения

1. Какие компоненты педагогических измерений вы знаете?

2. Чем результаты оценивания качества подготовленности студентов, полученные на основе педагогических измерений, отличаются от результатов традиционных экзаменов?

3. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.

4. Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?

5. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?

6. Эффективно ли использовать диагностические тесты без корректирующих тестов?

7. Следует ли подвергать стандартизации тесты для текущего контроля?

8. Можно ли использовать тесты, стандартизованные в одном вузе, с теми же нормами для всех вузов по данному направлению подготовки?

 

3.1. Общие подходы к интерпретации результатов педагогических измерений

При педагогических измерениях интерпретация баллов студентов может носить различный характер в зависимости от того, каким способом сравниваются их результаты. В одном случае проводится сопоставление баллов тестируемых с результатами определенной группы – выборки студентов, выполнявших тот же самый тест, – для определения места каждого балла по отношению к среднему результату в группе (нормативно-ориентированный подход). В другом случае результаты испытуемых интерпретируются по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (критериально-ориентированный подход) [22, 28, 33, 43]. Хотя оба подхода дают информацию о подготовленности студентов, они отличаются по характеру получаемых данных. В нормативно-ориентированном подходе определяется место результата каждого студента по отношению к результатам других студентов. В критериально-ориентированном подходе информация, полученная при тестировании, позволяет установить освоенные разделы учебного курса или виды учебной деятельности, выявить проблемы и пробелы в усвоении.

Соответственно двум подходам к интерпретации результатов тестирования выстраиваются и два подхода к созданию педагогических тестов. Оба они перспективны и важны, имеют свою сферу применения, преимущества и недостатки. Выбор подхода к интерпретации результатов тестирования необходимо сделать в самом начале – в момент постановки цели создания теста. В противном случае можно оказаться в ситуации, когда результаты тестирования окажутся недостаточно информативными и непригодными для принятия обоснованных управленческих решений в рамках обоих подходов из-за неопределенности при интерпретации результатов выполнения теста. С первого взгляда оба подхода – нормативный и критериальный – непротиворечивы, поэтому у многих педагогов возникает впечатление, что можно делать тесты, допускающие сразу обе интерпретации результатов. Для специалистов по педагогическим измерениям совмещение нормативно-ориентированного и критериально-ориентированного подходов представляется недопустимым в силу целого ряда различий в конструировании тестов, поэтому в соответствии с двумя подходами к интерпретации результатов тестирования выделяют нормативно-ориентированные и критериально-ориентированные тесты.

 

3.2. Нормативно-ориентированный подход и стандартизация тестов

Нормативно-ориентированные тесты разрабатываются для сравнения обучаемых по уровню учебных достижений, поэтому основная цель нормативно-ориентированного подхода – дифференциация испытуемых по результатам выполнения теста. При интерпретации результатов студентов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более сильной группы. Например, можно высоко оценить знания студента, выполнившего правильно всего 30 заданий в тесте из 60 в том случае, если 70–80% остальных студентов в группе сделали меньшее число заданий. Тот же самый результат обучаемого в сильной группе будет отнесен к категории довольно низких, если только 10–20% испытуемых сделали правильно 30 заданий, а все остальные значительно превысили этот результат. Для корректной интерпретации результатов тестирования балл каждого студента сравнивается с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая результаты выполнения теста четко определенной выборкой испытуемых – релевантной нормативной группой, репрезентативно представляющей генеральную совокупность тестируемых студентов [1, 21, 28]. Нормы нельзя придумать или задать априорно, они устанавливаются в соответствии с эмпирическими данными по тесту. К ним обычно относят среднее значение тестовых баллов и показатель разброса (вариативности) вокруг среднего значения всех остальных баллов, полученных представительной выборкой тестируемых студентов. Имея нормы, можно установить положение каждого результата по отношению к среднему значению тестовых баллов, посмотреть, на сколько результат испытуемого выше или ниже среднего и как располагаются результаты остальных студентов вокруг среднего балла по тесту. Таким образом, соотнесение первичного результата испытуемого с нормами теста позволяет определить его место в выборке, использованной для подсчета.

Процесс определения норм называется стандартизацией теста. Этот процесс всегда осуществляется на репрезентативной выборке испытуемых, формирование которой обязательно при определении норм теста. Тестовых норм, пригодных для интерпретации результатов всех студентов по любым тестам, не существует вообще. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью испытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент создания теста и подлежат систематическому обновлению и перепроверке.

Нормы обычно устанавливают в ситуации массового тестирования, например, при аттестации студентов или выпускников. В текущем контроле нормы выполнения теста, конечно, не определяются. В этом случае обычно используют не преобразованные (сырые) результаты выполнения тестов, подсчитанные путем суммирования оценок по отдельным заданиям, в том числе и с весовыми коэффициентами.

Руководству факультета нередко интересно узнать, по какому предмету отстает тот или иной студент. Для этого приходится сравнивать результаты студентов по предметным тестам. Подобное сравнение относительных позиций студента в тестах по разным предметам возможно в том случае, если они стандартизованы на одной и той же выборке испытуемых и представлены в одинаковых шкалах с общими средним значением и стандартным отклонением. В противном случае результаты сравнения тестовых баллов студента по отдельным предметам можно неверно интерпретировать из-за несопоставимости тестовых норм.

В педагогических измерениях термин «стандартизация» обычно используется гораздо чаще не только применительно к процессу установления норм выполнения теста. В расширенном понимании стандартизация предполагает единообразие всей процедуры выполнения теста. Для стандартизации, помимо норм, разработчик должен дать точные указания по форме предъявления теста, оптимальному времени его выполнения, составу выборки стандартизации, устные инструкции и ряд других деталей, влияющих на результаты выполнения теста.

К нормам предъявляют ряд требований:

     • нормы должны быть дифференцированными. Например, тесты для аттестации студентов вузов, реализующих одинаковые направления подготовки, необходимо стандартизировать на собственных выборках в тех случаях, когда результаты аттестации используются только внутри самого вуза. В случае, если речь идет об аттестации студентов при комплексной проверке деятельности учебных заведений, стандартизация тестов должна проводиться на репрезентативной выборке, состоящей из студентов разных вузов России и отражающей пропорции генеральной совокупности всех студентов, получающих подготовку по данному направлению;

     • нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из современной ситуации в образовании;

     • нормы должны быть репрезентативными, поэтому они всегда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации, обеспечивающей несмещенные оценки.

Норма – относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стандартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные: объем и представительность (репрезентативность), обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста. Если выборка не репрезентативна, то нормы неадекватно отражают характеристики подготовленности генеральной совокупности испытуемых. В этом случае результаты тестирования выборочной совокупности студентов не подлежат генерализации (распространению на всю генеральную совокупность), а сами нормы являются недостоверными (неточными), поэтому их нельзя использовать при интерпретации результатов выполнения тестов.

Если принимать во внимание только первую переменную – объем выборки, то для получения приемлемой точности оценивания норм вполне достаточно провести тестирование 200–500 испытуемых. Гораздо более важной характеристикой выборки, не зависящей от ее размера, является репрезентативность (представительность). В практической работе вполне допустимо ограничиться выборкой из 300, а иногда даже 200 испытуемых, поскольку маленькая, но репрезентативная нормативная выборка предпочтительнее, чем большая, но неравномерно представленная.

Для обеспечения равномерности представления различных специфических составляющих популяции испытуемых используют специальный процесс – стратификацию (расслоение выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности). Обычно в качестве оснований для стратификации выделяют факторы, наиболее тесно связанные с переменной измерения и воспроизводящие реальную структуру генеральной совокупности по ряду признаков (возрастных, гендерных, психологических, социальных и др.). Например, к числу таких факторов для группы вузов можно отнести программу обучения, используемые учебники, специфику технологий обучения, социальное положение родителей студентов, регион, где расположен вуз и т.д. Внутри одного учебного заведения можно выделить формы обучения, методы обучения, кадровый состав преподавателей и т.д.

Для формирования выборки определенного типа чаще всего используют вероятностные методы, отличающиеся от других, невероятностных методов способами извлечения объектов из генеральной совокупности и дающие по сравнению с последними более высокий уровень репрезентативности выборочных совокупностей [21]. Среди распространенных типов выборок можно выделить простую случайную, элементы которой отбираются из генеральной совокупности случайно, т.е. с равной вероятностью без выделения оснований по стратификации. В том случае, когда фиксируется определенный шаг выборки при отборе ее элементов, случайная выборка превращается в систематическую.

Стратифицированный тип выборки является наиболее предпочтительным с точки зрения обеспечения ее высокой репрезентативности. При ее формировании каждый элемент генеральной совокупности, включенный в одну внутреннегомогенную страту, отбирается методом простой случайной выборки, а процесс стратификации производится способом, описанным выше. Реже встречаются кластерные и мультистадийные выборки, требующие предварительного формирования кластерных групп элементов в тех случаях, когда генеральная совокупность неоднородна.

Определение оптимального типа выборки производится на основе анализа ряда факторов, к числу которых относятся цель измерения, вид измерителя и его содержание, особенности генеральной совокупности, специфика переменных измерения, планируемая надежность результатов, предполагаемые выводы по результатам педагогических измерений.

В целом можно сформулировать общие правила получения репрезентативной выборки стандартизации:

     • выборка должна быть стратифицирована на подгруппы по наиболее важным переменным, обычно отражающим не более четырех уровней стратификации;

     • в каждой подгруппе необходимо выровнять число испытуемых, установив в качестве минимального числа не менее 100 испытуемых в одной подгруппе.

С учетом всех возможных сочетаний факторов, обычно выбираемых при массовом тестировании для стратификации, минимальный объем национальной выборки стандартизации во многих странах достигает 12–15 тыс. обучаемых. Для уменьшения этого объема минимизируют число оснований при делении на подгруппы – количество страт, – снижая тем самым затраты на стандартизацию национальных тестов.

Наличие многих факторов стратификации, необходимость анализа пропорций генеральной совокупности испытуемых, проведение апробационного тестирования для определения норм делают работу по стандартизации тестов достаточно дорогостоящей и трудоемкой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нормами с помощью теории IRT, банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста. Поэтому в настоящее время некоторые зарубежные тестовые службы (например, ETS), обеспечивающие массовое тестирование в стране, занимаются созданием банков заданий с устойчивыми характеристиками для различных уровней образования. Чтобы получить такой банк, вузу необходима апробация тестов на репрезентативных выборках, поэтому проблема создания выборок стандартизации не снимается, а, наоборот, приобретает особенное значение.

К стандартизованному тесту необходимо приложить:

     • нормы выполнения теста, которые определяются на выборке стандартизации;

     • объем выборки стандартизации, основания для ее стратификации и временной период ее использования;

     • необработанные показатели выполнения теста для каждой выборки стандартизации.

Последняя информация необходима, поскольку необработанные результаты выполнения тестов могут поддаваться адекватной интерпретации лишь при сравнении с показателями выборки стандартизации. Пользователям тестов следует также помнить о том, что сопоставление норм по различным тестам возможно лишь тогда, когда есть основания для утверждения об адекватности выборок стандартизации.

 

3.3. Критериально-ориентированный подход

При критериально-ориентированном подходе в педагогических измерениях результаты испытуемых интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста (для дихотомических оценок (1 или 0) по отдельным заданиям) либо отношения суммарного балла по правильно выполненным заданиям к общему числу баллов по всем заданиям теста (для политомических оценок по отдельным заданиям). Полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста [1, 22, 28, 33].

Таким образом, при критериально-ориентированном подходе создаются тесты для сопоставления учебных достижений каждого студента с планируемым к усвоению объемом знаний, умений или навыков. В качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка студентов. Упор в интерпретации результатов делается на то, что может выполнить обучаемый и что он знает, а не на то, как он выглядит на фоне других студентов, выполнявших тест.

За рубежом типы критериально-ориентированных тестов имеют определенную классификацию: domain-referenced tests – тесты, ориентированные на содержательную область, результаты по которым, как правило, выражаются в процентах освоенного содержания; mastery, non-mastery tests – тесты для отбора испытуемых, достигших определенной ступени мастерства, результаты студентов в которых обычно делятся на две группы – превысившие критерий и не достигшие критерия выполнения.

В России такая классификация пока не сложилась, хотя она, несомненно, нужна, поскольку эти типы критериально-ориентированных тестов имеют разные технологии разработки.

С помощью критериально-ориентированных тестов благодаря содержательной интерпретации результатов тестирования можно:

     • выявить освоенные и неосвоенные знания, умения, навыки и компетенции, построить индивидуальную образовательную траекторию каждого студента (domain-referenced tests) и повысить индивидуализацию учебного процесса;

     • ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы (domain-referenced tests);

     • разбить испытуемых на две группы с помощью одного критериального балла (mastery, non-mastery tests);

     • разбить испытуемых на несколько групп с помощью нескольких критериальных баллов, поставив, например, балльные отметки – два, три, четыре, пять – и привести развернутый анализ неосвоенных разделов содержания и видов учебной деятельности.

Для получения критериального балла обычно применяют экспертный подход, результаты которого проходят статистический анализ методом контрастных групп. Главные принципы в работе экспертов – независимость суждений и четкое следование стандартизованным инструкциям.

При использовании статистического метода валидизации критериального балла всю группу студентов по результатам предварительных испытаний разбивают на три части: 27% – наиболее слабых, 27% – наиболее сильных и оставшаяся средняя часть. Затем всей группе студентов предлагают тест, из результатов которого выбирают только данные сильных и слабых студентов. По ним строят графики, представленные в сглаженном виде на рис. 3.1.

Рис. 3.1. Статистическая валидизация критериального балла методом контрастных групп

Через проекцию точки пересечения графиков на ось абсцисс проводят вертикальную прямую. Число процентов, соответствующих точке пересечения графиков, принимают за критериальный балл, а «хвосты» кривых слева и справа от вертикальной прямой показывают проценты неправильных решений (сильные испытуемые, попавшие в группы неаттестованных, и слабые студенты, отнесенные к аттестованным, соответственно).

Несмотря на кажущуюся привлекательность, благодаря содержательной интерпретации, критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100%, в одном тесте. Аттестационные критериально-ориентированные тесты нередко получаются очень длинными (из 150–300 заданий), выполнить которые даже студентам при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста [44]. Другой путь укорочения тестов – сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко используют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.

Помимо этого, критериально-ориентированные тесты имеют довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения, навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов. В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхний предел зачастую невозможно. Иногда при выполнении таких заданий студент руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, предпочтение следует отдавать нормативно-ориентированному подходу либо постараться совместить оба подхода в одном тесте.

Нормативно-ориентированный и критериально-ориентированный подходы не имеют тех различий, которые можно выявить путем обычного осмотра заданий тестов. Углубленный анализ существенных характеристик тестов, разработанных в рамках различных подходов, указывает на ряд особенностей. Нормативно-ориентированные и критериально-ориентированные тесты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.

В частности, содержание критериально-ориентированного теста должно быть достаточно полно, в него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержание нормативно-ориентированного теста фрагментарно, в нем могут быть только те разделы, которых достаточно для сравнения и дифференциации студентов по уровню учебных достижений. Нормативно-ориентированные тесты обычно имеют от 50 до 70% заданий примерно средней трудности, т.е. таких, которые смогла выполнить верно приблизительно половина тестируемых студентов (рис. 3.2).

Рис. 3.2. Распределение заданий по трудности в нормативно-ориентированном тесте

В критериально-ориентированных тестах, используемых для аттестации, основная часть заданий намного легче, особенно в тех случаях, когда стараются спланировать процент двоек и ограничить число неаттестованных студентов. Например, процент двоек не должен быть больше десяти, и критерий отсева неуспевающих хотят установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают два), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить верно 90% тестируемых студентов (рис. 3.3).

Рис. 3.3. Распределение заданий по трудности в критериально-ориентированном тесте

В силу того что распределения сырых баллов испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму, приходится использовать отличающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания. Типичные распределения баллов репрезентативной выборки испытуемых в нормативно-ориентированных и критериально-ориентированных тестах показаны на рис. 3.4 и 3.5.

Рис. 3.4. Распределение баллов репрезентативной выборки испытуемых в нормативно-ориентированных тестах

Рис. 3.5. Распределение баллов репрезентативной выборки испытуемых в критериально-ориентированных тестах

Наиболее существенные отличия между нормативно-ориентированными и критериально-ориентированными тестами сведены в табл. 3.1.

Таблица 3.1 Отличия между нормативно-ориентированными и критериально-ориентированными тестами

Между двумя подходами нет непреодолимых противоречий, а для преподавателей наиболее информативной является ситуация, когда оба подхода взаимно дополняют друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, чтобы результаты студентов можно было бы соотносить как с нормами, так и с содержанием теста. Примером этого в России являются КИМ ЕГЭ.

 

3.4. Задачи тестирования и виды тестов

В соответствии с видами контроля при тестировании можно выделить [28, 39, 42]:

     • задачи, стоящие перед преподавателем на входе в обучение (входной контроль);

     • текущие задачи (текущий контроль);

     • задачи, соответствующие концу определенного периода учебного процесса (итоговый контроль).

Началу обучения ставится в соответствие входное тестирование, позволяющее выявить степень владения базовыми знаниями, умениями и навыками, необходимыми для начала обучения, и определить уровень владения новым материалом до начала его изучения в аудитории. Тесты для входного контроля, обычно называемые претестами, позволяют выявить готовность к усвоению новых знаний у всех студентов. Они разрабатываются в рамках критериально-ориентированного подхода и содержат задания для проверки всех базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном претесты предназначены для наиболее слабых студентов, находящихся на границе между подготовленными и явно не готовыми к началу усвоения нового материала По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Входной претест второго типа разрабатывается в рамках нормативно-ориентированного подхода. Он покрывает планируемые результаты предстоящего обучения и полностью построен на новом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуализации в массовый учебный процесс. Если студент показал некоторые предварительные знания по новому материалу, то план его обучения необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

Для текущего контроля разрабатывают корректирующие и диагностические тесты. Тесты первого вида, как правило, являются критериально-ориентированными – если процент ошибок студента превышает критериальный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов можно найти слабые места в подготовке студентов и выявить направления индивидуальной помощи им в освоении нового материала.

Корректирующие тесты не следует путать со средствами текущего контроля знаний студентов, однако они в какой-то мере близки хотя бы по целям применения. Но между первыми и вторыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего контроля менее эффективны, в основном ориентированы на выполнение его мотивирующей функции путем систематической оценки знаний студентов по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных единиц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности с тем, чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения студента при выполнении заданий носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов. Основная цель диагностики – установление причин пробелов в знаниях студентов – достигается специальным подбором содержания заданий в тестах.

Как правило, в них бывают представлены слабо варьирующиеся по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания теста. Подробная детализация позволяет выявить причины устойчивых ошибок студентов, конкретизировать характер возникающих затруднений и сделать выводы о несформированности тех или иных учебных умений.

Для пояснения введенных представлений о тестах для текущего контроля лучше всего привести несколько заданий корректирующего и диагностического тестов с выбором одного правильного ответа, упрощенно иллюстрирующих идеи их создания и применения. Например, пусть задание с выбором ответа из корректирующего теста по математике для начальной школы имеет вид:

Вычислить 2 + 6 : 3 – 8 : 4 =

A) 2

Б) 3

B) 1

Г) 4

Число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения максимальное число возможных заданий 4:

Таким образом, в целом можно сделать вывод о том, что подбор заданий в диагностический тест осуществляется в индивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый студент в корректирующем тесте.

Особенно эффективны процессы коррекции и диагностики в ситуации, когда тестирование осуществляется в компьютеризованном режиме и подкрепляется соответствующими обучающими модулями по каждой единице неусвоенного учебного материала. В этом случае коррекция проводится незамедлительно, поскольку после выявления очередного пробела и установления его причины компьютер сам подбирает обучающий модуль и сразу же выдает его студенту.

Основная цель итогового тестирования – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию студентов (нормативно-ориентированные тесты). Итоговые тесты обычно подвергаются стандартизации, поскольку чаще всего они применяются для принятия административных управленческих решений в образовании. Если проведение входного и текущего тестирования – функция преподавателя, то итоговое тестирование часто проводится структурами, внешними по отношению к учебным заведениям. Итоговые тесты можно также использовать при рубежной аттестации для принятия различных управленческих решений.

В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, зависящие от признаков, которые положены в основу демаркации видов. В соответствии с подходом, выбранным в качестве основополагающего, можно выделить нормативно-ориентированные и критериально-ориентированные тесты. По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому однородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта).

Гетерогенные тесты бывают полидисциплинарные и междисциплинарные [42]. Полидисциплинарные тесты состоят из гомогенных субтестов по отдельным дисциплинам. Результаты студентов по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, межпредметных, интегративных знаний и умений. Междисциплинарные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По характеру измеряемых переменных выделяют тесты для проверки навыков, учебных умений, практических умений, а также компетентностные тесты. Иногда в отдельную группу выделяют скоростные тесты, требующие жесткого ограничения на время для выполнения каждого задания и всегда содержащие избыточное число заданий, не позволяющее никому дойти до конца теста. В зависимости от формы предъявления различают бланковые и компьютерные тесты, устные и письменные.

Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизованные тесты, обладающие нормами выполнения, и не стандартизованные тесты, которых значительно больше, поскольку их делает каждый педагог для использования в повседневном учебном процессе. Не стандартизованные тесты нередко называют авторскими.

Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с помощью тестов, то классификация видов педагогических тестов имеет вид, приведенный на рис. 3.6.

Рис. 3.6. Классификация видов педагогических тестов по видам педагогического контроля

Анализ классификационной таблицы позволяет выделить в качестве основополагающих четыре вида педагогических тестов, среди которых наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.

Увеличение влияния тестирования на принятие управленческих решений на основе данных мониторинга и анализа качества образования во многих странах в XXI в. привело к возникновению нового вида тестов административно-управленческого назначения (в англоязычной литературе – High-Stakes tests). Данные административно-управленческого тестирования служат важным информационным источником для анализа последствий образовательных реформ и инноваций в образовании, проведения сравнительных исследований качества подготовленности выпускников различных вузов России, процедур комплексной проверки деятельности учебных заведений при их аккредитации и т.д. [25, 27].

Единицей контрольного материала, входящей в тест, является тестовое задание, в котором определяется то, что однозначно считается правильным ответом, и определяется степень его полноты для случая самостоятельного конструирования ответа испытуемым.

Каждое тестовое задание должно иметь определенный порядковый номер, стандартную инструкцию по выполнению, эталон правильного ответа или стандартизованные правила по оценке результатов его выполнения и статистические оценки его системообразующих характеристик, удовлетворяющие определенным требованиям теории педагогических измерений. Обычно для выполнения этих требований проводят не менее 2–3 апробаций, по результатам которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризующих качество его работы в связке с остальными заданиями теста.

Анализ и коррекция характеристик тестового задания должны быть основаны на дескриптивной (описательной) статистике, дополняемой методами корреляционного и факторного анализа. Проведение такого анализа требует учета множества условий, в том числе целей разработки и вида теста при оценивании его надежности и валидности. Естественно, что в длительной апробации и коррекции на репрезентативной выборке обучаемых нуждаются в основном аттестационные итоговые тесты, используемые для принятия управленческих решений в образовании. Работа по коррекции аттестационного теста консолидирует систему тестовых заданий – постепенно нарастает внутренняя связь и целостность, интегративность системы, совершается переход от совокупности контрольных заданий к профессионально разработанному итоговому тесту для оценки учебных достижений студентов.

 

3.5. Инновационные измерители в контексте компетентностного подхода

Современные тенденции в трактовке качества результатов образования, связанные с компетентностным подходом, привели к появлению новых видов итоговых измерителей, выявляющих позитивную динамику изменений подготовленности, активность обучаемых в усвоении знаний, рост их компетентности, степень освоения коммуникативных и интеллектуальных умений. В частности, во многих странах стали использовать портфолио, значительно расширяющие возможности подготовки студентов к прохождению итоговой аттестации благодаря учету новых форм учебных достижений в течение определенного промежутка времени, оценки динамики прироста подготовленности и привлечения внешних источников информации о качестве подготовленности студентов, столь важных в компетентностном подходе.

Под портфолио понимают целевую подборку работ студента, раскрывающую его успехи и достижения в одной или нескольких учебных дисциплинах, оценивание умений самостоятельно решать проблемы различного содержания и проявлять логическое мышление при выполнении законченных практико-ориентированных работ, проектов и набросков, особенно значимых для поставленных целей обучения [9, 23, 32]. Подборка обязательно проводится с участием самого обучаемого и включает его лучшие работы, которые оцениваются на основе четко определенных критериев выставления баллов независимыми экспертами (преподавателями, сокурсниками и т.д.) и сопровождается свидетельствами самостоятельной работы обучаемого.

Сегодня в образовании сложилась определенная типология портфолио, представленная, в отечественных и зарубежных работах (рис. 3.7).

Рис. 3.7. Типология портфолио

Первый вид, известный в зарубежных публикациях под названием «рабочее портфолио», рассматривает подборку работ студента за определенный период времени, показывающую произошедшие изменения в его знаниях. Второй вид – протокольное портфолио – может содержать любые работы, отражающие в форме документов все виды учебной деятельности: от результатов участия в «мозговой атаке» до черновиков готовых работ. Третий вид, встречающийся в зарубежных публикациях – процессное портфолио – отражает достижения студента сообразно документированным фазам процесса обучения. Этот вид портфолио особенно полезен в документировании всего процесса обучения, поскольку может показать, как студент овладевает определенными знаниями и умениями на разных фазах учебного процесса. В дополнение к этому процессное портфолио неизбежно стимулирует формирование мнения студента относительно динамики процесса учения. Четвертый вид – итоговое портфолио – обычно используется для получения суммарной оценки знаний и умений студентов на основе интегрирования оценок, полученных по основным предметам учебной программы. Пятый вид – оn-line портфолио – специфичен, он сложился буквально в последние годы в связи с широким развитием дистанционного обучения [23]. Его структура представлена на рис. 3.8.

Рис. 3.8. Структура on-line портфолио

В общей структуре on-line портфолио можно выделить четыре основных компонента: материалы, подтверждающие достижение студентом основных задач курса; материалы, представляющие собственное видение студентом учебного материала; результаты осмысления проделанной им работы в рамках индивидуального плана; отчет о результатах выполнения завершающего проекта по осваиваемому курсу.

В рамках этой структуры он-лайн портфолио может принимать различные формы. Первая форма может быть создана студентом путем загрузки ряда документов в специально отведенную для этого часть общего сайта курса, предполагающую работу студента по заранее составленному шаблону. Вторая форма портфолио позволяет обучающемуся создать собственную веб-страничку и составить ответы в соответствии с собственным пониманием форм отчета по курсу обучения. Хотя первый из этих двух вариантов, несомненно, легче в освоении и использовании, второй вариант дает студентам больше свободы, позволяет работать более самостоятельно, проявляя в полной мере способности к творчеству по результатам обучения.

Конечно, эффективность использования on-line портфолио, как и их текстовых аналогов, пока не доказана. Их разработка достаточно трудоемка и требует выделения определенных этапов. На начальном этапе работ необходимо проведение планирования, включающего определение целей составления портфолио, его статуса, содержания, средств осуществления и способов оценки учебных достижений обучаемых. Начальный этап составления портфолио предполагает совместную деятельность обучаемых и преподавателей. В частности, рассмотрев необходимые вопросы в начале процесса формирования портфолио, студенты могут понять цель его составления и его статус как средства обеспечения мониторинга и оценки их собственных успехов. Ключевые вопросы для преподавателя и студента должны включать следующее:

     • Каким образом я выберу время, материал и тому подобное для отражения того, что изучаю в этой аудитории?

     • Как я организую и в какой форме представлю материал, который я собрал?

     • Как будет поддерживаться и храниться портфолио?

Как правило, при выборе форм представления материалов портфолио нередко предпочитают аудиовизуальные средства, такие как, например, фотографии, видеозаписи или электронные версии законченной работы студента. Первый этап также предполагает наличие подготовленного студентам письменного обоснования состава работ, включенных в портфолио.

Второй этап предназначен для сбора информации о достижениях студента, включающей значимые материалы и продукты учебной деятельности. Сбор информации и ее композиция могут производиться в соответствии с выбором определенной темы, последовательностью процесса изучения материала или по другим основаниям. Компоновка материала портфолио должна также учитывать критерии и стандарты, выбранные для оценивания результатов работ.

На третьем этапе в портфолио помещаются различные оценочные суждения и мнения относительно результатов выполнения запланированных работ. Характеризуя третий этап, необходимо отметить, что оценки в портфолио фокусируются на самостоятельной работе студентов, проводятся экспертным путем по стандартизованным критериям и включают определение не только уровня владения базовыми знаниями, умениями, но и уровня мотивации к обучению и отношения к учебе.

Для оценивания портфолио используют различные стратегии и критерии при подсчете итоговых баллов студентов, которые должны быть построены на основе совместной деятельности студента и педагога. В частности, критерии по оцениванию портфолио могут отражать:

     • качество содержания работ, включая свидетельство того, что студент наблюдает за изменением собственного понимания учебного материала, метакогнитивного мышления и за продуктивной мыслительной деятельностью;

     • рост и развитие достижений студента в сравнении с целевыми требованиями к качеству подготовки (например, с требованиями ФГОС или содержанием учебной программы);

     • понимание и правильность использования ключевых процессов когнитивной деятельности;

     • полноту, правильность и уместность материалов портфолио;

     • разнообразие форм предоставления данных портфолио.

Несомненно, портфолио требуют долгих часов преподавательского труда, потраченного не только на разработку, но и на проверку. Несмотря на многие нерешенные проблемы и дополнительные трудозатраты педагогов, преимущества портфолио несомненны.

Портфолио обеспечивает:

     • непрерывный процесс отслеживания и оценивания качества учебных достижений для организации внутривузовского мониторинга;

     • многомерные представления о различных учебных достижениях и учебной деятельности, связанной с широким спектром задач учебного процесса;

     • оценку мыслительной деятельности студента, его междисциплинарных умений, умений постановки проблем, решения нестандартных задач, понимания учебных предметов и овладения соответствующими навыками.

Материалы портфолио при правильном его составлении и использовании очень информативны, поэтому, несмотря на нежелание многих педагогов выполнять дополнительный объем работы, связанной с разработкой и проверкой портфолио, скорее всего, со временем этот вид работы студентов займет свое место в современном учебном процессе.

Рис. 3.9. Кейс-измерители

Второй вид инновационных оценочных средств получил название кейс-измерители, и его ждет интенсивное развитие в связи с введением компетентностного подхода (рис. 3.9) [10, 32]. Кейс-измерители обычно включают специальные проблемные задачи, в которых студенту предлагают осмыслить реальную жизненную ситуацию, отражающую практическую проблему и актуализирующую определенный комплекс профессиональных знаний. Отличительной особенностью такой проблемы является отсутствие однозначных решений, побуждающее студента искать пути оптимизации подходов, анализировать методы решений и аргументировать свой выбор метода. В основном эти измерители предназначены для сопровождения специальных и гуманитарных дисциплин, а не для дисциплин естественнонаучного цикла, где чаще всего существует однозначное решение поставленной перед студентом задачи. Таким образом, есть явные преимущества кейс-измерителей, которые проявляются не везде, а только в задачах, которые имеют решения, соперничающие по степени истинности. Конечно, в первую очередь эти преимущества связаны с возможностью развития творческих способностей студентов, ориентацией на модель конкретной профессиональной ситуации, развитием навыков критического мышления.

При разработке кейс-измерителей в электронном или текстовом виде формируется модель, имитирующая профессиональную ситуацию. Совокупность таких ситуационных моделей называют кейсом. Работа студента над кейсом может проходить как в самостоятельном режиме, так и в сотрудничестве с педагогом и другими студентами с привлечением различного рода аргументов и литературных источников для обоснования собственных доводов и выбора оптимального решения. Несомненным достоинством кейс-измерителей является их важная мотивирующая роль, побуждающая студента к формированию собственных профессиональных позиций и самостоятельному приобретению знаний, формированию умений и навыков мыслительной деятельности, развитию способностей и умению самостоятельно перерабатывать большие массивы информации.

На первый взгляд технология разработки кейс-измерителей довольно проста. Однако эта видимая простота оборачивается значительными трудностями, когда кейс-измерители используются для рубежной или итоговой аттестации студентов и выпускников. В последнем случае важно не просто подобрать ситуационные задания, адекватные проблемам будущей профессиональной деятельности, но и обеспечить надежность и сопоставимость результатов педагогических измерений. Следовательно, при разработке кейс-измерителей для аттестации необходимо статистическое обоснование качества измерений и специальных методов шкалирования результатов студентов, полученных ими при решении заданий кейса. Поскольку речь идет о неоднозначных решениях, оценивание результатов выполнения заданий приходится проводить экспертными методами и разрабатывать стандартизованные методики для работы экспертов. По результатам оценивания строится порядковая шкала, в которой откладываются ранговые баллы студентов.

Новейший вид измерителей, пока находящийся в стадии разработки во всех странах мира, – это компетентностные тесты, ориентированные на современный интегративный подход к оценке качества обучения с позиций прогнозирования дальнейших жизненных успехов студентов [10, 32]. Оценка уровня компетентности, распадающейся на спектр отдельных компетенций, представляет большую сложность. В образовании компетенции представляют интерес многоплановые и многоструктурные характеристики качества подготовки обучающихся, которые вряд ли могут быть в полной мере стандартизованы. Трудность здесь видится в том, что компетентность нельзя трактовать как сумму предметных знаний и умений. Скорее, это приобретаемые в результате обучения новые способности, увязывающие знания и умения со спектром интегральных характеристик качества подготовки, в том числе и со способностью применять полученные знания и умения в решении межпредметных практических задач, в будущей профессиональной деятельности после окончания учебного заведения. В этой связи возникает необходимость создания межпредметных (комплексных) тестов, требующих при оценке подготовленности студентов использования методов многомерного шкалирования и специальных методов интеграции оценок отдельных характеристик подготовки выпускников вузов.

Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально-ориентированного подхода, поскольку бессмысленно говорить о численном аналоге уровня сформированности компетенций. Для получения надежных и валидных результатов итоговой аттестации выпускников вузов в рамках компетентностного подхода обычно используют уровневую шкалу, которую в зарубежных работах обычно, называют вертикальной.

Рис. 3.10. Уровневая компетентностная шкала

Основные направления работ по созданию методики корректного измерения при компетентностном подходе связаны с анализом содержательной структуры и трудностей заданий компетентностного теста. Таким образом, процесс построения вертикальной шкалы (рис. 3.10) для каждой компетенции идет двумя путями. С одной стороны, экспертно выделяются планируемые уровни учебных достижений и соответствующие им по содержанию задания под каждый уровень, нуждающиеся в обосновании своей прогностической валидности путем привлечения работодателей. С другой стороны, строится количественная шкала, получающаяся на основании статического анализа результатов выпускников в итоговой аттестации и позволяющая соотнести определенные совокупности заданий по количественным оценкам их трудности с выделенными диапазонами компетентности. Таким образом, для каждого диапазона компетентности определяется фрейм заданий, образующих часть общего компетентностного теста.

На рис. 3.10 показаны минимальный, базовый, промежуточный, продвинутый уровни и уровень высокой компетентности. Этот рисунок приведен в качестве примера использования вертикальной шкалы в международных исследованиях качества образования. При аттестации, по-видимому, вполне достаточно выделения трех уровней компетентности для построения вертикальной шкалы: минимального, базового и высокого.

При интерпретации результатов выполнения уровневых компетентностных тестов возможны различные схемы построения итогового балла испытуемого для принятия аттестационного решения. В одном случае внутри каждого уровня компетентности экспертно определяют критериальный балл, подлежащий обязательной эмпирической валидизации и позволяющий говорить об освоении определенного уровня компетенции в различных диапазонах в том случае, когда балл испытуемого, подсчитанный только по совокупности заданий, относящихся к данному диапазону компетентности, превышает критерий в каждом диапазоне. В другом случае можно сосредоточиться только на одном диапазоне, например диапазоне высокой компетентности, и засчитывать результаты аттестуемых как положительные вне зависимости от освоения ими компетенций на базовом или минимальном уровнях. В третьем случае балл испытуемого можно находить простым сложением результатов по отдельным заданиям компетентностного теста, не задаваясь вопросом о принадлежности заданий отдельным диапазонам компетентности, а затем сопоставлять его с критериальным баллом и принимать решение об аттестации студента.

Конечно, при построении вертикальной шкалы можно использовать не только компетентностные тесты. В этом случае при вертикальном шкалировании важно добиться сопряжения результатов, полученных на различных уровнях измерения при использовании разнообразных оценочных средств и сопряжения количественных диапазонов шкалы с содержательной структурой оценочных средств. Это работа не одного дня, требующая доказательства валидности заданий (содержательной, конструктной, прогностической) статистическими методами и определения оптимальных весовых коэффициентов при интеграции данных по различным измерителям в единой шкале разнообразных оценочных средств.

Компетентностный подход имеет большое будущее для итоговой аттестации, несмотря на всю сложность реализации его на практике. Сегодня, когда в образовательный процесс вовлечены не отдельные представители интеллектуальной элиты, а большие сообщества, возникла насущная необходимость установления связи качества подготовленности выпускников учебных заведений с требованиями сферы предполагаемого употребления результатов труда. Таким образом, сама жизнь выдвигает новые требования как к квалификации педагогов, так и к качеству подготовленности выпускников вузов. В этой связи одним из основных направлений развития современных педагогических измерений становится переориентация на междисциплинарность и полипрофессиональность, присущие современному образовательному пространству.

К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности студентов (Performance assessment). Они позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, по результатам выполнения которых получается некоторый материальный продукт, оцениваемый экспертами по стандартизованной шкале тестовых баллов. Многие из тестов, оценивающих результаты практической деятельности, не выдержали бы никакой критики специалистов тестологов из-за низких характеристик по ряду показателей качества в области педагогических измерений. Тем не менее они имеют высокую очевидную валидность и вызывают большой интерес у студентов.

Анкеты и интервью предоставляют дополнительную информацию о студентах, их окружении и деятельности во внеучебное время, позволяющую обоснованно интерпретировать данные тестирования или результаты применения других современных оценочных средств.

Анкеты относятся к инструментарию, дающему возможность собрать надежные и валидные данные об измеряемых переменных в тех случаях, когда процесс создания анкет проходит определенные научно обоснованные стадии. Вначале осуществляется формулирование проверяемой и нулевой гипотез и решаются проблемы учета всех сопутствующих факторов, влияющих на результаты эксперимента. Затем разрабатывается план исследований, включающих проведение анкетирования, обработку данных, их анализ и интерпретацию в соответствии с планом эксперимента. Разработка структуры анкеты и ее вопросов проводится в строгом соответствии с научно обоснованными требованиями, которые приводятся в многочисленной литературе по проблемам психодиагностики и измерений в социальных науках. Помимо содержания и формы представления вопросов, эти требования охватывают также внешний вид анкет, систему кодировки данных, их анализа и интерпретации.

При проведении анкетирования обычно принимается решение о том, что считать единицей анализа, в процессе которого происходит приписывание каждому респонденту определенного значения по оцениваемой переменной на основе выбранных правил. Обычно в образовании в качестве единиц анализа выступают учащиеся, педагоги или администрация учебных заведений, иногда к участию в анкетировании в качестве респондентов привлекаются родители студентов.

Интервью можно также рассматривать как научно обоснованный метод сбора дополнительных данных о студентах, их родителях или преподавателях. Специалисты различают континуум видов интервью, постепенно меняющихся от неструктурированного и открытого к высоко структурированному и закрытому интервью, требующему от респондентов однозначных ответов в рамках фиксированных форматов. В последнем случае некоторые исследователи склонны считать, что данные интервьюирования носят количественный характер, хотя это ошибочное суждение, поскольку искусственное приписывание чисел ответам респондентов вовсе не тождественно построению метрической шкалы.

Наиболее распространенный способ интервьюирования связан с последовательностью вопросов, поначалу имеющих достаточно общий вид, но постепенно сходящихся к предмету обсуждения. В образовании интервью часто используются при аккредитации учебных заведений, когда беседы с преподавательским составом вузов или администрацией носят общий ознакомительный характер [19]. Аналогичный случай имеет место в процессе ЕГЭ во время инспекционных посещений экзамена представителями других регионов, общественности или Минобрнауки. Для представления данных интервьюирования обычно используются неметрические шкалы Лайкерта, Терстоуна и т.д.

Различные виды инновационных и традиционных оценочных средств, соотнесенные с функциями педагогического контроля, представлены на рис. 3.11. Можно сделать вывод о том, что в настоящий момент на фоне традиционных средств оценивания результатов обучения появились различные новые виды измерителей, ориентированные на современные подходы к оценке качества образования. Разработка этих видов и их использование в управлении качеством обучения являются важными условиями эффективного выполнения всех функций педагогического контроля и повышения качества образования.

Рис. 3.11. Классификационная схема современных оценочных средств

Таким образом, на количественном уровне измерений применяют стандартизованные тесты учебных достижений, содержащие задания с выбором ответов. На качественном уровне измерений широкое распространение получили портфолио, тесты практических умений, кейсы, анкетные обследования и интервью, отвечающие требованиям теории педагогических измерений, в частности требованиям высокой надежности и валидности.

По данным педагогического контроля, организованного с помощью современных оценочных средств, можно осуществлять:

     • феноменологический анализ качества процесса и результатов образования, строящийся на анализе данных анкет, интервью и тестовых заданий со свободно конструируемым ответом;

     • содержательный анализ программных документов процесса обучения, включающий изучение инструкций, писем, протоколов и пр.;

     • аналитическую индукцию, позволяющую связать данные о качестве образования с различного рода инновациями в учебном процессе и получить данные, подтверждающие достоверность и надежность управленческих выводов;

     • сравнительный анализ, предполагающий сопоставление данных по однородным группам объектов исследования (студентам, педагогам, вузам и т.д).

Современные оценочные средства позволяют:

     • повысить аутентичность результатов итогового контроля;

     • создать в процессе текущего контроля условия, адекватные современным технологиям обучения и обеспечивающие развитие компетенций, повышение вариативности и доступности учебных программ для студентов;

     • повысить роль самоконтроля, самокоррекции и самооценки в учебной деятельности;

     • выбрать общие критерии оценивания, построить стандартизованные интервальные, квазиинтервальные или уровневые шкалы;

     • создать эффективную систему вузовского мониторинга качества образовательных достижений;

     • перейти к интегральным многомерным итоговым оценкам учебных достижений.

 

3.6. Основные этапы разработки аттестационных измерителей

В общем случае в процессе планирования при разработке измерителей важно идентифицировать:

     • цель измерения, связав ее с функциями контроля и областью применения результатов измерения;

     • порции и временные интервалы применения;

     • содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).

Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:

     • подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);

     • виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;

     • представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;

     • инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;

     • время выполнения теста или временные промежутки, если есть субтесты.

Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:

     • определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);

     • провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;

     • определить структуру теста и стратегию расположения заданий;

     • разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;

     • создать задания в каждой из выбранных тестовых форм;

     • отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;

     • провести экспертный анализ качества содержания заданий и теста;

     • провести экспертизу формы предтестовых заданий;

     • переработать содержание и формы заданий по результатам экспертизы;

     • сформировать выборку для апробационного тестирования;

     • разработать инструкции для студентов и преподавателей, проводящих апробацию теста;

     • провести апробационное тестирование для сбора эмпирических результатов;

     • провести статистическую обработку результатов апробации;

     • выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

     • провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

     • повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

     • установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].

 

Выводы

Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.

Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.

В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.

При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.

Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.

При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.

В настоящий момент во многих странах разрабатываются измерители, отличающиеся от традиционных оценочных средств и тестов в сфере отбора содержания (компетентностный подход, междисциплинарный подход, творческие аспекты содержания подготовки), в форме заданий (переход от заданий с выбором ответа к заданиям со свободно конструируемым ответом), форме оценки (переход к самооценке, многомерной оценке). Во многом эти измерители преодолевают недостатки существовавших ранее оценочных средств, поэтому они получили название средств аутентичного оценивания.

 

Практические задания и вопросы для обсуждения

1. Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в вузе?

2. Каковы цели разработки корректирующих тестов? Есть ли различия между корректирующими тестами и традиционными средствами текущего контроля?

3. В рамках какого подхода, по вашему мнению, следует разрабатывать компетентностные тесты?

4. Какой процесс называется стандартизацией теста?

5. Перечислите основные факторы, влияющие на устойчивость норм теста для вашего вуза.

6. Укажите отличия между нормативно-ориентированными и критериально-ориентированными тестами.

7. Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в вузе? Назовите несколько ситуаций, в которых целесообразно использовать портфолио.

8. На какие инновационные средства, по вашему мнению, следует делать упор при введении компетентностного подхода в высшее профессиональное образование?

9. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.

10 Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?

11. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?

12. Эффективно ли использовать диагностические тесты без корректирующих тестов?

 

4.1. Целеполагание при планировании содержания педагогического теста

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.

При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.

В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:

     • знание названий, имен, фактов;

     • фактуальные знания;

     • знание определений и понимание их смысла;

     • сравнительные, сопоставительные знания;

     • классификационные знания;

     • знание противоположностей, противоречий, синонимичных и антонимичных объектов;

     • ассоциативные знания;

     • причинные знания;

     • алгоритмические, процедурные знания;

     • обобщенные, системные знания;

     • оценочные знания;

     • процессуальные знания;

     • абстрактные знания;

     • структурные знания;

     • методологические знания.

В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).

В новой концептуальной модели, предложенной в 1982 г. (Бигс и Коллис) и получившей название СОЛО-таксономия (SOLO – Structure of the Observed Learning Outcomes), содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различные ее уровни в концептуальной модели содержания теста. СОЛО-таксономия имеет иерархическую структуру, которую можно использовать как для разработки инструментария, так и при интерпретации результатов педагогических измерений. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров при планировании содержания контрольно-оценочных средств. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности, для оценки достижений учащихся по математике и естествознанию [18].

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [28]. Процесс операционализации строится на планировании содержания теста.

 

4.2. Планирование содержания теста

В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.

Процесс планирования выполняется с помощью спецификации теста. В ней делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем будет неоднократно меняться в процессе работы над тестом в сторону увеличения или уменьшения. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте.

Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.

Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:

А – знание понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.

 

4.3. Общие принципы отбора содержания аттестационных тестов

Общие принципы отбора содержания теста способствуют обеспечению его высокой содержательной валидности [28].

Первый принцип – репрезентативность – регламентирует процедуру отбора содержания таким образом, чтобы обеспечить оптимальную полноту и правильность пропорций содержания теста.

Второй принцип – значимость – предписывает включать в тест наиболее значимые элементы содержания, относящиеся к опорным темам курса. Выделение опорных элементов требует структурирования содержания предмета перед его отбором в тест.

Третий принцип – системность – предполагает подбор упорядоченных содержательных элементов, связанных между собой определенной иерархией и общей структурой знаний.

 

4.4. Экспертиза качества содержания аттестационных тестов

Оценка качества содержания теста должна проводиться по определенной методике независимыми экспертами, не участвовавшими в разработке теста. Как правило, число экспертов составляет не менее трех человек по каждому тесту.

Методика экспертизы качества содержания теста обычно включает три раздела, которые выстраивают сообразно трем направлениям работы экспертов. Перед началом работы каждый эксперт должен ознакомиться со спецификацией рецензируемого теста, содержащей пояснения по его структуре и планируемому к проверке содержанию. Один из вариантов подобных методик для оценки качества содержания аттестационного теста приводится далее.

Работа экспертов по первому направлению заключается в анализе качества содержания отдельных заданий теста. При работе по первому направлению вначале эксперт сам выполняет весь тест, сопоставляя полученные правильные ответы с ключом ответов автора для заданий с выбором ответа и анализируя оценочные категории, представленные автором к заданиям со свободно конструируемым ответом.

В процессе выполнения заданий возможны случаи появления неоднозначности, когда на месте планируемого единственного ответа могут возникнуть дополнительные, частично правильные ответы.

Эксперту необходимо также определить уровень базовости содержания каждого задания, который в определенной степени является субъективной оценкой его трудности. Дифференциация заданий по уровням позволяет разделить их на три группы: базовые, повышенной трудности и наиболее трудные.

Эксперт оценивает уровень значимости содержания каждого задания теста и ожидаемое время его выполнения студентами со средним уровнем подготовленности, выявляет логически некорректные задания, где, помимо правильного, возникают частично правильные ответы. В процессе экспертизы особенно важно выявить случаи отсутствия четкого логического выделения одного предмета измерения. Для достижения логической четкости в каждом задании следует спросить только о чем-либо одном. Часто встречающиеся попытки проверить сразу несколько аспектов подготовленности и ввести несколько величин в ответы, как правило, отрицательно сказываются на качестве заданий и всего теста.

Необходимо также попросить эксперта охарактеризовать качество формулировок содержательной основы заданий теста, отметить в случае необходимости лексическую избыточность формулировок, охарактеризовать качество представления графической информации и других компонентов заданий. При экспертизе следует помнить о том, что тестовые задания должны быть сформулированы предельно четко, точно, лаконично и корректно с точки зрения общепринятой в учебном предмете терминологии и символики предмета.

Второе направление работы эксперта связано с анализом качества содержания всего теста. При выполнении работ по второму направлению следует оценить полноту охвата требований ФГОС в тесте, правильность пропорций содержания теста и их соответствия спецификации теста. Зачастую при разработке теста возможно смещение пропорций, так как тест легко перенасытить теми разделами содержания, по которым легче составить задания. Например, в рамках гуманитарного цикла дисциплин легко разрабатывать задания на выявление фактологических знаний, и потому они нередко преобладают в отдельных тестах.

Третье направление работы эксперта рассчитано на подготовку обобщающих выводов и рекомендаций по улучшению содержания теста. В третьем разделе рецензии эксперт приводит свое общее впечатление о содержании теста. Здесь должны быть высказаны все сомнения и пожелания эксперта, его рекомендации по улучшению содержания. Возможна оценка соотношения заданий, проверяющих знание теории предмета и его практики. Желательно выявить задания, предназначенные для проверки системы понятий, а также заданий интегрального характера, предназначенных для проверки умений учащихся обобщать знания по различным разделам предмета, заданий с межпредметными компонентами и т.д.

 

Выводы

Научно обоснованный отбор содержания является важнейшей предпосылкой достижения высокого качества педагогического теста. Процесс научного обоснования предполагает планирование содержания теста.

Планирование начинается с этапа целеполагания, на котором результаты обучения сопрягаются с целями учебного процесса. При выборе приоритетной таксономии целей обучения желательно обращаться к тем, которые имеют операциональный характер, чтобы их было легче использовать при создании тестов. Зарубежные таксономии целей обучения обладают специфическими особенностями и требуют определенной переработки для использования при планировании содержания тестов.

Основным результатом планирования является создание спецификации теста. Содержание разрабатываемого теста должно полностью соответствовать его спецификации. Правильно составленная спецификация является необходимым, но не достаточным условием высокой содержательной валидности создаваемого теста. Для достижения высокого качества содержания педагогического теста необходима тщательная экспертиза.

 

Практические задания и вопросы для обсуждения

1. Перечислите этапы процедуры планирования теста.

2. Что, по вашему мнению, является первичным: выбор формы заданий, определение длины теста или разработка спецификации теста?

3. Есть ли различие в подходах к планированию содержания нормативно-ориентированных и критериально-ориентированных тестов?

4. Возможны ли случаи несовпадения со спецификацией при отборе содержания теста?

5. Многие авторы полагают, что для правильного отбора содержания вполне достаточно их педагогического опыта, а разработка спецификации является излишней потерей времени при создании теста. Каково ваше мнение по этому вопросу?

6. Какой принцип ориентирует разработчика на достижение полноты и значимости содержания теста?

 

5.1. Общие требования к заданиям тестов и классификация их форм

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют [1, 28, 34, 40]:

     • задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

     • задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

     • задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

     • задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

     • каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

     • каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

     • все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

     • для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

     • для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

     • ни одному студенту не дается никаких преимуществ перед другими;

     • заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

     • в тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

     • тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

     • группа тестируемых выровнена по мотивации;

     • все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

 

5.2. Задания с выбором одного или нескольких правильных ответов

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

     • в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

     • основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

     • синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

     • в основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

     • все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

     • из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

     • частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

     • все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

ПРИМЕРЫ ЗАДАНИЙ

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Г. Оба

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X' i = X i – [ W i / ( k – 1)]

где i – номер любого испытуемого группы; X'i — скорректированный балл i-го испытуемого; Xi — тестовый балл до коррекции; Wi – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + Wi = n, где n — число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

     • отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

     • нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

     • нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

     • выбор ответов по разным основаниям;

     • просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

A. Больше

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Неудачным можно считать подбор дистракторов в задании 14, где вербальная ассоциация будет способствовать избыточной частоте выбора третьего, неправильного ответа.

Задание 14

КАКОЕ СОДЕРЖАНИЕ ВКЛАДЫВАЕТСЯ В ПОНИМАНИЕ «ОТКРЫТОЙ СИСТЕМЫ»?

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х1 + 0,04 х2 → max

Б. 0,02 х1 + 0,03 х2 → max

B. 0,02 х1 + 0,04 х2 → max

Г. 0,03 х1 + 0,01 х2 → max

 

5.3. Задания с конструируемым ответом

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

     • каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

     • прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

     • все прочерки в заданиях для одного теста рекомендуется делать равной длины;

     • место для ответа лучше отводить в конце задания или как можно ближе к концу;

     • после прочерка, если это возможно, указываются единицы измерения;

     • текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f(x) = log2x и g(x) = log2(3 – x) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ [30].

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Основные рекомендации по разработке заданий со свободно конструируемым ответом:

     • задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

     • длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

     • формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

     • выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

     • грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

     • использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

     • обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

     • привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

     • использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

     • не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

     • простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

     • усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

     • рейтинговым методом, предполагающим накопительную оценку, которая получается путем сложения отдельных оценок в соответствии с общим впечатлением экспертов от полного ответа на задание.

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

 

5.4. Задания на установление соответствия

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

     • задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

     • элементы задающего столбца располагаются слева, а элементы для выбора – справа;

     • желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

     • необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

     • необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

     • элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

 

5.5. Задания на установление правильной последовательности

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

 – спадение легких

 – торможение центра дыхательных мышц в спинном мозге

 – возбуждение центра выдоха в продолговатом мозге

 – расслабление диафрагмы и вспомогательных мышц

 – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

 

5.6. Сравнительная характеристика форм тестовых заданий

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества: благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки: стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества: годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки: требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества: просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки: проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества: позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки: требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества: просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки: чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

 

Выводы

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

 

Практические задания и вопросы для обсуждения

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

    1) текущем

    2) тематическом

    3) итоговом

    4) входном

2. Обведите номер правильного ответа.

Открытая форма заданий рекомендуется для контроля:

    1) текущего

    2) итогового

    3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

    1) 0,2

    2) 0,66666

    3) 0,5

    4) 0,666666

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

    1. Класс рыб

    2. Класс пресмыкающихся

    3. Класс земноводных

    4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

    1. Самодержавие

    2. Крепостничество

    3. Сословность

    4. Помещичья собственность на землю

    5. Национальный гнет

 

6.1. Классическая теория и методики конструирования тестов

Понятие истинного балла (true score) – параметра испытуемого – является основополагающим в педагогических измерениях наряду с терминами «сырой балл»и «наблюдаемый балл», которые получаются простым суммированием оценок по отдельным заданиям теста. Нередко истинный балл называют константой испытуемого в момент измерения, не зависящей от средства измерения. Поэтому при одномерных измерениях каждому испытуемому можно поставить в соответствие только один истинный балл в отличие от наблюдаемых баллов, которых может быть столько, сколько используемых для измерения этой переменной тестов.

Получение наиболее точной оценки параметра подготовленности испытуемых – главная цель каждого, кто создает или применяет педагогический тест, поскольку любые результаты тестирования всегда содержат в себе ошибочные компоненты измерения. По этой причине при создании тесты проходят процесс научного обоснования качества, который нацелен на улучшение характеристик заданий для повышения точности тестовых баллов. Этот процесс основывается на математико-статистическом аппарате классической или современной теории тестов (Item Response Theory) [1, 28, 35, 37]. Современная теория достаточно сложна, обычно она применяется профессиональными тестовыми службами для больших выборок испытуемых (более 1000 человек на вариант) и требует значительных трудозатрат при обработке и интерпретации данных для коррекции тестов. Классическую теорию используют значительно чаще, особенно при небольших выборках в 50–100 человек на каждый вариант теста. Если сразу затруднительно собрать даже столько данных, то их нужно накапливать на протяжении нескольких лет, поскольку меньшие выборки при разработке итогового теста нежелательны.

Математико-статистическая обработка обычно проводится с помощью специального программного обеспечения, но хотя бы один раз ее стоит проделать вручную, чтобы понять смысл некоторых показателей качества теста.

 

6.2. Математико-статистический анализ качества тестов и тестовых заданий на основе классической теории тестов

Если за каждый правильный ответ на задание испытуемому давать 1 балл, а за неправильный ответ или пропуск задания – 0 баллов, то профиль ответов студента будет иметь вид последовательности из единиц и нулей. Поскольку каждая единица или нуль появляются в результате взаимодействия испытуемого с заданием, то наиболее адекватной формой представления наблюдаемых результатов выполнения теста служит матрица, т.е. прямоугольная таблица, сводящая воедино профили ответов студентов и профили заданий теста (столбцы из оценок всех студентов по каждому заданию теста).

Пример матрицы наблюдаемых результатов, полученной при выполнения N (N = 10) студентами n (n = 10) заданий теста при дихотомических оценках (1 или 0) по заданиям приведен в табл. 6. 1.

Справа в вертикальном столбце содержатся индивидуальные баллы студентов Xi (i = 1, 2, …, N), которые получаются суммированием единиц по горизонтали в каждом профиле ответов. Сложение единиц в столбцах по профилям ответов на n заданий теста позволяет получить числа Y j (j = 1, 2, …, i), соответствующие количеству правильных ответов на каждое задание. С помощью матрицы можно выполнить ряд расчетов, интерпретация результатов которых позволяет сделать важные выводы относительно качества заданий теста и получить достаточно точные оценки параметра испытуемых в том случае, если тест соответствует определенным критериям качества.

Таблица 6.1 Пример матрицы наблюдаемых результатов выполнения теста

Для анализа обычно используется упорядоченная матрица, в которой не только задания ранжированы по нарастанию трудности (см. табл. 6.1), но и баллы испытуемых расположены по убыванию или нарастанию сверху вниз (табл. 6.2).

По данным матрицы обычно проводят графическую интерпретацию распределений для трудности заданий и индивидуальных баллов испытуемых, которые представляют в виде полигона, гистограммы или сглаженной кривой (процентилей, огивы). Для больших выборок испытуемых (50 студентов и более) графическую интерпретацию предваряет формирование частотного распределения (табл. 6.3).

Таблица 6.2 Упорядоченная матрица данных тестирования

Таблица 6.3 Частотное распределение баллов

В табл. 6.3 содержатся только различные индивидуальные баллы испытуемых, взятые из последнего столбца матрицы эмпирических результатов выполнения теста и расположенные в порядке возрастания слева вместе с числом их повторений (f). Сумма всех частот для данного примера N = 1 + 1 + 3 + 1 + 2 + 2 =10, т.е. числу студентов в группе. Для очень большой группы в 100 или более студентов строят сгруппированное частотное распределение, в котором оценки объединяют в группы. Каждая группа называется разрядом оценок. В случае полного размещения оценок по разрядам говорят о распределении сгруппированных частот баллов студентов. Хотя четкого правила выбора количества разрядов нет, но обычно их число стараются варьировать в пределах от 12 до 15.

По ряду частотного распределения можно получить графическое представление результатов тестирования в виде гистограммы – последовательности столбцов, каждый из которых опирается на единичный (разрядный) интервал, а высота его пропорциональна частоте наблюдаемых баллов. Например, для рассматриваемого примера (см. табл. 6.3) гистограмма приведена на рис. 6.1. Середина столбца совмещается с серединой интервала разряда, который выбран длиной в 1 балл.

Рис. 6.1. Столбчатая гистограмма для распределения баллов в табл. 6.3

Для дальнейшего анализа данных оцениваются меры центральной тенденции в распределении результатов тестирования, которые предназначены для выявления той точки, вокруг которой в основном группируются все результаты выполнения теста. При анализе результатов тестирования можно использовать разные подходы к определению такой центральной точки. Наиболее простой способ основан на выявлении моды распределения и среднего арифметического баллов.

Мода – это такое значение, которое встречается наиболее часто среди результатов выполнения теста. Например, для данных табл. 6.3 модой является балл 4, потому что он встречается чаще (3 раза) любого другого балла. Конечно, не всякое распределение имеет единственную моду, их может быть две или больше. В случае существования двух мод распределение называется бимодальным. Если все значения баллов студентов встречаются одинаково часто, принято считать, что моды у распределения нет.

Среднее выборочное (среднее арифметическое) определяется суммированием всех значений совокупности и последующим делением на их число. Для индивидуальных баллов Χ1, Χ2, …, ХN группы N испытуемых среднее значение X̅ будет:

(6.1)

Среднее арифметическое индивидуальных баллов испытуемых для рассматриваемого выше примера матрицы (см. табл. 6.2) равно

В отличие от моды, фиксирующей одно или несколько значений, на величину среднего влияют значения всех результатов распределения. Таким образом, среднее арифметическое характеризует все распределение в целом. Оно обобщает индивидуальные особенности составляющих распределения на основе уравнивания отдельных значений рассматриваемой величины.

Меры центральной тенденции полезны при оценке качества теста, если есть результаты апробации теста на репрезентативной выборке студентов. Обычно считают, что хороший нормативно-ориентированный тест обеспечивает нормальное распределение индивидуальных баллов репрезентативной выборки испытуемых, если среднее значение баллов находится в центре распределения, а остальные значения концентрируются вокруг среднего по нормальному закону, т.е. примерно 70% значений находятся в центре, а остальные сходят на нет к краям распределения, как на рис. 6.2.

Рис. 6.2. Нормальная кривая распределения индивидуальных баллов

Если тест обеспечивает распределение баллов, близкое к нормальному, то это означает, что на его основе можно определить устойчивое среднее, которое принимается в качестве одной из репрезентативных норм выполнения теста. Обратный вывод, вообще говоря, неверен: устойчивость тестовых норм не предполагает обязательного нормального распределения эмпирических результатов выполнения теста. Нормальная кривая – это изобретение математиков, которое в сглаженном, идеальном виде описывает реальный полигон частот. На практике никогда не была и не будет получена совокупность данных, распределенных точно по нормальному закону, просто иногда полезно, допуская определенную ошибку, утверждать, что распределение эмпирических данных близко к нормальной кривой.

Нормальное распределение унимодально и симметрично, т.е. половина результатов, расположенная ниже моды, в точности совпадает с другой половиной, расположенной выше, а мода и среднее значение равны. Отсутствие полной симметрии в полигоне частот на практике приводит к смещению моды относительно среднего значения.

В малых выборках мода, как и среднее значение, теряет свою стабильность, хотя причина нестабильности может быть другая, связанная с неправильным подбором по трудности заданий в тесте. Например, если на репрезентативной выборке студентов получилась гистограмма тестовых баллов с бимодальным распределением, то среднее значение распределения, находящееся в центре, никак не может служить нормой выполнения теста. Скорее всего, тест был сконструирован неудачно, что послужило причиной отсутствия нормального распределения эмпирических результатов выполнения теста. Смещение среднего значения баллов студентов влево или вправо говорит о слишком трудной либо слишком легкой подборке заданий теста соответственно.

Таким образом, правильно сконструированный нормативно-ориентированный тест на репрезентативной выборке студентов должен обеспечивать близкое к симметричному распределение индивидуальных баллов, когда мода и среднее значение примерно равны, а остальные результаты расположены вокруг среднего по нормальному закону.

Дальнейший анализ данных тестирования связан с оцениванием мер изменчивости в распределении индивидуальных баллов. Характеристика изменчивости указывает на особенности разброса эмпирических данных вокруг среднего значения баллов. Отдельные значения индивидуальных баллов могут быть тесно сгруппированы вокруг своего среднего балла либо, наоборот, сильно удалены от него. Для отражения характера рассеяния отдельных значений вокруг среднего используют различные меры: размах, дисперсию и стандартное отклонение.

Размах измеряет на шкале расстояние, в пределах которого изменяются все значения показателя в распределении. Например, для распределения индивидуальных баллов в табл. 6.3 размах равен 9 – 1 = 8. Вариационный размах легко вычисляется, но используется крайне редко при характеристике распределения баллов по тесту. Во-первых, размах является весьма приближенным показателем, так как не зависит от степени изменчивости промежуточных значений, расположенных между крайними значениями в распределении баллов по тесту. Во-вторых, крайние значения индивидуальных баллов, как правило, ненадежны, поскольку содержат в себе значительную ошибку измерения. В этой связи более удачной мерой изменчивости считается дисперсия.

Подсчет дисперсии основан на вычислении отклонений Xi – X̅  (i = 1, 2, …, N) каждого значения показателя от среднего арифметического в распределении. Для индивидуальных баллов значения отклонений несут информацию о вариации совокупности значений баллов N студентов, поскольку отражают меру неоднородности результатов по тесту. Совокупность с большей неоднородностью будет иметь большие по модулю отклонения, наоборот, для однородных распределений отклонения должны быть близки к нулю. Знак отклонения указывает место результата студента по отношению к среднему арифметическому по тесту. Для студента с индивидуальным баллом выше среднего значение разности Xi – X̅ будет положительно, а для тех, у кого результат ниже X̅, отклонение Xi – X̅ меньше нуля.

Если просуммировать все отклонения, взятые со своим знаком, то для симметричных распределений сумма будет равна нулю. В рассматриваемом примере матрицы сумма отклонений

Чтобы отрицательные и положительные слагаемые не уничтожали друг друга, каждое отклонение возводят в квадрат и находят сумму квадратов отклонений. Эта сумма будет большой, если результаты тестирования отличаются существенной неоднородностью, и малой в случае близких результатов испытуемых по тесту.

Для рассматриваемого примера данных сумма квадратов отклонений

Величина суммы зависит также от размера выборки испытуемых, выполнявших тест, поэтому для сопоставимости мер изменчивости распределений, отличающихся по объему, каждую сумму делят на N – 1, где N – число студентов, выполнявших тест. Определяемая таким образом мера изменчивости называется исправленной дисперсией. Она обычно обозначается символом Sx 2 и вычисляется по формуле

(6.2)

Кроме дисперсии, для характеристики меры изменчивости распределения удобно использовать еще один показатель вариации, который называется стандартным отклонением и вычисляется путем извлечения квадратного корня из дисперсии:

(6.3)

Для рассматриваемого примера данных тестирования

Свойства дисперсии и стандартного отклонения рассматриваются подробно в учебниках по статистике. Заинтересованному читателю можно порекомендовать, например, книгу Дж. Гласс, Дж. Стенли «Статистические методы в педагогике и психологии» [7].

Дисперсия играет важную роль в оценке качества тестов. Низкая дисперсия указывает на плохое качество нормативно-ориентированного теста, поскольку не обеспечивает высокий дифференцирующий эффект. Излишне высокая дисперсия, характерная для случая, когда все студенты отличаются по числу выполненных заданий, также требует переработки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой. В процессе коррекции теста следует руководствоваться простым правилом: если проверка согласованности эмпирического распределения с нормальным дает положительные результаты, а дисперсия растет, то это означает, что переработка приводит к повышению его качества.

Использование стандартного отклонения как меры вариации особенно эффективно для нормального распределения баллов испытуемых, поскольку в этом случае можно прогнозировать процент данных, лежащих внутри одного, двух и трех стандартных отклонений, откладываемых от центра распределения. В любом нормальном распределении приблизительно 68% площади под кривой лежит в пределах одного стандартного отклонения, откладываемого влево и вправо от среднего (т.е. X̅ ± 1 · Sx ); 95% площади под кривой расположено в пределах двух Sx откладываемых слева и справа от среднего (X̅·± 2 · S ); 99,7% площади под кривой – в пределах трех Sx по обе стороны от X̅ (X̅ ± 2 · Sx ).

Вообще существует бесконечное множество нормальных кривых, отличающихся друг от друга значениями X̅ и Sx , но все они объединяются общими свойствами, которые связаны с долями площади под кривой в пределах определенного числа отклонений. Из всех нормальных кривых наиболее удобна единичная, площадь под которой равна единице. Для нее среднее значение равно нулю, а стандартное отклонение единице.

Для преобразования любой нормальной кривой в единичную достаточно выполнить вычитание среднего значения X̅ из каждого индивидуального балла X i и разделить полученную разность на стандартное отклонение Sx , т.е., применив формулу

получим нормированное нормальное распределение со средним в нуле и единичным стандартным отклонением.

При разработке теста необходимо помнить о том, что кривая распределения индивидуальных баллов, получаемых на репрезентативной выборке, носит неслучайный характер. Она является следствием подбора трудности заданий теста. При смещении в сторону легких заданий большая часть студентов выполнит почти все задания теста и получит высокие индивидуальные баллы. При приоритетном подборе самых трудных заданий в распределении индивидуальных баллов получится всплеск вблизи начала горизонтальной оси. При оптимальной трудности теста, когда распределение оценок параметра трудности заданий имеет вид нормальной кривой, автоматически возникает нормальность распределения индивидуальных баллов репрезентативной выборки студентов, что в свою очередь позволяет считать полученное распределение устойчивым по отношению к генеральной совокупности и определить репрезентативные нормы выполнения теста.

Углубленный анализ качества теста, позволяющий сделать выводы о направлениях коррекции содержания отдельных заданий, связан с вычислением показателей связи между результатами испытуемых по отдельным заданиям теста. При оценке качества заданий важно понять, существует ли тенденция, когда одни и те же студенты добиваются успеха в какой-либо паре заданий теста либо состав учеников, добивающихся успеха, полностью меняется при переходе от одного задания теста к другому. Ответ на вопрос о существовании связи между двумя наборами данных получают с помощью корреляции.

Для выражения степени соответствия между наборами данных X и Y используется специальная мера, которая называется ковариацией. Смысл понятия «ковариация» удобно пояснить на примере результатов выполнения одной группой испытуемых двух тестов X и Y Пусть результаты по первому тесту X – это множество хi (i = l, 2, …, Ν), а по второму тесту – Yi (i = 1, 2, …, Ν). Тогда для установления меры связи между результатами студентов по двум тестам необходимо сравнить положение каждого тестируемого по отношению к средним в распределении результатов по тесту X и по тесту Y. Степень соответствия результатов i-го испытуемого в первом (X) и во втором (Y) тестированиях будет проявляться в величине и знаке произведения отклонений (Xi – X̅)(Yi – Y̅), где Xi , Yi – результаты i-го испытуемого в первом и во втором тестированиях соответственно (i = 1, 2, …, N); X̅, Y̅ — средние значения результатов по тестам X и Y, N — число студентов тестируемой группы.

Если результат i-го испытуемого намного выше или ниже среднего балла по обоим тестам, то произведение (Xi – X̅)(Yi – Y̅) будет большим и положительным. Таким образом, при прямой связи значений Xi и Yi (i = 1, 2, …, N) по тестам X и Y большой и положительной получится сумма всех произведений, т.е.

При обратной связи результатов тестирования, когда большинство значений Xi выше (ниже) среднего X̅ по тесту X сменяются на значения Yi ниже (выше) среднего Y̅ по тесту Y, сумма

будет меньше нуля и велика по модулю в силу отрицательного знака всех или почти всех произведений (Xi – X̅)(Yi – Y̅). Наконец, если систематической связи между результатами студентов по тестам X и Y не наблюдается, знак произведения (Xi – X̅)(Yi – Y̅) будет хаотически меняться. Вполне возможно, что для достаточно большой выборки испытуемых, положительные слагаемые будут уравновешиваться отрицательными и потому сумма произведений

получится близкой к нулю.

Таким образом, произведение (Xi – X̅)(Yi – Y̅) по знаку и абсолютной величине отражает характер связи между наборами данных. Операция усреднения, осуществляемая путем деления суммы произведений отклонений на число испытуемых в выборке, позволяет получить показатель связи, не зависящий от размеров выборок, который называется ковариацией и обозначается символом. Его можно использовать для сравнения мер связи между результатами тестовых измерений по выборкам разного объема.

(6.4)

(Замечание, также как и в случае подсчета дисперсии, для различных прикладных задач в статистике удобнее делить не на N, а на N – 1, что при больших размерах выборок не сказывается существенно на величине Sxy ).

Для повышения сопоставимости оценок показателей связи по выборкам с различной дисперсией ковариацию делят на стандартные отклонения. Таким образом, Sxy необходимо разделить на Sx и Sy , где Sx и Sy – стандартные отклонения по множествам X и Y соответственно. В результате после преобразований получается величина, которая называется коэффициентом корреляции Пирсона rxy :

(6.5)

При исследовании связи между наборами данных необходимо правильно выбрать вид и форму показателя, зависящих от шкал, в которых представлены данные (см. подробнее в книге: [7]). В частности, для оценки связи между результатами выполнения учащимися двух заданий теста коэффициент корреляции Пирсона rxy необходимо преобразовать, поскольку результаты выполнения заданий представляются в дихотомической шкале (столбцы из нулей и единиц в матрице данных по тесту). Преобразованный коэффициент Пирсона для дихотомических данных называется коэффициентом ц и вычисляется по формуле

(6.6)

где pjl – доля испытуемых, выполнивших правильно оба задания с номерами j и l, т.е. доля тех, кто получил 1 балл по обоим заданиям; pj – доля испытуемых, правильно выполнивших j-е задание, qj = 1 – pj ; pl – доля испытуемых, правильно выполнивших l-е задание теста, ql = 1 – pl .

Например, для рассматриваемого примера матрицы корреляция между результатами по 5-му и 6-му заданиям теста будет:

Результаты подсчета значений коэффициента корреляции между всеми заданиями для примера матрицы сведены в табл. 6.4.

Анализ значений коэффициента корреляции в табл. 6.4 позволяет выделить в категорию «плохих» 3-е и 8-е задания теста. Задание 3 отрицательно коррелирует с заданиями 7, 8, 9 и 10. О том, что «виновато» 3-е, а не другие задания теста, свидетельствует анализ значений коэффициента корреляции в столбцах с номерами 7, 9 и 10. В них просматривается только один минус на месте, соответствующем заданию теста 3, которое в свою очередь отрицательно коррелирует с четырьмя заданиями теста. Аналогичная ситуация наблюдается для задания 8. Отрицательные значения коэффициента корреляции указывают на определенный просчет разработчиков в содержании заданий, которые рекомендуется из теста удалить. Наиболее распространенная причина появления отрицательной корреляции – отсутствие предметной чистоты содержания – нередко встречается при разработке самых разных тестов.

Понятно, что предметная чистота – скорее, идеализируемое, чем реальное требование к содержанию любого теста. Например, в тесте по физике всегда встречаются задания с большим количеством математических преобразований, в тесте по биологии – задания, требующие серьезных знаний по химии, в тесте по истории – задания, рассчитанные на выявление культурологических знаний, и т.п. Поэтому можно лишь стремиться к тому, чтобы при выполнении каждого задания доминировали знания по проверяемому предмету.

Таблица 6.4 Коэффициенты корреляции заданий

Анализ 9-го столбца табл. 6.4 с максимальной суммой 4,6495, приведенной в конце, указывает на наличие ряда довольно высоких значений коэффициента корреляции (φ9,8 = 0,6124; φ9,7 = 0,7638; φ9,10 = 0,6667), которые могут получить различную трактовку в зависимости от вида разрабатываемого теста. Для тематических тестов высокая корреляция между заданиями неизбежна, так как они в большинстве своем имеют слабо варьирующее исходное содержание, что вполне объяснимо назначением теста. Однако для итоговых тестов высокой корреляции между заданиями по возможности стараются избегать, поскольку вряд ли имеет смысл включать в итоговый тест несколько заданий, оценивающих одинаковые содержательные элементы. Поэтому в итоговых аттестационных тестах обычно стремятся к невысокой положительной корреляции, когда значения коэффициента варьируют в интервале (0; 0,3), и каждое задание привносит свой специфический вклад в общее содержание теста.

Далее с помощью подсчета значений точечного бисериального коэффициента корреляции можно оценить валидность отдельных заданий теста. Бисериальный коэффициент корреляции используется в том случае, когда один набор значений распределения задается в дихотомической шкале, а другой – в интервальной. Под эту ситуацию подпадает подсчет корреляции между результатами выполнения каждого задания (дихотомическая шкала) и суммой баллов испытуемых (интервальная или квазиинтервальная шкала) по заданиям теста.

Формула для вычисления значения точечного бисериального коэффициента rpbis, имеет вид:

(6.7)

где (X̅1)j — среднее значение индивидуальных баллов испытуемых, выполнивших верно j-е задание теста; (X̅0) – среднее значение индивидуальных баллов испытуемых, выполнивших неверно j-е задание теста; Sx — стандартное отклонение по множеству значений индивидуальных баллов; (N1)j – число испытуемых, выполнивших верно j-е задание теста; (N0)j — число испытуемых, выполнивших неверно j-е задание теста; N — общее число испытуемых, N = N1 + N0.

Применение формулы (6.7) для данных по 5-му заданию рассматриваемого примера матрицы дает достаточно высокое значение точечного бисериального коэффициента.

так как 1, 4, 5, 9 и 10-й испытуемые выполнили задание 5 верно.

так как 2, 3, 6, 7 и 8-й испытуемые выполнили задание 5 неверно. Стандартное отклонение, подсчитанное для рассматриваемого примера ранее, Sx ≈ 2,6; (N1)5 = (N0)5 = 5; N = 10. Поэтому

Значения бисериального коэффициента корреляции десяти заданий с суммой баллов по тесту rbis, рассчитанные с помощью компьютерных программ для данных матрицы, приводятся в табл. 6.5

Таблица 6.5 Значения коэффициента бисериальной корреляции

Анализ значений коэффициента бисериальной корреляции в табл. 6.5 указывает на два довольно неудачных задания теста – 3-е [(rbis)3 = 0,26] и 8-е [(rbis)8 = 0,24], которые имеют низкую валидность и должны быть удалены из теста. В целом задание можно считать валидным, когда значение (rbis)j ≈ 0,5 или выше этого числа. Оценка валидности задания позволяет судить о том, насколько оно пригодно для работы в соответствии с общей целью создания теста. Если эта цель – дифференциация студентов по уровню подготовки, то валидные задания должны четко отделять хорошо подготовленных от слабо подготовленных испытуемых тестируемой группы.

Решающую роль в оценке валидности задания играет разность (X̅1)j – (X̅0)j , находящаяся в числителе дроби формулы (6.7). Чем выше значение этой разности, тем лучше работает задание на общую цель дифференциации испытуемых. Значения, близкие к нулю, указывают на низкую дифференцирующую способность заданий теста. В том случае, когда в разности доминирует вклад (X̅0), а не (X̅1), задание следует просто удалить из теста. В нем побеждают слабые испытуемые, а сильные выбирают неверный ответ либо пропускают задание при выполнении теста. Таким образом, подлежат удалению все задания, у которых rbis < 0.

Оценка трудности тестовых заданий в классической теории получается по формуле

p j = R j / N

где pj — доля правильных ответов на j-е задание; Rj — количество студентов, выполнивших j-е задание верно; N — число студентов в тестируемой группе; j – номер задания теста, j = 1, 2, …, n. Трудность задания нередко выражают в процентах, тогда оценку, полученную по формуле (6.8), умножают на 100%.

Долю правильных ответов на задание pj естественно интерпретировать как легкость задания, в то время как трудность скорее ассоциируется с долей неправильных ответов qj , которая находится путем вычитания pj из единицы: qj = 1 – pj . Однако по сложившейся традиции в классической теории тестов за трудность задания принимается именно доля pj . Для рассматриваемого примера матрицы доля правильных ответов на первое задание p1 = 9/10 = 0,9, а доля неправильных ответов q1 = 1 – 0,9 = 0,1 и т.д. После перевода доли p1 в проценты (0,9 · 100% = 90%) первое задание следует отнести к категории крайне легких: его выполнили 90% тестируемой выборки студентов.

Подбор заданий по трудности в тесте удобно оценить с помощью гистограммы (рис. 6.3).

Рис. 6.3. Гистограмма хорошо сбалансированного по трудности нормативно-ориентированного теста

В хорошо сбалансированном по трудности нормативно-ориентированном тесте есть несколько самых легких заданий со значениями p → 0. Есть несколько самых трудных с p → 1. Остальные задания по значениям p занимают промежуточное положение между этими крайними ситуациями и имеют в основном трудность 60–70%. Дополнительный аргумент в пользу преимущественного включения заданий средней трудности с p =̣ 0,5 связан с подсчетом дисперсии по каждому заданию теста, которая для дихотомического набора данных будет равна σj = pj qj , (j = 1, 2, …, n). Так как произведение pj qj достигает максимального значения (0,5 · 0,5 =̣ 0,25) при pj =̣ 0,5 =̣ qj , то в рамках нормативно-ориентированного подхода наиболее удачными считаются задания средней трудности p = q =̣ 0,5, обеспечивающие максимальный вклад в общую дисперсию теста. В пользу преимущественного выбора заданий средней трудности также говорит подсчет ошибки измерения, которая уменьшается по мере продвижения к центру, где расположены задания средней трудности, и увеличивается на концах распределения.

В критериально-ориентированных тестах основную массу составляют достаточно легкие задания, которые выполняют верно не менее 80–90% испытуемых, чтобы обеспечить достаточно низкий процент не аттестованных студентов, не прошедших по результатам тестирования за критериальный балл.

Оценка правдоподобности дистракторов основана на подсчете долей испытуемых, выбравших каждый неправильный ответ. Анализ правдоподобности дистракторов, проведенный для результатов выполнения 39 заданий теста выборкой из 100 испытуемых, показан в табл. 6.6. В первом столбце таблицы помещены номера заданий теста. Второй столбец указывает на число испытуемых, выполнявших каждое из заданий. Все последующие столбцы содержат число и процент тестируемых, выбравших каждый из ответов к заданиям теста. Звездочкой отмечен процент, соответствующий правильному ответу к заданиям.

Таблица 6.6 Анализ правдоподобности дистракторов

Анализ строк таблицы позволяет собрать полезную информацию о качестве дистракторов. Например, в первом задании правильным является 3-й ответ, и поэтому число P1 =̣ 67% в столбце, соответствующем 3-му ответу, указывает на трудность. Из 96 испытуемых, выполнявших задание, 65 справились с ним успешно, а остальные (96 – 65 = 31) распределились между дистракторами следующим образом: 8 тестируемых выбрали 1-й дистрактор, 1 тестируемый выбрал 2-й дистрактор и 22 испытуемых остановились при выполнении задания на 4-м, неправильном ответе, который, по-видимому, очень похож на правильный и поэтому оказался таким привлекательным для незнающих учеников. Таким образом, второй ответ функцию дистрактора не выполняет, поэтому подлежит изменению либо удалению из теста. Несомненно, нуждаются в переработке 1-й и 4-й ответы из задания 6, поскольку их не выбрал ни один человек из шести (97 – 91 = 6), неправильно выполнивших это задание теста и т.д.

Таким образом, дистракторы, которые выбирают менее 5% неверно ответивших испытуемых, следует удалять из теста. Углубленный вариант дистракторного анализа построен на подсчете значения точечно-бисериального коэффициента корреляции для каждого дистрактора в заданиях теста. Отрицательные значения коэффициента корреляции указывают на ситуацию, когда хорошо выполнившие тест испытуемые не будут выбирать данный дистрактор в качестве правильного ответа.

Значения коэффициента точечно-бисериальной корреляции для примера из табл. 6.6 приводятся в табл. 6.7 (как и ранее, звездочка соответствует правильному ответу).

Таблица 6.7 Значения коэффициента точечно-бисериальной корреляции для дистракторов

Выделенные положительные значения коэффициента точечно-бисериальной корреляции для дистракторов (например 2-й ответ в задании 4, 2-й ответ в задании 8, 4-й в 13 и т. д.) указывают на то, что эти неверные ответы выбирают в качестве правильных сильные студенты, что недопустимо в хороших заданиях теста. При правильном положении вещей значения коэффициента точечно-бисериальной корреляции для дистракторов должны быть отрицательными и превышающими по модулю 0,2. Положительные или близкие к нулю значения коэффициента для дистракторов говорят о необходимости их исключения либо переделки неправильных ответов.

Правильные ответы, наоборот, должны выбирать сильные студенты, поэтому в хороших заданиях значения коэффициента точечно-бисериальной корреляции на месте ответов со звездочкой бывают только положительными и превышающими 0,5. Для случая, когда правильный ответ не выбирают сильные студенты (например, в задании 31 или в заданиях 17, 35 из табл. 6.7), коэффициент корреляции бывает близким к нулю или даже меньше нуля. Отрицательная или нулевая корреляция для верного ответа может отражать случайный характер ответов студентов, наличие систематических проблем в усвоении проверяемого материала, вызванных дефектами преподавания либо некорректной формулировкой задания теста.

Дискриминативностью (discriminatory power) называется способность задания дифференцировать студентов на лучших и худших. Высокая дискриминативность – важная характеристика удачного тестового задания, она определяет меру валидности задания, его адекватность целям создания теста. Поэтому хороший нормативно-ориентированный тест должен быть составлен из заданий с высокой дискриминативной способностью. Для критериально-ориентированных тестов дискриминативность не является решающим фактором при отборе заданий в тест, но в любом случае невалидные задания должны быть удалены из теста.

Для оценки дискриминативности задания применяются различные формулы. Наиболее простым является расчет по формуле rдис j = p1 j – p0 j , где rдис j – индекс дискриминативности для j-го задания теста; p1 j – доля студентов, правильно выполнивших j-е задание в подгруппе из 27% лучших студентов по результатам выполнения теста; p0 j – доля студентов, правильно выполнивших j-е задание в подгруппе из 27% худших студентов по результатам выполнения теста.

Значения индекса rдис для заданий теста обычно представляют собой десятичную дробь, принадлежащую интервалу [–1; 1]. Максимального значения 1,00 rдис достигнет в том случае, когда все студенты из подгруппы лучших верно выполнят j-е задание теста, а из подгруппы худших это задание не выполнит верно ни один студент. Тогда задание будет обладать максимальным дифференцирующим эффектом. Нулевого значения rдис достигнет в том случае, когда в обеих подгруппах будут равны доли студентов, правильно выполнивших j-е задание теста. И наконец, минимальное значение rдис = –1 будет в ситуации, когда данное задание теста все сильные студенты сделали неверно, а все слабые – верно. Естественно, что задания второго и третьего типа с rдис = 0 или rдис < 0 из теста следует удалить.

Более точное представление о дискриминативной способности задания можно составить, подсчитав точечный бисериальный коэффициент (rpbis) корреляции, процесс вычисления значений которого подробно рассмотрен выше в этом же разделе. Помимо приведенной формулы для rpbis, можно использовать другие, дающие близкие значения:

где (rpbis)j – точечно-бисериальный коэффициент корреляции для j-го задания; (X̅1)j — среднее значение индивидуальных баллов студентов, выполнивших верно j-е задание; (X̅0)j — среднее значение индивидуальных баллов учеников, выполнивших j-е задание неверно; X̅ — среднее значение баллов по всей выборке студентов; Sx — стандартное отклонение по множеству индивидуальных баллов.

По мнению многих специалистов (Крокер, Алгина, Клайна и др. ), в качестве критического числа следует выбрать значение 0,2, потому все задания со значением rpbis < 0,2 необходимо удалить из теста.

Интересна взаимосвязь показателей трудности и дискриминативности заданий теста. Задания с высокой дискриминативностью обычно имеют среднюю трудность, поскольку именно для них характерен высокий дифференцирующий эффект. Однако обратное заключение, вообще говоря, неверно. Задания с p =̣ 0,5 могут иметь как высокий, так и низкий дифференцирующий эффект.

При подсчете статистик по тесту всегда проводится проверка значимости значений дисперсии, асимметрии, эксцесса и т.д. Для этого к данным, собранным по тесту, необходимо добавить информацию о принимаемом уровне риска допустить ошибку в статистическом выводе. Наиболее приемлемым для педагогических измерений является уровень в 5%, который допускает ошибку в пяти случаях из ста. После выбора степени риска проверка значимости проводится одним из описанных в литературе методов.

При конструировании теста необходимо иметь четкое представление о содержании заданий, которые предполагается включить в окончательную версию теста. При одномерных измерениях содержание заданий должно отвечать свойству гомогенности, указывающему на степень его однородности с точки зрения оцениваемого параметра подготовленности ученика. Таким образом, гомогенность (однородность) – это характеристика задания, отражающая степень соответствия его содержания измеряемому свойству ученика.

Степень гомогенности содержания обычно оценивают с помощью факторного анализа. Для вывода о приемлемой степени гомогенности достаточно лишь того, чтобы доминирующий фактор, в основном определяющий результаты выполнения задания, был ориентирован на измеряемую переменную. Представление о степени гомогенности задания как составляющей системы заданий в тесте можно получить с помощью анализа парных корреляций (см. выше в данном разделе). Если какое-либо задание отрицательно коррелирует с остальными, то есть веские основания для сомнений в его гомогенности. Наоборот, значимые, высокие оценки корреляции указывают на высокую степень однородности содержания заданий теста. При увеличении интеркорреляции заданий сужается содержательная область, отраженная в тесте, что желательно в тематических, но недопустимо в итоговых тестах для оценки уровня подготовки по предмету. Поэтому при создании итоговых нормативно-ориентированных тестов стараются отобрать задания с положительными, но невысокими значениями коэффициентов парной корреляции в пределах интервала (0; 0,3).

Показанные в разделе простейшие случаи подсчета статистических характеристик теста входят в состав так называемой дескриптивной статистики по тесту. В общем случае статистика включает также факторный анализ для оценки полученных результатов тестирования соответствия измеряемой переменной.

 

6.3. Оценивание надежности и валидности педагогических тестов

Общие представления о надежности и валидности были введены ранее. Оценка надежности нормативно-ориентированных тестов проводится различными методами, которые по способу осуществления можно условно разделить на две группы [28, 36]. Первая группа методов базируется на двукратном тестировании, проводимом с помощью одного и того же теста либо с помощью двух параллельных форм теста. Вторая группа предполагает однократное тестирование при оценке надежности теста. На практике стараются использовать вторую группу методов, поскольку организация повторного тестирования, как и разработка параллельных форм, всегда сопряжена с определенными трудностями и дополнительными затратами со стороны создателей тестов. Обычно вне зависимости от метода оценка надежности строится на подсчете корреляции между двумя наборами данных. Логика рассуждений при этом довольно проста: чем выше корреляция, тем надежнее тест.

Для маленькой выборки корреляцию можно оценить визуально, как в приведенном далее примере (табл. 6.8). В рассматриваемом гипотетическом примере три теста А, В и С из 10 заданий дважды выполняла одна и та же выборка из 10 студентов.

Тест А обладает оптимальной надежностью, так как результаты 10 студентов остались прежними: баллы и места учеников не изменились после повторного выполнения теста. Подсчет корреляции результатов первого и второго тестирования даст коэффициент корреляции, равный единице. Тест В абсолютно ненадежен: те, кто имел самые высокие баллы в первом тестировании, получают самые низкие во втором после повторного применения этого же теста. Полное отсутствие воспроизводимости баллов испытуемых указывает на минимальную надежность теста, поэтому (rн)в = –1. Тест С обеспечивает хаотичное изменение результатов, хотя баллы отдельных студентов (3-го и 9-го) будут воспроизведены при повторном выполнении теста. Скорее всего, надежность 3-го теста близка к нулю. Естественно, что рассмотренные гипотетические ситуации не встречаются на практике. Обычно коэффициент надежности принимает положительные значения, но никогда не бывает равен единице даже для существующих десятилетиями, получивших всеобщее признание очень хороших тестов.

Таблица 6.8 Результаты двукратного выполнения трех тестов

Ретестовый метод оценки надежности (test-retest reliability) основан на подсчете корреляции индивидуальных баллов испытуемых, полученных в результате двукратного выполнения ими одного и того же теста. Обычно повторное тестирование проводится через 1–2 недели, когда испытуемые еще не успели забыть учебный материал и незначительно продвинулись в усвоении новых знаний. При таких условиях повторного предъявления теста низкая корреляция между результатами тестирования будет следствием не изменения состояния испытуемых, а применения ненадежного теста.

Для подсчета коэффициента надежности по методу повторного тестирования используется формула

(6.9)

где (rн)рет — коэффициент надежности теста по ретестовому методу, Xi — индивидуальный балл i-го испытуемого в первом тестировании, Yi — индивидуальный балл i-го испытуемого во втором тестировании (i = . 1, 2, …, N).

Для удобства вычисления коэффициента надежности по ретестовому методу данные можно заносить в табл. 6.9.

Пример подсчета по табл. 6.9 можно привести для исходной матрицы. Выбирая ее данные в качестве результатов первого тестирования и добавляя результаты произвольные второго тестирования можно подсчитать коэффициент надежности ретестовым методом (табл. 6.10).

После подстановки чисел из нижней строчки таблицы в формулу (6.9) коэффициент надежности будет

Значение rн =̣ 0,78 указывает на невысокую надежность теста.

Применение ретестового метода может привести к ошибочным оценкам надежности в тех случаях, когда проводится слишком близкое по времени повторное применение теста. Студенты запоминают ответы к заданиям и при повторном тестировании значительно повышают свои результаты, что искажает оценку надежности теста.

Таблица 6.9 Сводная таблица для оценки надежности (ретестовый метод)

Таблица 6.10 Пример подсчета надежности ретестовым методом

Другой метод параллельных форм (parallel-form reliability) основан на однократном применении двух параллельных вариантов теста. Он непригоден в тех случаях, когда при тестировании используется один вариант теста.

В некоторых странах, например в США, благодаря соблюдению всех требований к проведению тестирования, применение единственного варианта не снижает необходимый уровень информационной безопасности, зато обеспечивает высокую сопоставимость результатов выполнения теста. Таким образом, если тест только один, то для оценки надежности методом параллельных форм приходится создавать параллельный вариант теста, затем с затратами сил, средств и времени на апробацию доказывать правомерность гипотезы о параллельности и только потом оценивать надежность исходного теста.

В другой ситуации, когда изначально разрабатываются параллельные варианты теста, как в ЕГЭ, оценка надежности методом параллельных форм также требует значительных трудозатрат. Необходима тщательная ротация вариантов в группе испытуемых для обеспечения сходных выборок учащихся на параллельных вариантах теста. Даже при стратификации выборки испытуемых и ротации вариантов достоверность оценок надежности снижается из-за того, что параллельные формы – это, скорее, теория, чем реальность, поскольку на практике, несмотря на все усилия авторов, как правило, обнаруживаются статистически значимые отличия в характеристиках параллельных вариантов.

Для оценки надежности методом параллельных форм используется формула (6.9). В ней Xi (i = 1, 2, …, N) – индивидуальные баллы испытуемых в первой форме, а Yi (i = 1, 2,…, N) – во второй. А далее все вычисления с точностью повторяют подробно рассмотренный пример.

Метод оценивания надежности, основанный на расщеплении результатов по тесту на две части (split-half method), наиболее распространен из-за своего удобства. Он позволяет вычислить коэффициент надежности при однократном выполнении испытуемыми теста. Для оценки надежности результаты тестирования делят на две части: в одну включают данные студентов по четным, а в другую – по нечетным заданиям, считая при этом, что получены сходные по содержанию части теста. Правда, деление на две части не единственный способ, возможны и другие варианты, когда выделяют большее число частей при оценке надежности теста.

Для оценивания надежности методом расщепления результаты студентов заносят в табл. 6.11.

Таблица 6.11 Сводная таблица для оценки надежности (метод расщепления)

Далее для таблицы данных используют формулу (6.9), в которой роль результатов в первом тестировании выполняют данные по четным заданиям, а во втором – по нечетным.

Пример подсчета по данным исходной матрицы приведен в табл. 6.2. Результаты испытуемых по четным и нечетным заданиям приводятся в табл. 6.12.

После подстановки чисел из табл. 6.12 в формулу (6.9) получается

По сравнению с прежним значением 0,78 надежность получилась намного меньше, что можно было предвидеть, поскольку тест укоротился в два раза (после расщепления подсчет надежности был по пяти заданиям вместо десяти).

Таблица 6.12 Пример подсчета надежности методом расщепления

Для коррекции оценки надежности в соответствии с длиной исходного теста используется формула Спирмена–Брауна

где в числителе и знаменателе дроби стоит коэффициент надежности для половины заданий теста, а слева скорректированный коэффициент надежности с учетом всех заданий теста.

Тогда для рассматриваемого примера коэффициент надежности теста из десяти заданий будет

После коррекции коэффициент надежности получился приблизительно такой же, как и в предыдущем случае подсчета ретестовым методом (rн = 0,78). Применение формулы Спирмена–Брауна подтверждает высказанное ранее предположение: увеличение длины повышает надежность теста.

Приведенный метод оценивания надежности имеет свои ограничения в применении. Он основан на допущении параллельности двух половин теста, что не всегда и не в полной мере может оказаться верным. Корреляция двух половин возрастает по мере роста гомогенности теста. В этой связи метод расщепления нередко называют методом оценки внутренней состоятельности (согласованности) теста (Internal-Consistency Method).

 

6.4. Метод Кьюдера-Ричардсона для дихотомических оценок

Метод Кьюдера-Ричардсона для оценки надежности также основан на однократном тестировании, но в отличие от предыдущего подхода не зависит от искусственных допущений о полной параллельности двух частей теста. Однако и он имеет свою ограниченную сферу применения, поскольку годится исключительно при использовании дихотомических оценок по результатам выполнения заданий гомогенных тестов.

Формула Кьюдера-Ричардсона (F. Kuder, M. Richardson-20, или KR-20) имеет вид [28, 36]

(6.10)

где рj – доля правильных ответов на j-е задание; qj — доля неправильных ответов, qj = 1 – рj ; SX 2 — дисперсия по распределению наблюдаемых баллов; n — число заданий теста.

Для исходной матрицы данных подсчитанная ранее исправленная дисперсия SX 2 = 6,89 , а доли правильных ответов получаются делением чисел Rj в последней строке матрицы на 10. Тогда сумма произведений долей правильных и неправильных ответов будет 0,9 · 0,1 + 0,8 · 0,2 + 0,7 · 0,3 + 0,6 · 0,4 + 0,5 · 0,5+ 0,5 · 0,5 + 0,3 · 0,7 + 0,4 · 0,6 + 0,2 · 0,8 + 0,1 · 0,9 = 1,9 и коэффициент надежности

При оценке надежности нельзя полагаться лишь на один показатель, поскольку каждый из них имеет свои ограничения, смещающие оценки надежности теста в сторону завышения или занижения. Для достоверной проверки качества теста следует учитывать несколько показателей надежности, подсчитанных по разным формулам, лишь небольшая часть которых приведена в данном тексте. В качестве нижнего предела допустимых значений надежности обычно выбирают 0,7. При более низком значении использование теста вряд ли целесообразно в силу большой погрешности измерения.

Если тест разрабатывают профессионалы, то к нему предъявляют более жесткие требования. Как правило, тесты с надежностью менее 0,8 считаются непригодными в профессионально организованных службах и центрах тестирования. Значения коэффициента надежности, превышающие 0,9, говорят о высоком качестве теста. Они крайне желательны, но редко встречаются. Обычно в тестологической практике надежность тестов колеблется в интервале (0,8; 0,9). Коэффициент надежности, подсчитываемый по матрице тестовых результатов, всегда зависит от свойств выборки испытуемых. Поэтому при каждом очередном использовании теста приходится оценивать его надежность, а уж потом говорить о возможности интерпретации результатов выполнения теста.

 

6.5. Надежность и стандартная ошибка измерения

Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения. Для установления связи между стандартной ошибкой измерения и надежностью теста необходимо преобразовать формулу

и выделить в левой части SЕ 2 . После преобразования формулы относительно SЕ 2 получится выражение SЕ 2 = SX 2 (1 – rн), или

где SX — стандартное отклонение по распределению индивидуальных баллов; rн – коэффициент надежности теста; SE — стандартная ошибка измерения. Это выражение обычно используется для вычисления SE по известным величинам rн и SX Что касается сущностного смысла, то SE (standard error of measurement) трактуется как стандартное отклонение результатов испытуемого от его истинного балла, полученное при выполнении им большого числа параллельных форм теста.

Для лучшего уяснения смысла показателя SE можно представить другую гипотетическую ситуацию, когда i-и испытуемый выполнял много раз один и тот же тест. Если предположить, что эффект запоминания отсутствует, то результаты тестирования образуют нормальное распределение вокруг истинного балла Тi со стандартным отклонением SE . На практике SE рассматривается как статистическая величина, отражающая степень точности отдельных измерений, поэтому величину SE используют для определения границ доверительного интервала, внутри которого должен находиться истинный балл оцениваемого ученика группы.

Построение доверительного интервала. Общераспространен подход, когда доверительный интервал выстраивается как две симметричные окрестности (левая и правая) вокруг наблюдаемого показателя ученика, хотя это не совсем верно, поскольку речь должна идти об окрестностях, расположенных слева и справа от истинного балла. Тем не менее этот факт вынуждено игнорируется в прикладных исследованиях в силу отсутствия истинного балла, и доверительный интервал при заданном риске допустить ошибку t =̣ 0,05, т.е. в пяти случаях из ста, принимается равным (Xi – 1,96SE ; Xi + 1,96SE ), где Χi — наблюдаемый балл i-го испытуемого; 1,96 – константа, табличное число, используемое при t ≤ 0,05.

Для рассматриваемого ранее примера матрицы тестовых результатов (см. табл. 6.11), коэффициента надежности rн =̣ 0,78 и стандартного отклонения SX =̣ 2,62, вычисленного ранее для матрицы, SE будет равно

Тогда доверительный интервал для истинного балла первого ученика со значением Хi = 6 будет (6 – 1,23; 6 + 1,23) или (4,77; 7,23). Истинный балл первого ученика может находиться в любой точке этого интервала.

Интересна геометрическая интерпретация доверительного интервала на оси наблюдаемых баллов, приведенная для балла i-го учащегося. Очевидно, что с ростом SE границы доверительного интервала будут раздвигаться, и вместе с тем будут увеличиваться возможные пределы отклонения истинного балла от наблюдаемых результатов измерения (более правильная с точки зрения теории трактовка: пределы отклонения наблюдаемых баллов от истинной компоненты измерения).

 

6.6. Валидность гомогенных тестов

Валидность – это характеристика способности теста служить поставленной цели измерения. Как правило, постановка целей создания теста носит комплексный характер, поэтому часто стараются проверить валидность с разных позиций сообразно различным направлениям использования теста. Например, нормативно-ориентированный тест для приема абитуриентов в вузы должен служить цели дифференциации испытуемых и прогностическим целям, так как мало выделить лучших абитуриентов в момент приема, нужно также спрогнозировать успешность дальнейшего обучения зачисленных в вузы абитуриентов.

Оценивание валидности всегда проводится путем соотнесения характеристик результатов измерения с внешними критериями [ 1,28, 36]. В качестве таких критериев могут выступать оценки экспертов при анализе содержания теста и его адекватности целям измерения (содержательная валидность), результатов по другим тестам (конструктная валидность), успешности дальнейшего обучения (прогностическая валидность). Высокая корреляция между анализируемыми результатами испытуемых и внешними критериями подтверждает высокую валидность теста. Основная трудность при такой валидизации носит не практический, а методологический характер, поскольку она состоит в выборе значимого внешнего критерия.

При разработке аттестационных тестов, конечно, на первом плане находится содержательная валидность, которая определяется как характеристика репрезентативности содержания теста по отношению к запланированным для проверки знаниям, умениям и требованиям ФГОС. Если тест позволяет проверить все то, что задумано авторами в спецификации и заложено в ФГОС, то он считается валидным относительно контролируемого содержания дисциплины и целей создания аттестационного теста. Представление о содержательной валидности не следует связывать только с полнотой отображения в тесте содержания требований ФГОС, необходимо также заботиться о правильности пропорций содержания теста. Если тест отображает второстепенные элементы содержания дисциплины вместо значимых разделов, то нельзя говорить о его высокой содержательной валидности.

Конечно, во всех случаях справедлив общий вывод – чем глубже и полнее отображение, тем выше уверенность в содержательной валидности теста. Однако при нормативно-ориентированном подходе есть свои особенности. Тест валиден по содержанию, если он обеспечивает высокую дифференциацию результатов испытуемых и в нем отображено все то главное, без чего нельзя говорить о знании курса. При этом отдельные содержательные разделы могут быть представлены фрагментарно, а другие и вовсе отсутствовать в тесте. Для повышения содержательной валидности в тест лучше включать задания, содержание которых не связано каким-либо заметным образом, и потому они не могут замещаться при проверке. При прочих равных условиях эта тенденция приведет к повышению полноты охвата содержания и, следовательно, к росту содержательной валидности теста. Таким образом, если речь идет о валидности, то конструктор заинтересован в выборе заданий с малыми коэффициентами интеркорреляции.

К противоположному выводу легко прийти, если стараться повысить надежность теста. Отбирая задания с большими коэффициентами интеркорреляции, можно обеспечить высокую однородность содержания и надежность теста. Это противоречие, отмеченное впервые Ф. Лордом [38], дает основание для возникновения серьезных проблем при конструировании теста. В частности, легко представить ситуацию разработки итогового теста по алгебре. Если включить в него только задания на решение уравнений одного вида, то можно достичь высокой надежности, близкой к 0,90. Однако, и это понятно без всяких объяснений, маловероятно, чтобы такой итоговый тест обладал приемлемой содержательной валидностью.

Таким образом, при конструировании гомогенного теста следует стремиться к повышению его надежности в разумных пределах, чтобы не снизить существенным образом содержательную валидность теста. Поэтому при отборе заданий в тест необходимо иметь четкое представление об их содержании и о множестве других факторов, а не просто отдавать предпочтение тем, которые высоко коррелируют друг с другом и обеспечивают хорошую надежность теста. Правда, по рассматриваемой выше проблеме есть другая точка зрения, принадлежащая Гилфорду и Ньюнелли [36]. Они полагают, что внутренняя согласованность теста является непременным условием его высокой содержательной валидности, и потому высокая надежность служит предпосылкой оптимальной валидности теста.

Кточке зрения Ф. Лорда присоединяются Кэттелл и Клайн [17]. По их мнению, максимум валидности может быть получен тогда, когда все задания слабо, но положительно коррелируют друг с другом, при этом каждое из них имеет высокую корреляцию с критерием по тесту. Поэтому повышению валидности способствует включение заданий, для которых характерны большие коэффициенты бисериальной корреляции с суммой баллов по тесту.

При количественных оценках валидности для педагогических тестов в качестве критерия обычно берутся оценки экспертов, выставленные ими при традиционной проверке знаний учеников без использования тестов. Процесс валидизации осложняется необходимостью установления меры согласованности оценок экспертов, которых обычно бывает не менее трех. Если мера согласованности достаточно высока, то для оценки валидности используется формула

где Хi – Х̅ – отклонение тестового балла i-го ученика от среднего балла по тесту; Хтi – Х̅э — отклонение балла i-го ученика у экспертов от Х̅э — среднего арифметического экспертных оценок; SX 2 — дисперсия баллов учеников по тесту; Smx 2 — дисперсия баллов экспертов; m — число экспертов.

Бывают случаи, когда педагог заинтересован в оценке прогностической валидности, например, указывающей меру вероятности прогноза успешности профессиональной деятельности выпускника вуза по результатам выполнения теста. В этом случае результаты по тесту коррелируют с результатами аттестации молодых специалистов, проводимой на предприятиях и организациях в течение нескольких первых лет работы. Высокая корреляция означает, что разработанные тесты прогностичны для отбора лучших выпускников вуза, обладающих сформированными профессиональными компетенциями.

 

Выводы

В отличие от традиционных средств контроля тесты проходят процесс научного обоснования качества, предполагающий оценку соответствия характеристик тестов двум важнейшим критериям: надежности и валидности. Разработка тестов для принятия административно-управленческих решений в образовании требует длительного исследовательского периода, охватывающего в циклическом режиме все этапы создания теста.

Анализ эмпирических данных тестирования начинается с построения матрицы, отражающей взаимодействие испытуемых и заданий в процессе выполнения теста. Обработка данных матрицы в классической теории тестов основывается на дескриптивной статистике, анализ результатов обработки позволяет оценить качество тестовых заданий и всего теста.

Наибольшую трудность при создании теста представляет интерпретация результатов обработки эмпирических результатов тестирования, но только благодаря ей может быть достигнуто высокое качество теста. Полная стандартизация процедуры предъявления теста способствует повышению точности и созданию качественных тестов.

Для разработки аттестационных тестов в вузе рекомендуется использовать традиционную теорию тестов.

 

Практические задания и вопросы для обсуждения

В таблице приведены ответы 30 испытуемых на одно задание теста. Всех испытуемых можно разбить на две подгруппы, одна из которых содержит 15 испытуемых высокого уровня подготовленности, а другая – 15 человек низкого уровня подготовленности (сильная и слабая группа). По данным таблицы вычислите:

1 ) среднее значение тестовых баллов по сильной и по слабой группе, сравните их;

2) дисперсию баллов по всей группе (30 испытуемых);

3 ) долю правильных ответов на задание по сильной группе ( 15 испытуемых);

4) долю правильных ответов на задание по слабой группе (15 испытуемых);

5 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для сильной группы;

6 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для слабой группы.

 

7.1. Общие сведения о системе сертификации педагогических тестов

Источники повышения валидности теста:

     • подбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту;

     • экспертиза качества содержания теста;

     • расчет оптимального времени выполнения теста;

     • подбор валидных заданий с высокой дискриминативностью.

Система добровольной сертификации (далее – Система) педагогических тестовых материалов (ПТМ) была создана на базе Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) приказом Министерства образования Российской Федерации от 17.04.2000 г. № 1122 «О сертификации качества педагогических тестовых материалов». Система получила регистрационный номер в реестре органов по сертификации Федерального агентства по техническому регулированию и метрологии (регистрационный № РОСС RU.B154.04TM00). Система сертификации функционирует с 2000 г.

Цель сертификации – повышение качества образования путем совершенствования ПТМ, применяемых для оценки знаний обучающихся методом тестирования в учебных заведениях Российской Федерации и других структурах системы образования. При этом решаются две задачи: первая – выявление и фиксация достигнутого уровня качества сертифицируемых ПТМ, вторая – разработка рекомендаций, определяющих методику совершенствования ПТМ.

Сертификация осуществляется специально созданным Центром сертификации качества педагогических тестовых материалов (далее – Центр сертификации), который также оказывает консультационные услуги по доведению характеристик ПТМ до уровня соответствия утвержденным требованиям к их качеству (Требования к качеству ПТМ). Требования к качеству ПТМ составляют нормативную базу Системы. Объективность и достоверность результатов сертификации обеспечивается участием в работах по сертификации ПТМ компетентных экспертов, рекомендованных учебно-методическими объединениями вузов, использованием научно обоснованных методик экспертизы качества ПТМ и профессиональных статистических пакетов для компьютерной обработки данных.

Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Согласно Правилам функционирования Системы объектами сертификации являются:

     • совокупности тестовых заданий, объединенные в варианты тестов и используемые для оценки знаний обучающихся;

     • компьютеризованные банки тестовых заданий;

     • совокупности тестовых методик, объединенные в технологии;

     • программно-инструментальные средства для генерации и предъявления традиционных и адаптивных тестов;

     • программные средства для математико-статистической обработки данных тестирования;

     • сопроводительные материалы, включающие спецификацию теста для бланковой или компьютерной формы представления, описание метода генерации варианта традиционного или адаптивного теста из банка данных, описание системы оценивания, включающее ключи правильных ответов, критерии или нормы оценивания, шкалы, описание процедур предъявления теста, проверки результатов тестирования и сообщения результатов испытуемым, а также другая продукция, относящаяся к категории педагогических тестовых материалов.

Центр сертификации вносит информацию в созданный в рамках Системы Федеральный реестр сертифицированных ПТМ с целью оказания посреднических услуг и предоставления заинтересованным лицам соответствующей информации о возможностях приобретения ПТМ у их авторов. Благодаря этому широкий круг заинтересованных учебных заведений имеет возможность приобрести сертифицированные ПТМ, обеспечивающие высокое качество результатов педагогических измерений.

Федеральный реестр сертифицированных ПТМ представляет собой специализированную базу данных, содержащую наиболее общую информацию о сертифицированных ПТМ (наименование дисциплины, специальность или направление подготовки, вид объекта сертификации, его предназначение и др.). Сведения о сертифицированных ПТМ вносятся в Федеральный реестр по желанию авторов ПТМ. Дополнительные сведения о сертифицированных ПТМ и контактная информацию об авторах ПТМ предоставляется Центром сертификации на платной основе по согласованию с авторами ПТМ. Соблюдение авторских прав является обязательным условием деятельности Центра сертификации.

 

7.2. Требования к качеству педагогических тестов

Требования к качеству ПТМ прошли длительный период обсуждения, в котором приняли участие представители различных учебных заведений и управленческих структур в сфере образования. Основное назначение требований к качеству ПТМ состоит в обеспечении информации о критериях качества тестовых материалов для разработчиков и пользователей ПТМ. Разработка требований к качеству ПТМ и их систематическое обновление является обязательной составляющей деятельности Системы.

По структуре требования к качеству ПТМ состоят из набора регламентированных характеристик, правил, методики критериев, которые ориентированы на различные виды ПТМ. Часть требований к качеству ПТМ носит описательный характер, другая выражается в виде количественных характеристик – критериев качества.

Выполнение всех требований к качеству ПТМ является обязательным, если ПТМ используются при аттестации выпускников и учебных заведений. При сертификации ПТМ для текущего контроля часть требований носит необязательный характер либо не выдвигается совсем. Таким образом, в зависимости от планируемой области применения определяется класс требований, на соответствие которым проверяются разработанные ПТМ. С повышением уровня ответственности при принятии управленческих решений на основе результатов использования ПТМ повышается жесткость требований к качеству, предъявляемых к представленным материалам, а также дополняется список информации, необходимой для проведения работ по сертификации.

При сертификации ПТМ используются требования к содержанию тестов, критерии качества содержания гомогенных тестов, критерии качества содержания гетерогенных тестов, требования к формам заданий тестов, требования к статистическим характеристикам заданий и тестов, требования к характеристикам заданий компьютеризованного банка ПТМ, требования к структуре банка и технологии компьютерной генерации вариантов ПТМ, требования к сопроводительным материалам ПТМ.

 

7.3. Требования к содержанию аттестационных тестов

1. Содержание теста должно полностью соответствовать цели создания. Выполнение требования предполагает ясную формулировку цели и подробное описание проверяемых содержательных элементов, знаний, умений и так далее в спецификации теста.

2. Отображение требований ФГОС в содержании теста должно быть по возможности полным. В содержании теста, предназначенного для целей аттестации, необходимо отобразить объем требований ФГОС, который условно можно принять за 100%.

3. Содержание теста должно обладать правильными пропорциями . Оно должно охватывать все важные аспекты предметной области в правильном соотношении, соответствующем используемым учебным программам или другим документам, определяющим структуру и пропорции содержания учебной дисциплины.

4. Содержание теста должно соответствовать спецификации. Не следует перенасыщать содержание теста теми разделами, по которым легче составить задания.

5. Содержание разделов гомогенного теста должно удовлетворять требованию однородности, что означает наличие только положительных значимых корреляций между результатами по заданиям внутри раздела. Содержание заданий каждого раздела теста должно обладать дисциплинарной общностью, которая устанавливается путем анализа корреляционной матрицы, полученной подсчетом интеркорреляций между результатами испытуемых по отдельным заданиям теста.

6. Содержание каждого задания теста должно удовлетворять требованию значимости. Необходимо включать в тест только те элементы содержания, которые являются наиболее важными, ключевыми элементами курса.

7. Содержание каждого задания теста должно быть логически корректным. Корректность означает, что при правильном выполнении задания испытуемые приводят или выбирают только запланированные разработчиком ответы.

8. Каждое задание тестов должно обладать высокой содержательной валидностью. Коэффициент точечной бисериальной корреляции между результатами репрезентативной выборки испытуемых по каждому заданию и суммой баллов по тесту должен быть не меньше 0,3.

9. В гетерогенном полидисциплинарном тесте содержание каждого гомогенного субтеста должно удовлетворять требованиям к качеству гомогенного теста.

10. Каждый субтест полидисциплинарного теста должен обладать содержательной независимостью от остальных субтестов гетерогенного теста. Результат по каждому гомогенному субтесту должен быть снабжен содержательно-независимой интерпретацией, которая в совокупности с другими соответствует общей цели создания полидисциплинарного теста.

11. Качество содержания и размерность пространства измерений междисциплинарного гетерогенного теста, состоящего из междисциплинарных заданий, необходимо обосновывать путем применения методов многофакторного анализа. Для этого из матрицы интеркорреляций между заданиями должны быть выделены независимые факторы, а в каждом факторе со значимыми нагрузками выделяются непересекающиеся подмножества заданий междисциплинарных тестов.

Общие требования к форме представления тестовых заданий во всех видах тестов представлены ранее (см. Основные подходы к разработке измерителей).

 

7.4. Требования к статистическим характеристикам теста

Итоговые тесты, используемые для целей аттестации, обязательно должны проходить процедуру статистического обоснования качества. При представлении результатов обоснования на сертификацию необходимо указать теоретическую базу (классическую теорию или IRT), использованную разработчиком для статистического обоснования качества теста.

1. Статистические данные о результатах выполнения задания должны включать: распределение ответов испытуемых (в процентах) по выделенным кодам и/или баллам; процент испытуемых, не приступавших к выполнению задания; значения точечно-бисериального коэффициента по каждому коду или баллу, включая группы не приступавших к выполнению задания, выполнивших задание неправильно, выполнивших задание частично и полностью выполнивших задание правильно.

2. Тестовое задание с выбором ответов должно сопровождаться оценками качества работы дистракторов, которые необходимо получать в долях испытуемых, выбравших каждый дистрактор, и в виде бисериального коэффициента корреляции. Дистрактор считается работающим, если доля испытуемых отлична от нуля, а бисериальный коэффициент принимает отрицательное значение и значимо отличается от нуля.

3. Тестовое задание должно иметь статистическую оценку трудности в долях правильных ответов испытуемых, в процентах правильных ответов или в шкале логитов, если использовалась современная теория конструирования тестов.

4. Тестовое задание должно иметь оценку валидности, полученную с помощью индекса дискриминативности, точечного бисериального коэффициента или параметра дифференцирующей способности.

5. Распределение статистик по каждому варианту теста должно удовлетворять критериям правдоподобности при проверке гипотезы о нормальном распределении эмпирических результатов (для нормативно-ориентированных тестов).

6. Распределение индивидуальных (сырых) баллов должно иметь правостороннюю асимметрию (для критериально-ориентированных тестов).

7. Для комплекта вариантов теста необходимы нормы, включающие среднее значение сырых баллов, дисперсию с указанием временного промежутка действия норм. Среднее значение должно быть в центре распределения индивидуальных баллов, дисперсия должна значимо отличаться от нуля без нарушения нормальности распределения.

8. Для комплекта вариантов теста необходимо указать надежность с указанием метода оценки; надежность не должна быть менее 0,8.

9. Для комплекта вариантов теста необходимо указать результаты экспертного оценивания содержательной валидности теста.

10. Для аттестационных тестов требуется обоснование параллельности вариантов с указанием необходимых для обоснования статистик. При использовании якорных тестов для компоновки вариантов приводится процедура выравнивания вариантов.

11. Для полидисциплинарных тестов, состоящих из отдельных гомогенных субтестов, необходимо выбрать и обосновать основания для определения относительных весов при суммировании баллов испытуемых по отдельным субтестам в процедуре подсчета итогового балла.

12. Для гетерогенных междисциплинарных тестов, состоящих из комплексных междисциплинарных заданий, необходимо определить и обосновать основания выбора шкал: описание использованных методов многомерного шкалирования и результаты факторного анализа.

13. Число заданий любого варианта теста не должно быть менее 25.

 

7.5. Требования к характеристикам тестовых заданий компьютеризованного банка

1. Каждое задание банка должно иметь индивидуальный номер и храниться в форме, позволяющей управляющей программе извлекать его из банка для компьютерной сборки теста или тематической распечатки.

2. Каждое задание банка должно иметь код тематической принадлежности и код контролируемого элемента содержания.

3. Каждое задание банка должно быть отнесено к определенному уровню сложности и иметь статистически полученную устойчивую оценку параметра трудности.

4. Для каждого задания банка указывается время его выполнения, полученное статистическим путем.

5. В качестве необходимой характеристики задания в банке должен присутствовать эталон правильного ответа и критерии оценивания выполнения задания.

6. В банке должен быть предусмотрен индикатор отнесенности задания к недействующим.

7. При наличии в банке заданий с идентичной логико-тематической структурой их необходимо маркировать так, чтобы при сборке варианта исключить попадание родственных заданий в один вариант.

8. При использовании заданий с числовыми или символьными переменными (фасетные задания) каждое значение из массива должно маркироваться как отдельное, так как подстановка разных значений изменяет трудность задания.

9. Тематическая структура банка должна соответствовать нормативным документам по каждой учебной дисциплине.

10. В банке для каждого задания должно быть выделено не менее двух уровней содержательной маркировки. Один из них указывает на тематическую принадлежность, а другой фиксирует проверяемые знания или умения (уровень деятельности).

11. Технология сборки теста должна предусматривать возможность генерации вариантов как в ручном, так и в автоматическом режиме по заданной спецификации теста. В технологии должна быть предусмотрена возможность корректировки теста после компьютерной сборки.

12. В технологии генерации вариантов теста необходимо учитывать содержательную принадлежность заданий и статистические оценки параметров заданий, позволяющие осуществить определенную композицию вариантов теста.

13. В рамках технологии генерации вариантов теста необходимо предусмотреть опцию варьирования – автоматической перестановки ответов (с обязательным перемещением правильного ответа) для заданий закрытого типа.

14. После сборки вариантов теста должен формироваться сопроводительный лист, в котором указываются технологические характеристики вариантов, последовательность расположения заданий в варианте и другие характеристики.

 

7.6. Порядок сертификации тестов

Процедура сертификации ПТМ состоит из трех этапов. На первом, подготовительном этапе, заказчик (разработчик ПТМ) и Центр сертификации согласовывают все условия, необходимые для проведения работ по сертификации. Данный этап начинается с заполнения и высылки в адрес Исследовательского центра заявки на сертификацию и информационной карты сертифицируемых ПТМ. В рамках предварительного этапа производится согласование объема и стоимости работ, а также дополнительных условий. Первый этап завершается подписанием договора на проведение работ по сертификации, предоставлением заказчиком необходимых материалов для сертификации и оплатой работ по сертификации.

Второй этап включает в себя работу экспертной комиссии и подготовку заключения по результатам экспертизы. По результатам экспертизы качества ПТМ Центр сертификации выносит решение о выдаче сертификата качества ПТМ либо о выдаче свидетельства о несоответствии ПТМ требованиям к качеству ПТМ. По согласованию с заказчиком в рамках дополнительного соглашения могут быть подготовлены содержательные рекомендации по доведению характеристик ПТМ на необходимый уровень.

Третий этап является заключительным, на котором Центр сертификации качества ПТМ выдает сертификат качества ПТМ или свидетельство о несоответствии ПТМ требованиям к качеству ПТМ. В случае положительного решения по согласованию с заказчиком информация о сертифицированных ПТМ вносится в Федеральный реестр сертифицированных ПТМ.

Формы документов:

     • заявка на сертификацию;

     • информационные карты сертифицируемых ПТМ;

     • педагогические тесты;

     • компьютеризованные банки тестовых заданий;

     • типовая форма договора на проведение работ по сертификации.

 

А

Анализ заданий – процесс определения статистических характеристик заданий на основе обработки, анализа и интерпретации эмпирических результатов выполнения теста репрезентативной выборкой испытуемых.

Апробация – пробное тестирование, предшествующее основному и предпринимаемое в целях коррекции и доработки теста.

 

Б

Балл истинный – гипотетическая оценка переменной измерения, не зависящая от средств измерения, являющаяся константой испытуемого в момент измерения, но меняющаяся в процессе обучения.

Балл критериальный (пороговый) – тестовый балл, определяемый экспертными и статистическими методами и делящий группу испытуемых на подгруппы по результатам выполнения теста согласно выбранному критерию.

Балл наблюдаемый – количественный показатель выраженности измеряемого свойства, полученный непосредственным суммированием (с весовыми коэффициентами или без них) результатов испытуемого по отдельным заданиям теста.

Балл стандартизованный (шкалированный) – переведенный в одну из стандартных шкал наблюдаемый балл. Обычно он выражает отклонение результата испытуемого от среднего значения баллов, выраженное в единицах стандартного отклонения.

Банк тестовых материалов – структурированная совокупность накопленных тестовых заданий или тестов с устойчивыми статистическими характеристиками, представленная, как правило, в компьютерной форме с помощью соответствующих программно-инструментальных средств.

Батарея тестов – совокупность специальным образом подобранных тестов, системообразующие свойства и совместимость которых обоснована статистическим путем.

 

В

Валидность – многомерная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности тестовой методики по отношению к ней. В более простой формулировке валидность можно определить как совокупность характеристик, определяющих способность теста служить поставленной цели его создания.

Валидность задания – количественная характеристика способности задания служить целям дифференциации испытуемых по значениям измеряемой переменной при выполнении теста. Валидность задания оценивается путем подсчета индекса дискриминативности, бисериального коэффициента корреляции, дифференцирующей способности задания теста.

Валидность прогностическая – количественная характеристика теста, предназначенная для выявления точности и обоснованности ближайшего и отдаленного прогноза, экстраполяции результатов измерения на будущее, производимых на основе результатов тестирования.

Валидность содержательная – качественная характеристика теста, фиксирующая репрезентативность представленного в тесте содержания дисциплины.

Вес задания – числовой коэффициент, выбранный экспертным или статистическим методами и используемый при подсчете итоговых баллов испытуемых по тесту.

Внутренняя согласованность – характеристика гомогенности теста, указывающая на степень дисциплинарной общности (однородности) содержания заданий теста.

Выборка репрезентативная – формируемое специальным образом подмножество генеральной совокупности, пропорции которого отражают в том или ином масштабе пропорции всех наиболее значимых страт, реально существующих в генеральной совокупности. Репрезентативная выборка используется для стандартизации теста.

Выборка случайная – формируемое случайным образом подмножество исследуемого множества (генеральной совокупности) элементов.

Выборка стандартизации – формируемое специальным образом для достижения репрезентативности подмножество генеральной совокупности, используемое для определения норм теста.

Выборки объем – число элементов, извлеченных из генеральной совокупности в соответствии с задачами исследования, степенью однородности генеральной совокупности, заданной величиной доверительной вероятности и требуемой точностью результатов измерения.

 

д

Дискриминативность задания (синоним – дифференцирующая способность задания) – числовая характеристика способности задания дифференцировать испытуемых по величине измеряемой переменной относительно наибольшего и наименьшего результатов. Оценивается с помощью бисериальной корреляции в рамках классической теории тестов.

Дисперсия – показатель разброса некоторого множества результатов измерений вокруг среднего арифметического, подсчитываемый как усредненное значение возведенных в квадрат отклонений от арифметического среднего, квадрат стандартного отклонения.

Дистрактор – разрабатываемые в заданиях с выбором варианты неправильных, но правдоподобных ответов, отвлекающие внимание испытуемого при выборе правильного ответа.

Дистракторный анализ – статистический метод изучения правдоподобности дистракторов, строящийся на анализе частоты выбора неправильных ответов испытуемыми группы.

Длина теста – количество заданий в тесте, оптимизируемое в соответствии с другими параметрами (цели тестирования, время тестирования, возраст учащихся и т.д.) статистическим путем.

 

3

Задание на дополнение (конструирование) ответа – тестовое задание, требующее от испытуемого самостоятельного получения краткого (регламентированного) или развернутого (свободно конструируемого) ответа.

Задание на установление правильной последовательности – тестовое задание, требующее от испытуемого установления правильной последовательности в ряду предлагаемых педагогом элементов.

Задание на установление соответствия – тестовое задание, требующее от испытуемого установления соответствия между элементами двух множеств, одно из которых содержит задающие элементы, а другое элементы для выбора.

Задание с выбором – тестовое задание, требующее от испытуемого выбора правильного ответа из числа предлагаемых в задании.

Задание тестовое – контрольное задание, содержание, форма и статистические свойства которого удовлетворяют набору тестологических требований.

 

И

Измерение педагогическое – научно обоснованный процесс отображения измеряемых объектов (свойств, учебных достижений и т.д.) на некоторое множество точек числовой оси, представляющей из себя шкалу.

Инструкция – указания в письменной или устной форме для участников тестирования (в том числе для педагогов и организаторов) по подготовке к тестированию, о порядке его проведения, правилах поведения на нем.

Интервал доверительный – интервал на оси переменной измерения, относительно которого с заранее выбранной вероятностью близкой к единице (меньшей единицы на величину выбранного уровня значимости критерия) можно утверждать, что он содержит истинное значение оцениваемого параметра.

 

к

Ключи ответов – набор правильных пронумерованных ответов к каждому заданию теста.

Конфиденциальность результатов тестирования – неразглашение результатов тестирования без согласия участвовавших испытуемых и педагогов.

Корреляционный анализ – совокупность методов статистического исследования взаимозависимости между переменными, находящимися во взаимодействии.

Коэффициент корреляции – числовой показатель степени взаимозависимости двух переменных, который, как правило, изменяется от – 1 до +1.

Коэффициент корреляции бисериальный – числовой показатель степени взаимозависимости двух переменных, одна из которых измерена в дихотомической шкале наименований, а другая в континуальной порядковой или интервальной шкале. При нарушении нормального характера распределения значений переменных может выходить за пределы интервала [– 1; +1].

Коэффициент корреляции Пирсона – числовой показатель степени взаимозависимости двух переменных, измеренных в континуальной шкале.

Коэффициент корреляции точечно-бисериальный – числовой показатель степени взаимозависимости двух переменных, одна из которых измерена в дихотомической шкале наименований, а другая в континуальной порядковой или интервальной шкале. По сравнению с бисериальным коэффициентом корреляции имеет заниженные значения и не может выходить за пределы интервала [– 1; +1].

Коэффициент надежности – количественная мера надежности теста, определяемая как доля дисперсии истинных баллов от общей дисперсии баллов по тесту. Квадрат коэффициента корреляции между наблюдаемыми результатами тестирования и истинными баллами по тесту.

Коэффициент ранговой корреляции Спирмена – числовой показатель степени взаимозависимости качественных признаков, измеренных в дихотомической шкале наименований или в порядковой шкале.

Коэффициент φ – числовой показатель степени взаимозависимости переменных, измеренных в номинальной шкале.

 

M

Матрица корреляционная – прямоугольная таблица, содержащая набор значений коэффициента корреляции между переменными, как правило, между результатами по различным заданиям теста.

Матрица ответов – прямоугольная таблица, содержащая результаты ответов испытуемых на задания теста в виде баллов за каждое задание теста или в виде номера (буквы), выбранной испытуемым при ответе (только для заданий с выбором ответов).

Меры изменчивости – статистические показатели разброса значений измеряемой переменной относительно среднего значения, степени индивидуальных отклонений от центральной тенденции распределения.

Меры центральной тенденции – характеристики совокупности значений измеряемой переменной, указывающие на наиболее типичный репрезентативный для исследуемой выборки результат.

Модераторы – характеристики контингента испытуемых, значимые для оценки прогностической валидности теста.

 

H

Надежность параллельных форм – оценка надежности теста, полученная путем корреляции результатов по двум параллельным формам теста, которые предъявляют одной и той же группе испытуемых.

Надежность ретестовая – оценка надежности теста, полученная путем корреляции результатов по двукратному предъявлению одного и того теста одной и той же группе испытуемых.

Надежность теста – числовая характеристика теста, отражающая точность тестовых измерений и их устойчивость по отношению к действию случайных факторов.

Надежность частей теста – оценка надежности теста, полученная путем расщепления теста на части (задания) и анализа устойчивости результатов по отдельным частям (заданиям) теста.

Нормальное распределение – наиболее часто встречающийся вид теоретического распределения переменных, график плотности которого представляет из себя симметричную унимодальную колоколообразную кривую.

Нормы теста – совокупность статистических показателей, описывающих результаты выполнения теста репрезентативной выборкой испытуемых.

 

О

Область применения теста – характеристика теста, указывающая на особенности контингента испытуемых, для которых предназначен тест. Специфичность выборки стандартизации определяется по возрастным, половым, профессиональным, территориальным и другим критериям.

Оценка интервальная – оценка параметра генеральной совокупности с помощью числового интервала, относительно которого с заранее выбранной вероятностью можно сказать, что внутри него находится оцениваемый параметр.

Оценка параметра – однозначно определенная функция результатов наблюдений над случайной величиной, с помощью которой судят об истинном значении оцениваемого параметра.

Оценка точечная – оценка параметра генеральной совокупности, представленная не интервалом, а одним числом.

Ошибка измерения – статистический показатель, характеризующий степень точности отдельных измерений, погрешность измерений.

 

Ρ

Распределение частотное – совокупность всех значений случайной величины и соответствующие частоты наблюдения этих значений.

Репрезентативность – свойство выборочной совокупности представлять генеральную совокупность.

 

с

Сертификация теста – процедура установления и подтверждения степени соответствия характеристик теста действующим на момент сертификации требованиям к его качеству.

Совокупность генеральная – все подлежащее исследованию множество однородных элементов, объединенных принадлежностью к одной и той же системе.

Спецификация теста – форма представления запланированной содержательной структуры и других планируемых автором характеристик теста.

Среднее арифметическое – один из наиболее распространенных видов средних величин в статистике. Среднее арифметическое получается путем суммирования всех величин и деления на их количество.

Стандартизация теста – процедура получения норм теста.

Стандартное отклонение – характеристика разброса значений переменной, определяемая как корень квадратный из дисперсии.

Стратификация выборки – процесс расслоения выборки на страты (слои), необходимый для достижения репрезентативности выборки стандартизации.

 

Τ

Теория классическая конструирования тестов – теория конструирования и применения тестов, построенная на системе постулатов, непараметрических методах оценивания и предположении о существовании параллельного измерения, осуществляемого с помощью параллельных и эквивалентных тестов.

Теория современная конструирования тестов (Item Response Theory – IRT) – теория конструирования и применения тестов, основанная на методах математического моделирования и оценивании латентных параметров испытуемых и заданий теста.

Тест (в широком понимании) – стандартизованная процедура и совокупность методик, предназначенных для получения количественных характеристик об уровне и качестве учебных достижений тестируемых.

Тест входной – система тестовых заданий, предназначенная для оценивания подготовки испытуемого с целью его дальнейшего обучения или проведения развернутого контроля его знаний и умений.

Тест гетерогенный – система междисциплинарных заданий или набор гомогенных субтестов по различным дисциплинам, требующих при разработке и применении использования методов многомерного шкалирования и факторного анализа.

Тест гомогенный – система стандартизованных однородных по содержанию тестовых заданий, связанных дисциплинарной общностью и позволяющих ввести предположение об одномерности измерений.

Тест диагностический – система тестовых заданий, выдаваемая после формирующего теста и предназначенная для выявления причин ошибок испытуемого в процессе текущего контроля за счет пошагового отслеживания этапов выполнения заданий.

Тест итоговый критериально-ориентированный – система стандартизованных тестовых заданий, ранжированных по нарастанию трудности, предназначенных для итогового контроля и позволяющих оценить процент освоенных знаний и умений испытуемыми по отношению к полному объему, запланированному педагогом к усвоению и заложенному в тесте.

Тест итоговый нормативно-ориентированный – система стандартизованных тестовых заданий, ранжированных в рамках определенной стратегии предъявления и позволяющих эффективно дифференцировать испытуемых по уровню и качеству подготовки на основе анализа результатов выполнения теста.

Тест тематический – система тестовых заданий, содержание которой предназначено для контроля по одной теме дисциплины. Обычно не нуждается в серьезном статистическом обосновании качества.

Тест формирующий – система тестовых заданий, предназначенных для формирования представлений педагога о пробелах в подготовке испытуемых. Обычно используется при рубежном контроле в сочетании с диагностическими тестами и в компьютерной форме предъявления.

Тест якорный – блок заданий в количестве от 5 до 10, помещаемый во все варианты теста и используемый для выравнивания шкал по различным вариантам теста.

Тестирование – процедура предъявления теста, проведения тестирования, оценки и интерпретации результатов его выполнения.

Тестолог (специалист в области педагогических измерений) – специалист, занимающийся теоретико-методологическим и методическим обоснованием процессов разработки и применения педагогических тестов.

Трудность задания – характеристика задания, отражающая статистический уровень его выполнения на выборке стандартизации.

 

У

Уровень значимости – понятие математической статистики, отражающее величину вероятности ошибочного вывода относительно анализируемой статистической гипотезы, проверяемой на основе выборочных данных.

 

Φ

Форма задания – способ организации и упорядочения элементов задания, расположенных на строго фиксированных в рамках каждой формы местах.

Формы параллельные – варианты теста, разработанные на основе общей спецификации и имеющие сходные статистические характеристики.

 

Ш

Шкала – форма фиксации результатов измерений путем упорядочения их в определенную числовую систему.

Шкала интервальная – тип шкалы континуального характера с единицей измерения, разбивающей интервал измерения делениями шкалы, но без абсолютного нуля.

Шкала номинальная – тип шкалы, используемый для простейшей классификации при установлении соответствия измеряемого признака определенному классу по дихотомическому принципу.

Шкала порядковая – тип шкалы, используемый для упорядочения (ранжирования) элементов без учета расстояния между ними.

Шкалирование – процесс упорядочения результатов измерения путем отображения их в ту или иную шкалу.