Автор: Илья Щуров

Тему номера, посвященную тестированию интеллекта, Леонид Левкович-Маслюк подготовил еще в начале лета (см. "КТ" #737), и почти сразу же мы решили, что если на нее будут интересные отзывы (а мы их ждали), то сделаем по ним отдельный материал. Первые три недели после выхода темы мы выжидали (нужно было убедиться в том, что ни один читательский отзыв не пропадет и будет рассмотрен), а потом неожиданно началась пора отпусков (право, какая работа летом?), плавно перешедшая в начало учебного года (студентов среди редакторов уже два года как нет, но привычка осталась). Однако долго ли, коротко ли - обещанная переписка с читателями перед вами.

Баг или фича?

Стоит запечатать письмо, как в голову приходят свежие мысли.

Из "Законов Мерфи"

Первая серия писем посвящена геометрическим задачах, в которых требовалось опредилить, идентичны ли кубики, изображенные на картинках (см. иллюстрацию на следующей полосе). Читатели уличали нас в ошибке…

От кого: Олег Краснояров

Тема: Ошибка в статье темы номера

"Самый лутший IQ тест"

Добрый день, уважемая редакция и Виктор Васильев. С большим удовольствием прочитал вашу статью, тем более что основную ее мысль вы продемострировали не только фактами и ошибками теста, но и своей случайной ошибкой ровно того же самого характера, за который ругаете авторов тестов.

Дорогая редакция и автор, у кубика шесть граней, а потому, имея абсолютно любые шесть картинок, как угодно расположенные на двух проекциях, всегда можно их расположить на кубе так, чтобы получались заданные проекции. Как именно надо вращать куб, чтобы на первой проекции были видны три грани, а на другой проекции они скрылись и показались три ранее скрытые, я надеюсь, все уже догадались. Поэтому давайте не будем уподоблляться авторам тестов и не станем делать никаких необоснованных категорических утверждений об идентичнсти или различии, полскольлку вопрос действительно некорректный по постановке, и единственный корректный ответ в любом случае - "данных недостаточно", ибо, увы, идентичные кубики, удовлетворяющие картинкам на проекциях, всегда МОГУТ существовать, а вот идентичны ли кубики, чьи проекции даны, - да кто ж его знает?

Причина ошибки IMHO та же самая, что и у авторов теста. Априорные "всем очевидные" предположения о характере вращения и условиях идентичности никак в задаче не оговорены. Вы предполагаете, что хотя бы две из картинок с первой проекции, совпадающие по форме с картинками на второй, должны перейти в них при вращении. Очевидно, что условие задачи этого никак не требует.

WBR Олег Краснояров

P.S. Сильно надеюсь на то, что мое письмо далеко не первое от тех, кто заметил эту досадную ошибку (уж больно много места на нее потрачено в статье, глаз режет. Надеюсь, что не только мне, а и многим, в силу их образования). Автору - творческих успехов и благодарность за наглядную теоретико-множественную часть.

P.S. Вчера читал ЕГЭ по математике - 20–22 задания из 26 решаются устно и практически не думая (вопросы в стиле - а не в амперах ли измеряется сила тока?) - смеялся сквозь слезы. Тоже тест, однако, почти на IQ - давайте его подтянем "до уровня".

От редакции: Спешим успокоить: мы получили несколько писем с аналогичными замечаниями. Более того: во время ритуального чтения текста выпускающим редактором перед отправкой в печать близкие мысли, бродившие до того по редакции в состоянии квантовой неопределенности, приняли законченную форму в голове выпускающего. Конечно, это произошло в самый последний момент. Схватившись за указанную выше голову, мы связались с автором - и получили короткий и четкий ответ. Им же делится с нами Олег Краснояров в своем следующем письме.

От кого: Олег Краснояров

Тема: Уточнение к ранее высланному

письму об ошибке в статье

"Самый лутший IQ тест"

В приведенной в задаче формулировке присутствует требование - уникальность фигуры. В оригинале "На каждой грани куба - своя уникальная фигура". (Это очевидно снимает предыдущее замечание. - Прим. ред.)

Однако если в характеристики фигуры входит ее ориентация на грани куба, чем автор пользуется, указывая на различие в ориентации фигур при вращении куба и делая вывод о не эквивалентности повернутого и исходного куба на основе различия в ориентации, то фигура "сердечко с острием, направленным к углу" и фигура "сердечко с острием, направленным к середине ребра" - это разные фигуры. Сопоставлять и совмещать их бессмысленно - они РАЗНЫЕ.

Если при проверке одинаковости/уникальности фигур на гранях одного куба их ориентация относительно граней куба не учитывается (сердечки считаются одинаковыми фигурами независимо от их ориентации на грани), то неестественно учитывать различие в ориентации этих фигур при тесте "одинаковости" кубов. Возможно, вы скажете, что такой критерий проверки одинаковости кубов (без учета ориентации) "притянут за уши" (собственно, в статье это и сказанно). Но позвольте привести пример куба, не сохраняющего ориентацию фигур на своих гранях. Фигура закреплена на оси в центре грани, или каждая грань представляет собой пару паралельных пластин с залитой между ними жидкостью, в которой фигура свободно плавает. В таком кубе фигура может принимать любую ориентацию относительно граней. Для такого куба уникальность фигур на грани не включает ее ориентацию (поскольку последняя не определена), но при этом и ориентация фигуры не влияет на заключение об одинаковости или различии кубов. Собственно, куб один и тот же, даже если фигуры сменили ориентацию в процессе поворота.

Так что, к сожалению, абсолютно законно отмечая неочевидность и нелогичность произвольно введеных предположений о характере критериев одинаковости кубов, автор для опровержения заключений, предлагаемых как эталонные, вводит свои, ничуть не более обоснованные предположения о характере этих критериев. А именно - фигуры на разных гранях одного куба имеют уникальную ФОРМУ (форма проверяется без учета ее ориентации на гранях); фигуры на гранях не меняют ориентацию относительно граней при вращении куба; кубы одинаковы в том случае, если после поворота фигуры на их гранях полностью совпадают как по форме, так и по ориентации. Ничего из вышеперечисленного явно в постановке задачи не задано. Додумывать свое, никому не говоря, мол, "сами догадаются", - ну мы же не составители тестов на IQ, чтобы так поступать. Трактовка правил эквивалентности фигур и граней, которой пользуется автор, безусловно возможна. Но она столь же возможна и столь же обоснованна, что и другая, дающая прямо противоположное заключение. При этом для всех этих трактовок можно создать физически существующий куб с нужными характеристиками.

Так что единственный корректный ответ: "Данных для заключения недостаточно". В зависимости от не оговоренных, а потому произвольно задаваемых дополнительных условий на правила сопоставления фигур и кубов ответ может быть любой. С равным успехом можно считать, что кубы одинаковы или различны.

P.S. Cобственно, основную мысль статьи (как я ее понял) о том, что тесты показывают не разумность, интеллект и их степень, а умение догадаться, что хотел услышать тестирующий, - то есть соответствие/созвучие кандидата ожиданиям тестера, эта ИМХО неточность только подтверждает. Составители IQ хотят услышать и высоко оценивают один из возможных ответов, милый их сердцу, игнорируя и принижая остальные; профессиональные математики склонны к другим - более естественным для их "среды обитания". "Правильные" ответы - те, которые хочет услышать тестер. У математиков просто больше "широта охвата проблем", но они тоже люди и подвержены всем тем же порывам, что и составители IQ тестов, - услышать то, что хочется.

WBR, Олег Краснояров

Виктор Васильев: Действительно серьезное замечание - почему я предполагаю, что в задаче 16 фигуры, отличающиеся лишь расположением внутри грани кубика, считаются одинаковыми. Автор письма совершенно прав, что из условия одной лишь этой задачи это предположение однозначно вывести нельзя. Более того, его нельзя вывести и из остальных задач этого типа, приведенных в моей статье. Однако у всех таких задач этой книжки один и тот же автор, поэтому данное предположение либо всюду подразумевается, либо всюду нет. И вот из рассмотрения немногих задач, решенных автором правильно (и авторских ответов к ним), однозначно выводится, что автор придерживается именно этого предположения.

Например, в задаче 1:35 указаны два кубика, и на каждом из них три картинки: закрашенный квадрат, правильный шестиугольник и окружность с большой цифрой 1 посередине. Изображения отличаются а) тем, что шестиугольники и единички по-разному повернуты на своих гранях, и б) ориентацией взаимного расположения соответствующих граней: идя по часовой стрелке на левом изображении, мы пройдем от квадрата сначала к шестиугольнику, а потом к окружности с единичкой, а на правом - наоборот. Авторский ответ гласит, что эти кубики заведомо разные. Но если бы автор считал отличие (а) существенным, то есть что по-разному расположенные на грани правильные шестиугольники одного размера следует называть разными фигурами, то эта задача была бы для него абсолютно эквивалентной любой из задач, где он дает ответ "одинаковые", не имея на это достаточного основания. Поскольку здесь он дает другой ответ, это означает, что он рассматривает такие фигуры как одинаковые (в частности, согласно предположению об уникальности, они не имеют права повторяться на тех же кубиках в повернутом положении). Совершенно аналогична ситуация с задачами 5:17 и 8:38. Поскольку моей целью было показать, что автор книги неправильно решает свои собственные задачи (в тех предположениях, которые он сам считает выполненными), я также рассматривал эти задачи с учетом этих его предположений.

Да, наверное, об этом следует написать подробнее (в полной публикации, конечно, - в журнальной и так усечено все, что можно), поскольку так это рассуждение остается за кадром.

Колбаса и тесты

Тем, кто любит колбасу и уважает закон, не стоит видеть, как делается

и то и другое.

Колбасный принцип

От кого: Евгений Осенчаков

Тема: IQ для Виктора Васильева

Приветствую вас, жители компьютерной земли.

Начало письма будет таким же, как и большинство других: после прочтения последнего номера, меня заинтересовал один вопрос (вот оно, это стандартное начало). В этом самом номере была статья про IQ-тесты (тема номера). Странно, но впервые (читаю вас уже более четырех лет, не пропуская ни номера) после прочтения темы у меня сложилось ужасное чувство ее незаконченности. Поговорили о тестах Айзенка, перешли к общим тенденциям, первая часть закончилась одним выводом, вторая - выводом ему противоположным, но это не беда, итоги подвели и нормально, дело в другом. В теме фигурировал такой вопрос: "Чем мерить интелект?", почему не рассказали (хотя бы в двух словах) о существующих тестах? Стоило ли вообще из этого раздувать тему номера? У всех тестов есть еще одна огромная проблема, которую, как мне кажется, никто не учитывает, хотя она и находится на самой поверхности и ставит под сомнение объективность любого теста, использующегося в данное время, к примеру, при приеме на работу.

Не исключаю возможность ошибочности моего мнения по данному поводу, но вот так я себе представляю эту проблему и, в общем, развитие любого из коммерческих тестов. Для большей наглядности опишу одну из частей известного теста SHL (числовая часть) и разобью свою мысль на этапы развития и продвижения в массы.

Этап первый - разработка

Здесь никаких претензий нету (сам составлял тесты, тогда-то я и понял всю абсурдность тестирования в том виде, в котором оно сейчас существует). Собирается много умных людей, думают над классами вопросов, придумывают в каждом классе несколько категорий, в категориях продумывают вопросы.

Этап второй - сбор статистики, подсчеты, одобрение

Собирается куча людей, максимально абстрагированных друг от друга, каждый проходит тестирование (видя его впервые в жизни), собирается статистика, делаются выводы, одобряется.

Этап третий - продвижение и применение на практике

Тест создан, статистика собрана, облщестлвенность оценила. Вот тут и возникает та самая проблема, о которой я говорил ранее. Чтобы что-то продать, нужно сначала объяснить, что это такое, потом дать сами тесты с определенным количеством стандартных (!) вопросов, дать ответы, показать статистику, объяснить, что есть что, в общем. Первое заблуждение начинается уже здесь - все почему-то считают, что результаты, полученные от первых испытуемых, будут в среднем такими же, как и результаты последующих тестирующихся. Это заблуждение! Первые испытуемые не знали, что им предстоит делать и в каком тестировании участвовать, не знали, какие будут вопросы, и так далее. А в реальности получается, что тесты попадают в компании, нанимающие при помощи них своих новых сотрудников и проверяя старых, - и все бы ничего, но после выхода теста в массы информация о нем появляется незамедлительно, и, зная примерные вопросы, можно получить приличную фору относительно человека, который о тесте не знал заранее, и не знал, какие будут вопросы, что нужно делать и как делать. В итоге тот же самый "SHL числовой" профессор мат. наук может пройти хуже, чем школьник, натасканный на определенный спектр задач. Где справедливость и объективность?

С уважением,

Александр Кострюков

Виктор Васильев: Совершенно согласен, это огромная проблема. Способ тестирования может приводить к радикальной деформации самого содержания подготовки. Вот, например, идиотская система тестов с выбором ответа в ЕГЭ превращает школьное образование в систему подготовки к угадыванию ответов в этих дурацких тестах. И никто не может объяснить, зачем именно эти тесты с выбором ответа тут необходимы. То есть какое-то количество обоснований я слышал, но все они никуда не годятся; более того, ясно, что те, кто их проталкивает, и сами понимают, что они никуда не годятся. Например, постоянно повторяется, что ученики, знающие предмет, должны хорошо отвечать и на эти тесты. Это утверждение бесспорно, но речь как раз и идет о том, что подготовка к этим тестам страшно бьет по самой возможности появления учеников, действительно знающих предмет. Также и мои любимые ученые тестологи изо всех сил трудятся, обосновывают необходимость этой пакости, приводят какие-то выкладки, которые при подробном рассмотрении оказываются полной срамотой. Еще один довод - о недопустимой технологической сложности и дороговизне любых более разумных способов приема массового экзамена - также ПОЛНОЕ ВРАНЬЕ, говорю со всей ответственностью. Создается впечатление, что цели какие-то есть, но совсем не те, что декларируются. Возможно, просто какое-то начальство с самого начала поленилось подумать головой и организовать экзамен по-умному, а теперь не хочет радикально менять, потому что это означало бы признание своего недомыслия по слишком важному вопросу. Есть, конечно, и другие версии. Главное, что к самой исходной идее централизованного экзамена эти идиотские тесты никакого отношения не имеют.

Постскриптум

Даже маленькая практика стоит большой теории.

Закон Букера

От кого: Евгений Осенчаков

Тема: IQ для Виктора Васильева

Вспомнилось: "Я понимаю вашу иронию, профессор…"

Я не математик, а музыкант, но на эмоциональном уровне вашу статью в "КТ" #737 я понял. Спасибо.

P.S. Единственное, что (насчет математиков и физиков) можно быть обыкновенным "шеловеком" и понимать, что ветер дует не потому, что деревья качаются.

Евгений Осенчаков

Виктор Васильев: Большое спасибо! Но я же и не говорю, что музыканты непременно дураки (по моим наблюдениям, в среднем скорее наоборот, хотя я и не очень понимаю причин этого). Продолжая сравнение, и я ведь не плотник, а гвозди (после девяти стройотрядов) забивать умею…

От кого: Николай

Тема: измеряем IQ

Спасибо за интереснейший номер про тесты на IQ. Баловался с переформулировками условий, и вот что получилось.

Кувшины-тракторы

Некоторые люди - пьяницы; у большинства пьяниц красные носы; все те, у кого красные носы, выглядят смешно; таким образом, некоторые из тех, кто выглядит смешно, - люди. Выглядит убедительно; более того, я точно знаю, что некоторые люди выглядят смешно, а следовательно, утверждение истинно. Но, к сожалению, строгая логика говорит, что вывод абсолютно не следует из условий, потому что пьяницами бывают не только люди (сам знал собаку-пьяницу). В таком виде, кстати, это вполне может быть селективным тестом на научное мышление, сразу отсекутся люди, следующие бытовому здравому смыслу (те, кто считает это утверждение истинным), и останутся люди, мыслящие шире и строже.

Гоблины-снежинки

Некоторые люди - негры (ничего расистского, просто констатация наглядного факта); некоторые негры хорошо играют в баслкетбол; у всех, кто хорошо играет в баскетбол, высокий рост; следовательно, все те, у кого высокий рост, - люди. В данном случае ситуация обратная первой; если в первом случае здравый смысл и бытовая логика подталкивали к неправильному ответу, то в такой формулировке задача про гоблинов предстает во всей своей беспомощности. Действительно, вывод "все, у кого высокий рост, - люди" и с позиции строгой логики, и бытовой абсолютно бредовый.

А хотя "некоторые тесты плохие" не тождественно "все тесты плохие" :)

Спасибо за то, что прочитали,

Николай

От редакции: В свою очередь, хотим сказать спасибо авторам всех отзывов - как опубликованных, так и не попавших в эту подборку. К теме же мы еще обязательно вернемся.