Когда врачи стали наконец сомневаться в себе, они переключились на испытания методом случайной выборки, чтобы научным образом выяснить, какое лечение работает. Кажется, нет ничего проще, чем методика точных замеров, привнесенная в прогнозирование: соберите прогнозы, оцените их точность, сложите цифры. И мы сразу же узнаем, действительно ли Том Фридман такой хороший прогнозист.

На самом деле все далеко не так просто. Давайте вспомним печально знаменитый прогноз, который Стив Балмер сделал в 2007 году, будучи генеральным директором Microsoft:

Нет ни одного шанса, что iPhone займет хоть сколь-нибудь весомое место на рынке. Ни единого.

Что ж, в наши дни, если напишете в строке поиска Google (или в поисковике Microsoft Bing, как предпочел бы сам Балмер) «Балмер, худшие технологические прогнозы», вы увидите, что эти слова бережно хранятся в зале предсказательного позора, вместе с классикой жанра вроде мнения президента Digital Equipment Corporation, который в 1977 году объявил, что «нет никакой причины, по которой хоть кто-нибудь захочет, чтобы у него дома был компьютер». И прогноз Балмера поместили в зал позора вполне уместно — потому что он оказался на удивление ошибочным. Как отметил в 2013 году автор рейтинга «Десять худших предсказаний в области технологии»,

iPhone занимает 42 % рынка смартфонов в США и 13,1 % глобального рынка [40] .

Это очень даже весомо. А в 2013 году, когда Балмер объявил, что покидает Microsoft, другой журналист отметил:

Один только iPhone сейчас генерирует больше прибыли, чем весь Microsoft [41] .

Но давайте рассмотрим прогноз Балмера более внимательно. Ключевое в нем — выражение «весомое место на рынке». Что именно входит в понятие «весомое место»? Балмер не уточнил. О каком рынке он говорил? О Северной Америке? Обо всем мире? И о рынке чего именно? Смартфонов или мобильных телефонов вообще?

Эти неотвеченные вопросы в сумме дают большую проблему. При определении, что в прогнозировании работает, а что нет, первый шаг — оценка самих прогнозов, а чтобы это сделать, мы должны исключить предположения относительно их значения — нам надо знать точно. Не может быть сомнений, точен прогноз или нет, а прогноз Балмера звучит неточно. Он и внешне выглядит неправильным, и ощущается таким же. Есть и серьезные объективные доводы в пользу его ложности. Но можно ли сказать, что он неверен, без обоснованного сомнения?

Не могу винить читателя, который думает сейчас, что все это слишком похоже на юридическую уловку и напоминает печально знаменитое высказывание Билла Клинтона: «Все зависит от того, какой смысл вкладывать в слово „есть“». В конце концов, предсказание Балмера воспринимается довольно легко, даже если буквальное его прочтение дает обратный эффект. Но давайте посмотрим на полный текст прогноза в том виде, в котором он прозвучал в интервью 2007 года газете USA Today:

Нет ни одного шанса, что iPhone займет хоть сколь-нибудь весомое место на рынке. Ни единого. Это пятисотдолларовый субсидируемый продукт. Он может принести компании много денег. Но если взглянуть на 1,3 миллиарда телефонов, которые продаются, то лучше 60, 70 или 80 % из них с нашим программным обеспечением, чем 2 или 3 %, которые придутся на долю Apple.

Многое сразу становится яснее. Во-первых, Балмер явно говорил о рынке мобильных телефонов вообще, поэтому его высказывание не следует воспринимать как прогноз, касающийся американского рынка сотовых или мирового рынка смартфонов. Используя информацию консалтинговой компании Gartner, я подсчитал, что в третьем квартале 2013 года доля iPhone в мировой продаже мобильников составляла 6 %. Это выше, чем «2 или 3 %» из предсказания Балмера, но, в отличие от усеченной версии его слов, которую так часто приводят, не так уж смехотворно неверно. Обратите также внимание: Балмер не сказал, что iPhone станет для Apple убыточным продуктом. Он лишь предположил, что этот продукт «может принести компании много денег». И неопределенность все еще остается: насколько больше 2 или 3 % от глобального рынка мобильных телефонов должен захватить iPhone, чтобы это считалось «весомой» долей? Балмер не сказал. И о какой именно сумме шла речь в выражении «много денег»? Опять-таки нет информации.

Так насколько же неверно предсказание Стива Балмера? Безусловно, тон его был резок и уничижителен. В интервью, данном USA Today, он, по всей видимости, откровенно насмехался над Apple. Но слова Балмера были не такими резкими, как тон, и слишком двусмысленными, чтобы мы могли с определенностью заявить: да, его предсказание неверно, более того, настолько грандиозно неверно, что ему самое место в зале предсказательного позора.

Это довольно частое явление: на первый взгляд прогноз прозрачен, как только что вымытое окно, но в итоге оказывается слишком туманным, чтобы можно было достоверно оценить его точность. В связи с этим можно вспомнить об открытом письме, посланном в ноябре 2010 года Бену Бернанке, тогдашнему председателю Федеральной резервной системы. Подписанное длинным списком имен экономистов и экспертов, включая гарвардского историка экономики Ниала Фергюсона и Эмити Шлейс из Совета по международным отношениям, письмо призывало Федеральную резервную систему остановить практику крупномасштабных приобретений активов, известную как «смягчение денежно-кредитной политики», потому что она несет «риск обесценивания валюты и инфляцию». Этот совет проигнорировали, смягчение денежно-кредитной политики продолжилось, однако за последующие годы доллар США не обесценился и инфляция не выросла. Инвестор и комментатор Барри Ритхольц в 2013 году написал по этому поводу, что подписанты «чудовищно ошиблись». Многие тогда с ним согласились, но последовали и возражения: «Погодите, этого пока не случилось, но еще случится». Ритхольц и другие критики могут поспорить, что в контексте дебатов 2010 года авторы письма имели в виду, что, если продолжится смягчение денежно-кредитной политики, обесценивание валюты и инфляция произойдут в ближайшие 2–3 года. Возможно, что письмо следует понимать именно так — но напрямую в нем нет ни слова о временных рамках. Неважно, стал бы Ритхольц ждать до 2014-го, 2015-го или 2016-го. Сколько бы ни прошло времени, кто-нибудь все равно смог бы сказать: «Погодите, все еще будет».

Кроме того, непонятно, на сколько именно должны упасть доллар и вырасти инфляция, чтобы это считалось «обесцениванием валюты и инфляцией». Что еще хуже, в письме упоминается «риск». Это слово означает, что обесценивание валюты и инфляция — вовсе не обязательное следствие. Так что, если прочитать прогноз буквально, он говорит о том, что обесценивание доллара и инфляция могут случиться, а могут и не случиться. А значит, если этого не случится, прогноз не обязательно окажется неверным. Авторы явно не это хотели донести до адресатов, и не так когда-то люди прочитали это письмо. Но именно это в нем написано, не больше и не меньше.

Итак, вот два примера прогнозов из тех, что попадаются нам чуть ли не каждый день. Оба — серьезные попытки умных людей подступиться к большим проблемам. Оба — на первый взгляд совершенно ясные. По прошествии времени их точность кажется еще более очевидной. Но это не так. Невозможно однозначно сказать, верны эти прогнозы или нет, по разным причинам. Суть в том, что правда тут от нас ускользает.

Оценивать прогнозы гораздо сложнее, чем предполагают. Этот урок я получил сложным путем — из обширного и мучительного опыта.

«Апокалипсис… произойдет»

В начале 1980-х многие думающие люди опасались, что концом человечества станут грибы ядерных взрывов. «Если мы будем честны с собой, то должны признать: если не избавимся от ядерных арсеналов, апокалипсис не просто может произойти — он произойдет обязательно, — писал Джонатан Шелл в важной книге „Судьба Земли“. — Если не сегодня, то завтра, если не в этом году, то в следующем». Противники гонки вооружений миллионами выходили на улицы крупных городов по всему западному миру. В июне 1982 года по Нью-Йорку с маршем прошло 700 тысяч человек — это была одна из крупнейших демонстраций в американской истории.

В 1984 году, получив гранты от фондов Карнеги и Макартуров, Национальный совет по исследованиям — исследовательская ветвь Национальной академии наук США — созвал комиссию из самых выдающихся ученых. Целью ее было, ни много ни мало, «предотвратить ядерную войну». В число членов этой комиссии входили три нобелевских лауреата: физик Чарльз Таунс, экономист Кеннет Эрроу и не поддающийся классификации Герберт Саймон, а также множество других светил, включая математического психолога Амоса Тверски. Я был наименее выдающимся из всех них, причем с большим отрывом: тридцатилетний политический психолог, только-только повышенный до старшего доцента в Калифорнийском университете в Беркли. Место за столом мне досталось благодаря не блистательной и полной достижений карьере, а, скорее, благодаря неортодоксальной исследовательской программе, тесно связанной с целью всего этого проекта.

Комиссия добросовестно выполнила свою работу, пригласив широкий круг экспертов: аналитиков разведки, военных офицеров, представителей правительства, специалистов по контролю над вооружениями, советологов, чтобы обсудить назревшие проблемы. Надо сказать, что эксперты тоже представляли собой особенное зрелище: все крайне осведомленные, умные, красноречивые — и вполне уверенные в том, что знают, что происходит и куда мы направляемся.

Хорошо, что по основным фактам мнение у всех было единым. Правивший много лет советский лидер Леонид Брежнев умер в 1982 году, на смену ему пришел дряхлый старик, который вскоре тоже отошел в мир иной, уступив место еще одному старику, Константину Черненко, — тот также, как ожидалось, должен был скоро умереть. В чем члены комиссии не могли достичь согласия — так это в том, что будет дальше. И либералы, и консерваторы сходились во мнении, что следующий советский лидер окажется еще одним непримиримым коммунистом. Ожесточенные споры велись о том, каковы могут быть причины такого поворота событий. Либералы считали, что жесткая политика Рональда Рейгана усилила позицию сторонников жесткого курса в Кремле — а соответственно, это приведет к неосталинистскому откату и ухудшению отношений между супердержавами. Эксперты от консерваторов, в свою очередь, полагали, что советская система идеально отладила искусство тоталитарного самовоспроизводства, поэтому новый босс будет таким же, как и прежний, а Советский Союз и дальше станет угрожать миру во всем мире, поощряя беспорядки и вторгаясь на территории соседних стран. Обе стороны ничуть не сомневались в своей правоте.

Относительно Черненко эксперты действительно не ошиблись — он умер в марте 1985 года. Однако затем поезд истории сделал резкий поворот, а, как однажды заметил Карл Маркс, на таких поворотах интеллектуалы часто в вагонах не удерживаются и вылетают наружу.

В течение нескольких часов после смерти Черненко генеральным секретарем КПСС Политбюро назначило пятидесятипятилетнего Михаила Горбачева. Человек энергичный и харизматичный, Горбачев быстро и резко сменил направление политики. Его курс на гласность и перестройку привел к либерализации Советского Союза. Горбачев также постарался нормализировать отношения с США и прекратить гонку вооружений. Рональд Рейган поначалу реагировал осторожно, но затем отнесся к инициативе с энтузиазмом, и в течение всего нескольких лет мир переместился от перспективы ядерной войны к новой эре, в которой многие люди, включая лидеров Советского Союза и США, видели проблеск надежды на полное уничтожение ядерного оружия.

Такой поворот событий мало кто предвидел. Однако прошло совсем мало времени, и большинство тех, кто ничего подобного не ожидал, почувствовали полную уверенность в том, что они точно знают как причину, по которой это произошло, так и то, что произойдет дальше. Для либералов все было предельно ясно. Экономика СССР рушилась, и новое поколение советских лидеров уже устало от борьбы с Соединенными Штатами. «Мы не можем продолжать так жить», — сказал Горбачев своей жене Раисе за день до вступления в должность. Так что этого просто не могло не случиться — а значит, если посмотреть под правильным углом, ничего удивительного и не произошло. И нет, никакой заслуги Рейгана тут не было. Напротив, его риторика «империи зла» только укрепляла старую власть Кремля и задерживала неизбежное. Консерваторам объяснение тоже казалось очевидным: Рейган не поддался на провокации Советов, повысил ставку гонки вооружений, и Горбачеву пришлось сбросить карты. Все это было предсказуемо, если смотреть на ситуацию в верном ретроспективном свете.

В тот момент у моего внутреннего циника зародились подозрения: что бы ни случилось, эксперты легко забыли бы все свои неудачные прогнозы и нарисовали арку истории, которая демонстрировала бы, что они с самого начала ожидали такого развития событий. А ведь миру только что открыли огромный сюрприз, влекущий за собой важнейшие последствия. Если и он не зародил ни в ком даже тени сомнения, то что же тогда могло это сделать?

Я не сомневался в уме и репутации членов команды: в конце концов, многие из них получали внушительные научные награды и занимали высокие государственные посты, когда я еще ходил в младшие классы. Но одних только ума и репутации недостаточно. Элита национальной безопасности в тот момент смахивала на выдающихся врачей донаучной эры. Те тоже так и сочились умом и репутацией. Однако иллюзии, порожденные перспективой «за кончиком носа», могут обмануть кого угодно, даже самых лучших и выдающихся — и, наверное, именно самых лучших и выдающихся.

Оценивание оценок

Это заставило меня задуматься об экспертных прогнозах как таковых. Однажды за обедом в 1988 году мой тогдашний университетский коллега Даниэль Канеман поделился пригодной к тестированию идеей, которая в итоге оказалась провидческой. Он высказал версию, что ум и знания могут улучшить качество прогнозирования, но это преимущество быстро нивелируется. Люди, вооруженные научными степенями и десятилетиями опыта, могут оказаться лишь чуть точнее в своих прогнозах, чем внимательные читатели New York Times. Конечно, Канеман всего лишь предполагал, а даже у Канемана предположения — это только предположения. Точность прогнозов политических экспертов никто никогда не подвергал серьезной проверке — и чем больше я размышлял над этой задачей, тем лучше понимал почему.

Возьмем хотя бы проблему времени. Очевидно, что предсказания с размытыми временными рамками — это абсурд. Но прогнозисты постоянно их делают, как в том письме Бену Бернанке. Дело тут обычно не в нечестности — просто подразумевается некое общее понимание, какие временные рамки, пусть и грубо очерченные, имеются в виду. Именно поэтому прогнозы без указания времени не кажутся абсурдными. Но время проходит, воспоминания тускнеют, и подразумеваемые временны́е границы перестают быть очевидными. В результате часто возникает утомительная дискуссия об «истинном» значении прогноза. Ожидалось ли событие в этом году или в следующем? В этом десятилетии или следующем? Без временных ограничений такие споры невозможно разрешить к всеобщему удовлетворению, особенно когда на кону чья-то репутация.

Одна только проблема превращает многие каждодневные прогнозы в непригодные для проверки. Еще одна проблема: предсказания часто опираются на то, что их ключевые термины всем понятны и без четких определений (как «весомое место на рынке» у Стива Балмера). Такие расплывчатые формулировки — скорее правило, чем исключение, и они тоже переводят прогнозы в категорию непригодных для проверки.

Но это еще не самые большие препятствия на пути к оценке прогнозов; со степенью их вероятности возникает куда больше проблем.

Некоторые предсказания проверить легко: в них однозначно утверждается, что какое-то событие случится или не случится, как в прогнозе Джонатана Шелла: или мы избавимся от ядерного оружия, или «апокалипсис… произойдет». В итоге ни одна супердержава не уничтожила свой ядерный арсенал, но и ядерной войны не случилось — ни в том году, когда появилась книга Шелла, ни до сих пор. Поэтому, если читать прогноз Шелла буквально, прогнозист окажется очевидно не прав.

Но что, если бы Шелл сказал, что ядерная война случится «с большой вероятностью»? Тогда прогноз был бы не столь очевиден: Шелл мог чрезмерно преувеличить риск, но мог и оказаться совершенно прав — просто человечеству повезло выжить в самой отчаянной в истории нашей планеты игре в русскую рулетку. Тогда был бы только один способ проверить его предсказание: воспроизвести жизнь цивилизации заново сотни раз, и, если в большей части этих «перезапусков» она окончится в груде радиоактивных обломков, значит, Шелл был прав. Но этого мы сделать не можем.

Однако же давайте представим, что мы всемогущие создания и можем провести такой эксперимент. Мы прокручиваем историю сотни раз и выясняем, что 63 % их заканчиваются ядерной войной. Прав ли Шелл в этом случае? Возможно. Но мы все равно не можем судить определенно — так как не знаем, что именно имелось в виду под «большой вероятностью».

Похоже на семантическую увертку, правда? Но это явление гораздо более значительно, как в свое время с тревогой обнаружил Шерман Кент.

В разведывательных кругах Шерман Кент — легенда. Получив степень доктора философии в области исторических наук, Кент ушел с преподавательской должности в Йеле, чтобы присоединиться к отделу исследований и анализа только что образованного Бюро координации информации (БКИ) в 1941 году. БКИ превратилось в Управление стратегических служб (УСС), а УСС стало Центральным разведывательным управлением (ЦРУ). К 1967 году, когда Кент ушел в отставку, он успел существеннейшим образом повлиять на формирование в американском разведсообществе разведывательного анализа — методики исследования информации, собранной шпионами или слежкой, с целью выяснения ее значения и прогнозирования дальнейших событий.

Ключевое слово в работе Кента — «оценка». Как он писал,

оценивание — это то, что вы делаете, когда ничего не знаете [48] .

А мы, подчеркивал он снова и снова, никогда на самом деле не знаем, что случится дальше. Таким образом, прогнозирование — это оценивание вероятности того, что что-то произойдет. Именно этим Кент и его коллеги занимались в течение многих лет в Управлении национальных разведывательных оценок обстановки. Это неприметное, но крайне влиятельное бюро занималось тем, что собирало всю доступную ЦРУ информацию, синтезировало ее и предсказывало дальнейшие события, что могло помочь высшим чинам в правительстве США определиться со стратегией и тактикой.

Работа Кента и его коллег не была идеальной. Самый громкий провал относится к 1962 году, когда в опубликованнной ими оценке обстановки утверждалось, что Советы не могут совершить такую глупость, как размещение наступательных ракет на Кубе, — в то время как это уже было сделано. Но по большей части прогнозы Управления очень ценились, потому что Кент поддерживал высокие стандарты аналитической скрупулезности. В национальных разведывательных оценках обстановки ставки были крайне высоки. Каждое слово имело значение. Кент взвешивал их крайне осторожно. Однако даже его профессионализм не смог предотвратить путаницу.

В конце 1940-х коммунистическое правительство Югославии разорвало отношения с Советским Союзом. Возникла угроза вторжения Советов на территорию страны. В марте 1951 года в США была опубликована Национальная разведывательная оценка 29–51:

Хотя невозможно определить, какой курс действий изберет Советский Союз, уровень милитаристской и пропагандистской подготовки [в Восточной Европе] указывает на то, что нападение на Югославию в 1951 году следует рассматривать как серьезную возможность.

Почти по всем стандартам это ясный, осмысленный язык. Никто из чиновников высшего ранга в правительстве, прочитавших эту оценку, даже не предполагал иного исхода прогноза. Однако несколько дней спустя, когда Кент разговаривал с представителем Госдепартамента, тот спросил его мимоходом: «Кстати, а что вы имели в виду под выражением „серьезная возможность“? Какой расклад вы подразумевали?» Кент сказал, что его прогноз пессимистичен: 65 против 35 он ставил на то, что нападение произойдет. Представитель Госдепартамента был поражен. Он и его коллеги восприняли «серьезную возможность» как гораздо меньшую разницу в раскладе.

Обеспокоенный, Кент вернулся к своей команде. Они все согласились на формулировку «серьезная возможность», когда составляли оценку, так что Кент спросил каждого человека по очереди, что именно, по его мнению, под этой формулировкой имелось в виду. Один аналитик сказал, что в его представлении это расклад примерно 80 к 20, то есть нападение в 4 раза более вероятно. Другой думал, что имеется в виду 20 к 80 — то есть ровно наоборот. Остальные ответы оказались между двумя этими крайними величинами.

У Кента словно почву из-под ног вышибло. Выражение, казавшееся таким информативным, оказалось настолько нечетким, что не несло почти никакого смысла. А возможно, все еще хуже — ведь оно привело к неправильному пониманию положения вещей, что было опасно. И как же быть с остальной работой, которую они делали ранее? Неужели они, «казалось бы, соглашались в течение пяти месяцев с оценками обстановки, по которым на самом деле не было никакого согласия? — написал Кент в своем эссе в 1964 году. — Были ли другие оценки усеяны „серьезными возможностями“ и прочими выражениями, имевшими разное значение как для составителей, так и для читателей? Что на самом деле мы пытались сказать, когда писали подобные предложения?»

Кент имел основания волноваться. В 1961 году, когда ЦРУ планировало свергнуть правительство Кастро, высадив небольшую армию кубинских эмигрантов в заливе Свиней, президент Джон Ф. Кеннеди обратился к военным с просьбой дать непредвзятую оценку. Комитет начальников штабов заключил, что план имеет «неплохой шанс» на успех. Человек, который использовал слова «неплохой шанс», позже уточнил, что он имел в виду вероятность 3 к 1 против успеха. Но Кеннеди не сообщили, что именно имелось в виду под «неплохим шансом», так что он не без оснований воспринял этот прогноз как гораздо более оптимистический. Конечно, мы не можем быть уверены, что, если бы Комитет сказал: «Мы считаем, что операция провалится с вероятностью 3 к 1», Кеннеди отменил бы ее, но, безусловно, это заставило бы его гораздо более тщательно подумать, прежде чем дать приказ на высадку, обернувшуюся в итоге катастрофой.

Шерман Кент предложил решение. Во-первых, слово «возможно» для важных вопросов, по которым аналитики должны были делать прогнозы, решено было все-таки оставить, хотя оно и не означало никакой конкретной степени вероятности. Таким образом, все, что «возможно», подразумевало вероятность от чуть больше нуля до почти 100 %. Конечно, смысла в этом мало, поэтому аналитики должны были по возможности каждый раз сужать границы своих оценок. Чтобы избежать при этом путаницы, за каждым термином, который они использовали, установили численное выражение, которое Кент внес в таблицу.

Таким образом, если Национальная разведывательная оценка обстановки говорит, что нечто «вероятно», значит, это нечто случится с вероятностью от 63 до 87 %.

Простенькая схема Кента значительно снизила вероятность путаницы, но не стала общепринятой. Теоретически людям нравилась определенность, но, когда дело доходило до точных и ясных прогнозов, они не так уж стремились обозначить конкретные цифры. Некоторые говорили, что им это кажется неловким и неестественным. Ну, если всю жизнь используешь нечеткие формулировки, то, конечно, будешь испытывать именно такие ощущения — но это не особо серьезный аргумент против изменений. Другие выражали эстетическое отвращение: у языка есть собственная поэтика, считали они, и вставлять в него конкретные цифры — просто безвкусица, это делает человека похожим на букмекера. Кента этот аргумент не впечатлил. Тогда, кстати, и прозвучал его легендарный ответ: «Я лучше буду букмекером, чем чертовым поэтом!»

И тогда, и сейчас высказывается более серьезное возражение: мол, обозначение степени вероятности числом может создать у читателя ощущение, что речь об объективном факте, а не субъективном мнении, а это опасно. Однако же для решения проблемы не нужно искоренять цифры. Нужно просто проинформировать читателей, что они, как и слова, служат только для выражения оценки, мнения — и ничего больше. Можно утверждать, что точная цифра как бы намекает: «Прогнозист точно знает, что это число верно». Но такой смысл не подразумевается, и предсказание не должно восприниматься так. Не нужно забывать и о том, что слова вроде «серьезная вероятность» предполагают то же, что числа, однако видимая разница цифр придает прогнозу определенность и снижает риск непонимания. У чисел есть еще одно преимущество: неопределенные мысли легко выражать неопределенным языком, однако, когда прогнозисты вынуждены оперировать числами, им приходится тщательно обдумывать свое мнение, прежде чем озвучить его. Этот процесс называется метапознанием. Практикующиеся в нем прогнозисты начинают лучше видеть тонкую разницу между разными степенями неопределенности — так же как художники со временем лучше различают мельчайшие оттенки серого.

Однако есть еще одно, более серьезное препятствие к принятию точных чисел в прогнозировании. Оно относится к ответственности за результат; я называю его «заблуждением не той стороны „может быть“».

Если метеоролог говорит, что дождь пойдет с 70 %-ной вероятностью, а дождь в итоге не идет, ошибается ли он? Необязательно. Прогноз подразумевает 30 % вероятности того, что дождь не пойдет. Так что, если дождь не пошел, прогноз может оказаться неудачным, но может быть и так, что метеоролог совершенно прав. Единственный способ узнать это точно — прогнать день заново сто раз: если в 70 % этих прогонов будет идти дождь, а в 30 % нет, значит, метеоролог составил верный прогноз. Но мы не всевластны и поэтому не можем вернуть этот день, не можем оценить точность прогноза. Однако люди все равно ее оценивают, и всегда одинаково: смотрят, на какой стороне от «может быть» (50 %) была вероятность. Если в прогнозе говорилось, что вероятность дождя 70 %, и дождь в итоге пошел, значит, прогноз верный. Если не пошел — неверный.

Такая простая ошибка невероятно распространена, ее допускают даже самые опытные, умудренные жизнью люди. В 2012 году, когда Верховный суд должен был огласить давно ожидаемый вердикт по конституционности реформы здравоохранения (Obamacare), на рынках прогнозов — то есть там, где у людей принимают ставки на возможные исходы, — вероятность, что закон будет отменен, держалась на уровне 75 %. Когда Верховный суд признал закон, весьма здравомыслящий репортер New York Times Дэвид Леонхардт объявил, что «рынок — мудрость толпы — оказался не прав».

Распространенность этой элементарной ошибки имеет ужасные последствия. Если, допустим, разведывательное агентство говорит о 65 %-ной вероятности, что какое-то событие произойдет, оно рискует оказаться у позорного столба в случае, если это событие все-таки не случится. А риск велик — целых 35 %, что заложено в прогнозе. Как же избежать этой опасности? Придерживаться неопределенных формулировок. Используя термины вроде «неплохой шанс» и «серьезная возможность», прогнозисты могут заставить работать на себя даже «заблуждение не той стороны „может быть“»: если событие произошло, «неплохой шанс» задним числом объявляется чем-то значительно большим, чем 50 %, и получается, что прогнозист был прав. Если же событие не произошло, этот шанс может съежиться и обозначать значительно меньше 50 % — и опять-таки прогнозист оказывается прав. Неудивительно, что со столь ложными стимулами люди предпочитают гибкие формулировки точным цифрам.

Кент эти политические барьеры не смог преодолеть, но с годами доводы, которые он приводил в пользу применения цифр, только укреплялись: одно исследование за другим показывало, что словам, касающимся вероятностей, таким как «может быть», «возможно», «вероятно», люди придают очень разное значение. И все равно разведывательное сообщество сопротивлялось. Только после провала с предполагаемым оружием массового поражения Саддама Хусейна и последовавших за ним крупных реформ выражение степени вероятности в числах стало более приемлемо. Когда аналитики ЦРУ сообщили президенту Обаме: они на 70 или 90 % уверены, что загадочный человек, прячущийся в пакистанском убежище, — Усама бен Ладен, — это был маленький посмертный триумф Шермана Кента. В некоторых областях числа и вовсе стали стандартом: так, в прогнозах погоды «небольшая вероятность ливней» уступила место «тридцатипроцентной вероятности ливней». Но увы, язык неопределенности до сих пор настолько распространен, особенно в СМИ, что мы редко замечаем его бессодержательность, просто не обращаем на это внимания.

«Думаю, долговой кризис в Европе не решен и может быть очень близок к критической отметке, — сказал гарвардский экономический историк и популярный комментатор Ниал Фергюсон в январе 2012 года. — Дефолт Греции может быть вопросом ближайших дней». Был ли он прав? Популярное понимание слова «дефолт» включает в себя полный отказ от выплаты долга, а в Греции этого не произошло в течение ни последующих дней, ни месяцев, ни лет. Однако есть также техническое определение дефолта, и именно он случлся в Греции вскоре после интервью с Фергюсоном. Какое именно определение имел в виду Фергюсон? Непонятно. Поэтому, хотя у нас есть основания полагать, что он был прав, мы не можем быть в этом уверены.

Но давайте представим себе, что в Греции не произошло вообще никакого дефолта. Смогли бы мы сказать, что Фергюсон был не прав? Нет. Он ведь только сказал, что дефолт «может» произойти, а «может» — пустое слово. Оно говорит только о возможности чего-то, без уточнения степени ее вероятности. «Может» произойти практически все что угодно. Я могу с уверенностью предсказать, что на Землю завтра могут напасть инопланетяне. А если не нападут? Это не будет означать, что я не прав. Каждое «может» снабжено сноской, в которой мелким шрифтом приписано «или не может». Однако интервьюер не заметил мелкий шрифт в прогнозе Фергюсона и не попросил его уточнить, что именно он имел в виду.

При серьезном отношении к оценкам и улучшениям такие прогнозы никуда не годятся. В прогнозах нужно указывать четко определенные термины и временны́е рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много.

Мы не можем заново проиграть историю, поэтому не можем оценить одно вероятностное предсказание; ситуация меняется, когда мы располагаем множеством вероятностных прогнозов. Если метеоролог говорит, что завтра пойдет дождь с вероятностью 70 %, этот прогноз оценить невозможно. Но если он предсказывает погоду на завтра, послезавтра, послепослезавтра — и так в течение месяцев, — все прогнозы можно свести в таблицу и определить кривую показателей. Если прогнозирование идеально, дождь будет идти в 70 % случаев, когда предсказывается вероятность 70 %, что он пойдет; в 30 % случаев, когда объявляется вероятность 30 %, и т. д. Это называется калибровка. Она может быть изображена в виде простого графика. Идеальную калибровку выражает диагональная линия на графике.

Идеальная калибровка

Если кривая метеоролога сильно выходит вверх за эту линию, значит, у него недостаток уверенности: то, что она предсказывает с 20 %-ной уверенностью, происходит в 50 % случаев (см. следующую страницу). Если кривая сильно опускается за линию вниз, значит, у метеоролога переизбыток уверенности: то, что он предсказывает с 80 %-ной уверенностью, происходит в 50 % случаев.

Два вида нарушения калибровки: недостаток уверенности (над линией) и переизбыток уверенности (под линией)

Этот метод хорошо подходит для прогнозов погоды, потому что погода каждый день новая, и прогнозы быстро накапливаются. Для таких событий, как президентские выборы, он не годится — ведь должны пройти века, причем не потревоженные войнами, эпидемиями и прочими чрезвычайными происшествиями, которые нарушают чистоту глубинных причин, чтобы сформировалась какая-то статистика. Тут поможет творческий подход. Например, можно сосредоточиться на результатах конкретного штата в президентских выборах — и тогда получим за выборы не один, а 50 прогнозов.

И все равно остается проблема. Из-за того, что для калибровки требуется много прогнозов, оценивать те, которые касаются редких событий, непрактично. И даже когда речь идет о повседневности, мы должны быть терпеливыми сборщиками информации — и осторожными ее интерпретаторами.

Как бы ни была важна калибровка, дело не только в ней, потому что, говоря об идеальной точности прогноза, мы представляем себе не «идеальную калибровку». Идеальность — это божественное всезнание, когда после слов «это случится» что-то случается, а после слов «это не случится» — не случается. Технический термин для такого всезнания — «разрешение».

Два графика на странице 84 показывают, как калибровка и разрешение запечатлевают разные аспекты хорошего прогнозирования. График сверху представляет идеальную калибровку, но плохое разрешение. Калибровка здесь идеальна, потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, — это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.

Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит — это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % — его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х — верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.

Хорошо откалиброванный, но трусливый (сверху);

хорошо откалиброванный и смелый (снизу)

Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал — ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, — то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, — получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно.

Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько это вообще в человеческих силах, и готовы полным ходом отправиться в эпоху Нового Просвещения, так?

Значение математики

Не вполне. Вспомните: основная суть наших занятий — определение возможности оценить точность предсказаний, чтобы понять, что в прогнозировании работает, а что нет. Чтобы сделать это, мы должны интерпретировать значение результатов Брайера, что требует еще двух параметров: эталона для сравнения и сопоставимости.

Давайте предположим, что у вас обнаружили результат Брайера 0,2. Это далеко от божественного всезнания (0), но намного лучше угадывания шимпанзе (0,5), так что такой результат соответствует уровню ожидания от, скажем, человеческого существа. Но этим дело не ограничивается. Значение результата Брайера зависит от того, на что именно составляется прогноз. Например, очень просто представить обстоятельства, при которых результат Брайера 0,2 будет выглядеть разочаровывающим. Например, возьмем погоду в Фениксе, штат Аризона. Каждый июнь там очень жарко и солнечно. Прогнозист, который будет следовать бездумному правилу «всегда ставь 100 % на жарко и солнечно», получит результат Брайера, близкий к нулю, и легко обставит результат 0,2. Настоящее мастерство покажет здесь только тот прогнозист, который способен на большее, нежели бездумно предсказывать «без изменений». Это момент всегда недооценивают. Например, после президентских выборов 2012 года Нейта Сильвера, а также Сэма Вонга из Принстона и других предсказателей превозносили за то, что они угадали итоги по всем пятидесяти штатам, но при этом почти никто не заметил, что самое грубое универсальное предсказание «без изменений» (если штат голосовал за демократов или республиканцев в 2008 году, он сделает то же самое в 2012-м) дало бы результат 48 из 50. Поэтому восторженные восклицания, слышные в то время: «Он угадал все 50 штатов!» — самую малость преувеличивали суть дела. К счастью, предсказатели выборов — профи, они знают, что улучшение прогнозов, как правило, происходит миллиметр за миллиметром.

Еще один эталон сравнения — другие прогнозисты. Кто может обставить всех остальных? Кто может побить совокупный прогноз? Как они умудряются это делать? Чтобы ответить на эти вопросы, требуется сравнить результаты Брайера — что, в свою очередь, требует равных условий. Прогноз погоды в Фениксе гораздо легче предсказания погоды в Спрингфилде, штат Миссури, где она постоянно меняется, так что несправедливо было бы сравнивать результаты Брайера метеорологов в Фениксе и в Спрингфилде. Результат Брайера 0,2 в Спрингфилде может быть знаком того, что перед нами — метеоролог мирового класса. Вывод простой, но несет в себе важную подоплеку: выкапывание старых прогнозов из газет редко предоставляет возможность сравнить, так сказать, яблоко с яблоком, потому что вне пределов турниров прогнозисты редко предсказывают одинаковые события в один и тот же временной период.

Сложите вместе все эти соображения — и мы готовы приступать. Как Арчи Кокрану и другим пионерам медицины, основанной на свидетельствах, нам нужно проводить аккуратно организованные эксперименты. Собрать прогнозистов. Задать им, избегая двусмысленностей, большое количество вопросов с конкретными временными рамками. Потребовать от прогнозистов, чтобы они использовали выраженные в числах степени вероятности. И подождать какое-то время. Если исследователи сделали свою работу, результаты будут четкими. Информацию можно проанализировать и получить ответы на ключевые вопросы («Насколько хороши прогнозисты?», «Кто из них лучший?», «Что их отличает?»).

Экспертное политическое суждение

Этим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды — университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.

Первые вопросы, заданные экспертам, касались их самих. Возраст? (Средний — сорок три года.) Рабочий опыт в соответствующей области? (Средний — 12,2 года.) Образование? (Почти все прошли постдипломную подготовку, у половины — кандидатские степени.) Также их спросили об идеологических воззрениях и предпочтительных подходах к решению политических проблем.

Вопросы для прогнозов задавали временны́е рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. На такие темы обычно рассуждают эксперты в СМИ и коридорах власти. Это означало, что нашим экспертам иногда попадались вопросы по их специализации, но чаще — нет, что позволило сравнивать точность прогнозов настоящих профессионалов и умных и хорошо информированных любителей. В общем и целом наши эксперты сделали примерно 28 тысяч предсказаний.

На задавание вопросов ушли годы. Затем потянулось ожидание — испытание терпения даже для людей со стажем. Я начал эксперимент, когда Михаил Горбачев и советское Политбюро были ключевыми игроками, вершащими судьбы мира. К тому моменту, когда началось оформление результатов, СССР существовал только на исторических картах, а Горбачев снимался в рекламе для «Пиццы Хат». Окончательные результаты появились в 2005-м — спустя 21 год, шесть президентских выборов и три войны после того, как я поучаствовал в комиссии Национального совета по исследованиям, заставившей меня задуматься о прогнозировании. Я опубликовал результаты в академическом трактате «Экспертное политическое суждение (Expert Political Judgment): насколько оно хорошо? Откуда мы можем это узнать?». В целях упрощения я буду называть всю эту исследовательскую программу аббревиатурой EPJ.

И результаты…

Если перед тем, как открыть эту книгу, вы не знали комических результатов EPJ, то сейчас они вам уже известны: среднестатистический эксперт оказался точен примерно как шимпанзе, играющий в дартс. Но, как предупреждают студентов на вводных уроках статистики, средние показатели могут вводить в заблуждение. Отсюда старая шутка про статистиков, которые спят, сунув ноги в духовку, а голову в морозилку из-за комфортности средней температуры.

По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания, а в долгосрочных прогнозах умудрилась проиграть даже шимпанзе. Вторая группа обошла шимпанзе, хоть и не с разгромным счетом, так что особых поводов для гордости у них тоже не было. На самом деле они всего лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся.

Так почему же одна группа выступила лучше другой? Дело было не в ученых степенях и не в доступе к секретной информации. Дело было и не в том, что они думали: были ли они либералами или консерваторами, оптимистами или пессимистами. Основным фактором было то, как они думали.

Одна группа имела свойство опираться на Большие Идеи, хотя они и не сходились во мнениях по поводу того, какие из Больших Идей правдивы, а какие ложны. Одни хоронили человечество вместе с окружающей средой («У нас заканчиваются все ресурсы!»), другие праздновали наступление эры изобилия («Мы всему можем найти малозатратные заменители!»). Некоторые были социалистами (предпочитавшими государственный контроль над стратегически важными направлениями экономики), другие — фундаменталистами свободного рынка (сторонниками минимальной регуляции). Какими бы ни были их идеологические отличия, объединяла всех экспертов крайняя идеологизированность мышления. Они пытались уместить комплексные проблемы в облюбованные ими причинно-следственные шаблоны, а все, что не помещалось, отбрасывали как помехи, не имеющие отношения к делу. Категорически не приемля неопределенность, они толкали свои аналитические выкладки к границе (а иногда и выталкивали за нее), используя термины вроде «кроме этого» и «более того» и складывая одну на другую причины, по которым они должны быть непременно правы, а остальные — ошибаться. В результате эксперты были необычайно уверены в себе и имели большую склонность объявлять вещи «невозможными» или «непременными». Даже после того как их предсказания со всей ясностью не сбывались, они, сроднившись со своими выводами, с большой неохотой меняли мнение, говоря при этом: «Вы еще подождите!»

Другая группа состояла из более прагматичных экспертов, которые пользовались множеством аналитических инструментов, выбор которых зависел от конкретной проблемы, с которой они сталкивались. Эти эксперты собирали как можно больше информации из как можно большего количества источников. При обдумывании проблемы они часто переключали мыслительные механизмы, пересыпая свою речь такими переходными знаками, как «однако», «но», «хотя» и «с другой стороны». Они говорили не об уверенности, а о возможностях и вероятностях. И хотя никто не любит объявлять: «Я был не прав», эти эксперты с большей готовностью признавали свои ошибки и меняли мнения.

Несколько десятилетий назад философ Исайя Берлин написал прославленное, но мало кем читаемое эссе, в котором сравнил стили мышления великих авторов разных эпох. Чтобы оформить свои наблюдения, он воспользовался отрывком из древнегреческого стихотворения, которое около 2500 лет назад предположительно написал поэт-воин Архилох: «Лиса знает много разного, а еж — одно, но важное». Никто никогда не узнает, на чьей стороне был Архилох — лис или ежей, но Берлину больше нравились лисы. Я не чувствую потребности принять чью-то сторону, мне просто понравилась метафора, потому что она ухватывает суть собранной мной информации. Поэтому я назвал экспертов Больших Идей ежами, а более «эклектичных» — лисами.

Лисы превзошли ежей. И превзошли не только благодаря трусливому поведению — играя осторожно и делая прогнозы с 60 или 70 % вероятности, в то время как ежи смело ставили на 90 или 100 %. Лисы превзошли ежей и в калибровке, и в разрешении. У лис был дар предвидения. У ежей — нет.

Как ежи умудрились выдать результаты, которые оказались слегка хуже произвольного угадывания? Чтобы ответить на этот вопрос, давайте познакомимся с типичным ежом.

Ларри Кудлов, бывший ведущий делового ток-шоу на CNBC и широко публикующийся эксперт, начинал как экономист в администрации Рональда Рейгана, а позже работал с Артом Лаффером, теории которого были краеугольным камнем экономической политики страны того времени. Большая Идея Кудлова — это экономика с приоритетом предложения. Когда президент Джордж У. Буш последовал этой модели, значительно снизив налоги, Кудлов был уверен, что немедленно последует экономический бум столь же значительного масштаба. Он даже назвал его «бумом Буша». Реальность не оправдала ожиданий: рост и создание новых рабочих мест наблюдались, но при взгляде на долгосрочное среднее число показатели разочаровывали, особенно при сравнении с эрой Клинтона, которая началась со значительного повышения налогов. Однако Кудлов стоял на своем и год за годом упрямо продолжал объявлять, что «бум Буша» произошел, как и было предсказано, даже если комментаторы его не заметили. Он назвал это явление «величайшей нерассказанной историей». В декабре 2007-го, через несколько месяцев после первых признаков финансового кризиса, когда экономика шаталась вовсю и многие обозреватели беспокоились, что вот-вот наступит спад — если уже не наступил, Кудлов был настроен оптимистично. «Нет никакого спада, — писал он, — на самом деле мы вот-вот вступим в седьмой год бума Буша».

Национальное бюро экономических исследований позже объявило декабрь 2007 года официальным стартом Великой рецессии 2007–2009 годов. По прошествии месяцев экономика все ухудшалась, тревожное состояние усиливалось, но Кудлов не поддавался. Нет и не будет никакого кризиса, настаивал он. Когда Белый дом сказал то же самое в апреле 2008-го, Кудлов написал: «Президент Джордж У. Буш может оказаться величайшим экономическим прогнозистом страны». В течение весны и лета экономическое состояние все ухудшалось, но Кудров это отрицал. «Кризис только у нас в голове, на самом деле его нет», — писал он и продолжал повторять это вплоть до 15 сентября, когда обанкротился инвестиционный банк Lehman-Brothers, Уолл-стрит погрузилась в хаос, глобальная финансовая система замерла, а люди по всему миру почувствовали себя как пассажиры в падающем самолете, которые вытаращили глаза и вцепились в ручки кресел.

Как Кудлов мог столь последовательно ошибаться? Как и все мы, прогнозисты-ежи первым делом видят все в ракурсе «за кончиком носа». Это естественно. Но еж еще и «знает одно, но важное» — Большую Идею — и использует ее снова и снова, когда пытается предсказать, что случится дальше. Можно сравнить Большую Идею с парой очков, которые ежи никогда не снимают, все видят через них. Но это не просто очки: это очки с зелеными линзами — как те, что носили посетители Изумрудного города в «Волшебнике страны Оз» Фрэнка Баума. Иногда, наверное, это может оказаться полезным — очки с зелеными линзами могут подчеркнуть что-то, что без них не заметят: например, оттенок зеленого в цвете скатерти, не видный невооруженным взглядом, или легкая прозелень текущей воды. Но гораздо чаще очки с зелеными линзами искажают реальность. Куда ни посмотришь — везде видишь зеленое, правда это или нет; а очень часто это неправда. Ведь и Изумрудный город на самом деле не был изумрудным — так только казалось людям, которых заставляли носить зеленые очки! Так что Большая Идея ежа не улучшает его предсказательного дара — она его искажает. И большее количество информации не помогает — ведь она вся видится через те же самые очки с зелеными линзами. Это может увеличить уверенность ежа, но не его точность — плохое сочетание, как ни посмотри. Предсказуемость результата? Когда ежи в исследовании EPJ делали прогнозы на темы, в которых лучше всего разбирались, по их специальностям, их точность ухудшалась. Американская экономика — специализация Ларри Кудрова, но в 2008 году, когда все яснее становилось, что она столкнулась с проблемами, Кудров не видел то, что видели другие. Он просто не мог. Для него все было зеленым.

При этом ошибка Кудлова не повредила его карьере. В январе 2009 года, когда американская экономика находилась в кризисе, хуже которого не бывало со времен Великой депрессии, на канале CNBC дебютировало новое шоу Кудлова The Kudlow Report. Это тоже согласуется с выявленной EPJ закономерностью: чем более знаменит эксперт, тем менее он точен. Не потому, что редакторы, продюсеры и публика выискивают плохих прогнозистов — они выискивают ежей, которые по природе своей плохие прогнозисты. Воодушевленные своими Большими Идеями, ежи рассказывают простые, яркие, четкие истории, которые захватывают и удерживают аудиторию. Любой, кто проходил журналистское обучение, знает первое правило поведения на публике — «Изъясняйтесь просто, примитивно». И, что еще лучше для выступлений, ежи уверены в себе. Анализ, проводимый с единственного ракурса, позволяет им легко нанизывать одну на другую причины, по которым они правы — со всеми своими «более того» и «кроме этого», даже не рассматривая другие ракурсы с их досадными сомнениями и возражениями. Таким образом, как показало EPJ, ежи скорее скажут, что какое-то событие определенно произойдет или не произойдет, что удовлетворяет большую часть публики. Люди обычно тревожатся, сталкиваясь с неопределенностью, а «может быть» подчеркивает эту неопределенность жирным красным карандашом. Простота и уверенность ежей портят способность к предвидению, зато успокаивают нервы — что хорошо для их карьерного роста.

Лисы не так успешны в СМИ. Они менее уверенны, реже могут заявить, что что-то «невозможно» или «очевидно», и скорее остановятся на какой-то степени «может быть». К тому же их истории сложны, полны «но» и «однако», потому что они смотрят на проблему с одной стороны, потом с другой и с третьей. Эта агрегация множества ракурсов плохо смотрится на телевидении, зато хороша для прогнозирования. На самом деле она составляет его сущность.

Глаз стрекозы

В 1906 году легендарный британский ученый сэр Фрэнсис Гальтон отправился на деревенскую ярмарку и понаблюдал, как люди по виду живого быка угадывали, какой у него будет вес после того, как его «забьют и освежуют». Их средний вариант — то есть коллективное суждение — был 1197 фунтов: на один фунт меньше, чем оказалось в действительности — 1198 фунтов. Это была самая ранняя демонстрация феномена, популяризованного в бестселлере Джеймса Шуровьески «Мудрость толпы». Сам феномен теперь носит такое же название. Агрегация суждений многих людей по точности постоянно превышает точность суждения среднестатистического члена группы и зачастую оказывается такой же невероятно «предсказательной», как в случае с определением веса быка. Однако коллективное суждение не всегда более точно, чем индивидуальные предположения. На самом деле в любой группе, скорее всего, окажутся отдельные люди, которые выдадут лучший результат, чем группа в целом. Правда, эти предположения «в яблочко» больше говорят об удаче — ведь и шимпанзе, который много играет в дартс, иногда попадает точно в цель, — чем об искусстве угадывающего. Это становится очевидным, когда угадывание делается много раз. При каждом повторении проявятся отдельные личности, угадавшие более точно, чем вся группа, но каждый раз это будут разные личности. Для того чтобы постоянно превосходить средний результат, нужен редкий дар.

Некоторые называют мудрость толпы чудом агрегации, но это явление легко избавить от мистического налета. Главное — понять, что полезная информация часто широко распространяется, и там, где у одного человека имеется ее обрывок, другой обладает более важным кусочком, третий — еще несколькими и т. д. Когда Гальтон смотрел, как люди угадывают вес обреченного быка, он наблюдал за тем, как они ретранслируют имеющуюся у них информацию в цифры. Мясник, смотревший на быка, передал информацию, имевшуюся у него благодаря тренировке и опыту. Человек, регулярно покупавший в лавке мясо, добавил свою информацию. То же самое сделал и человек, который помнил, сколько весил бык на прошлогодней ярмарке. Таким образом все и сложилось. Сотни людей вложили полезные данные и вместе создали фонд информации гораздо более ценной, чем обладал каждый из них. Конечно, вместе с тем они также поделились мифами и ошибками — и тем самым создали фонд неверной информации, такой же большой, как первый. Но между этими фондами большая разница. Вся ценная информация указывала в одном направлении, на вес 1198 фунтов, а ошибки имели разные источники и указывали в разных направлениях. Кто-то предположил результат выше правильного, кто-то — ниже. Таким образом, ошибки перечеркнули друг друга. Накопление ценной информации и обнуление ошибок дали итоговый результат, оказавшийся потрясающе точным.

Эффективность агрегации прогнозов зависит от того, что именно вы объединяете. Агрегация суждений множества людей, которые не знают ничего, произведет большое количество ничего. Агрегация суждений людей, которые знают немногое, — уже лучше, и если их наберется достаточное количество, она может добиться впечатляющих результатов. Однако агрегация суждений того же количества людей, которые знают многое о многих разных вещах, более эффективна, потому что общий фонд информации становится намного больше. Агрегация агрегаций тоже может продемонстрировать впечатляющие результаты. Хорошо проведенный опрос общественного мнения агрегирует множество информации о намерениях избирателей, однако агрегация опросов в «опрос опросов» собирает множество информационных фондов в один большой фонд. Это и есть суть того, что делали Нейт Сильвер, Сэм Вонг и другие статистики во время президентских выборов 2012 года. Такой опрос опросов может быть объединен с другими источниками информации, например в нечто вроде Polly Vote — проекта академического консорциума, который предсказывает результаты президентских выборов, агрегируя различные источники, включая опросы избирателей, суждения политических экспертов и разработанные политологами количественные методы. Проект работает с 1990-х и имеет хороший послужной список, часто придерживаясь кандидатуры, которая впоследствии становится победителем, даже если результаты опросов изменились, а эксперты передумали.

А теперь посмотрим, как подходят к прогнозированию лисы. Они используют не одну аналитическую идею, а множество, и ищут информацию не в одном источнике, а во многих. Все это они затем синтезируют в один вывод. Другими словами, лисы совершают агрегацию. Они могут быть индивидуалами-одиночками, но делают, в сущности, то же, что делала толпа Гальтона: интегрируют разные ракурсы и содержащуюся в них информацию. Единственное реальное отличие в том, что этот процесс происходит в одном черепе. Однако производить такого рода агрегацию внутри своей головы может быть совсем не просто. Представьте себе игру «Угадай число», в которой игроки должны угадать число от 0 до 100. Человек, чей вариант подходит ближе всего к двум третьим среднестатистического варианта всех участников, выигрывает. И представьте, что за это дается приз: читатель, который подойдет ближе всего к правильному ответу, выигрывает два билета бизнес-класса на рейс Лондон — Нью-Йорк.

Газета Financial Times на самом деле провела этот конкурс в 1997 году по инициативе Ричарда Талера, пионера бихевиоральной экономики. Если бы я читал Financial Times в 1997 году, как бы я выиграл эти билеты? Я мог бы начать с размышления о том, что, раз можно называть число от 0 до 100, варианты будут распределены произвольно. Итого средним числом должно оказаться 50. А 2/3 от 50–33. Значит, моим предположением должно быть 33. В этот момент чувствую себя очень довольным и уверенным, что догадался правильно. Но прежде чем я скажу: «Это окончательный ответ», я делаю паузу и думаю о других участниках — и тут до меня доходит, что они должны были пройти через тот же мыслительный процесс, что и я. А это означает, что они все пришли к числу 33. А 2/3 от 33–22. Итого мой первый вывод неверен, и я должен предположить 22.

Вот теперь я чувствую себя на самом деле очень умным. Но погодите-ка! Ведь другие участники тоже должны были подумать о других участниках, как и я! А это означает, что они все должны были предположить 22. То есть средний вариант на самом деле 22. А 2/3 от 22 — около 15. Значит… Видите, куда все идет? Из-за того, что участники знают друг о друге — и каждому из них известно, что о нем знают другие, — число должно уменьшаться и уменьшаться до точки, из которой оно уже не может уменьшиться. И эта точка — 0. Вот мой окончательный ответ. И я уверен, что выиграю. Ведь у меня железная логика. А еще я вхожу в число хорошо образованных людей, которые знакомы с теорией игр, так что знаю, что ноль называют решением равновесия Нэша. Ч. Т. Д. Единственный вопрос заключается в том, кто полетит со мной в Лондон.

И знаете что? Я ошибся. В конкурсе, который состоялся на самом деле, многие люди пришли к такому же результату, но 0 не был правильным ответом. Этот ответ даже не приближался к правильному. Средним вариантом всех участников стало число 18,91, поэтому правильным ответом было 13. Как же я мог так ошибиться? Дело было не в логике — она не дала никаких сбоев. Я ошибся потому, что посмотрел на проблему только с одного ракурса — ракурса логики. Как насчет других участников? Все ли они из тех, кто внимательно все обдумает, найдет логику и последовательно пройдет по ней до окончательного ответа 0? Если бы они были полностью рациональными жителями планеты Вулкан из сериала «Звездный путь», так бы оно и было. Но они люди. Возможно, нам следует предположить, что читатели Financial Times немного умнее среднестатистической публики и лучше отгадывают загадки, но они все не могут быть безупречно рациональными. Безусловно, некоторые из них не дадут себе труда задуматься над тем, что другие участники решают ту же задачу, и остановятся на окончательном варианте 33. Возможно, другие заметят здесь логику и пойдут дальше, до 22, но на этом остановятся. И именно это случилось: 33 и 22 были популярными ответами. И из-за того, что я не обдумал проблему с разных ракурсов и не включил их в свое суждение, я ошибся. Следовало посмотреть на проблему с обоих ракурсов — как логики, так и психологии — и объединить то, что я увижу. При такой агрегации необязательно должны быть только два ракурса. В игре Талера «Угадай число» мы легко можем представить себе третий ракурс и использовать его, чтобы улучшить результат. Первый ракурс — ракурс рационального вулканца. Второй — ракурс человека, тоже иногда включающего логику, но слегка ленивого. А третий — тех участников, которые определили первые два ракурса и объединили их, чтобы сделать свое предположение. В оригинальном телесериале «Звездный путь» безупречно логичным вулканцем был мистер Спок, импульсивным человеком — доктор Маккой, а капитан Кирк представлял собой синтез их обоих. Так что третий ракурс мы назовем ракурсом капитана Кирка. Если среди участников окажется всего несколько капитанов Кирков, на математику это сильно не повлияет, но если их будет больше, то изощренное мышление таких людей может прилично изменить результат — и наш собственный результат улучшится, по крайней мере немного, если мы примем во внимание этот третий ракурс и включим его в наше суждение. Это будет непросто. Расчеты становятся сложными, и при определении окончательного результата — 10, 11, 12? — потребуется исключительная скрупулезность. Но иногда в этих тонких различиях и заключается разница между хорошим и великим, как мы увидим позже, когда познакомимся с суперпрогнозистами. И нет никаких причин останавливаться на трех или четырех ракурсах, хотя в игре «Угадай число» дальше заходить непрактично. В других же контекстах четвертый, пятый и шестой ракурс могут сделать суждение еще более точным. В теории количество ракурсов безгранично. Поэтому лучшая метафора для этого процесса — зрение стрекозы.

Как и у нас, у стрекозы два глаза, но их органы зрения сконструированы совсем по-другому. Каждый представляет собой огромную выпуклую сферу, поверхность которой покрыта крошечными линзами. В зависимости от разновидности стрекозы в одном глазе может находиться до 30 тысяч таких линз, и каждая из них занимает свое место, слегка отличающееся от того, что занимают соседние линзы; таким образом, каждая линза обладает неповторимым углом зрения. Информация от этих тысяч уникальных ракурсов поступает в мозг стрекозы, где преобразуется в такое потрясающее зрение, что стрекоза одновременно видит практически все во всех направлениях, причем с такой ясностью и точностью, что это позволяет ей с большой скоростью ловить летающих насекомых.

Лиса с выпуклыми глазами стрекозы — уродливая метафора, но это ключевая причина, по которой предвидение лис лучше предвидения ежей с их зелеными очками. Лисы агрегируют ракурсы.

К сожалению, агрегация не дается легко. Ракурс «за кончиком носа» настаивает на том, что отображает реальность объективно и правильно, поэтому нет никакой необходимости сверяться с другими ракурсами. И слишком часто мы с ним соглашаемся. Мы не рассматриваем альтернативные точки зрения и тогда, когда очевидно, что это следует сделать, — например, за покерным столом. Даже слабые игроки, в принципе, знают, что крайне важно уметь взглянуть на игру глазами соперников. Он поднял ставку до 20 $? Что это говорит мне о его мыслях и картах? Каждая ставка — подсказка о том, чем располагает ваш соперник (или хочет, чтобы вы думали, что он этим располагает), и единственный способ собрать их воедино — представить себя на его месте. Те, кто хорошо умеют вставать на место других, могут заработать много денег. То есть мы можем сделать вывод, что любой человек, воспринимающий покер серьезно, должен быстро этому научиться — или искать себе другое хобби. Однако очень часто ничего такого не происходит.

«Вот простой пример, — говорит Энни Дьюк, знаменитый игрок в покер, профессионал, победительница Мировой серии покера и бывшая аспирантка на кафедре психологии. — Любой, кто играет в покер, знает, что можно сбросить карты, ответить или поднять ставку. И если игрок, который не очень хорошо разбирается в игре, видит, что другой игрок поднимает ставку, он автоматически думает, что у игрока сильные карты — как будто размер ставки каким-то образом соотносится с тем, какие у игрока карты». Это ошибка. Дьюк обучает покеру и, для того чтобы ее ученики обрели зрение стрекозы, проводит их через игровую ситуацию. Карты сданы. Вам нравятся ваши карты. В первом из нескольких раундов торговли вы ставите определенную сумму. Другой игрок немедленно и значительно повышает вашу ставку. И что, как вы думаете, есть на руках у этого игрока? Дьюк обучала тысячи студентов, «и, как правило, они говорили: „Я думаю, у него очень хорошие карты“». Тогда она просила их представить себе такую же ситуацию, только они играют против нее. Карты сданы. Карты у них на руках не просто хорошие — они непобедимые. Дьюк делает свою ставку. И что же вы сделаете? Поднимете ставку? «И они говорили мне: „Нет“». Если они поднимут ставку, Дьюк может подумать, что у них сильные карты, — и сбросить свои. Они не захотят ее пугать. Им нужно, чтобы Дьюк осталась в каждом раунде торговли, чтобы они подняли банк как можно больше, прежде чем его выиграть. Так что они не будут поднимать, они будут только отвечать. Затем Дьюк проводит их через ситуацию, в которой карты у них не непобедимые, но все-таки очень хорошие. Будете ли вы поднимать? Нет. Как насчет комбинации послабее, которая все равно вполне может победить? Нет. «Они никогда не поднимут ни с одной из хороших комбинаций, потому что не захотят меня спугнуть». И тогда Дьюк спрашивает у них: «Почему же вы считаете, что оппонент, который поднимает ставку, имеет на руках хорошие карты, если вы сами с хорошими картами так бы не поступили?» «И только после того, как я проделываю с ними это упражнение», говорит Дьюк, люди понимают, что не смогли по-настоящему посмотреть на стол глазами оппонента.

Если бы студенты Дьюк были праздными пенсионерами, впервые севшими за покерный стол, это бы говорило только о том, что дилетанты, как правило, отличаются наивностью. Но «это люди, которые достаточно давно играют в покер, относятся к игре с большой страстью, считают себя достаточно хорошими игроками и платят мне по 1000 долларов за семинар, — говорит Дьюк. — И при этом не понимают базовой концепции».

Посмотреть на реальность не изнутри, а снаружи, действительно под другим углом — сложная задача. Но лисы скорее попробуют это сделать. Благодаря темпераменту, или привычке, или сознательному усилию они имеют обыкновение рассматривать ситуацию с других ракурсов.

Но вспомните старую шутку с рефлексивным парадоксом. На свете существуют два типа людей: одни верят, что есть два типа людей, а другие нет. Так вот, я отношусь ко второму типу. Моя модель лис/ежей — не дихотомия. Это спектр. В EPJ мой анализ включил в себя типы, которые я назвал гибридными: «лисоежи», то есть лисы, сдвинувшиеся немного в сторону ежовой части спектра, и ежелисы, то есть ежи с небольшим лисьим налетом. Но даже расширение категорий до четырех не захватывает все типы человеческого мышления. Люди могут думать и действительно думают по-разному в разных ситуациях: они могут быть, например, бесстрастными и расчетливыми на работе, но импульсивными и интуитивными при совершении покупок. К тому же наши мыслительные привычки могут меняться, эволюционируя иногда незаметно для нас самих. Но мы также можем приложить усилия и переключить рычаги с одного режима на другой.

Ни одна модель не может полностью отразить богатство человеческой натуры. Модели нужны для упрощения, поэтому даже лучшие из них неидеальны. Но они необходимы. Наше сознание полно моделями. Без них мы не можем функционировать. А обычно мы довольно-таки хорошо функционируем, потому что некоторые наши модели неплохо приближены к реальности. «Все модели неверны, — заметил статистик Джордж Бокс, — но некоторые из них полезны». Модель лиса/еж — начальный пункт, но не окончательный.

Забудьте анекдот про шимпанзе. Важно то, что проект EPJ обнаружил скромную, но реальную способность к предвидению, и главным фактором успеха оказался стиль мышления. Следующей задачей было выяснить, как его улучшить.