В течение месяцев исход не вызывал сомнений: за исключением колеблющихся, около 43 % шотландцев утверждали, что проголосуют за отделение Шотландии от Соединенного Королевства, 57 % собирались голосовать против. Но за две недели до референдума результаты опросов общественного мнения резко изменились и ответ «за» начал превалировать. Последние несколько опросов перед референдумом выявили еще одно небольшое смещение — «против» выходило вперед с крошечным отрывом, а 9 % все еще не определились. Все задавались вопросом: сможет ли выжить 307-летнее Соединенное Королевство?

Сейчас ответ кажется очевидным, как постфактум обычно и бывает. Но тогда он очевидным не был. Утвердительный ответ апеллировал к национальным чувствам шотландцев, отрицательный же напирал на то, что шотландская экономика пострадает от отделения. Некоторые эксперты предрекали, что национальные чувства перевесят экономические соображения, другие ожидали обратного. Единственное, что можно было утверждать с высокой вероятностью, — каким бы ни был исход, эксперты мгновенно объяснят его причины.

В итоге «нет» обошел ответ «да» с удивительно большим перевесом — 55,3 % против 44,7 %. (Суперпрогнозисты, между прочим, верно его предрекли, обойдя британские рынки ставок, оперировавшие реальными деньгами.) Но один эксперт нарушил строй. «Сегодня я намеревался как следует повеселиться, написав пост, который был бы приключением из серии „Выбери свой собственный анализ“ по мотивам состоявшегося референдума в Шотландии», — написал политолог и блогер Washington Post Дэниел Дрезнер на следующий день после того, как Шотландия проголосовала против. В нем должны были быть предложения вроде «вчерашний референдум — ясная демонстрация [неослабевающей власти национализма в XXI веке / превалирования экономических соображений у людей на Западе]» и, возможно, «эксперты, которые предрекли исход [за/против], поспешили списать со счетов [недостаточно сильную привлекательность экономического фактора / товары, которые национализм не может произвести]». Мне даже жаль, что Дрезнер не продолжил в том же духе — получилась бы отличная сатира на мгновенный анализ слишком уверенных в себе комментаторов. Но Дрезнер сделал кое-что другое. Он признался, что сам лично не был уверен в результате и удивился большому перевесу ответа «против». Это был «назидательный момент для всего сообщества экспертов, — написал Дрезнер, — то есть что делает человек с данными, которыми располагает, чтобы уточнить свой взгляд на мир?»

Какой замечательный вопрос! С одной стороны, комментарии с анализом, порожденным эффектом знания задним числом, которые появляются после всех крупных событий, — это тупик. На исход шотландского референдума влияло множество факторов, поэтому вывод «экономика задавила национализм» слишком многого не учитывает. Еще большим заблуждением было бы беспечно утверждать, что, раз в этом случае «экономика задавила национализм», то же самое произойдет в другом месте. С другой стороны, наши ожидания будущего исходят из ментальных моделей работы мира, и каждое событие — возможность чему-то научиться и улучшить эти модели.

Но, как заметил Дрезнер, эффективного обучения на основе опыта без четкой обратной связи не бывает, а четкую обратную связь можно получить только в том случае, если вы делаете недвусмысленный прогноз, который можно оценить. Знакомо звучит? Понятно, почему. Дрезнер процитировал статью о турнире IARPA. «Я определенно виновен в предсказательном искажении», — признался он. Перед референдумом в Шотландии он думал, что вариант «против» победит, но написал пост о том, почему может победить вариант «за». Так что же он предсказал? Неясно. И как он должен был изменить свое мнение в свете исхода референдума? Тоже неясно. «Так что в будущем, когда стану писать о дискретных событиях вроде шотландского референдума, я постараюсь соблюдать два правила: делать четкие прогнозы и предлагать интервал доверия для этого прогноза. Другими словами, я хочу вести счет».

Именно на такую реакцию я и надеялся. Турниры прогнозирования со счетом и турнирными таблицами могут выглядеть как игра, но на самом деле ставки в них реальны и существенны. В бизнесе хорошее прогнозирование определяет разницу между преуспеванием и банкротством; в правительстве — разницу между политическим курсом, ведущим к процветанию нации, и действиями, вызывающими нежелательные последствия и пустую трату денег налогоплательщиков; в национальной безопасности — разницу между миром и войной. Если бы разведсообщество США не сообщило Конгрессу о своей уверенности в том, что Саддам Хусейн располагает оружием массового поражения, катастрофического вторжения можно было бы избежать. IARPA понимает, насколько огромен потенциал ведения счета. Именно поэтому оно оплатило этот проект.

Турниры помогают исследователям выяснить, что улучшает прогнозирование, а прогнозистам — отточить их мастерство с помощью практики и обратной связи. Турниры также могут помочь обществу, так как они предоставляют нам инструменты для выстраивания стройного хода мысли, когда мы просчитываем вероятность, что случится, если пойти по тому или другому пути. Туманные ожидания от неопределенного будущего не приносят никакой пользы. Расплывчатое мышление невозможно поймать на ошибках. А только когда нас ловят на ошибках настолько очевидных, что мы не можем притворяться, будто не совершали их, нам удастся исправить свои ментальные модели мира — и видеть реальность более четко. Прогноз, оценка, исправление — вот самый верный путь к хорошему прогнозированию.

Дэн Дрезнер это понял. В моих мечтах это поймет каждый, кто прочтет эту книгу, и начнутся серьезные изменения. Потребители прогнозов прекратят попадаться на уловки экспертов и хороших историй и начнут спрашивать у «предсказателей», насколько точны были их прошлые прогнозы, отказываясь принимать ответы, состоящие исключительно из баек и ссылок на авторитеты. Само собой разумеется, что «таблетка» прошла экспертную оценку в ходе экспериментов, прежде чем мы ее проглотили, и точно так же, прежде чем прислушиваться к советам прогнозистов, мы станем ожидать от них тщательной проверки их собственных прогнозов. А сами прогнозисты осознают, как это осознал Дэн Дрезнер, что требовательность принесет им пользу, потому что только при четкой обратной связи, поступающей в ходе тщательной проверки, их способности предвидения могут улучшиться. Это может стать настоящей революцией — революцией «доказательного прогнозирования», — сходной с прошедшей в свое время революцией «доказательной медицины», и ее последствия будут такими же важными. А возможно, ничего и не изменится. Да, революционеры не должны думать о возможном провале, но давайте в этой ситуации мыслить как суперпрогнозисты — и признавать, что события могут развиваться по-разному. В завершающей главе я исследую самый сильный фактор, противостоящий изменениям, и покажу, почему, несмотря на него, статус-кво может подвергнуться потрясению. Затем взгляну на то, что могу контролировать лично, — мои будущие исследования. Будут ли они проводиться на фоне гигантских изменений, на что я надеюсь, или на фоне загнивающего статус-кво, чего я опасаюсь, — решат люди, которых политологи называют «внимательной публикой». Я умеренно оптимистичен. Но читатели могут сделать финальный прогноз.

Статус-кво «кто кого»

В течение нескольких месяцев перед президентскими выборами 2012 года в прогнозах Нейта Сильвера постоянно утверждалось, что Барак Обама обойдет Митта Ромни. Даже когда опросы показали, что Ромни дышит Обаме в спину, и в прессе начали появляться фразы «пятьдесят на пятьдесят» или «слишком близко, чтобы что-то предсказывать», в прогнозах Сильвера шансы Обамы против Ромни никогда не опускались ниже 61 %. Республиканцы ругали Сильвера и обвиняли его в предвзятости. Демократы же защищали его постоянство, хвалили за проницательность и забросали похвалами, когда Обама выиграл. Но в марте 2014 года, когда Сильвер начал предсказывать победу республиканцев в ноябрьских выборах в Сенат, многие демократы изменили к нему свое отношение.

Некоторые должностные лица даже распространили старые, несбывшиеся прогнозы Сильвера. Тот же прогнозист, тот же послужной список — но, когда его прогнозы перестали отвечать линии партии, из пророков он был разжалован в недотепы. Это крайнее проявление проблемы, которую я отставил в сторону после упоминания в главе 1, когда написал, что исключительной целью прогнозирования должна быть точность и именно на этом будет сосредоточена данная книга. В реальности точность зачастую — лишь одна из многих целей. Иногда она вообще не имеет значения.

Неприятную правду обычно прячут, но иногда маска падает — как это случилось, когда аналитик банка Banco Santander Brasil SA предупредила богатых клиентов, что биржевой рынок и валюта Бразилии, скорее всего, потерпят убытки, если кандидат левого крыла продолжит восхождение к власти. Кандидат и ее партия пришли в ярость и потребовали увольнения аналитика. Что и было немедленно сделано, потому что в Бразилии банку не стоит ссориться с возможным будущим президентом. Был ли точен прогноз аналитика — не имело никакого значения.

Как и многие другие жесткие деятели до и после него, Владимир Ленин настаивал, что политика в общем и целом есть не что иное, как борьба за власть или, как он это сформулировал, решение вопроса «кто кого». Различные аргументы и свидетельства всего лишь украшения, а на самом деле в бесконечной борьбе имеет значение, только если ты оказываешься «кто», а не «кого». Из этого следует, что цель прогнозирования не в том, чтобы видеть, что произойдет. Она заключается в том, чтобы содействовать интересам прогнозиста и его племени. Иногда точные прогнозы этому способствуют, и тогда точность приветствуется, но тут же отбрасывается в сторону, как только того требует борьба за власть. Я уже упоминал о предупреждении Джонатана Шелла, которое он сделал в 1982 году: что апокалипсис непременно произойдет в ближайшем будущем, «если мы не избавимся от ядерных арсеналов». Этот прогноз был очевидно неточным, но Шелл хотел, чтобы его читатели присоединились к движению разоружения, — и у него получилось. Поэтому, хоть его прогноз и не был точным, был ли он провальным? Ленин сказал бы, что Шелл добился именно того результата, на который рассчитывал.

Дик Моррис — республиканский исследователь общественного мнения и бывший советник президента Билла Клинтона — проиллюстрировал эту ситуацию через несколько дней после президентских выборов 2012 года. Незадолго до голосования Моррис предсказал Ромни внушительную победу — и после выборов его за это стали высмеивать, поэтому он счел нужным оправдаться. «Кампания Ромни разваливалась на куски, люди теряли оптимизм — поэтому я счел нужным выступить и сказать то, что сказал», — заявил Моррис. Конечно, Моррис мог соврать о том, что соврал до выборов, но сам факт, что он посчитал эту линию защиты убедительной, многое говорит о мире «кто кого», в котором он действует. Не нужно быть марксистом-ленинистом, чтобы признать, что Ленин был прав. Имеют значение свои интересы и интересы племени. Если прогнозирование может послужить их продвижению — так и будет. С данного ракурса нет никакой нужды в реформировании и улучшении прогнозирования, потому что оно и так отлично служит своему основному предназначению. Однако прежде чем сдаться, давайте вспомним, что Ленин был немного догматичен. Люди хотят власти, это так. Но они ценят и другие вещи, которые могут оказаться важнее.

Перемены

Столетие назад, когда врачи медленно становились профессионалами, а медицина — наукой, у бостонского врача по имени Эрнест Эмори Кодман появилась идея, похожая по духу на ведение счета прогнозистами. Он называл ее «система конечного результата». Больницы должны были регистрировать, какие болезни имелись у поступавших к ним пациентов, как их лечили и — самое важное — каким был конечный результат в каждом случае. Эти записи следовало собирать в статистические данные и публиковать, чтобы, основываясь на них, пациенты сами могли выбирать больницы. А те откликались бы на давление потребителей, увольняя одних врачей и повышая в должности других, следуя тому же принципу. Состояние медицины такой подход только бы улучшил, ко всеобщей выгоде. «План Кодмана не учитывал ни репутацию врачей, ни их социальный статус, ни манеру обращения с пациентами, ни технические навыки, — отметил историк Айра Рутков. — Все, что имело значение, — клинические последствия врачебных усилий». В наши дни больницы делают все, чего требовал Кодман, и многое другое, и врачи изумились бы, если бы кто-нибудь предложил им прекратить это делать. Но когда эта идея прозвучала впервые, медицинское сообщество отнеслось к ней совсем иначе.

Больницы приняли мысль Кодмана в штыки. Им бы пришлось платить людям, ведущим записи. Врачи не видели смысла в статистике — их и без того уважали. «Ведение счета» только подорвало бы им репутации. Вполне предсказуемо, Кодман ничего не добился. Он попытался надавить сильнее, отдалился от коллег, и в итоге его выгнали из Генеральной больницы Массачусетса. Кодман открыл собственную маленькую больницу, где лично платил за сбор и публикацию статистических данных, и параллельно продолжал распространять свои идеи, используя все более резкие методы. На встрече местного медицинского сообщества в 1915 году Кодман развернул огромный плакат с карикатурой, на которой высмеивались различные уважаемые члены этого сообщества, включая президента Гарвардского университета. Кодман был исключен из медицинского сообщества и потерял пост преподавателя в Гарварде. Статус-кво казался непоколебимым.

Но «скандал и шум вокруг карикатуры Кодмана привлекли внимание всей нации, — пишет Рутков. — Медицинская эффективность и система конечного результата внезапно стали самой обсуждаемой темой дня. Как только представители профессии и широкая публика узнали об идеях Кодмана, все большее количество больниц в стране стали применять его схему. Кодмана начали приглашать на различные выступления, а когда только что зародившаяся Американская коллегия хирургов сформировала комиссию по больничной стандартизации, его назначили первым председателем». Многое из того, что предлагал Кодман, так и не приняли — ибо он был неутомимым идеалистом, — но по большей части его идеи победили.

Если бы основной движущей силой человечества был принцип «кто кого», как считали Ленин и остальные, доказательная медицина, угрожавшая всем, кто занимал хоть какое-то место во врачебной иерархии, до сих пор бы не получила никакого развития. Но Эрнест Кодман, Арчи Кокран и многие другие побороли тщательно охраняемые интересы противников. И для этого им не потребовалось штурмовать укрепления. Они сделали это с помощью логических доводов и неизменного сосредоточения на единственной цели: излечении больных.

Их успех вдохновил других людей. Появилась доказательная политика — движение, основанное на доказательной медицине, имеющее целью подвергнуть действия правительства такому тщательному анализу, чтобы законотворцы действительно знали, а не думали, что знают, приводит ли их политика к тем результатам, на которые направлена. В результате в США, Соединенном Королевстве и других странах сейчас, возможно, проводится более качественный анализ политических действий, чем прежде. Конечно, политика всегда будет политикой, ее деятели всегда будут склонны делать выбор в пользу партийной выгоды и идеологических убеждений, но есть множество свидетельств, что тщательный анализ уже произвел существенные изменения в действиях правительства.

То же самое мышление трансформирует работу благотворительных организаций, которые теперь, перед тем как вкладываться в проекты, проводят строгую оценку их программ. Проекты, которые дают результат, расширяются, остальные закрываются. Одна из самых крупных благотворительных организаций, фонд Гейтса, известна строгостью своего оценивания, что полностью согласуется с позицией Билла Гейтса, который постоянно настаивает на четкой постановке целей и их оценке.

Спорт предоставляет яркие примеры роста и силы доказательного мышления. Как заметил Джеймс Шуровьески в New Yorker, отдельные спортсмены и команды значительно улучшили свои результаты за последние 30–40 лет. Отчасти это произошло из-за повышения ставок. Но также и потому, что их действия стали базироваться на научных основаниях. «Когда Джон Мэдден тренировал Oakland Raiders, он заставлял игроков тренироваться в августовский полдень в полном обмундировании, — заметил Шуровьески. — Дон Шула, когда он был главным тренером Baltimore Colts, настаивал на том, чтобы его игроки тренировались без доступа к воде». Благодаря научным исследованиям такие основанные на интуиции техники уходят туда же, куда сгинуло кровопускание в медицине. Тренировки стали «гораздо более рациональными, теперь они базируются на научной информации», написал Шуровьески. Благодаря быстрому улучшению аналитики, в особенности внедрению саберметрики, изменилось и командное развитие. Главной движущей силой «революции в спорте», таким образом, являются систематические меры, принимаемые организациями, чтобы спортсмены, которых они нанимают, демонстрировали большую эффективность и производительность.

Катализатором всех этих изменений стало быстрое развитие информационных технологий. Никогда раньше мы не могли проводить такие подсчеты и тесты, а сейчас вовсю этим занимаемся. Если смотреть с такого, более широкого ракурса, движение за доказательное прогнозирование не будет казаться резким сдвигом, который непонятно что спровоцировало. Это еще одна манифестация радикального отказа от метода принятия решений, основанного на опыте, интуиции и авторитете, — «Делайте так, потому что я думаю, что это сработает, а я эксперт» — и движения в сторону подсчета и анализа. Мало того, что это окажется неудивительным; некоторые еще и зададутся вопросом: «Почему так поздно?»

Возможно, наиболее серьезное основание для надежды на изменения — сам турнир IARPA. Если бы десять лет назад меня попросили составить список организаций, которые больше всего нуждаются в том, чтобы начать относиться к прогнозированию серьезно, но с наименьшей вероятностью пойдут на это, разведсообщество заняло бы верхнюю строчку. Почему? Кто кого. Доказательное прогнозирование в конечном счете улучшит их работу, но пока что оно для них опасно.

Вспомните заблуждение относительно не той стороны «может быть», которое заставляет людей думать, что прогноз «70 % вероятности, что событие произойдет» неверен, если событие не произошло. Именно из-за него скромное предложение Шермана Кента выражать прогнозы в числах ни к чему не привело. Используйте число — и вы под риском незаслуженного обвинения. Придерживайтесь фраз, туманных, как дымовая завеса, — и вы в безопасности.

Такое мышление соблазнительно для многих, но в разведсообществе соблазн становится непреодолимым, ведь эта организация так часто оказывалась между молотом и наковальней. После 9/11 РС обвинили в том, что оно не смогло соединить точки и недооценило риск террористических атак. После вторжения 2003 года в Ирак — в том, что оно соединило точки, которых на самом деле не было, и преувеличило риск существования оружия массового поражения. Каждый раз, когда подобное происходит, РС бросается в другую сторону, чтобы избежать ошибки, которую только что сделало. Неспособное поднять тревогу, когда угроза была реальной, оно поднимает тревогу при малейших признаках неприятностей. Поднимая ложную тревогу, РС рискует превратиться в мальчика, который кричал: «Волк!» Такой обвинительный пинг-понг никак не улучшает работу разведсообщества, даже, наоборот, препятствует долгосрочным вложениям, необходимым для лучших результатов в прогнозировании.

Что может реально помочь — так это безраздельная приверженность оцениванию: ведите счет, анализируйте результаты, исследуйте, что работает, а что нет. Но это требует математики, а математика сделает разведсообщество уязвимым для заблуждения относительно другой стороны «может быть» — они лишатся защиты в следующий раз, когда сделают неверное предсказание. Представьте директора Национальной разведки на расследовании в Конгрессе, посвященном вопросу, почему аналитики не предвидели очередное масштабное событие — революцию или атаку террористов, — пока не стало слишком поздно. «Ну, вообще-то мы довольно-таки хорошо работаем с такими вещами и улучшаем результаты, — отвечает он, вытаскивая таблицу. — Видите? Наши оценки демонстрируют, что результаты Брайера у наших аналитиков очень стабильные и со временем улучшаются. Мы даже догнали этих несчастных суперпрогнозистов. Так что, хоть мы и прозевали важное событие с ужасными последствиями, вы все-таки не забывайте про статистику».

И все-таки, несмотря ни на что, разведсообщество финансировало турнир IARPA. Более того, директор Национальной разведки сильно заинтересован в том, чтобы ведение статистики стало неотъемлемой частью их анализа. Конечно, за одну секунду все не может поменяться. Но в то же время перемены не могут не радовать. В конечном итоге история может оказаться на нашей стороне.

Возражение гуманитариев

Уравновесив все сказанное выше, считайте, что я настроен осторожно-оптимистично по поводу того, что моя работа может сделать вклад в движение за доказательное прогнозирование. Но эта перспектива не всем кажется радужной. Нужно лишь представить, как по-другому могла бы сложиться моя жизнь, — и я узнаю, какие услышу возражения.

В 1976 году я был наивным двадцатидвухлетним канадцем, который, как и бесконечное количество других людей, собирался сделать выбор, который определил бы всю его дальнейшую жизнь. Я только что окончил Университет Британской Колумбии и подумывал о том, чтобы принять государственную стипендию на изучение гуманитарных наук в Оксфорде. Мой научный руководитель Питер Сьюдфелд считал, что это ужасная идея. «Езжай в Соединенные Штаты и посвяти себя науке», — посоветовал он. Я принял его совет, но с большим сомнением. Но если бы все-таки поехал в Оксфорд и сделал карьеру в гуманитарных науках, легко представить, что бы я сказал по поводу описанных в этой книге исследований и пути, по которому они дальше пойдут.

Числа — это прекрасно и очень нужно, сказал бы я в той параллельной вселенной, но нужно быть осторожными и не позволять им порабощать нас. «Не все, что считается, может быть посчитано, — говорится в известном высказывании, — и не все, что может быть посчитано, считается». В современную эру компьютеров и алгоритмов некоторые социологи об этом забыли. Как выразился критик-культуролог Леон Визельтир в New York Times, «есть „метрики“ для явлений, которые просто не могут быть метрически измерены. Числовые ценности приписываются вещам, которые не могут быть выражены в числах». Этот наивный позитивизм распространяется повсеместно, занимая области, в которых ему нечего делать. Как поэтически выразился Визельтир, «где раньше была мудрость, теперь будет подсчет».

На самом деле я с ним даже согласен. Для слишком многих людей числа являются священными тотемами, дарящими божественное откровение. По-настоящему одаренные математически люди знают, что числа — инструменты, ничего более, а их качество может варьироваться от никудышного до великолепного. Грубая версия системы конечного результата Кодмана, которая просто подсчитывает процент выживших пациентов, может привести к тому, что какая-нибудь больница похвастается 100 %-ной выживаемостью пациентов — умолчав, что просто не принимает серьезных больных. Числа необходимо постоянно проверять и улучшать, что может оказаться весьма нервным процессом, потому что он бесконечен. Прогрессирующее улучшение достижимо. Идеал — нет.

Именно так я воспринимаю результат Брайера, которым оценивается точность прогнозов, — как несовершенный. Одна из проблем заключается в том, что он оценивает ложные сигналы тревоги так же, как промахи. Но когда дело доходит до вещей вроде террористических атак, людей гораздо больше волнуют именно промахи, а не ложные сигналы тревоги. К счастью, эту проблему исправить несложно. Достаточно заранее предупредить прогнозистов: «Ложно-утвердительные результаты будут стоить вам в 10 раз меньше ложно-отрицательных», — чтобы они могли откорректировать в соответствии с этим свои суждения.

Но то, что система оценивания требует некоторых поправок, вовсе не значит, что она не вносит больших улучшений. Вспомните рейтинги кредитования, которые так часто подвергаются критике. Десятилетия назад, когда их не существовало, кредитный специалист принимал решение практически произвольно — и ваша судьба зависела от того, не напомнили ли вы ему кого-нибудь неприятного, или хорошо ли он спал ночью, или нет ли у него стереотипов об «инертных черных» или «ветреных женщинах». Возможно, кредитные истории далеки от идеала, но все-таки они представляют собой значительный прогресс. Также и я, хоть и не могу говорить, что моя система оценивания идеальна, все равно утверждаю, что она лучше, чем та, что используется для оценки прогнозиста в наши дни: по его титулам, уверенности, умению рассказать интересную историю, количеству проданных книг, появлений на CNN и времени, проведенному в Давосе.

Но даже самый скептически настроенный профессор гуманитарных наук, я полагаю, признает эти аргументы. Проблема лежит глубже — и возвращает нас к высказыванию относительно исчисляемого, которое не всегда считается.

Вопрос, который считается

Весной 2013 года я встретился с Полом Саффо, футуристом и сценарным консультантом из Силиконовой долины. В этот период на Корейском полуострове зрел очередной тревожный кризис, поэтому, описывая Саффо идею турнира прогнозистов, я упомянул заданный IARPA вопрос: попытается ли Северная Корея запустить многоступенчатую ракету в период между 7 января и 1 сентября 2013 года? Саффо счел вопрос тривиальным. Он сказал, что несколько полковников в Пентагоне могли бы им заинтересоваться, но вряд ли бы его задало большинство людей. «Более фундаментальный вопрос — „Чем все это обернется?“. И он куда сложнее». Затем Саффо предложил собственный ответ, длинный и гладко переходящий со страны на страну, с лидера на лидера, — яркое представление, знакомое каждому, кто посещал научно-исследовательские конференции или смотрел выступления экспертов по телевидению. Но был ли Саффо прав? Я даже сегодня не знаю. То, что он сказал, было слишком расплывчато, чтобы судить, — типичная форма для ответов на большие, важные вопросы из серии «чем все это обернется?».

Таким образом, мы сталкиваемся с дилеммой. То, что имеет значение, — большой вопрос, но ответ на него нельзя оценить. Маленький вопрос не имеет значения, но ответ на него можно оценить, поэтому турнир IARPA его задал. Вы могли бы сказать: мы с таким упорством пытались выглядеть учеными, что посчитали то, что не считается.

Это несправедливо. Вопросы на турнире оценивались экспертами на предмет сложности и соответствия текущим проблемам, которые решают разведывательные аналитики. Справедливо утверждать, что эти вопросы сфокусированы даже лучше больших вопросов, на которые мы все с удовольствием получили бы ответ — вроде вопроса: «Чем все это обернется?» Неужели нужно выбирать между большими и важными вопросами, которые нельзя оценить, и маленькими и не столь важными, которые оценить можно? Удовлетворения это вряд ли принесет. Но есть выход.

В вопросе Пола Саффо «Чем все это обернется?» подразумеваются недавние события, ухудшившие конфликт на Корейском полуострове. Северная Корея запустила ракету, нарушив резолюцию Совета Безопасности ООН. Она провела новые ядерные испытания. Она отказалась от перемирия 1953 года с Южной Кореей. Она обрушила на Южную Корею кибератаку, оборвала линии экстренной связи между правительствами и угрожала ядерным нападением на США. Если смотреть с этой стороны, очевидно, что большой вопрос состоит из множества маленьких. Один из них: «Испытает ли Северная Корея ракету?» Если да, это послужит легкой эскалации конфликта. Если нет — это может послужить небольшой разрядке. Крошечный вопрос не решил большой, но слегка прояснил ситуацию. И если задать множество крошечных, но уместных вопросов, мы сможем вплотную приблизиться к ответу на большой. Проведет ли Северная Корея еще одни ядерные испытания? Откажется ли от попыток дипломатических переговоров по поводу ее ядерной программы? Нанесет ли артиллерийский удар по Южной Корее? Обстреляет ли севернокорейский корабль южнокорейский? Ответы на эти вопросы обладают накопительным эффектом. Чем больше «да», тем вероятнее, что ответ на большой вопрос будет: «Все окончится плохо».

Я называю это байесовским объединением вопросов, потому что оно обладает фамильным сходством с корректировкой мнения Байеса, упомянутой в главе 7. Можно по-другому представить эту систему, если подумать о технике пуантилизма в живописи. Она представляет собой крошечные точки, нанесенные на холст. Каждая точка по отдельности мало что добавляет картине, но вместе они собираются в изображение. Из достаточного количества точек художник может изобразить что угодно, от яркого портрета до масштабного пейзажа.

Объединение вопросов в блок для форсирования понимания

На турнире IARPA были блоки вопросов, но они появились скорее как следствие событий, нежели как диагностическая стратегия. В будущих исследованиях я хочу разработать концепцию и посмотреть, насколько эффективно мы сможем ответить на «большие вопросы», неподвластные оцениванию, с помощью блоков маленьких.

Но Леона Визельтира это вряд ли смягчит. Начать с того, что я назвал свое исследование «Проект „Здравое суждение“», а оно вроде как намекает на то, что точное прогнозирование и здравое суждение — одно и то же. Но этого я не имел в виду. Предвидение — один из элементов здравого суждения, но есть и другие, включающие то, что не может быть подсчитано и пропущено через алгоритмы, — например, моральные суждения.

Еще один критерий здравого суждения — умение задавать вопросы. В самом деле, мы не получим прозорливый прогноз, предрекающий катастрофу или возможность, если не зададим хороший вопрос. Что такое хороший вопрос? Хороший вопрос заставляет нас задуматься над тем, над чем стоит задуматься. Поэтому один из способов определить, хорош вопрос или плох, — то, что я называю тестом «хлопни себя по лбу»: заново читая вопрос по прошествии какого-то времени, вы понимаете, что ответ настолько прост, что хлопаете себя по лбу и говорите: «Если бы я подумал об этом раньше!»

Вот один из таких вопросов, поставленных Томом Фридманом в сентябре 2002 года: «Когда я думаю о планах президента Буша сместить Саддама Хусейна и построить в Ираке демократическое общество, меня мучает один вопрос: Ирак сейчас такой, какой он есть, из-за того, что Саддам — такой человек? Или Саддам Хусейн — такой человек, потому что таков Ирак? То есть потому ли Ирак — тоталитарная диктатура, которую в железной хватке удерживает жестокий человек, что эта страна на самом деле арабская Югославия, то есть искусственное государство, состоящее из отдельных племен… Или Ирак к данному моменту уже сформировался в настоящую нацию? И как только железный кулак Саддама заменится более просвещенным правлением, талантливые образованные иракцы медленно создадут в своей стране федеральную демократию…» Вопрос Фридмана привлек внимание к тому, что, как мы теперь знаем, привело к дикой межконфессиональной вражде, разразившейся в Ираке с момента вторжения США в 2003 году. Так что такой вопрос проходит тест «хлопни себя по лбу». Это особенно примечательно, так как Фридман стал убежденным сторонником вторжения, в частности, потому, что его ожидания дальнейшего развития событий, вероятно, сильно отличались от того, что случилось на самом деле.

Хоть мы и подразумеваем, что суперпрогнозист должен быть также супервопрошателем и наоборот, на самом деле мы этого не знаем. Более того, моя научная теория заключается в том, что чаще всего это не так. Психологический портрет идеального суперпрогнозиста может сильно отличаться от портрета идеального супервопрошателя, потому что превосходная постановка вопросов зачастую, судя по всему, сопровождается типом мышления, проницательностью и уверенностью ежа: нужно обладать Большой Идеей, чтобы узреть глубокие движущие силы события. Такое мышление весьма отлично от лисьей эклектичности и чувствительности к неопределенности, которые характеризуют превосходного суперпрогнозиста.

Это предполагает другой взгляд на анализ, подобный тому, который проводит Фридман. Давайте вспомним колонку, которую Фридман написал в декабре 2014 года, — о последствиях резкого падения цен на нефть.

Последний раз, когда мир видел подобное крутое и длительное падение цен на нефть, — с 1986 по 1999 год. Оно имело серьезнейшие последствия для стран, зависящих от нефти, и стран, которые зависят от величия первых. Советская империя рухнула; в Иране избрали президента, который провел реформы; Ирак вторгся в Кувейт; Ясир Арафат, потеряв поддержку Советов и арабских банкиров, признал Израиль — и это только несколько примеров.

Каков вывод Фридмана? «Если сегодняшнее падение цен на нефть продолжится, нам тоже доведется увидеть много сюрпризов», особенно в странах с сырьевой экономикой: Венесуэле, Иране и России.

Итого — обтекаемое предупреждение о неуточненных сюрпризах в необозначенных временных рамках. На прогноз не особо тянет. Такого рода предсказания показывают, почему некоторые люди считают Фридмана особенно успешными и изворотливым экспертом, который отточил умение создавать впечатление, что он сильно рискует, хотя на самом деле все совсем не так. Но тот же текст можно прочитать не как прогноз, а как попытку привлечь внимание прогнозистов к чему-то, о чем им следует задуматься. Другими словами, это тоже вопрос, а отнюдь не ответ.

Неизвестно, могут ли суперпрогнозисты делать предсказания лучше, чем Фридман, но на сегодняшний день это не имеет отношения к делу. Суперпрогнозисты и супервопрошатели должны признать, что дополняют друг друга, а не концентрироваться на предполагаемых слабостях друг друга. Фридман ставит провокационные вопросы, которые суперпрогнозисты должны использовать, чтобы отточить навык предвидения; суперпрогнозисты выдают хорошо откалиброванные ответы, которые супервопрошатели должны использовать, чтобы настраивать, а периодически и перестраивать ментальные модели реальности. «Том против Билла» — противопоставление, с которого мы начали эту книжку, наша последняя ложная дихотомия. Нам нужен симбиоз Тома и Билла.

Это непростая задача. Но хотелось бы видеть и еще более масштабное сотрудничество. Оно стало бы священным граалем моей исследовательской программы: использовать турниры прогнозирования, чтобы деполяризовать без нужды поляризованные политические дебаты и сделать всех нас умнее.

И последняя идея

В октябре 2014 года репортеры агентства Bloomberg оказали мне большую услугу, связавшись с подписантами письма, которое я упоминал в главе 3, — послания председателю Федеральной резервной системы Бену Бернанке в ноябре 2010 года, предупреждавшего, что плановое приобретение активов «содержит риск обесценивания валюты и инфляции». Бернанке проигнорировал это предупреждение и продолжил свою политику. В последующие годы американский доллар не ослаб, инфляция не усилилась. Многие критики сказали, что это доказало неправоту подписантов, но в главе 3 я уже замечал, что нечеткие формулировки в письме не позволяют утверждать это со всей определенностью.

Через несколько месяцев после того, как я написал эту главу, репортеры Bloomberg спросили у подписантов, что они думают по поводу своего письма теперь, оглядываясь в прошлое. Те, кто согласился ответить, единодушно сказали, что были правы. Они бы не изменили ни слова.

Причины такой убежденности подпадают под две категории. Во-первых, людям только кажется, что прогноз не сбылся, потому что они используют не те мерки. «Я считаю, что инфляция сейчас большая, — сообщил Bloomberg финансовый комментатор Джеймс Грант. — На кассе магазина она необязательно ощущается, но на Уолл-стрит — определенно». Во-вторых, если вы внимательно взглянете на язык письма, становится очевидно, что его правота не была доказана. «Обратите внимание на слово „риск“. И на отсутствие даты, — сказал Bloomberg Ниал Фергюсон. — На самом деле риск обесценивания валюты и инфляции существует до сих пор».

Это отлично высвечивает основной недостаток столь большого количества политических дебатов в наши дни.

Вспомните, какие яростные споры вызвали экономические потрясения 2008–2009 годов. Схлестнулись два лагеря — кейнсианцы и сторонники строгой экономии. Кейнсианцы призывают к героической импровизации определенных банков и агрессивному дефицитному бюджетному финансированию со стороны правительств. Сторонники строгой экономии призывают, соответственно, к экономии — урезанию правительственных бюджетных расходов — и предупреждают, что кейнсианская политика приведет к инфляции и падению валютного курса. В итоге правительства прибегли к различным компромиссам. В одних странах они скорее придерживались кейнсианской политики, в других — политики строгой экономии. Прошло время. И что в итоге? Что вообще должно было случиться? Нужно знать это, чтобы сравнить предсказание и реальный ход истории; а если люди оказались бы не правы, они должны были признать это и соответствующим образом перестроить свое мышление. Чистая логика — но ничего больше Как якобы сказал Дж. М. Кейнс, хотя на самом деле он этого не говорил: «Когда факты меняются, я меняю свое мнение. А вы что делаете, сэр?»

Как выясняется, немногое, сэр. Люди так редко меняют точку зрения, что, когда президент Федерального резервного банка в Миннеаполисе, сторонник политики строгой экономии, публично объявил, что события продемонстрировали правоту кейнсианцев, его высказывание попало на первые полосы — и заголовки тогда могли бы гласить: «Человек меняет свою точку зрения в ответ на доказательства противоположной». Опрос, проведенный Bloomberg в 2014 году по поводу написанного в 2010 году письма, демонстрирует полный провал его авторов. Я не утверждаю, что они были не правы по существу. Вне пределов своей специализации я агностик. Провалом тут, скорее, можно назвать сам процесс: в 2010 году одна группа выразила свои убеждения в письменном виде и предупредила, что, если политика Бернанке продолжится, она приведет к определенным результатам. Другая группа выразила бурное несогласие. Прошло четыре года — и никто из них не изменил свою точку зрения. Это должно вызывать чувство неудовлетворения у всех, вне зависимости от взглядов на проблему.

За прошедшие годы неоднократно предпринимались попытки извлечь уроки из событий, но по большей части эти попытки представляли из себя грубую силу. Чаще всего в колонках Пола Кругмана, чья Нобелевская премия в области экономики и кафедра проповедника в New York Times превратили его в самого выдающегося кейнсианца, происходило избиение оппонентов как за провалы в прогнозировании, так и за то, что они эти провалы не признают. Оппоненты Кругмана наносили ответные удары. Ниал Фергюсон написал каталог в трех частях, посвященный, по его утверждению, провалам Кругмана. Так и продолжалось с обеих сторон: они выискивали в прогнозах друг друга ошибки, отражали атаки и обменивались обвинениями. Поклонников той или иной стороны это, возможно, увлекало, но в глазах людей, надеявшихся, что мы все в процессе станем умнее, это выглядело как чудовищная свара, больше похожая не на спор великих умов, а на забрасывание друг друга едой, затеянное соперничающими студенческими группировками. Состоявшиеся люди спорили о важных проблемах, но при этом никто, похоже, ничему не научился — разве что защищать свою изначальную позицию.

Мы можем лучше. Вспомните «состязательное сотрудничество» Даниэля Канемана и Гари Клейна. Два психолога добились успеха, разрабатывая очевидно противостоящие друг другу школы мысли, в результате чего точка зрения одного из них угрожала авторитету другого и наоборот. Но они оба были твердо намерены играть по основным научным правилам, поэтому сошлись, чтобы обсудить, почему их точки зрения так отличаются и как можно прийти к согласию. Что-то подобное можно, в принципе, сделать и в прогнозировании.

Когда начинаются дебаты вроде «кейнсианцы против сторонников строгой экономии», ключевые фигуры должны работать сообща — и с помощью доверенных третьих сторон, — чтобы определить, по каким пунктам они не согласны и какие прогнозы могут надежно протестировать эти разногласия. Ключ — в точности. Одно дело, когда сторонники экономии говорят, что определенная политика вызовет инфляцию, а кейнсианцы это отрицают. Но какую инфляцию? По какой шкале ее оценивать? За какой период времени? В результате нужно сформулировать конкретный, требующий прогноза вопрос, который снизит неоднозначность до абсолютного минимума.

Одна точка на холсте — еще не картина, и один вопрос не может решить сложный теоретический спор. Должно появиться много вопросов и их блоков. Конечно, может случться так, что при большом количестве заданных вопросов одна сторона окажется права в одних прогнозах и не права в других — и итоговый результат не попадет на первые полосы, куда иногда попадают прогнозы знаменитостей. Но, как говорят программисты, «это не баг, а фича». Распространенная точка зрения редко когда не имеет под собой никакого основания, и, если в ходе состязания прогнозистов решение оказывается двойственным, это означает, что реальность оказалась более запутанной, чем предполагала каждая из сторон. Если цель — научиться чему-то, а не позлорадствовать, то это определенно прогресс.

Важно то, что сотрудничество Канемана и Клейна предполагало добросовестность. Каждая сторона хотела оказаться правой, но еще больше они хотели добиться правды. К сожалению, на шумных политических аренах доминируют пронзительные голоса, совершенно не заинтересованные в состязательном сотрудничестве. Но давайте не делать характерную для циников ошибку и предполагать, что в спорах участвуют только те, кто в них доминирует. Мы слышим в основном их, потому что они самые громкие, а СМИ любят людей, кричащих в рупор. Но есть и менее громкие и более разумные голоса. Пусть они, сообща с соперниками и ведущим, разработают четкие тесты своих взглядов. Когда результаты не будут соответствовать их убеждениям, кто-то попытается подогнать факты под свою точку зрения, но поплатится за это репутацией. Другие совершат благородный поступок и скажут: «Я был(а) не прав(а)». Но самое главное — мы все будем за этим наблюдать, увидим результаты и станем немного умнее.

Все, что нам нужно, — начать серьезно относиться к ведению счета.