Наше исследование интеллектуального взрыва выявило несколько серьезных вопросов. Искусственный интеллект человеческого уровня, когда он будет получен, окажется сложной системой, а сложные системы иногда отказывают вне зависимости от того, используют ли они программное обеспечение или нет. Системы ИИ и когнитивные архитектуры, о которых мы начали говорить, настолько сложные, по утверждению автора книги «Нормальные аварии» (Normal Accidents) Чарльза Перроу, что мы не можем предусмотреть все варианты комплексных отказов, которые могут в них возникнуть. Мы не отступим от истины, если скажем, что УЧИ, скорее всего, будет реализован как когнитивная архитектура и что по размерам и сложности он может превзойти облачный кластер из 30 ООО процессоров, выстроенный не так давно компанией Cycle Computing. А эта компания сама хвасталась, что «кошка- чудовище» была слишком сложная, чтобы за ее работой мог следить (чтобы его мог по-настоящему понять) человек.
Добавьте к этому тот тревожный факт, что части вероятных систем УЧИ, такие как генетические алгоритмы и нейронные сети, принципиально непознаваемы — мы не можем точно сказать, почему они принимают те или иные решения. И при всем том среди людей, работающих над созданием ИИ и УЧИ, лишь небольшая часть хотя бы сознает, что на этом пути нам могут грозить опасности. Большинство не рассматривает катастрофические сценарии и не планирует своего поведения на этот случай. Инженеры-атомщики Чернобыля и Тримайл-Айленда глубоко изучали всевозможные аварийные сценарии, но даже они не сумели эффективно вмешаться. Какие шансы справиться с УЧИ будут у неподготовленных ученых?
Наконец, подумайте о DARPA. Без этого агентства информатика как наука и все, что она нам дала, были бы сегодня на значительно более примитивном уровне. ИИ, если бы все же разрабатывался, сильно отставал бы от нынешнего состояния. Но DARPA — оборонное ведомство. Сознает ли оно, насколько сложным и непознаваемым может оказаться УЧИ? Готово ли к тому, что у УЧИ будут собственные потребности и мотивации, помимо тех задач, для решения которых он будет создан? Или получатели грантов DARPA вооружат продвинутый ИИ раньше, чем будет создана этика его использования?
Ответы на эти вопросы, когда они будут получены, могут нам не понравиться, особенно если не забывать о том, что на кону стоит будущее человечества.
Рассмотрим еще одно возможное препятствие для интеллектуального взрыва — сложность программного обеспечения. Утверждается следующее: мы никогда не получим УЧИ, или искусственный разум человеческого уровня, потому что задача его создания окажется слишком сложной для нас. Если это правда, то никакой УЧИ не сможет усовершенствовать себя в достаточной степени, чтобы запустить интеллектуальный взрыв. Искусственный разум не сможет создать чуть более умную версию самого себя, эта версия не построит еще более умный ИИ и т. д. Те же ограничения распространяются и на человеко-машинную связь — не исключено, что она сможет укрепить и усилить человеческий интеллект, но никогда по-настоящему не превзойдет его.
Посмотрим, как давно человек исследует проблему сложного программирования. В 1956 г. Джон Маккарти, которого называют отцом ИИ (именно он пустил в обращение термин «искусственный интеллект»), объявил, что всю проблему УЧИ можно решить за полгода. В 1970 г. пионер ИИ Марвин Мински сказал: «За период от трех до восьми лет мы получим машину, сравнимую по общему интеллекту со средним человеческим существом». Учитывая состояние науки на тот момент и пользуясь преимуществами послезнания, скажем, что оба они страдали от гордыни в классическом смысле. Греки под гордыней понимали высокомерие, причем часто по отношению к богам. Грех гордыни приписывали людям, которые пытались выйти за рамки человеческих возможностей. Вспомните Икара, попытавшегося подняться к Солнцу, Сизифа, сумевшего перехитрить Зевса (по крайней мере, на какое-то время), и Прометея, давшего людям огонь. Пигмалион, согласно мифологии, был скульптором и влюбился в одну из своих статуй, в Галатею (в переводе с греческого ее имя означает «спящая любовь»). Но Пигмалион не понес наказания. Вместо этого Афродита, богиня любви, оживила Галатею. Гефест, греческий бог-кузнец, помимо всего прочего, любил делать железные машины, которые помогали в работе с металлами. Он создал Пандору с ее ящиком, и Талоса — бронзового гиганта, защищавшего Крит от пиратов.
Парацельс, великий средневековый алхимик, известный тем, что связал медицину с химией, будто бы придумал формулу создания человекоподобных существ и гибридов человека и животных, называемых гомункулусами. Наполните мешок человеческими костями, волосами и спермой, затем заройте его вместе с лошадиным навозом. Подождите сорок дней. Народится человекоподобный младенец и будет жить, если кормить его кровью. Он навсегда останется крохотным, но будет выполнять ваши приказы, пока не взбунтуется и не убежит. А если вы хотите получить помесь человека с другим животным, скажем, с лошадью, замените в рецепте человеческие волосы конскими. Я, надо сказать, мог бы придумать десяток применений крохотному человечку (чистить теплопроводные каналы в стенах и т. п.), но вот к какому делу можно приставить крохотного кентавра, ума не приложу.
Задолго до появления Лаборатории робототехники в МТИ и «Франкенштейна» Мэри Шелли существовала еврейская легенда о големе. Подобно Адаму, голем — существо мужского пола, сотворенное из глины. В отличие от Адама, голем оживлен не дыханием Господа, а распевными словами и числами, которые произносит равви-каббалист, верящий в упорядоченность Вселенной и божественность чисел. Имя Бога, написанное на клочке бумаги и вложенное в рот, поддерживает в этом безгласном, но вечно растущем существе «жизнь». В еврейском фольклоре раввины-волшебники использовали голе- мов в качестве лакеев и домашних слуг. Самый знаменитый голем по имени Йосель, или Иосиф, был создан в XVI в. главным раввином Праги Иехудой Лёвом. В эпоху, когда евреев то и дело обвиняли в использовании крови христианских младенцев при приготовлении мацы, Йосель без устали разоблачал «кровавых» клеветников, ловил воров в еврейском квартале Праги и вообще помогал рабби Лёву бороться с преступностью. В конце концов, согласно легенде, Йосель взбесился и начал крушить все вокруг. Чтобы спасти соплеменников, раввин вступил с големом в схватку и вынул оживляющий клочок бумаги из его рта. Йосель рассыпался на куски. По другой версии, рабби Лёв был раздавлен падающим гигантом насмерть — уместное наказание за гордыню, толкнувшую его на акт творения. Еще по одной версии, жена рабби Лёва приказала Йоселю принести воды, а он начал носить и носил до тех пор, пока дом его создателя не был полностью затоплен. В информатике незнание того, остановится программа вовремя или нет, называют «проблемой остановки». Хорошие программы работают до тех пор, пока не встретят команду остановиться, и в общем случае невозможно сказать наверняка, остановится ли когда-либо данная конкретная программа. В случае с големом жене рабби Лёва следовало уточнить, сколько воды нужно принести, — скажем, сто литров, — и тогда Йосель, вероятно, остановился бы, выполнив задание. Если верить легенде, она этого не сделала.
Проблема остановки — серьезный вопрос для программистов; бывает, что до запуска готовой программы не удается обнаружить скрытый в тексте бесконечный цикл. Кроме того, есть еще один интересный факт: невозможно написать приложение, которое определяло бы, актуальна ли для той или иной программы проблема остановки. На первый взгляд представляется, что такой диагностический отладчик вполне возможен, но еще Алан Тьюринг обнаружил, что это не так (причем до того, как появились компьютеры и программирование). Он сказал, что проблема остановки нерешаема, потому что, если отладчик наткнется на проблему остановки в тестируемой программе, он сам войдет в бесконечный цикл и не сможет определить присутствие этой проблемы. Вам, программисту, придется ждать от него ответа ровно столько же, сколько вы прождали бы остановки первоначальной программы. То есть очень долго, а может быть, даже целую вечность. Один из отцов искусственного интеллекта Марвин Мински указал, что «любой конечный автомат, будучи предоставлен сам себе, со временем перейдет в периодический повторяющийся режим. Продолжительность этого цикла не может превосходить число возможных внутренних состояний машины». Иными словами, при прогоне проблемной программы компьютеру с памятью средней емкости потребуется очень много времени, чтобы перейти в полностью циклический режим, который могла бы заметить диагностическая программа. Насколько много? В некоторых случаях больше, чем просуществует Вселенная. Так что для практических целей проблема остановки означает невозможность точно сказать, остановится данная конкретная программа или нет.
Заметив неспособность Йоселя самостоятельно остановиться, рабби Лёв мог исправить дело, «подлатав программу»; в данном случае ему нужно было бы вынуть бумагу с именем Бога изо рта гиганта. В конце концов Йоселя заперли, говорят, на чердаке Староновой синагоги в Праге, и ему суждено ожить вновь перед концом света. Рабби Лёв — реальное историческое лицо — похоронен на еврейском кладбище в Праге (недалеко, надо сказать, от Франца Кафки). А миф о Йоселе настолько жив среди потомков еврейских семей Восточной Европы, что еще в прошлом веке дети заучивали стишок, который должен будет пробудить голема в конце времен.
Следы рабби Лёва можно различить на всех «потомках» голема, от очевидного «Франкенштейна» к «Властелину колец» Толкиена и к компьютеру Hal 9000 из классического фильма Стэнли Кубрика «2001. Космическая одиссея». Среди специалистов-компьютерщиков, которые консультировали Кубрика по поводу робота-человекоубийцы, были Марвин Мински и Джон Гуд. Гуд в то время только-только написал об интеллектуальном взрыве и считал, что он произойдет в ближайшие двадцать лет. Вероятно, избрание в 1995 г. в Академию киноискусства и кинотехники в связи с этим фильмом стало для него потрясением.
Судя по истории ИИ, написанной Памелой Маккордак, среди пионеров компьютерных наук и искусственного интеллекта немало тех, кто считает себя прямыми потомками рабби Лёва. Среди них Джон фон Ньюман и Марвин Мински.
И все же в каком-то смысле мы уже сумели превзойти интеллектуальный уровень любого человека при помощи технологий. Достаточно объединить человека, обладающего средним коэффициентом интеллекта, с поисковым движком Google — и получится команда, которая будет умнее человека, то есть человек с усиленным интеллектом. УИ вместо ИИ. Вернор Виндж убежден, что возможность подсоединить к человеческому мозгу устройство, которое обеспечит ему дополнительную скорость, память и интеллект, — это один из верных путей к будущему интеллектуальному взрыву.
Припомните самого умного человека среди ваших знакомых и выставьте его мысленно против гипотетической команды человека-Google в конкурсе на фактические знания и, скажем, разложение на простые множители. Команда из человека и Google выиграет без малейших усилий. В решении сложных задач человек с более мощным интеллектом, скорее всего, победит, хотя команда с участием Google, вооруженная всеми знаниями Сети, вполне может оказать достойное сопротивление.
Можно ли считать, что знания — то же самое, что интеллект? Нет, но знания — усилитель интеллекта, если интеллект, помимо всего прочего, — это способность действовать в окружающем вас мире гибко и интенсивно. Предприниматель и производитель ИИ Питер Фосс рассуждал, что если бы Аристотель обладал базой знаний Эйнштейна, он вполне мог бы выдвинуть общую теорию относительности. Поисковый движок Google, в частности, многократно повысил производительность труда в тех областях, где требуются исследования, поиск информации и составление текстов. Задачи, которые раньше требовали долгих исследований — нужно было идти в библиотеку, рыться в книгах, журналах и специализированных картотеках, разыскивать экспертов, писать или звонить им, — теперь решаются легко, быстро и дешево. Конечно, в значительной степени повышение производительности обеспечивает сам Интернет. Но в огромном океане содержащейся в нем информации можно утонуть, если не пользоваться умными инструментами для извлечения оттуда той небольшой ее части, которая вам нужна. Как Google это делает?
Разработанный Google алгоритм под названием PageRank присваивает каждому сайту в Интернете числовое значение от 0 до 10. Страничка с индексом 1 по PageRank считается вдвое «качественнее», или «авторитетнее», странички с индексом 0. Индекс 2 означает вдвое более высокое «качество», чем 1, и т. д.
«Качество» определяется по целому набору переменных. Здесь важен размер — более объемные сайты считаются более качественными, как и более старые. Много ли на страничке содержимого — слов, графики, предложений по загрузке? Если много, страничке присваивается более высокий ранг. Насколько быстро сайт работает? Сколько у него связей с качественными сайтами? Эти и другие факторы также вносят свой вклад в индекс по PageRank.
Когда вы вводите в окне поисковика слово или фразу, Google производит гипертекстовый анализ и находит наиболее релевантные для вашего запроса сайты. Гипертекстовый анализ состоит в поиске введенного слова или фразы с одновременным просмотром и оценкой содержимого страницы, включая количество и богатство использованных шрифтов, деление на страницы и положение искомых слов на сайте. Поисковик проверяет, как искомые слова используются на странице, и не забывает заглянуть на соседние странички сайта. А поскольку PageRank уже отобрал самые важные сайты из всего Интернета, то Google не обязательно оценивать таким образом всю Сеть — можно ограничиться лишь сайтами с максимальным индексом качества. В сочетании текстовый анализ и ранжирование выдают тысячи сайтов, удовлетворяющих вашему запросу, за несколько секунд, несколько миллисекунд или с той же скоростью, с какой вы печатаете запрос.
А теперь ответьте на вопрос: насколько продуктивнее сегодня работает информационная команда, чем до появления Google? Вдвое продуктивнее? Впятеро? Как сказался на нашей экономике тот факт, что значительный процент работников внезапно удвоил, утроил или еще сильнее увеличил производительность? С одной — светлой — стороны, благодаря повышению производительности труда из-за внедрения информационных технологий увеличился валовый национальный продукт. С другой — темной — стороны, этот процесс влечет за собой увольнения и безработицу, вызванные широким спектром все тех же информационных технологий, включая и Google.
Конечно, не стоит смешивать хорошее программирование и интеллект, но я бы рискнул утверждать, что система Google и ей подобные — в самом деле интеллектуальные инструменты, а не просто хитрые программы. Они освоили узкую специализацию — информационный поиск — так, что с ними не сравнится ни один человек. Более того, Google предоставляет Интернет — крупнейшее в истории человечества хранилище знаний — в полное ваше распоряжение. Причем, что очень важно, все эти знания доступны практически мгновенно, быстрее, чем когда-либо ранее (простите меня, Yahoo! Bing, Altavista, Excite, Dogpile, Hotbot и Love Calculator). Письменность часто описывают как внешнюю память. Она позволяет нам откладывать наши мысли и воспоминания для дальнейшего пересмотра и распределения. Google восполняет важные для нас аспекты интеллекта, которыми мы не располагаем и которые без него нам взять неоткуда.
Google и вы вместе и есть ИСИ.
Аналогично, наш интеллект можно серьезно усилить путем мобилизации мощных информационных технологий, к примеру, полноценного использования наших мобильных телефонов, многие из которых по вычислительной мощности сравнимы с персональными компьютерами примерно 2000 года выпуска, а в расчете на один доллар обладают в миллиард раз большей мощностью, чем вычислительные машины 1960-х. Мы, люди, мобильны, и для настоящей эффективности усилители интеллекта тоже должны быть мобильны. Интернет и другие источники знаний, не последним из которых является навигация, обретают новую мощь и глубину, когда мы получаем возможность всюду носить их с собой. Возьмите простой пример: сильно ли поможет настольный компьютер, случись вам заблудиться ночью в криминальном районе города? Готов держать пари, толку от него будет намного меньше, чем от вашего iPhone с говорящей картой и навигационной программой.
Поэтому автор журнала Technology Review, выходящего в МТИ, Эван Шварц дерзко утверждает, что мобильный телефон становится «главным инструментом человечества». Он отмечает, что в мире уже продано более пяти миллиардов аппаратов, или ненамного меньше, чем по одному на каждого человека.
Следующий шаг усиления интеллекта — поместить все усиливающее оборудование, содержащееся сегодня в смартфоне, внутрь человеческого тела — и подсоединить непосредственно к мозгу. Сегодня мы общаемся с компьютерами посредством ушей и глаз, но в будущем, пожалуй, стоит представить себе вживленные устройства, позволяющие откуда угодно связаться с облаком. Если верить автору книги «Великий переход» (Big Switch) Николасу Карру, именно такое будущее видит для поискового движка один из основателей Google Ларри Пейдж.
«Идея в том, что вам не нужно больше сидеть за клавиатурой, чтобы находить информацию, — пишет Карр. — Процесс становится автоматическим, возникает что-то вроде сплава машины и разума. Ларри Пейдж говорил о сценарии, при котором вам достаточно мысленно задать вопрос, и Google тут же нашепчет ответ вам в ухо посредством сотового телефона». Возьмите, к примеру, недавний анонс очков Project Glass, позволяющих проводить Google-поиск и видеть результаты, шагая по улице, — непосредственно в поле зрения.
«Представьте себе очень близкое будущее, когда вы не будете ничего забывать, потому что компьютер всегда все помнит, — сказал бывший исполнительный директор Google Эрик Шмидт. — Вы не сможете заблудиться. Вы никогда не почувствуете одиночества». С появлением на iPhone такого способного виртуального помощника, как Siri, сделан первый шаг этого сценария. В области поиска у Siri есть одно громадное преимущество перед Google — он выдает только один ответ. Google предлагает десятки тысяч, даже миллионы вариантов, которые могут оказаться, а могут и не оказаться полезными в вашем поиске. В некоторых областях поиска — при общем поиске, поиске дороги или фирмы, составлении расписания, работе с почтой и текстом или редактировании профилей в социальных сетях — Siri пытается определить контекст и смысл запроса и дать вам один-единственный наилучший ответ. Не говоря уже о том, что Siri слушает вас, добавляя распознавание устной речи к своим возможностям продвинутого мобильного поиска. Свои ответы программа тоже произносит. И, самое главное, она учится. Судя по патентам, оформленным в последнее время компанией Apple, скоро Siri начнет взаимодействовать с онлайн-продавцами, покупая у них такие вещи, как книги и одежда, а также принимать участие в онлайн- форумах и отвечать на звонки службы клиентской поддержки.
Мы миновали громадную веху на пути собственной эволюции. Мы уже разговариваем с машинами. Это гораздо более серьезное нововведение, чем пресловутый GUI — графический пользовательский интерфейс, созданный DARPA и доведенный до потребителей компанией Apple (с благодарностью Исследовательскому центру Xerox в Пало-Альто). Получила распространение метафора о том, что с момента появления GUI компьютеры работают как люди, со столами и папками, а мышка — это просто заменитель руки. DOS был основан на противоположной идее — чтобы работать с компьютером, необходимо было выучить его язык, состоявший из негибких команд, которые нужно было набирать вручную. Теперь все совсем иначе. Завтрашние технологии будут с большим или меньшим успехом учиться тому, чему учимся мы, и помогать нам в этом.
Как и в случае с GUI, другие операционные системы возьмут на вооружение новинку Apple — Siri — или погибнут. И, разумеется, использование естественного языка распространится на настольные компьютеры и планшеты, а очень скоро — и на все прочие цифровые устройства, включая ми- кроволновки, посудомоечные машины, системы отопления, охлаждения и развлечения, а также, само собой, автомобили. Или, может быть, все они будут управляться тем самым телефоном, который лежит у вас в кармане и который в очередной раз превратится в нечто совершенно иное. Это будет не виртуальный помощник, а просто помощник и его способности будут множиться с ростом быстродействия. Судите сами, случайно ли именно с него начался реальный диалог между человеком и машиной, который продлится так долго, как долго будет существовать наш биологический вид.
Но вернемся на минуту в настоящее и послушаем Эндрю Рубина, старшего вице-президента Google по мобильным приложениям. Если его точка зрения победит, то Android не будет участвовать ни в каких играх с виртуальными помощниками. «Я не думаю, что ваш телефон должен быть каким-то помощником, — сказал Рубин, наглядно демонстрируя, каково это — опоздать на пароход. — Ваш телефон — это средство связи. Вы не должны общаться с телефоном; вы должны общаться с человеком на другом конце линии». Кому-то следовало мягко напомнить Рубину о голосовом приложении Voice Action, которое его команда уже протащила в систему Android. Они-то знают, что будущее — за общением с телефоном.
Несмотря на то что вы + Google обладаете интеллектом в определенном смысле выше человеческого, это не тот интеллект, который возникнет в результате интеллектуального взрыва; кроме того, этот интеллект не породит интеллектуальный взрыв. Вспомните, что для интеллектуального взрыва необходима система, которая обладала бы самосознанием и способностью к самосовершенствованию, а также имела в своем распоряжении необходимые компьютерные сверхвозможности. Такая система могла бы работать с полной сосредоточенностью круглосуточно и без выходных, атаковать задачи целой командой из собственных копий, мыслить стратегически с безумной скоростью и много чего еще. Можно предположить, что вы+Google представляете собой особую разновидность сверхразума, но ваш рост ограничен вашими возможностями и возможностями Google. Вы не в состоянии формулировать запросы для Google круглосуточно и без выходных, да и Google, экономя ваше время на поиске, заставляет напрасно его тратить, выбирая лучший ответ из множества вариантов. И даже если вы успешно работаете вместе, вы, скорее всего, не программист, a Google не умеет программировать. Так что, даже если вы заметите в своей системе недостатки, ваши попытки их исправить, вероятно, не выльются в пошаговое продвижение вперед. Нет, человеку интеллектуальный взрыв не светит.
Может ли усиление интеллекта в принципе привести к интеллектуальному взрыву? Конечно, примерно по той же схеме, что УЧИ. Представьте себе человека, элитного программиста, чей интеллект настолько усилен, что и без того значительное мастерство программирования еще возрастает — он работает быстрее, увеличивает запас знаний и настраивается на улучшения, способные повысить его общую интеллектуальную мощь. Такой гипотетический постчеловек вполне мог бы запрограммировать для себя следующий этап усиления.
* * *
Вернемся к сложности программного обеспечения. По всем признакам компьютерщики многих стран работают изо всех сил, пытаясь собрать воедино взрывчатые ингредиенты для интеллектуального взрыва. Станет ли сложность программного обеспечения непреодолимым барьером на их пути?
Представление о том, насколько сложна эта проблема, можно получить, узнав у специалистов, как скоро следует ждать появления УЧИ. На одном конце шкалы окажется директор по исследованиям Google Питер Норвиг, который, как мы уже упоминали, готов сказать лишь, что до УЧИ еще слишком далеко, чтобы об этом говорить. Тем временем коллеги Нор- вига под предводительством Рэя Курцвейла продолжают работать над созданием УЧИ.
На другом конце шкалы находится Бен Гертцель, который, как Гуд в свое время, считает, что создание УЧИ — всего лишь вопрос денег, и что он вполне может быть создан до 2020 г. Рэй Курцвейл — вероятно, лучший в истории технический прогнозист, — предсказывает появление УЧИ к 2029 г., но не ждет ИСИ раньше 2045 г. Он признает сложности на этом пути, но не жалеет энергии для убеждения окружающих в том, что ИСИ ждет долгое и безопасное путешествие в процессе рождения.
Мой неформальный опрос приблизительно двух сотен компьютерщиков на недавней конференции по УЧИ подтвердил подозрения. Ежегодная конференция по УЧИ, организованная Гертцелем, представляет собой трехдневную площадку для встречи людей, активно работающих над созданием искусственного интеллекта человеческого уровня, или таких, как я, кто просто глубоко интересуется этим вопросом. Участники конференции представляют свои работы, образцы программ, хвалятся своими успехами. Я был на конференции, которая проходила в штаб-квартире Google в Маунтин-Вью (штат Калифорния). Я задавал присутствующим вопрос, когда следует ожидать появления УЧИ, и предлагал на выбор четыре варианта: к 2030 г., к 2050 г., к 2100 г. или никогда. Голоса распределились следующим образом: 42 % считает, что УЧИ будет создан к 2030 г.; 25 % — к 2050 г.; 20 % — к 2100 г.; и 2 % — никогда. Этот опрос, проведенный среди весьма специфической группы людей, подтвердил оптимистический настрой и временные рамки более формальных исследований, одно из которых я цитировал в главе 2. Среди письменных ответов я получил несколько жалоб на то, что не включил в число вариантов даты ранее 2030 г. Мне кажется, примерно 2 % респондентов ответили бы, что УЧИ появится к 2020 г., и еще 2 % — что еще раньше. В былые времена меня поражал подобный оптимизм, но теперь я перестал удивляться. Я воспользовался советом Курцвейла и теперь тоже считаю, что информационные технологии развиваются не линейно, а по экспоненте.
Но теперь, если вам случится оказаться в зале, где все присутствующие глубоко погружены в исследования УЧИ, и захочется развлечься, объявите громко: «УЧИ никогда не будет создан! Это попросту слишком сложно!» Гертцель, к примеру, в ответ на это заявление посмотрел на меня так, как будто я вдруг начал проповедовать креационизм. Сам Гертцель, как и Виндж, был когда-то профессором математики, и о будущем ИИ он судит по истории дифференциального исчисления.
Если вы посмотрите, как математики вычисляли до Исаака Ньютона и Готфрида Лейбница, то увидите, что вычисление производной кубического многочлена занимало сотни страниц. Делалось это при помощи треугольников, подобных треугольников, хитрых диаграмм и тому подобного. Это было ужасно. Но теперь, когда у нас есть проработанная теория дифференциального исчисления, взять производную от кубического многочлена способен любой идиот-старшеклассник. Это совсем несложно.
Словно дифференциальное исчисление, развивающееся несколько столетий, исследования ИИ будут постепенно продвигаться, пока продолжающаяся практика не приведет к открытию новых теоретических правил, которые позволят специалистам формализовать значительную часть работы; с этого момента движение к УЧИ пойдет проще и быстрее.
Ньютон и Лейбниц получили инструменты, такие как правило сложения, правило умножения, правило дифференцирования сложной функции, то есть все те базовые правила, которые мы сегодня изучаем в начальном курсе дифференциального исчисления, — продолжал он. — Пока этих правил не было, каждую задачу такого рода приходилось решать с нуля, как будто на пустом месте, а это гораздо сложнее. Так что математика ИИ у нас сегодня на уровне математики дифференциального исчисления, созданного Ньютоном и Лейбницем, и доказательство даже самых простых вещей, касающихся ИИ, требует безумного количества хитроумных вычислений. Но со временем у нас появится удобная теория разума, точно так же как когда-то появилась удобная теория дифференциального исчисления.
Но отсутствие удобной теории принципиально ничего не меняет.
Гертцель говорит:
Возможно, нам потребуется научный прорыв в строгой теории интеллекта человеческого уровня, прежде чем мы сможем сконструировать реальную систему УЧИ. Но пока я подозреваю, что это не обязательно. Я считаю, что можно, по идее, создать мощную систему УЧИ, двигаясь пошагово от нынешнего уровня наших знаний и занимаясь практическим конструированием без полного и строгого понимания теории разума.
Мы уже говорили, что проект Гертцеля OpenCog организует аппаратное и программное обеспечение в так называемую «когнитивную архитектуру», призванную моделировать деятельность мозга. И эта архитектура может в один прекрасный момент сделаться мощной и, возможно, непредсказуемой вещью. Где-то на пути развития, еще до создания всеобъемлющей теории человеческого разума, утверждает Гертцель, OpenCog может достичь уровня УЧИ.
Звучит безумно? Журнал New Scientist предположил, что система LIDA Университета Мемфиса, аналогичная OpenCog (мы уже говорили о ней в главе 11), демонстрирует признаки рудиментарного сознания. В самом общем плане принцип, известный как Теория глобального рабочего пространства, на котором построена LIDA, утверждает, что у человека ощущения, поступающие от органов чувств, просачиваются в подсознание и остаются там до тех пор, пока не станут достаточно важными, чтобы сообщить о них всему мозгу. Это и есть сознание, и его можно измерить при помощи простых заданий на осознанность, таких как нажатие кнопки при вспыхивании зеленой лампочки. Хотя кнопка у LIDA была «виртуальной», результаты тестов оказались вполне сравнимы с человеческими.
С подобными технологиями подход Гертцеля «поживем — увидим» представляется мне рискованным. Он намекает на создание того, что я уже описывал, — сильного машинного интеллекта, аналогичного, но не эквивалентного человеческому и куда менее понятного. Такой подход грозит серьезными и неприятными сюрпризами — как если бы УЧИ мог однажды просто появиться перед нами, застав нас недостаточно готовыми к «нормальным» авариям и, разумеется, без надежной защиты в лице формального дружественного ИИ. Как говорится: «Если достаточно долго идти по лесу, встретишь голодного медведя».
Елиезер Юдковски испытывает такие же опасения. И так же, как Гертцель, не считает, что сложность программного обеспечения может оказаться непреодолимым препятствием.
«УЧИ — проблема, решение которой заключено в мозгу, — сказал он мне. — Человеческий мозг способен сделать это — это не может быть настолько сложно. Естественный отбор глуп. Если естественный отбор смог решить проблему УЧИ, значит, она не может быть такой уж сложной в абсолютном смысле. Эволюция с легкостью выдала на-гора УЧИ, она просто случайно перебирала все подряд и сохраняла удачные варианты. Она проделала пошаговый путь без всякого представления о том, что ждет впереди».
Оптимизм Юдковски в отношении создания УЧИ отталкивается от мысли, что интеллект человеческого уровня был однажды создан природой в виде человека. Около 5 млн лет назад на земле жил общий предок человека и шимпанзе. Сегодня человеческий мозг вчетверо крупнее мозга шимпанзе. Получается, что примерно за 5 млн лет «глупый» естественный отбор вчетверо увеличил размер мозга и создал существо, которое намного умнее всех остальных.
«Умный» человек видит цель и стремится к ней. По идее, создать интеллект человеческого уровня он должен намного быстрее, чем это сделал естественный отбор.
Но опять же, предостерегает Юдковски, возникнет гигантская, буквально галактическая проблема, если кто-то создаст УЧИ прежде, чем он или кто-то другой придумает дружественный ИИ или способ надежно контролировать УЧИ. Если УЧИ возникнет в результате пошагового конструирования после удачного сочетания направленных усилий и случайностей, как предполагает Гертцель, то разве нам не следует ожидать интеллектуального взрыва? Если УЧИ сознает себя и способен к самосовершенствованию, как мы его определили, разве он не будет стремиться к удовлетворению базовых потребностей, которые могут оказаться несовместимыми с нашим существованием (мы говорили об этом в главах 5 и 6)? Иными словами, разве не следует ожидать, что вышедший из-под контроля УЧИ может убить нас всех?
«УЧИ — это тикающий часовой механизм, — сказал Юдковски. — Это крайний срок, к которому мы непременно должны построить дружественный ИИ, что труднее. Нам необходим дружественный ИИ. За возможным исключением нанотехно- логий, бесконтрольно выпущенных в мир, в целом каталоге катастроф не найдется ничего, что могло бы сравниться с УЧИ».
Разумеется, между теоретиками ИИ, такими как Юдковски, и его производителями, такими как Гертцель, возникают противоречия. Если Юдковски утверждает, что создание УЧИ — катастрофическая ошибка, если этот УЧИ не будет доказанно дружественным, то Гертцель хочет получить УЧИ как можно скорее, прежде чем автоматизированная инфраструктура облегчит ИСИ захват власти. Гертцелю приходили по электронной почте письма, хотя и не от Юдковски или его коллег, в которых его предупреждали, что если он будет продолжать развитие небезопасного УЧИ, то «будет виновен в холокосте».
Но вот парадокс. Если Гертцель откажется от работы над УЧИ и посвятит свою жизнь пропаганде отказа от подобных намерений, это никак и ни на что не повлияет. Другие компании, правительства и университеты будут и дальше гнуть свою линию. По этой самой причине Виндж, Курцвейл, Омохундро и другие считают, что отказ от разработки УЧИ невозможен. Более того, на свете много отчаянных и опасных стран — возьмите хотя бы Северную Корею и Иран, — а организованная преступность России и финансируемые государством преступники Китая запускают в Сеть все новые и новые вирусы и производят кибер- атаки, так что отказ от разработки УЧИ означал бы попросту сдачу будущего безумцам и гангстерам.
Оборонительной стратегией, которая помогла бы обеспечить выживание человечества, может оказаться деятельность, которую уже начал Омохундро: разработка научных основ понимания и управления системами, обладающими самосознанием и способностью к самосовершенствованию, то есть УЧИ и ИСИ. А учитывая сложности создания противоядия, такого как дружественный ИИ, прежде создания УЧИ, развитие этой науки должно идти параллельно работам над УЧИ. Тогда к появлению УЧИ система контроля над ним будет готова. К несчастью для всех нас, разработчики УЧИ получили огромную фору; к тому же, как говорит Виндж, ветер глобальной экономики надувает их паруса.
Если проблема с программным обеспечением окажется неразрешимо сложной, то в колчане разработчика УЧИ останется еще по крайней мере пара стрел. Во-первых, не исключено, что проблему можно будет решить при помощи более быстрых компьютеров, а во-вторых, структуру мозга можно воспроизвести методом обратного проектирования.
Превращение системы ИИ в УЧИ методом грубой силы означает повышение функциональности аппаратной части ИИ, в первую очередь ее скорости. Интеллект и творческие возможности повышаются, если работают во много раз быстрее. Чтобы понять, как это происходит, представьте себе человека, способного сжать тысячу минут размышлений в одну минуту. В некоторых очень важных вопросах он оказывается во много раз умнее человека с тем же IQ, но думающего с обычной скоростью. Но обязательно ли интеллект должен начинаться на человеческом уровне, чтобы скорость имела значение? К примеру, если ускорить работу собачьего мозга в тысячу раз, что получится: шимпанзеподобное поведение или просто очень умная собака? Нам известно, что при четырехкратном увеличении размеров мозга, от шимпанзе до человека, человек получил по крайней мере одну суперспособность — речь. Более крупный мозг развивался постепенно, намного медленнее, чем та скорость, с которой обычно возрастает скорость процессоров.
В целом неясно, может ли скорость процессора компенсировать отсутствие разумных программ и проложить путь к УЧИ и далее, к интеллектуальному взрыву. Но согласитесь, это не кажется невозможным.
А теперь обратимся к так называемому «обратному проектированию» мозга и выясним, почему этот метод может оказаться безотказным средством решения проблемы сложности программного обеспечения. Мы уже рассмотрели кратко противоположный подход — создание когнитивной архитектуры, которая стремится в общих чертах моделировать мозг в таких областях, как восприятие и навигация. Создатели этих когнитивных систем опираются на то, как работает мозг или, скорее, — и это важно — на то, как исследователь представляет себе работу мозга. Такие системы часто называют de novo, или «с начала», поскольку их авторы не отталкиваются от реального мозга, а начинают «с нуля».
Проблема в том, что системы, вдохновленные когнитивными моделями, в конечном итоге могут недотянуть до человеческих возможностей. Да, конечно, есть перспективные результаты в работе с естественным языком, зрением, системами «вопрос-ответ» и роботами, но при этом почти любой аспект методологии и принципов, которые должны продвинуть исследователей в направлении УЧИ, вызывает горячие споры. Сколько исследователей, столько и мнений. Новые узкие области исследований и смелые универсальные теории вырастают как грибы на почве любого успеха, как индивидуального, так и коллективного. Проходит немного времени, и они исчезают без следа. Как сказал Гертцель, не существует общепринятой теории разума и общепринятых представлений о том, как можно воспроизвести разум вычислительными методами. К тому же существуют такие функции человеческого сознания, для моделирования которых нынешние программные методики, судя по всему, годятся плохо; среди них общее обучение, объяснение, осмысление и контролирующее внимание.
Итак, чего в действительности удалось добиться в области ИИ? Вспомним старую шутку о пьянице, который потерял ключи и ищет их под фонарем. Полицейский присоединяется к поискам и спрашивает: «Где именно вы потеряли свои ключи?» Человек показывает в темную подворотню. «Там, — говорит он, — но здесь светлее».
Поиск, распознавание речи, компьютерное зрение и контекстный анализ (своего рода машинное обучение, с помощью которого Amazon и Netflix определяют, что вам может понравиться) — некоторые из областей ИИ, в которых достигнуты большие успехи. Конечно, успех — результат нескольких десятилетий работы, но следует отметить, что области эти относятся к числу простейших, так что пока работы идут в основном там, «где светлее». Сами ученые говорят, что снимают пока «низко висящие плоды». Но если наша конечная цель — УЧИ, то все приложения и инструменты на базе слабого ИИ могут показаться низко висящими плодами; все они лишь едва-едва приближают нас к цели — человеческому уровню интеллекта. Некоторые исследователи уверены, что приложения на слабом ИИ вообще не являются продвижением к УЧИ. Это всего лишь неинтегрированные специальные приложения. В настоящий момент ни одна система искусственного интеллекта не может сравниться с человеческим интеллектом. Вы тоже разочарованы большими обещаниями и скромными результатами исследований ИИ? Не исключено, что на ваши чувства повлияли два очень распространенных наблюдения.
Во-первых, как говорит директор Института будущего человечества Оксфордского университета Ник Востром, «многие самые передовые ИИ просочились в распространенные приложения. Там их часто не называют ИИ, потому что, как только нечто становится достаточно полезным и распространенным, его перестают называть ИИ». Еще совсем недавно ИИ не был задействован в банковском деле, медицине, транспорте, инфраструктуре жизнеобеспечения и автомобилях. Но сегодня, если все ИИ вдруг исчезнут, вы не сможете получить кредит, электричество в вашем доме перестанет работать, а машина ехать; остановится большинство наземных и подземных поездов. Производство начало бы давать сбои и замерло, краны высохли, а пассажирские самолеты попадали бы с небес. В магазинах закончились бы продукты, и восполнить запасы оказалось бы невозможно. А когда, собственно, были внедрены все эти ИИ-системы? В последние тридцать лет, пока стояла так называемая ИИ-зима — период долгого спада уверенности инвесторов после излишне оптимистичного начала и несбывшихся предсказаний. Но на самом деле никакой зимы не было. Чтобы избавиться от ярлыка «искусственный интеллект», ученые перешли на технические термины, такие как «машинное обучение», «разумный агент», «вероятностные выводы», «продвинутые нейронные сети» и т. п.
Кстати говоря, и проблема классификации тоже никуда не делась. Области, которые когда-то считались прерогативой человека — шахматы и «Своя игра», к примеру, — сегодня принадлежат компьютерам (хотя нам по-прежнему позволяется играть). Но считаете ли шахматную программу, установленную на вашем компьютере, «искусственным интеллектом»? Что такое Watson — человекоподобная машина или всего лишь специализированная мощная система «вопрос-ответ»? Как мы будем называть ученых, когда компьютеры, такие как Golem (подходящее название!) Хода Липсома из Корнеллского университета, начнут заниматься наукой? Я хочу сказать, что с того самого дня, когда Джон Маккарти дал науке о машинном интеллекте имя, исследователи энергично создают ИИ, и с течением времени он становится все умнее, быстрее и мощнее.
Успехи ИИ в таких областях, как шахматы, физика и обработка естественного языка, наводят на второе важное наблюдение. Сложные вещи просты, а простые — сложны. Эта аксиома известна как парадокс Моравека, поскольку пионер робототехники Ханс Моравек в классической книге «Дети разума» (Mind Children) выразил его лучше всего: «Сравнительно легко заставить компьютеры демонстрировать результаты, сравнимые с результатами взрослого человека, в тестах на интеллект или игре в шашки, и при этом трудно или даже невозможно дать им навыки годовалого ребенка в том, что касается восприятия и движений».
Сложнейшие головоломки, в которых мы просто не можем не допускать ошибок (скажем, «Своя игра» или вывод второго закона термодинамики Ньютона), хороший ИИ решает за несколько секунд. В то же время ни одна система компьютерного зрения не способна отличить собаку от кошки — а ведь с этим без труда справляется большинство двухлеток. До некоторой степени это «проблема яблок и апельсинов» — высокоуровневое восприятие против низкоуровневых моторных навыков. Но создателям ИИ следовало бы этого стыдиться, ведь они замахиваются на весь спектр человеческого интеллекта. Один из основателей Apple Стив Возняк предложил «легкую» альтернативу тесту Тьюринга, наглядно демонстрирующую сложность простых задач. Нам следовало бы считать любого робота разумным, говорит Возняк, если он сможет войти в незнакомый дом, найти в нем кофейник и соответствующие припасы и приготовить нам чашку кофе. Можно назвать это испытание кофе-тестом. Он может оказаться сложнее теста Тьюринга, поскольку для его прохождения необходим продвинутый ИИ, способный рассуждать и оценивать физические свойства предметов, обладающий машинным зрением и доступом к обширной базе данных, способный точно манипулировать роботизированными исполнительными устройствами, помещенный в универсальное роботизированное тело — и много чего еще.
В статье «Эра роботов» Моравек дал ключ к своему загадочному парадоксу. Почему сложные вещи просты, а простые — сложны? Потому что мозг тренировал и оттачивал «простые» вещи, связанные со зрением, действием и движением, с тех самых пор, как у наших нечеловеческих предков вообще появился мозг. «Сложные» вещи, такие как логические рассуждения, — относительно недавно приобретенные способности. И что вы думаете? Они проще, а не сложнее. Чтобы показать это, нам потребовались сложнейшие вычисления. Моравек писал:
Задним числом представляется, что в абсолютном смысле логические рассуждения намного проще, чем вое- приятие и действие, — такую позицию несложно объяснить с точки зрения эволюции. Выживание человеческих существ (и их предков) сотни миллионов лет зависело от зрения и умения двигаться в физическом мире, и в этой конкуренции значительные части их мозга эффективно организованы именно для этой задачи. Но мы не ценили это монументальное умение, потому что им обладают все люди и большинство животных — оно обычно. С другой стороны, рациональное мышление, как в шахматах, — новообретенное умение возрастом, может быть, меньше ста тысяч лет. Части нашего мозга, посвященные этой задаче, не так хорошо организованы, и в абсолютном смысле мы не слишком хорошо умеем это делать. Но до недавнего времени у нас не было конкурентов, способных нас одолеть.
Под конкурентами здесь, разумеется, подразумеваются компьютеры. Создание компьютера, который делает что-нибудь умное, вынуждает исследователей внимательнее всмотреться в себя и других людей и оценить глубины и мели нашего собственного интеллекта. В вычислениях имеет смысл формализовать любые идеи математически. В области ИИ формализация выявляет скрытые правила и закономерности того, что мы делаем при помощи мозга. Но почему не отбросить лишнее и не взглянуть на работу мозга изнутри, через подробное исследование нейронов, аксонов и дендритов? Почему просто не разобраться, что конкретно делает каждый нейронный кластер мозга, и не смоделировать его при помощи алгоритмов? Если большинство исследователей ИИ согласны с тем, что мы можем разрешить загадки работы мозга, то почему просто не построить искусственный мозг?
Это аргументы в пользу «обратного проектирования мозга» — попытки создания компьютерной модели мозга, а затем обучения ее всему, что необходимо знать. Я уже сказал, что это может оказаться единственным способом получения УЧИ, если сложность программного обеспечения действительно окажется слишком высокой. Но опять же, что если эмуляция мозга во всей его полноте тоже окажется слишком сложной задачей? Что, если мозг на самом деле производит действия, которые мы не в состоянии искусственно воспроизвести? В недавней статье, критикующей представление Курцвейла о нейробиологии, один из основателей Microsoft Пол Ален и его коллега Марк Гривз написали, что «сложность мозга просто невероятна. Каждая структура в нем сформирована миллионами лет эволюции точно под конкретную задачу, какой бы она ни была… Каждая отдельная структура и каждый нейронный контур в мозгу индивидуально настроены эволюцией и факторами среды». Иными словами, 200 млн лет эволюции превратили мозг в тонко настроенный мыслительный инструмент, который невозможно воспроизвести…
Нет, нет, нет, нет, нет, нет, нет! Абсолютно не так. Мозг не оптимизирован, как и остальные части тела млекопитающего.
Взгляд Ричарда Грейнджера заметался в панике, как будто я выпустил в его кабинете в Дартмутском колледже в Хэновере летучую мышь. Грейнджер — настоящий янки Новой Англии, но выглядит как рок-звезда времен британского вторжения. Он строен, по-мальчишески симпатичен, с копной седеющих каштановых волос. Он серьезен и внимателен, как единственный член группы, понимающий, что играть на электроинструментах под дождем опасно. В молодости Грейнджер действительно мечтал о карьере рок-звезды, но стал вместо этого специалистом по вычислительной нейробиологии мирового класса; сегодня в его активе несколько книг и более сотни статей в рецензируемых журналах. Из светлого кабинета высоко над кампусом он руководит Лабораторией проектирования мозга в Дартмутском колледже. Именно здесь на Дартмутской летней исследовательской конференции по искусственному интеллекту в 1956 г. ИИ получил имя. Сегодня в Дартмуте уверены, что будущее ИИ лежит в области вычислительной нейро- биологии — изучения вычислительных принципов, на основании которых работает мозг.
Наша цель в вычислительной нейробиологии — понять мозг достаточно хорошо, чтобы суметь воспроизвести его функции. Как сегодня простые роботы подменяют человека на физических работах, на заводах и в больницах, так проектирование мозга создаст замену нашим мыслительным способностям. Тогда мы сможем делать симулякры мозга и "ремонтировать" собственный в случае чего.
Если вы, как Грейнджер, специалист по вычислительной нейробиологии, то, вероятно, уверены, что моделирование мозга — чисто инженерная задача. Но чтобы верить в это, вам нужно взять великолепный человеческий мозг — а это, безусловно, царь среди всех органов млекопитающих — и понизить его способности на пару делений. Грейнджер видит мозг в контексте всех прочих частей человеческого тела, ни одна из которых в процессе эволюции не достигла совершенства.
«Подумайте вот о чем, — Грейнджер согнул одну руку и внимательно изучил ее. — Мы не оптимальны, нет, нет и нет, и пять пальцев не оптимальны, и волосы над глазами, но не на лбу, не оптимальны, и нос между глазами, а не справа или слева не оптимален. Смешно, когда говорят, что любая из этих особенностей — результат оптимизации. У всех млекопитающих по четыре конечности, у всех есть "лицо", у всех глаза расположены над носом и надо ртом». Кроме того, оказывается, у всех нас почти одинаковый мозг. «Все млекопитающие, включая и человека, имеют в точности одинаковый набор отделов мозга, которые связаны между собой невероятно похоже, — сказал Грейнджер. — Эволюция работает методом случайного перебора и опробования вариантов, так что вы, конечно, можете думать, что все эти разные вещи испытываются в лаборатории эволюции и либо остаются, либо нет. Но на самом деле они не испытываются».
Тем не менее эволюция, создав мозг млекопитающего, наткнулась на нечто замечательное, говорит Грейнджер. Именно поэтому у мозга на пути от ранних млекопитающих до нас наблюдается лишь несколько небольших отклонений. Части мозга избыточны, а связи в нем не слишком точны и работают медленно, но его работа базируется на инженерных принципах, у которых нам стоило бы поучиться, — нестандартных принципах, которые люди пока еще не изобрели. Вот почему Грейнджер уверен, что создание интеллекта необходимо начинать с подробного изучения мозга. Он не считает, что созданные de novo когнитивные архитектуры — те, что не основаны на принципах устройства мозга, — смогут хотя бы приблизиться по возможностям к разуму.
«Из всех органов один только мозг способен к мысли, обучению, распознаванию, — говорит он. — Ничто, сконструированное человеком до сих пор, не сумело сравняться и тем более превзойти возможности мозга в любой из этих задач. Несмотря на громадные усилия и большие бюджеты, у нас нет искусственных систем, которые могли бы конкурировать с человеком в распознавании лиц, в восприятии естественных языков, в обучении на опыте».
Так что давайте отдадим мозгу должное. Мозг, а не мускулы, сделал нас доминирующим видом на планете. Мы взошли на пьедестал не потому, что были красивее животных, конкурировавших с нами за ресурсы или попросту хотевших съесть нас. Мы лучше думали даже, вероятно, в тех случаях, когда речь шла о конкуренции с другими человекообразными видами. Разум, а не мускулы, принес нам победу.
Разум станет залогом победы и в стремительно приближающемся будущем, когда мы, люди, перестанем быть самыми умными существами в окружающей действительности. Почему нет? Когда технически отсталые народы брали верх над более развитыми? Когда менее разумные виды брали верх над более мозговитыми? Когда разумный вид хотя бы позволял относительно разумному виду существовать рядом, иначе чем в виде домашних любимцев? Посмотрите хотя бы, как мы, люди, относимся к ближайшим своим родичам, высшим приматам — шимпанзе, орангутанам и гориллам. Те, кто еще не погиб, не оказался в зоопарке и не превратился в циркового клоуна, находятся в опасности и, можно сказать, доживают последние дни.
Разумеется, Грейнджер прав, и ни одна искусственная система не может сравниться с человеком в распознавании лиц, обучении и владении языком. Но в узких специализированных областях ИИ обладает потрясающей мощью. Представьте себе существо, которое имеет в своем распоряжении всю эту мощь, и представьте, что оно по-настоящему разумно. Как долго оно готово будет оставаться нашим орудием? Вот что сказал историк Джордж Дайсон о том, где может жить такое сверхразумное существо, после экскурсии по штаб-квартире Google:
На протяжении тридцати лет я думал о том, какие признаки существования можем мы ожидать от настоящего ИИ. Конечно, речь не идет о прямом объявлении в СМИ, которое может вызвать нежелательную реакцию в виде выдергивания вилки из розетки. Индикатором может быть аномальная концентрация, создание богатства, неутолимая жажда все новой информации, дискового пространства и процессорных мощностей или согласованная попытка обеспечить себя анонимным источником непрерывного питания. Но подлинным индикатором, мне кажется, был бы кружок жизнерадостных, довольных, интеллектуально и физически удовлетворенных людей вокруг ИИ. Там не будет нужды в истинно верующих, не будет загрузки человеческого сознания в компьютер или чего-то другого, столь же зловещего; это будет просто постепенный, мягкий, всеобъемлющий и взаимно полезный контакт между нами и растущим чем-то. Пока все это лишь непроверяемая гипотеза.
Далее Дайсон цитирует писателя-фантаста Саймона Ингза:
Когда наши машины обогнали нас, стали слишком сложными и эффективными для того, чтобы ими можно было управлять, они сделали это так быстро, так гладко и так эффективно, что только глупец или пророк осмелился бы протестовать.