Итак, наступит момент, когда машины практически сравняются с человеком в общей способности осмысливания, — сколько времени им потребуется, чтобы обрести сверхразум? Будет ли этот переход неторопливым, постепенным, продолжительным? Произойдет ли он внезапно — во взрывном темпе? В главе анализируется динамика перехода к сверхразуму с точки зрения функциональности самой системы: силы оптимизации и сопротивляемости. Как поведут себя эти два фактора вблизи универсального интеллекта человеческого уровня? Будем исходить из того, что или якобы понимаем это, или по крайней мере сможем выстроить приемлемое предположение.
Время и скорость взлета
Допустим, что рано или поздно машинный интеллект значительно превзойдет общий интеллектуальный уровень человека, при этом мы не должны забывать, что на сегодняшний день познавательные способности человека в огромной степени превосходят возможности машинного познания. Нас не может не волновать, когда свершится самоуправство машин и насколько быстро утвердится их монополия на познание. Причем этот вопрос нужно четко отличать от поставленного нами в первой главе, а именно: насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня. Сейчас речь идет о другом: если машина, наделенная универсальным интеллектом человеческого уровня, будет когда-то и где-то создана, сколько ей понадобится времени, чтобы полностью превратиться в сверхразумную? Заметьте, в отношении создания УИИЧУ можно занимать разные позиции: считать, что для этого потребуется очень длительное время; отрицать саму возможность хоть в малейшей степени оценить этот срок, — но в любом случае быть абсолютно уверенным, что как только человечество этого достигнет, дальнейшее развитие, то есть подъем на высочайший сверхразумный уровень, произойдет очень быстро.
Может быть, целесообразнее представить процесс развития схематично, даже если придется временно не принимать во внимание некоторые условия и подробности, усложняющие суть дела. Посмотрим на диаграмму, отражающую интеллектуальные способности наиболее совершенных систем искусственного интеллекта как функцию времени (см. рис. 7).
Рис. 7. Схема взлета. Важно разделять такие вопросы, как: состоится ли взлет? если взлет состоится, то когда? если когда-нибудь взлет произойдет, насколько резким он будет? Например, можно считать, что до взлета еще очень много времени, но когда момент наступит, все произойдет очень быстро. Есть еще один важный вопрос (на диаграмме не показан): какова будет роль мировой экономики в процессе взлета сверхразумной системы? Все вопросы связаны между собой.
Горизонтальная линия с надписью «человеческий уровень» представляет характерные для современных развитых стран интеллектуальные возможности среднестатистического взрослого человека, имеющего доступ к источникам информации и технологическим средствам. В настоящее время даже самая передовая интеллектуальная система в значительной степени — по любым разумным показателям — отстает от основных человеческих характеристик. В будущем, в какое-то неопределенное для нас время, интеллектуальная система сможет достичь приблизительного равенства с человеком (за основу нами принят зафиксированный в 2014 году общий уровень интеллекта человека, даже если в последующие годы он предположительно будет расти) — этот момент будет свидетельствовать о начале взлета. Возможности интеллектуальной системы продолжат увеличиваться и спустя некоторое время достигнут паритета с объединенными интеллектуальными способностями всего человечества (уровень фиксации тот же 2014 год) — это мы обозначим как «цивилизационный уровень». Если интеллектуальная система пойдет по пути дальнейшего развития, она наконец превратится в сильный сверхразум, то есть с точки зрения интеллектуальных возможностей выйдет на уровень, значительно превосходящий уровень человечества в целом, — когда это будет достигнуто, можно говорить о завершении взлета, хотя сама сверхразумная система в состоянии самосовершенствоваться и дальше. В какой-то момент в течение процесса взлета система может пройти отметку «критический рубеж», то есть точку, за которой совершенствование будет зависеть не от деятельности людей, а в основном от ее собственных усилий. (Возможность существования критического рубежа, или точки перехода, важна для обсуждения тем, рассматриваемых в последнем разделе главы, — сила оптимизации и взрывоопасность.)
На диаграмме представлен обобщенный сценарий перехода интеллектуальной системы с человеческого на сверхразумный уровень, но в зависимости от крутизны кривой можно выделить три типа сценариев взлета — медленный, быстрый, умеренный.
1. Медленный взлет. Будет происходить на долгих временных интервалах — от десятилетий до столетий. Такие сценарии представляют собой отличные возможности, чтобы человечество смогло обдумать свои дальнейшие политические ходы, адаптировать их к ситуации и правильно реагировать на происходящее. Можно будет последовательно тестировать разные подходы, обучить и подготовить новых специалистов. Предвыборные кампании будут ориентированы на сторонников и противников происходящих процессов. Если выяснится, что нужны новые системы безопасности и общественного контроля над исследованиями в области ИИ, будет достаточно времени, чтобы их разработать и развернуть. Страны и ученые, опасающиеся гонки вооружений в области военного применения ИИ, смогут провести необходимые переговоры и разработать защитные механизмы. Большинство подготовительных мер, предпринятых накануне процесса медленного взлета, окажутся морально устаревшими, но постепенно начнут появляться новые решения, актуальные для наступающей эпохи.
2. Быстрый взлет. Произойдет в течение очень короткого промежутка времени — минуты, часы, дни. В сценариях быстрого взлета у людей почти не остается возможности реагировать на него. Никто не успеет ничего заметить, а игра уже окажется проигранной. В любом сценарии быстрого взлета судьба человечества в основном зависит от подготовительной работы, уже проведенной к этому моменту. В самом медленном из быстрых сценариев со стороны людей еще могут быть произведены какие-то элементарные телодвижения вроде потянуться открыть «ядерный чемоданчик», но тогда алгоритмы этих действий должны быть или действительно элементарны, или запланированы, запрограммированы и отрепетированы заранее.
3. Умеренный взлет. Произойдет в течение относительно короткого временного интервала — от нескольких месяцев до нескольких лет. В этом случае у человечества остается некоторая возможность отреагировать на происходящее, но не будет времени проанализировать его, протестировать разные подходы и решить сложные задачи координации действий. На создание и развертывание новых систем, таких как политические меры, механизмы контроля, протоколы безопасности компьютерных сетей, времени тоже не останется, но, возможно, получится приспособить к новым обстоятельствам уже существующие нормы.
В случае медленного взлета будет достаточно времени для распространения новостей. При умеренном взлете разработки могут остаться засекреченными. Знанием о них будут располагать лишь очень ограниченные группы людей, как это бывает при разработке секретных государственных программ военных исследований. Так же тайно, силами небольших научных коллективов или хакеров в каком-нибудь подвале, могут вестись работы в рамках коммерческих проектов — впрочем, если перспективы взрывного развития сверхразума попадут на радары государственных спецслужб и станут одним из приоритетов национальной безопасности, у наиболее многообещающих частных проектов появятся большие шансы оказаться под наблюдением. В таком случае у государства (или доминирующего международного игрока) будет возможность национализировать или закрыть любой проект, демонстрирующий признаки скорого взлета.
Быстрый взлет произойдет за столь короткое время, что никто не успеет не то что отреагировать на него, но даже рот открыть. Вмешаться будет возможно до начала взлета — правда, лишь при условии, что наготове имеется механизм по защите.
Сценарии умеренного взлета могут привести к геополитическим, социальным и экономическим потрясениям, поскольку отдельные люди и сообщества постараются обеспечить себе выигрышные позиции в ходе разворачивающихся преобразований. Возможные беспорядки начнут тормозить усилия по координации ответных мер и спровоцировать принятие решений более радикальных, чем те, которые были бы приняты в спокойной ситуации. Например, по одному из сценариев умеренного взлета в течение нескольких лет рынок труда постепенно заполняют дешевые и сверхпроизводительные имитационные модели, полученные вследствие полной эмуляции мозга, или иные системы искусственного интеллекта. При таком развитии событий можно допустить, когда начнутся массовые увольнения работников-людей, не менее массовые протесты, которые вынудят правительства увеличить пособия по безработице, ввести гарантии пожизненной занятости для всех граждан, а также специальные налоги или обязательные социальные отчисления для работодателей, использующих труд работников-роботов. Чтобы принятые в результате такой политики меры не оказались пустыми, они должны быть поддержаны новыми политическими и социальными структурами, действующими на постоянной основе. Аналогичные проблемы не исключены при сценариях медленного взлета, но в сценариях умеренного взлета диспропорции и скорость изменений способны привести к тому, что небольшие группы активистов получат непропорционально большое влияние.
Некоторым читателям может показаться, что из перечисленных сценариев взлета наиболее вероятен — медленный, менее вероятен — умеренный, практически невозможен — быстрый. Возможно ли предположить, что всего за пару часов мир в состоянии радикально измениться, а венец творения — быть сброшенным с вершины разума? С подобными громадными переменами история человечества еще не сталкивалась, а ближайшие параллели — неолитическая (сельскохозяйственная) и промышленная революции — потребовали гораздо больше времени (от нескольких веков до тысячелетия в первом случае, от нескольких десятилетий до веков — во втором). То есть база для трансформации такого рода, какая предполагается в случае сценариев быстрого или умеренного взлета, с точки зрения величины и скорости происходящих изменений, равна нулю, поскольку прецедентов — если не брать в расчет мифологии и религии — в человеческой истории не было.
Однако медленный сценарий представляется как раз самым маловероятным — в пользу этого положения я приведу далее соответствующие аргументы. Скорее всего, события начнут развиваться по быстрому сценарию — если когда-нибудь взлет произойдет, он будет иметь взрывной характер.
Чтобы получить ответ на вопрос, насколько быстрым будет взлет, можно считать скорость роста интеллектуальных способностей системы монотонно возрастающей функцией двух переменных: величины «силы оптимизации», или взвешенных на качество усилий по разработке, прилагаемых с целью сделать систему более интеллектуальной, и «отзывчивости» системы к приложению оптимизирующей силы. Можно также ввести термин «сопротивляемость», обратный отзывчивости, и записать следующее:
#img_17.jpg
В отсутствие количественного определения уровня интеллекта, усилий по его повышению и сопротивляемости это выражение остается по большей части качественным. Но по крайней мере можно будет наблюдать, что интеллектуальные способности системы быстро растут, когда или прилагаются большие усилия для их развития, притом что развить ее способности не очень трудно, или нужны нетривиальные усилия по разработке правильного дизайна системы, притом что сопротивляемость ее низка (или справедливо и то и другое). Если мы знаем, сколько усилий прилагается для улучшения той или иной системы, и скорость улучшений, которую они обеспечивают, то можем рассчитать сопротивляемость этой системы.
Далее, мы можем наблюдать, что сила оптимизации, направленная на улучшение эффективности той или иной системы, с течением времени сильно изменяется от системы к системе. Сопротивляемость системы также может сильно зависеть от того, насколько система уже оптимизирована. Часто первыми делаются простейшие улучшения, в результате чего — по мере срывания самых низко висящих плодов — результаты появляются все медленнее (растет сопротивляемость системы). Однако могут быть улучшения, облегчающие последующие улучшения, и тогда возникает каскад улучшений. Процесс складывания пазла поначалу кажется простым, ведь сложить углы и края картины довольно легко. Затем сопротивляемость растет — подбирать последующие части становится труднее. В конце, когда сборка пазла почти завершена, свободных мест практически не остается, и процесс вновь идет легко.
Таким образом, чтобы найти ответ на наш вопрос, следует проанализировать, как меняются в критические моменты взлета степень сопротивляемости и сила оптимизации. Этим мы и займемся далее.
Сопротивляемость
Начнем с сопротивляемости. В этом случае прогноз зависит от типа рассматриваемой системы. Для полноты картины вначале рассмотрим сопротивляемость, которая характерна для путей движения в сторону сверхразума, не связанных с созданием усовершенствованного машинного интеллекта. Мы считаем, что в таком случае сопротивляемость будет довольно высока. Справившись с этим, обратимся к главному — взлету, связанному с искусственным интеллектом. Похоже, в данном случае сопротивляемость в критический момент окажется довольно низкой.
Пути, не подразумевающие создания машинного интеллекта
Результативность когнитивного совершенствования за счет улучшения здравоохранения и организации здорового питания со временем резко падает. Многого можно добиться за счет ликвидации такого жесткого фактора, как дефицит питательных веществ в ежедневном рационе, но этого явления уже нет практически нигде, кроме самых бедных стран. Дальнейшее улучшение и так уже полноценного рациона мало на что влияет. Усиление образовательного процесса будет тоже играть все меньшую роль. Доля одаренных людей, лишенных доступа к качественному образованию, все еще велика, но постепенно снижается.
В ближайшие десятилетия какое-то повышение уровня интеллектуальных способностей можно будет обеспечить за счет медикаментозных средств. Но после того как удастся добиться самых простых улучшений — скорее всего, речь пойдет об укреплении на продолжительный срок умственных сил, долговременной памяти и способности сосредоточивать внимание, — дальнейший прогресс будет даваться все с большим и большим трудом. По сравнению с такими долговременными подходами, как обеспечение правильного питания и охрана здоровья, обращение к лекарственным средствам, стимулирующим умственные способности, вначале может показаться быстрым и легким путем, но это не так. В нейрофармакологии по-прежнему много белых пятен даже на уровне элементарных знаний, необходимых, чтобы компетентно вмешиваться в работу здорового мозга. Отчасти медленный прогресс вызван неготовностью считать медикаментозные методы достойной областью исследований. Видимо, нейробиология и фармакология как науки еще какое-то время будут развиваться, не обращая особого внимания на проблему усиления когнитивных функций. Что поделаешь, придется ждать тех времен, когда разработка ноотропных средств все-таки станет одним из приоритетных направлений — тогда наконец удастся добиться относительно быстрых и простых побед.
Генетическое когнитивное улучшение имеет U-образный профиль сопротивляемости, как и у ноотропов, но с более заметными потенциальными выгодами. Вначале — пока единственным доступным методом остается селекция на протяжении нескольких поколений, которую, конечно, трудно проводить в общемировом масштабе, — уровень сопротивляемости высок. По мере того как появляются технологии для недорогого и эффективного генетического тестирования и селекции (особенно когда станет доступным итеративный отбор эмбрионов в случае людей), генетическое улучшение становится более простым делом. Эти новые методы позволят проверить весь спектр существующих вариаций человеческих генов на наличие повышающих интеллект аллелей. Однако после того как лучшие из них будут включены в пакеты генетического улучшения, дальнейший прогресс окажется делом более трудным. Необходимость разработать более инновационные подходы к генетической модификации может повысить сопротивляемость. На пути генетического улучшения скорость прогресса ограничена — ограничена в основном тем обстоятельством, что вмешательство на эмбриональном уровне зависит от неизбежной отсрочки на время взросления, что препятствует развитию сценариев с быстрым или умеренным взлетом. Метод селекции эмбрионов неразрывно связан с длительным процессом внедрения технологии ЭКО в общественное сознание, что является еще одним ограничивающим фактором.
На пути создания нейрокомпьютерного интерфейса, похоже, сопротивляемость поначалу будет очень высокой. В маловероятном сценарии, когда вдруг получится легко вживлять имплантат и достигать высокоуровневой функциональной интеграции с корой головного мозга, сопротивляемость пойдет вниз. Но в долгосрочном плане ситуация со все менее заметным прогрессом при движении по этому пути будет аналогична случаю с улучшением имитационной модели головного мозга и интеллектуальных систем, поскольку в конечном счете интеллект системы мозг–компьютер будет обеспечивать ее компьютерная составляющая.
В случае попыток сделать сети и организации более эффективными сопротивляемость в большинстве случаев будет высокой. Чтобы ее преодолеть, потребуются значительные усилия, в результате чего совокупные интеллектуальные возможности человечества, возможно, будут увеличиваться всего на пару процентов в год. Более того, сдвиги во внутренней и внешней среде приведут к тому, что даже эффективные в какой-то момент организации перестанут приспосабливаться к новым обстоятельствам. То есть потребуются постоянные усилия по их реформированию, хотя бы для того, чтобы не допустить ухудшения ситуации. Скачкообразный рост темпов повышения производительности средней организации, в принципе, возможен, но трудно вообразить, что даже в наиболее радикальном сценарии такого рода произойдет не медленный, а умеренный и тем более быстрый взлет, поскольку организации, в которых работают люди, ограничены таким понятием, как человеко-часы. Передовым рубежом со множеством возможностей для повышения уровня коллективного интеллекта остается интернет, причем пока сопротивляемость здесь остается на умеренном уровне: прогресс заметен, но для его достижения требуется много усилий. После того как все низко висящие плоды окажутся сорванными (вроде поисковых систем и электронной почты), сопротивляемость, скорее всего, начнет расти.
Пути создания имитационной модели мозга и искусственного интеллекта
Степень трудности, стоящей на пути полной эмуляции головного мозга, оценивать довольно сложно. Но одна веха на этом пути уже пройдена: успешно создана имитационная модель мозга насекомого. Это та возвышенность, взобравшись на которую можно увидеть, что за ландшафт ждет нас впереди, и понять уровень сопротивляемости, с которым мы столкнемся в процессе масштабирования технологий моделирования человеческого мозга. (Еще лучшей точкой обзора станет успешное моделирование мозга небольшого млекопитающего вроде мыши, после чего расстояние, оставшееся до создание имитационной модели головного мозга человека, можно будет оценить довольно точно.) Однако путь создания искусственного интеллекта может не иметь таких очевидных контрольных точек обзора. Вполне возможно, что экспедиция к ИИ будет долго блуждать в непроходимых джунглях, пока внезапный прорыв не приведет к ситуации, что мы окажемся всего лишь в нескольких шагах от финишной черты.
Вспомним о двух вопросах, о которых я говорил, что их принципиально нужно различать. Насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня? Насколько быстро произойдет переход от этого уровня к сверхразумному? Первый вопрос больше относится к оценке того, сколько времени потребуется на подготовку взлета. Для ответа на второй вопрос важно определить траекторию полета к сверхразуму — цели нашего исследования в этой главе. Довольно соблазнительно предположить, что шаг от создания УИИЧУ к появлению сверхразума будет очень сложным, что этот шаг, в конце концов, должен быть сделан «на большей высоте», где к уже имеющейся системе нужно будет добавить дополнительную мощность. Считать так было бы неверно. Вполне возможно, что с достижением равенства между интеллектуальными способностями человека и машины сопротивляемость упадет.
Рассмотрим в первую очередь полную эмуляцию головного мозга. Трудности, ожидающие нас на пути создания первой успешной имитационной модели, разительно отличаются от трудностей, связанных с ее дальнейшим обслуживанием. В первом случае придется решить множество технических проблем, особенно в области разработки необходимых технологий сканирования и обработки изображений. Нужно будет создавать материальные активы, возможно, целый парк из сотен высокопроизводительных сканирующих устройств. Напротив, повышение качества уже существующей имитационной модели мозга связано скорее с совершенствованием программного обеспечения — с тонкой настройкой алгоритмов и уточнением структуры данных. Эта задача может оказаться легче, чем создать технологию обработки изображений, без которой дальнейший прогресс невозможен в принципе. Программисты могут экспериментировать с разными параметрами вроде количества нейронов в различных областях коры головного мозга, чтобы посмотреть, как это влияет на производительность модели. А также поработать над оптимизацией кода и поискать более простую вычислительную модель, способную сохранить всю основную функциональность отдельных нейронов и небольших нейронных сетей. Если последней технологической составляющей, которой будет недоставать для решения задачи, окажется сканирование или трансляция, притом что вычислительная мощность будет в избытке, тогда на первом этапе не придется уделять особое внимание вопросам эффективности, поэтому на втором этапе можно будет многое оптимизировать. (Вероятно, получится провести фундаментальную реорганизацию вычислительной архитектуры, однако это уведет нас с пути эмуляции на путь создания ИИ.)
Еще один способ улучшить код имитационной модели мозга после того, как она будет создана, это сканировать головной мозг других людей с отличающимися или более высокими навыками и талантами. Можно также добиться роста производительности в результате последовательной адаптации организационной структуры и процессов к специфике функционирования цифрового интеллекта. Поскольку в мировой экономике, созданной человеком, не было аналогов работника, которого можно в буквальном смысле слова скопировать, перезапустить, ускорить или замедлить и так далее, то у руководителей первого коллектива работников эмуляций будет множество возможностей для инноваций в области управления.
После снижения сопротивляемости в результате создания первой имитационной модели человеческого мозга ее уровень может снова начать расти. Рано или поздно будут устранены наиболее очевидные недостатки, сделаны наиболее многообещающие изменения алгоритма, использованы самые простые возможности для организационных улучшений. Библиотека исходных данных вырастет настолько, что сканирование дополнительных экземпляров мозга перестанет заметно повышать качество модели. Поскольку имитационную модель можно копировать, а каждую копию обучать, то есть загружать в нее самые разнообразные знания, возможно, для получения максимального эффекта не придется сканировать мозг множества людей. Вполне вероятно, что довольно будет всего одного.
Еще одна потенциальная причина роста сопротивляемости состоит в том, что сами имитационные модели или их защитники-люди могут организовать движение за регулирование отрасли, что повлечет за собой ряд ограничений: сокращение числа работников-эмуляций; лимит на копирование имитационных моделей; запрет на определенные виды экспериментов над моделями, — но кроме этого работники-эмуляции получат гарантированное соблюдение своих прав, установленную специально для них минимальную заработную плату, ну и так далее. Правда, вполне допустимо, что политическое развитие пойдет в прямо противоположном направлении, в результате чего сопротивляемость упадет. Это может случиться, если первоначальные ограничения в использовании работников-эмуляций уступят место их безоглядной эксплуатации — после того как вырастет конкуренция и станут очевидны высокие экономические и стратегические издержки слишком щепетильного отношения к моральным аспектам проблемы.
Что касается искусственного интеллекта (машинного интеллекта, не связанного с имитационным моделированием человеческого мозга), то степень сложности его развития от УИИЧУ до уровня сверхразума за счет совершенствования алгоритма будет зависеть от особенностей конкретной системы. Сопротивляемость разных архитектур может различаться очень сильно.
В некоторых случаях она, вероятно, окажется чрезвычайно низкой. Скажем, создание ИИЧУ задерживается из-за какого-то последнего, ускользающего от программистов штриха, но после того как он будет найден, ИИ может в одночасье преодолеть разрыв между уровнем ниже человеческого и уровнем, значительно его превосходящим. Еще одна ситуация, в которой сопротивляемость может оказаться низкой, — это когда умственные способности ИИ развиваются за счет двух различных способов обработки информации. Представим ИИ, состоящий из двух подсистем, одна из которых отвечает за методы решения узкоспециализированных задач, другая — за универсальное мышление. Вполне возможно, что если вторая подсистема недотягивает до некоторого порогового значения производительности, она ничего не добавляет в совокупную производительность системы, поскольку ее решения всегда хуже тех, которые вырабатывает подсистема работы со специализированными задачами. Теперь предположим, что к подсистеме универсального мышления приложили определенную силу оптимизации, в результате чего производительность подсистемы резко повысилась. Поначалу мы не увидим изменения в совокупной производительности системы, что говорит о ее высокой сопротивляемости. Затем, когда возможности второй подсистемы пересекут некоторое пороговое значение, ее решения станут превосходить решения подсистемы специализированных задач, и совокупная производительность ИИ начнет расти с тем же высоким темпом, как растет производительность подсистемы универсального мышления, несмотря на то что сила оптимизации остается неизменной, — тогда сопротивляемость системы резко упадет.
Возможно также, что из-за естественной для нас склонности смотреть на интеллект с антропоцентрической точки зрения мы будем недооценивать динамику улучшений в системах, недотягивающих до человеческого уровня, и, таким образом, переоценивать сопротивляемость. Элиезер Юдковский, теоретик искусственного интеллекта, много пишущий о его будущем, говорит об этом в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» (см. также рис. 8):
ИИ может совершить кажущийся резким скачок в интеллектуальных способностях исключительно вследствие антропоморфизма, то есть присущей человеку тенденции считать, будто на интеллектуальной шкале располагается не практически бесконечное количество точек, а есть всего две крайние, причем на одной крайней точке находится «деревенский дурачок», а на другой — «Эйнштейн».
Все, что глупее глупого человека, может показаться кому-то просто «глупым». И вот мы как бы двигаемся по интеллектуальной шкале вправо, мимо мышей и шимпанзе, а ИИ все еще остается «глупым», поскольку не говорит свободно на вашем языке и не пишет научные статьи, но потом он внезапно преодолевает крошечный разрыв между недоидиотом и сверх-Эйнштейном за месяц или около того [225] .
Рис. 8. Не слишком антропоморфная шкала? Разрыв между идиотом и гением с антропоцентрической точки зрения может показаться очень значительным, но в более широкой перспективе различий между ними почти не видно. Наверняка гораздо сложнее будет создать машину, чей уровень общего интеллекта окажется сравнимым с уровнем интеллекта полного идиота, чем усовершенствовать эту систему, в результате чего она станет намного умнее самого гениального из людей.
Итак, все соображения приводят к следующему заключению: очень трудно предсказать, насколько сложно будет усовершенствовать алгоритм первого ИИ, который достигнет примерно общего интеллектуального уровня человека. Можно представить как минимум несколько возможных обстоятельств, при которых сопротивляемость алгоритма будет низка. Но даже если она и очень высока, это не говорит о том, что совокупная сопротивляемость ИИ также обязательно должна быть высокой. Можно легко повысить уровень интеллектуальных способностей системы и без корректировки алгоритмов. Есть еще два фактора, влияющих на него: контент и оборудование.
Прежде всего поговорим об улучшении контента. Под «контентом» мы понимаем те части кода ИИ, которые не относятся к его главной алгоритмической архитектуре. К контенту могут относиться, например, базы данных сохраненных объектов восприятия, библиотек специализированных навыков и запасы декларативных знаний. Для многих типов систем грань между алгоритмической архитектурой и контентом довольно размыта, тем не менее она может быть простым способом отметить один потенциально важный источник прироста способностей машинного интеллекта. Можно иначе выразить ту же самую идею: способности системы решать интеллектуальные задачи можно повысить не только сделав систему умнее, но и увеличив объем ее знаний.
Возьмем современные интеллектуальные системы вроде TextRunner (исследовательский проект, который реализуется в Университете Вашингтона) или суперкомпьютера Watson, созданного в IBM (обыграл двух рекордсменов телевизионной игры-викторины Jeopardy!). Они способны извлекать некоторое количество семантической информации, анализируя текст. И хотя эти системы не понимают, что читают, — в том смысле или до такой же степени, как люди, — они тем не менее могут получать значимую информацию из текста, написанного на обычном языке, и использовать ее для получения простых выводов и ответов на вопросы. Еще они могут учиться на своем опыте, усложняя представление концепции по мере того, как сталкиваются с новыми случаями ее использования. Они разработаны так, чтобы большую часть времени работать без вмешательства людей (то есть учиться находить скрытую структуру в неразмеченных данных в отсутствие сигналов, подтверждающих правильность или сообщающих об ошибочности их действий, со стороны человека), причем работать быстро и с возможностью масштабирования. Скажем, TextRunner работает с массивом из пятисот миллионов интернет-страниц.
Теперь представим далекого потомка такой системы, способного понимать прочитанное на уровне десятилетнего ребенка, но читающего при этом со скоростью TextRunner. (Вероятно, это ИИ-полная задача.) То есть мы воображаем систему, думающую гораздо быстрее и запоминающую гораздо лучше взрослого человека, но знающую много меньше, — возможно, в результате ее способности будут примерно соответствовать человеческим способностям решать задачи на общем интеллектуальном уровне. Но ее сопротивляемость с точки зрения контента очень низка — достаточно низка, чтобы произошел взлет. За несколько недель система прочитает и обработает весь контент, содержащийся в книгах из библиотеки Конгресса США. И вот она уже и знает больше любого человеческого существа, и думает гораздо быстрее — то есть становится слабым (по меньшей мере) сверхразумом.
Таким образом, система может резко усилить свои интеллектуальные способности, впитав информацию, накопленную за многие века существования человеческой науки и цивилизации, например получая ее из интернета. Если ИИ достигает человеческого уровня, не имея доступа к этим материалам или не будучи способным их переварить, тогда его общая сопротивляемость будет низка даже в том случае, когда его алгоритмическую архитектуру улучшить довольно трудно.
Концепция сопротивляемости контента также важна с точки зрения создания эмуляционной модели мозга. Работающая с большой скоростью имитационная модель мозга имеет преимущество перед биологическим мозгом не только потому, что решает те же задачи быстрее, но и потому, что аккумулирует более подходящий контент, в том числе релевантные с точки зрения задачи навыки и опыт. Однако, чтобы раскрыть весь потенциал быстрого накопления контента, системе нужны соответствующие большие объемы памяти. Бессмысленно читать подряд энциклопедии, если к тому времени как дойдешь до статьи Abalone (африканский муравьед), забудешь все, что узнал из статьи Aardvark (моллюск). В то время как у систем ИИ, скорее всего, недостатка в памяти не будет, модели мозга могут унаследовать некоторые ограничения от своих биологических оригиналов. И, как следствие, потребуют каких-то архитектурных усовершенствований, чтобы иметь возможность обучаться без ограничений.
До сих пор мы рассматривали сопротивляемость архитектуры и контента — то есть то, насколько может быть сложно улучшить программное обеспечение машинного интеллекта, достигшего человеческого уровня интеллекта. Теперь давайте поговорим о третьем пути повышения производительности такого интеллекта, а именно об усовершенствовании его вычислительной части. Какой может быть сопротивляемость улучшению аппаратной основы?
После появления интеллектуальных программ (систем ИИ или имитационных моделей мозга) усилить коллективный интеллект можно будет просто за счет использования множества дополнительных компьютеров, на которых запущены их копии. Скоростной интеллект можно усилить, перенеся программы на более быстрые компьютеры. В зависимости от того, насколько программы способны работать параллельно, еще один ресурс заключается в использовании большего числа процессоров. Это, скорее всего, подойдет для моделей мозга, которые изначально имеют параллельную архитектуру, но и многие системы ИИ включают в себя процедуры, эффективность выполнения которых повысится за счет параллельного выполнения. Усилить качественный интеллект за счет наращивания вычислительной мощности, возможно, также удастся, но вряд ли так же прямолинейно.
Таким образом, сопротивляемость при усилении коллективного или скоростного (и, возможно, качественного) интеллекта в программах человеческого уровня, скорее всего, будет низкой. Единственной сложностью останется получить доступ к дополнительным вычислительным мощностям. Есть несколько путей расширения аппаратной базы системы, каждый из которых требует различных затрат времени.
В краткосрочной перспективе вычислительная мощность может масштабироваться практически линейно исключительно за счет дополнительного финансирования: увеличится оно вдвое — можно будет купить вдвое больше компьютеров, что позволит запустить вдвое больше программ одновременно. Возникновение облачных вычислительных услуг дает возможность любому проекту увеличивать использование вычислительных ресурсов, даже не теряя времени на доставку дополнительных компьютеров и установку на них ПО, хотя соображения секретности могут подталкивать к работе на собственных машинах. (Однако в некоторых сценариях дополнительные вычислительные ресурсы можно будет получить и иными способами, например рекрутируя ботнеты.) То, насколько легко масштабировать ту или иную систему на определенную величину, будет зависеть от объемов изначально используемой ею вычислительной мощности. Систему, изначально работающую на персональном компьютере, можно масштабировать в тысячи раз меньше, чем за миллион долларов. Масштабировать программу, установленную на суперкомпьютере, гораздо дороже.
В чуть более долгосрочной перспективе, по мере того как окажется задействованной все большая часть имеющихся на планете вычислительных мощностей, затраты на приобретение дополнительного оборудования могут начать расти. Например, в сценарии создания имитационной модели мозга в условиях конкуренции затраты на запуск одной дополнительной ее копии должны расти и стать примерно равными выручке, которую эта копия генерирует, поскольку цены на вычислительную инфраструктуру будут подниматься (хотя если эта технология окажется в распоряжении всего одного проекта, он обеспечит себе монопсонию и вследствие этого сможет платить меньше.)
В более долгосрочной перспективе предложение вычислительной мощности будет расти по мере установки все новых ПО в дополнительные компьютеры. Всплеск спроса стимулирует расширение существующих и создание новых производств микропроцессоров. (Разовый всплеск производительности на один-два порядка величины может случиться в результате использования кастомизированных процессоров.) Помимо этого, дополнительный вал вычислительной мощности хлынет на турбины мыслящих машин за счет постоянного усовершенствования технологий, темп которого будет только расти. Исторически он описывается знаменитым законом Мура, один из вариантов которого гласит, что вычислительная мощность в расчете на доллар удваивается каждые восемнадцать месяцев или около того. И хотя никто не может поручиться, что эта скорость сохранится до момента создания ИИЧУ, пространство для совершенствования компьютерных технологий остается — фундаментальные физические пределы еще не достигнуты.
Поэтому есть все основания полагать, что сопротивляемость аппаратной среды не окажется слишком высокой. Приобретение дополнительной вычислительной мощности для системы, доказавшей право на существование тем, что она достигла человеческого интеллектуального уровня, может легко добавить мощности, имеющейся в распоряжении ее создателей, несколько дополнительных порядков величины (в зависимости от того, насколько прожорлив в этом смысле был проект изначально). Кастомизация процессоров добавит еще один-два порядка. На другие средства расширения аппаратной базы, такие как строительство новых заводов и усовершенствование вычислительных технологий, понадобится больше времени — обычно это занимает несколько лет, хотя в будущем срок может резко сократиться в результате революции, которую произведет сверхразум в области развития технологических и производственных процессов.
Подведем итоги. Мы можем говорить о вероятности образования «аппаратного навеса» — к тому моменту, когда будет создано программное обеспечение человеческого интеллектуального уровня, окажется доступно достаточно вычислительной мощности для запуска большого количества его копий на очень быстрых компьютерах. Сопротивляемость на уровне программного обеспечения, как уже было сказано выше, оценить сложнее, но, вполне вероятно, она может оказаться даже более низкой, чем сопротивляемость аппаратная. В частности, есть возможность образования «контентного навеса» в форме огромных объемов готовой к использованию информации (например, в интернете), которая станет доступна системе, как только она достигнет человеческого уровня развития. Вероятность «алгоритмического навеса» — проведенной заранее оптимизации алгоритмов — также существует, но гораздо более низкая. За счет совершенствования программного обеспечения (и алгоритмов, и контента) потенциальный рост производительности системы может составить несколько порядков величины, и добиться этого роста, после того как цифровой разум достигнет человеческого уровня, окажется довольно легко, причем он наложится на выигрыш в производительности, полученный за счет использования большего количества или более мощных аппаратных средств.
Сила оптимизации и взрывное развитие интеллекта
Изучив вопрос сопротивляемости, обратимся ко второй части нашего уравнения — силе оптимизации. Напомним:
#img_19.jpg
Как видно из этой формулы, быстрый взлет не требует, чтобы сопротивляемость на фазе перехода была низкой. Быстрый взлет также может произойти на фоне неизменной или даже медленно растущей сопротивляемости, при условии, что сила оптимизации, приложенная к системе и повышающая ее производительность, растет довольно быстро. Мы увидим, что есть все основания считать: прилагаемая к системе сила оптимизации действительно будет расти на этапе перехода, по крайней мере в отсутствие явных мер, направленных против этого.
Здесь можно выделить две фазы. Первая фаза начинается с точки отрыва системы от уровня человеческого интеллекта. Поскольку ее возможности продолжают расти, она может использовать их часть или даже все возможности для самосовершенствования (или для создания системы-потомка, что неважно). Однако большая часть оптимизирующей силы будет приложена извне системы благодаря работе программистов и инженеров, как занятых в проекте, так и не имеющих к нему прямого отношения. Если эта фаза растянется на долгое время, можно ожидать, что сила оптимизации, приложенная к системе, будет увеличиваться. Вклад в проект и команды, и участников извне станет расти, если выбранный подход покажет свою перспективность. Исследователи начнут работать усерднее, их количество вырастет, чтобы ускорить прогресс, начнут покупать больше компьютеров. Рост будет особенно быстрым, если создание ИИЧУ окажется для мира неожиданностью — в этом случае на изначально небольшом проекте будут сосредоточены усилия исследователей и разработчиков всего мира (хотя какая-то часть мировых усилий может быть направлена на реализацию конкурирующих проектов).
Вторая фаза роста начнется в тот момент, когда система аккумулирует такую мощность, что превратится в основной источник оптимизирующей силы по отношению к самой себе (на рис. 7 это отмечено как «критический рубеж, или точка перехода»). Это резко изменит динамику процесса, поскольку любые изменения возможностей системы теперь приводят к пропорциональному росту оптимизирующей силы, приложенной с целью ее дальнейшего совершенствования. Если сопротивляемость остается постоянной, начинается рост в геометрической прогрессии (см. врезку 4). Удвоение эффективности может происходить очень быстро — есть сценарии, где на это требуется всего нескольких секунд — если рост идет с электронными скоростями за счет использования алгоритмических усовершенствований или эксплуатации контентного или аппаратного навеса Для роста, базой которого является физическая инфраструктура, скажем, создание новых компьютеров или производственных мощностей, потребуется несколько больше времени (и все-таки оно будет совсем незначительным, если брать во внимание текущие темпы роста мировой экономики).
Таким образом, вполне вероятно, что в процессе перехода сила оптимизации будет расти — вначале потому, что люди будут стараться быстрее улучшить показатели искусственного интеллекта, демонстрирующего выдающиеся успехи, а позднее из-за того, что он и сам окажется в состоянии обеспечивать прогресс уже на цифровых скоростях. Это создаст реальные предпосылки для быстрого или умеренного взлета, даже если сопротивляемость будет постоянна или немного вырастет в зоне человеческого интеллектуального уровня.
ВРЕЗКА 4. О ДИНАМИКЕ ВЗРЫВНОГО РАЗВИТИЯ ИНТЕЛЛЕКТА
Скорость изменения уровня интеллекта можно выразить в виде соотношения силы оптимизации, прикладываемой к системе, и ее сопротивляемости:
#img_20.jpg
Совокупная сила оптимизации, действующая на систему, складывается из силы оптимизации, которую производит сама система, и приложенной извне. Например, развивать зародыш ИИ можно за счет комбинации его собственных усилий и усилий команды программистов-людей, возможно, с привлечением широкого глобального сообщества исследователей, постоянно работающих над прогрессом в отрасли производства полупроводников, компьютерных науках и связанных с ними областях [236] :
#img_23.jpg = #img_24.jpg система + #img_25.jpg проект + #img_26.jpg мир
Изначально зародыш ИИ обладает очень ограниченными когнитивными способностями. То есть в начальной точке величина #img_27.jpg система мала [237] . А как насчет #img_28.jpg проект и #img_29.jpg мир ? Бывают случаи, когда возможности проекта превышают возможности всего остального мира, как было, например, с Манхэттенским проектом, когда большинство лучших физиков мира оказались в Лос-Аламосе и приняли участие в создании атомной бомбы. Но чаще на любой отдельно взятый проект приходится лишь очень небольшая доля общемировых исследовательских возможностей. Однако даже когда возможности мира намного превышают возможности проекта, #img_30.jpg проект может все-таки превышать #img_31.jpg мир , поскольку большинство исследователей за пределами проекта сосредоточены на других направлениях работы. Если проект начинает выглядеть многообещающим — что происходит, когда система достигает человеческого интеллектуального уровня или даже раньше, — он привлекает дополнительные инвестиции, что повышает #img_32.jpg проект . Если достижения проекта становятся достоянием широкой общественности, величина #img_33.jpg мир также повышается, поскольку растет интерес к искусственному интеллекту в целом и в игру включаются другие участники. Таким образом, на переходном этапе совокупная сила оптимизации, действующая на когнитивную систему, скорее всего, будет расти по мере роста возможностей системы [238] .
Рост возможностей системы может дойти до такой точки, где сила оптимизации, которую производит сама система, начинает доминировать над силой оптимизации, приложенной к системе извне (по всем существенным направлениям усовершенствования):
#img_34.jpg система > #img_35.jpg проект + #img_36.jpg мир
Этот рубеж очень важен, поскольку за ним дальнейшее совершенствование системы оказывает весьма сильное влияние на рост совокупной силы оптимизации, приложенной к системе с целью ее совершенствования. То есть включается режим мощного рекурсивного самосовершенствования. Это приводит к взрывному росту возможностей системы в широком диапазоне форм кривых сопротивляемости.
Чтобы проиллюстрировать это, рассмотрим первый сценарий, в котором сопротивляемость постоянна, вследствие чего возможности ИИ растут пропорционально приложенной к нему силе оптимизации. Предположим, что вся сила оптимизации генерируется самой системой и что все интеллектуальные возможности системы направлены на решение задачи совершенствования ее интеллекта, так что #img_37.jpg система = I [239] Тогда мы имеем:
#img_38.jpg
Решая это простое дифференциальное уравнение, получаем экспоненциальную функцию:
I = Ae t/k
Но постоянство сопротивляемости — особый случай. Сопротивляемость вполне может снизиться в зоне человеческого интеллектуального уровня в силу одного или нескольких факторов, рассмотренных в предыдущем разделе, и оставаться низкой в точке перехода и некоторое время после нее (возможно, до тех пор, пока система в конечном счете не упрется в фундаментальные физические ограничения). Предположим, что приложенная к системе сила оптимизации остается примерно постоянной (то есть #img_39.jpg проект + #img_40.jpg мир ≈ с ), пока система не получает возможность сама существенно менять свой дизайн, что приводит к удвоению ее возможностей через каждые 18 месяцев. (Это примерно соответствует историческим темпам совершенствования систем, если объединить закон Мура и прогресс в области создания ПО [240] .) Такие темпы совершенствования, достигнутые за счет действия примерно постоянной силы оптимизации, приводят к тому, что сопротивляемость снижается обратно пропорционально силе системы:
#img_41.jpg
Если сопротивляемость продолжает снижаться по такой гиперболе, то когда ИИ достигнет точки перехода, совокупная сила оптимизации, действующая на систему, удвоится. То есть:
#img_42.jpg
Следующее удвоение произойдет через 7,5 месяца. В течение 17,9 месяца возможности системы вырастут в тысячу раз, превратив ее в быстрый сверхразум (см. рис. 9).
#img_43.jpg
Рис. 9. Одна из простых моделей взрывного развития интеллекта
Эта конкретная траектория роста имеет точку положительной сингулярности в момент t = 18 месяцев. В реальности предположение, что сопротивляемость является константой, перестанет выполняться по мере приближения системы к физическим границам обработки информации, если не раньше.
Эти два сценария приведены лишь в качестве иллюстрации: в зависимости от формы кривой сопротивляемости возможно множество других траекторий. Суть проста: мощная обратная связь, возникающая в районе точки перехода, должна привести к более быстрому взлету, чем в ее отсутствие.
В предыдущем разделе мы видели, что есть факторы, способные привести к резкому снижению сопротивляемости. К таким факторам относятся, например, возможность быстрого расширения аппаратной основы, как только будет создано работающее интеллектуальное ПО; возможность алгоритмических улучшений; возможность сканирования дополнительных экземпляров мозга (при полной эмуляции головного мозга); возможность быстрого усвоения огромного объема контента за счет тщательного обследования интернета (в случае искусственного интеллекта).
Впрочем, нужно сказать, что форму кривой сопротивляемости в каждой конкретной области характеризовать довольно сложно. В частности, неясно, насколько трудно будет повысить качество ПО имитационной модели человеческого мозга или ИИ. Нет также ясности и со степенью сложности расширения аппаратной базы подобных систем.
Хотя сегодня сравнительно легко увеличить вычислительную мощность, доступную небольшому проекту, — просто потратив на компьютеры в тысячу раз больше или подождав несколько лет падения цен на них, — вполне вероятно, что первый машинный интеллект, достигший человеческого уровня, будет создан в рамках крупного проекта с применением дорогих сверхмощных компьютеров, которые не слишком просто масштабировать, и что к этому времени перестанет действовать закон Мура. По этим причинам не следует исключать возможность медленного взлета, хотя вероятность быстрого или умеренного взлета представляется все-таки более высокой.