Ежегодно, начиная с 2005 г., Исследовательский институт искусственного интеллекта проводит конференцию по сингулярности. В течение двух дней выступающие вещают перед аудиторией примерно в тысячу человек о сингулярности в самых разных аспектах — о ее влиянии на рынок труда и экономику, здравоохранение и продолжительность жизни, о ее этических последствиях. В 2011 г. среди выступавших в Нью-Йорке были научные легенды. Среди них математик Стивен Вольфрам и доткомовский миллиардер Питер Тиль, который дает талантливым подросткам-технарям деньги, чтобы они вместо учебы в колледже основывали собственные компании. Был там и Дэвид Ферруччи, научный руководитель проекта DeepQA/Watson. Непременно выступает Елиезер Юдковски, и, как правило, находится пара специалистов по этике и представителей экстропианского и трансгуманистического сообществ. Экстропианцы исследуют технологии и медицинские методики, которые позволят человеку жить вечно. Трансгуманисты думают о технических приспособлениях и косметических способах повышения человеческих способностей, красоты и… возможности жить вечно. И над всем этим разнообразием тем и фракций возвышается колосс сингулярности, один из основателей Конференции по сингулярности и звезда каждого такого собрания Рэй Курцвейл.
Темой конференции 2011 г. был компьютер Watson проекта DeepQA (ответы на вопросы) фирмы IBM. Курцвейл провел рутинную презентацию по истории чат-ботов и систем ответов на вопросы под названием «От Eliza к Watson». Но в середине, заметно оживившись, он резко раскритиковал неуклюжее эссе, направленное против гипотезы сингулярности, одним из соавторов которого выступил сооснователь Microsoft Пол Аллен.
Курцвейл выглядел неважно — исхудал, слегка прихрамывал, вел себя тише обычного. Вообще, он не из тех ораторов, которые легко захватывают внимание зала или пересыпают свою речь шутками. Напротив, он говорит всегда мягко и даже чуть механистично; его речь, кажется, лучше всего приспособлена для переговоров с похитителями людей или рассказывания вечерних сказок. Но на фоне тех революционных идей, о которых он обычно говорит, такая манера срабатывает неплохо. В век, когда доткомовские миллиардеры проводят презентации в отглаженных джинсах, Курцвейл выходит к аудитории не иначе как в старомодных коричневых брюках, кожаных мокасинах с кисточками, спортивном пиджаке и очках. Он человек средних габаритов, но в последнее время заметно постарел, особенно по сравнению с энергичным Курцвейлом из моих воспоминаний. Ему было всего лишь 52 года, когда я в последний раз брал у него интервью, и он тогда еще не перешел на питание с интенсивным снижением калорийности; сегодня это часть его планов по замедлению старения. Точно подобрав рацион питания и пищевых добавок, а также занятий физкультурой, Курцвейл планирует дожить до дня, когда будет найдено лекарство от смерти. В том, что оно будет найдено, он не сомневается.
«Я оптимист. Как изобретатель я просто обязан быть оптимистом».
После выступления Курцвейла мы с ним сидели рядом на металлических стульях в небольшой гостиной этажом выше зала. За дверью возможности пообщаться с ним не было — после меня ожидала съемочная группа какого-то документального фильма. Всего десять лет назад, когда он был не очень знаменитым изобретателем и писателем, я со своей собственной съемочной группой монополизировал его на три очень приятных часа; теперь же он стал фактически символом, и на его внимание я мог рассчитывать ровно до тех пор, пока мне удавалось держать дверь запертой. Я тоже изменился — во время первой встречи меня ошеломила мысль о том, что когда-нибудь станет возможным подключить мой мозг к компьютеру, как описано в «Духовных машинах». Мои вопросы были не жестче мыльных пузырей. Теперь я стал циничнее и мудрее по отношению к опасностям, которые самого мэтра уже не интересуют.
«Я достаточно много говорю об опасности в книге "Сингулярность рядом", — запротестовал Курцвейл, когда я спросил, не делает ли он слишком сильный акцент на позитивных перспективах сингулярности и не преуменьшает ли ее опасности. — В главе 8 речь идет об опасных перспективах переплетенных ГНР [генетики, нанотехнологий и робототехники], и я в милых живописных подробностях описываю отрицательные стороны этих трех областей техники. А отрицательная сторона робототехники, под которой на самом деле подразумевается ИИ, наиболее серьезна, потому что интеллект — самый значительный феномен в мире. Следовательно, от сильного ИИ не существует абсолютно надежной защиты».
В книге Курцвейла действительно подчеркиваются опасности генной инженерии и нанотехнологий, однако мощному ИИ, как раньше называли УЧИ, посвящено всего несколько «беззубых» страниц. Кроме того, в этой главе автор утверждает, что отказ от некоторых слишком опасных технологий, как предлагают Билл Джой и другие, — это идея не просто плохая, а аморальная. Я согласен с тем, что такой отказ практически невозможен. Но аморален ли он?
Отказ от технологий аморален потому, что в этом случае мы отказываемся от громадной пользы. В нашей жизни по-прежнему много страдания, которое можно преодолеть; существует моральный императив преодолеть его. Кроме того, отказ от технологий потребовал бы тоталитарной системы, поскольку только ей под силу обеспечить запрет. И, что самое важное, все равно ничего не получится. Технологии будут просто загнаны в подполье, где у безответственных исследователей вообще не будет никаких ограничений. Ответственные ученые, которым будет поручена разработка защиты, не получат доступ к необходимым для этого инструментам. В результате ситуация окажется еще более опасной.
Курцвейл критикует так называемый Принцип предосторожности, исходящий от движения за охрану окружающей среды; это, как и отказ от технологий, его мишень в нашем разговоре. Но важно точно сформулировать этот принцип и посмотреть, почему в нем нет особого смысла. Принцип предосторожности гласит: «Если последствия некоего действия неизвестны, но некоторые ученые считают, что они, хотя бы с небольшой вероятностью, могут оказаться резко отрицательными, то лучше не производить действие, чреватое отрицательными последствиями». Этот принцип применяется не особенно часто и не особенно строго. Он положил бы конец любой предположительно опасной технологии, если бы «некоторые ученые» опасались ее, даже если бы они не могли точно сформулировать, каким образом это действие приведет к нежелательному результату.
В приложении к УЧИ у Принципа предосторожности и отказа от технологий нет никаких шансов, если исключить вариант катастрофического происшествия на пути к УЧИ, которое испугало бы нас всех до смерти. Лучшие корпоративные и правительственные проекты УЧИ никогда не откажутся от конкурентного преимущества в виде секретности — мы уже видели это на примере стелс-компаний. Мало какая страна или организация откажется от такого преимущества, даже если работа над УЧИ будет объявлена вне закона. (Мало того, та же корпорация Google обладает средствами и влиянием небольшого государства, так что, если хотите понять, что будут делать другие страны, следите за Google.) Технологии, необходимые для создания УЧИ, вездесущи и многосторонни, к тому же постоянно миниатюризируются. Контролировать их развитие чрезвычайно сложно, если не невозможно.
Другой вопрос — действительно ли аморально не развивать УЧИ, как говорит Курцвейл. Во-первых, польза от УЧИ будет громадна, но только в том случае, если человечество уцелеет и сможет ею воспользоваться. И это довольно серьезное если, когда система достаточно продвинута, чтобы инициировать интеллектуальный взрыв. Утверждать, как это делает Курцвейл, что недоказанная польза перевешивает столь же недоказанный риск, на мой взгляд, проблематично. Я бы сказал в ответ на его аргументы, что аморально, на мой взгляд, разрабатывать такие технологии, как УЧИ, и не просвещать одновременно как можно большее количество людей относительно связанных с этим рисков. Я считаю, что катастрофические риски УЧИ, ныне признанные многими известными и уважаемыми исследователями, установлены надежнее, чем предполагаемая польза от сингулярности, — для начала это наноочищение крови, улучшенный, более быстрый мозг и бессмертие. Единственное, что можно наверняка сказать о сингулярности, — это то, что данный термин описывает период времени, в который, согласно Закону прогрессирующей отдачи, быстрые и очень умные компьютеры прочно войдут в нашу жизнь и наши тела. После этого, вполне возможно, чуждый машинный интеллект устроит нашему природному интеллекту веселую жизнь. Понравится нам это или нет, другой вопрос. Если вы внимательно читали Курцвейла, вы понимаете, что польза проистекает в основном от усиления человеческих способностей — усиления, необходимого, чтобы поспевать за изменениями. Как я уже говорил, я считаю, что это приведет к технологическому насилию, а может быть, и к выбраковке.
И это, надо сказать, не главный мой страх, потому что я не думаю, что мы когда-нибудь доживем до подобной ситуации. Я считаю, что нас остановят еще на подходе силы, слишком могущественные, чтобы их можно было контролировать. Я сказал об этом Курцвейлу, и он ответил стандартной заготовкой — тем же оптимистичным, антропоморфным аргументом, что он выдал мне десять лет назад.
Получить сущность чрезвычайно умную, но по каким-то причинам нацеленную на наше уничтожение — это негативный сценарий. Но спросите себя: почему может так случиться? Во- первых, я осмелился бы утверждать, что не существует противостояния между нами и машинами, поскольку машины — не отдельная цивилизация. Это часть нашей цивилизации. Это инструменты, которыми мы пользуемся, и их применение постоянно расширяется; даже если мы станем этими инструментами, все равно эта система развивается из нашей цивилизации. Это не какое-то инопланетное вторжение машин с Марса. Нам не придется гадать, на чем основана их система ценностей.
Как мы уже говорили, считать, что УЧИ будет в точности похож на человека, означает приписывать человеческие ценности разумной машине, которая получила свой разум — и свои ценности — совершенно иначе, чем мы. Несмотря на самые лучшие намерения создателей, в большинстве, если не во всех УЧИ значительная часть работы системы окажется слишком непрозрачной и слишком сложной, чтобы мы могли полностью в ней разобраться и точно предсказать ее поведение. Чуждый, непознаваемый, да к тому же… не забывайте, что некоторые УЧИ будут созданы специально для того, чтобы убивать людей, ведь в США, к примеру, мы видим ведомства оборонного сектора среди самых активных инвесторов. Можно ожидать, что в других странах дело обстоит точно так же.
Я уверен, что Курцвейл понимает, что для того, чтобы УЧИ уничтожил человечество, не обязательно разрабатывать его специально с этой целью; достаточно простой небрежности. Как предупреждает Стив Омохундро, без тщательного программирования у продвинутого ИИ появятся мотивации и цели, которые будут нам чужды. Как говорит Елиезер Юдковски, наши атомы могут пригодиться ИИ в каком-то совсем другом качестве. И, как мы уже видели, дружественный ИИ, который обеспечил бы правильное поведение первого УЧИ и всех его потомков, — это концепция, которой еще очень далеко до готовности.
Курцвейл не стал уделять слишком много времени концепции дружественного ИИ. «Мы не можем просто сказать: "Мы поместим в наши ИИ эту маленькую подпрограммку, и это их обезопасит", — сказал он. — Я имею в виду, все сводится к целям и намерениям этого искусственного интеллекта. Перед нами пугающие вызовы».
Вызывает ужас одна только мысль о недружественном ИИ — УЧИ, разработанном с целью уничтожения врагов; с этой реальностью мы с вами очень скоро столкнемся лицом к лицу. «Почему бы могла появиться такая вещь?» — спрашивает Курцвейл. Да просто потому, что десятки организаций в США работают над ее созданием, и тем же самым занимаются за границей наши противники. Если бы сегодня УЧИ уже существовал, то очень скоро, не сомневаюсь, он нашел бы применение в боевых роботах. Возможно, DARPA настаивает, что беспокоиться не о чем, — ИИ, созданные на деньги DARPA, будут убивать только наших врагов. Его создатели установят защиту, позаботятся о безотказности, добавят аварийный блокиратор и систему секретной связи. Они смогут контролировать сверхразум.
В декабре 2011 г. один иранец запустил на своем ноутбуке простую программу обмена файлами — и устроил крушение беспилотника Sentinel. В июле 2008 г. кибератака на Пентагон позволила злоумышленникам получить неограниченный доступ к 24000 секретных документов. Бывший заместитель министра обороны Уильям Линн III рассказал газете The Washington Post, что в результате сотен кибератак на системы министерства обороны и его подрядчиков были украдены «наши важнейшие секреты, включая системы авионики, технологии наблюдения, системы спутниковой связи и сетевые протоколы безопасности». Тому, кто не способен даже на такое относительно простое дело, как обезопасить информацию от хакеров-людей, бессмысленно доверять охрану сверхразума.
Однако мы можем извлечь кое-какие полезные уроки из истории контроля над вооружениями. С момента создания ядерного оружия только США реально использовали его против неприятеля. Ядерным державам удалось избежать гарантированного взаимного уничтожения. Ни в одной ядерной державе, насколько нам известно, не происходило случайных взрывов. Пока история ответственного руководства ядерной отраслью заслуживает высокой оценки (хотя угроза еще не миновала). Но вот что я хочу сказать. Слишком мало людей знает, что нам необходимо налаживать постоянный международный переговорный процесс по поводу УЧИ, сравнимый с тем, что идет по поводу ядерного оружия. Слишком много людей полагает, что пределы ИИ обозначены безобидными поисковыми системами, смартфонами и вот теперь компьютером Watson. Но в реальности УЧИ намного ближе к ядерному оружию, чем к видеоиграм.
ИИ — технология «двойного назначения»; этим термином обозначают технологии, имеющие и мирные, и военные приложения. К примеру, ядерный синтез может обеспечивать города электричеством или разрушать их (или, как в случае с Чернобылем и Фукусимой, делать то и другое последовательно). Ракеты, сконструированные в ходе космической гонки, увеличили мощность и точность межконтинентальных баллистических ракет. Нанотехнологии, биоинженерия и генная инженерия обещают невероятные успехи в улучшающих жизнь гражданских приложениях, но они же буквально напрашиваются на катастрофические аварии и использование военными и террористами.
Когда Курцвейл объявляет себя оптимистом, он не подразумевает, что УЧИ окажется безобидным. Он говорит о том, что готов к взвешенному подходу, обычному для людей, сталкивающихся с потенциально опасными технологиям. И иногда люди терпят неудачу.
«Идет много разговоров об экзистенциальных рисках, — сказал Курцвейл. — Меня больше тревожат неприятные эпизоды, они куда более вероятны. Вы знаете, шестьдесят миллионов человек были убиты во время Второй мировой войны. Разумеется, эта цифра увеличилась за счет мощных разрушительных средств, которыми мы тогда располагали. Я настроен довольно оптимистично и считаю, что мы прорвемся, но я не настолько оптимистичен, чтобы думать, что нам удастся избежать болезненных эпизодов».
«Невероятные перспективы сочетаются с большими опасностями еще со времен приручения огня. Огонь помогал готовить еду, и им же сжигали вражеские деревни. Колесо может быть использовано и во благо, и во зло. Технология — это мощь; одна и та же технология может применяться с различными целями. Человеческие существа делают все на свете, занимаются и любовью, и войной; любое дело мы стремимся улучшить всеми возможными способами, в том числе техническими; мы будем этим заниматься и впредь».
Разные способы применения технологий неизбежны, и несчастные случаи всегда возможны — с этим сложно спорить. Тем не менее аналогия не работает — продвинутый ИИ совсем не похож на огонь или какую-то другую известную технологию. ИИ способен думать, планировать и обманывать своих создателей. Ни один другой инструмент не делает ничего подобного. Курцвейл считает, что существует способ ограничить опасные аспекты ИИ, и особенно ИСИ, и способ этот — соединить его с человеком при помощи машинного усиления интеллекта. Сидя на неудобном металлическом стуле, оптимист сказал: «Как я уже указывал, мощный ИИ рождается из множества разнонаправленных усилий и глубоко интегрируется в инфраструктуру нашей цивилизации. В самом деле, он будет буквально встроен в наше тело и мозг. В этом качестве он начнет отражать наши ценности, поскольку он станет нами».
Из этих рассуждений следует, что ИИ будет настолько же «безопасен», насколько безопасны мы сами. Однако, как я сказал Курцвейлу, homo sapiens не славится особой безобидностью при контактах с сородичами, другими животными и окружающей средой. Кто из вас убежден, что человек, снабженный усилителем мозга, окажется более дружелюбным и доброжелательным, чем машинный сверхразум? Усовершенствованный человек (те, кто с нетерпением ждет такой возможности, называют его сверхчеловеком) может обойти проблему базовых потребностей ИИ, сформулированную Омохундро. Не исключено, что такой человек будет обладать не только самосознанием и способностью к самосовершенствованию, но и встроенным набором отработанной веками человекоцентрической этики — и она подавит базовые потребности, которые Омохундро выводит из модели рационального экономического агента. Однако, несмотря на «Цветы для Элджернона», мы понятия не имеем, что происходит с человеческой этикой, когда интеллект взлетает до небес. Можно привести множество примеров людей средних интеллектуальных способностей, которые вдруг начинают войну против собственной семьи, школы, фирмы или соседей. Гении, кстати говоря, тоже способны наделать шума — лучшие генералы мира по большей части не были идиотами. А сверхразум вполне может оказаться умножителем агрессии. Он может превратить обиду в убийства, разногласия в катастрофы — точно так же, как «удачно» подвернувшееся оружие может превратить потасовку в убийство. Мы просто не знаем. Однако следует заметить, что для ИСИ, созданного за счет усиления интеллекта, характерна биологическая агрессивность, которой у машин нет. Наш биологический вид имеет длинный послужной список самозащиты, объединения ресурсов, откровенного уничтожения противников и других движителей, о наличии которых у сознающих себя машин мы можем пока только гадать.
И кто же первый сможет воспользоваться достижениями науки и серьезно усовершенствовать себя? Самые богатые? Раньше считалось, что зла в богатых не больше, чем во всех остальных, но недавнее исследование Университета Калифорнии в Беркли позволяет усомниться в этом. Эксперименты показали, что богатейшие представители высших классов с большей вероятностью «демонстрируют тенденции к принятию неэтичных решений, отнимают у других ценные вещи, лгут на переговорах, обманывают с целью увеличить свои шансы на выигрыш и одобряют неэтичное поведение на работе». Нет недостатка в обеспеченных руководителях компаний и политиках, у которых одновременно с подъемом к вершинам власти, кажется, постепенно ослабевал моральный компас (если, конечно, он у них имелся изначально). И при этом политики и бизнесмены будут первыми, кто подвергнется серьезному интеллектуальному усовершенствованию?
Или, может быть, первыми будут солдаты? DARPA давно взяла на себя львиную долю расходов, так что разумно предположить, что первая модификация мозга будет испытана на поле боя или в Пентагоне. И если сверхразум сделает солдат сверхдружелюбными, DARPA потребует вернуть свои деньги.
Не исключено, конечно, что, когда дело дойдет до модификации человека, мир будет лучше подготовлен к этому, нежели сейчас, и позаботится о каких-то предохранителях, которые мы сегодня даже представить не можем. Кроме того, множество ИСИ, вероятно, лучше, чем один-единственный. Хорошо бы предусмотреть способ непрерывного мониторинга и наблюдения за ИИ; как ни парадоксально, лучшими сторожами для этого были бы другие ИИ. Подробнее мы поговорим о способах защиты от ИСИ в главе 14. Дело в том, что модификация разума не застрахована от моральных отказов. Сверхразум может оказаться опаснее любой из самых тщательно контролируемых технологий сегодняшнего дня и любого вида оружия.
Одновременно с технологией модификации разума нам придется развивать науку отбора кандидатов на эту операцию. Сингуляритарии тешат себя надеждой, что каждый, кто сможет себе это позволить, получит суперинтеллект; на самом же деле такой подход гарантированно привел бы к тому, что все остальные оказались бы игрушкой в руках первого же злобного сверхразума, полученного таким образом. Мы уже говорили о том, что первый в разработке УЧИ получит решительное преимущество. Тот, кто раньше всех сумеет получить УЧИ, — кем бы он ни был, — вероятно, создаст затем условия для интеллектуального взрыва. Он сделает это из опасения, что конкуренты, военные или корпоративные, обгонят его; никто не знает, насколько конкуренты близки к финишной черте. Я видел, какая гигантская пропасть отделяет создателей ИИ и УЧИ от исследования рисков, которые они должны были бы проводить. Мало кто из разработчиков УЧИ, с которыми я разговаривал, читал хоть что-то из работ Исследовательского института машинного интеллекта, Института будущего человечества, Института этики и новых технологий или Стива Омохундро. Многие даже не подозревают о существовании растущего сообщества людей, озабоченных разработкой интеллекта, превышающего человеческий, и проводящих важные исследования в отношении возможных катастрофических последствий этого. Если ситуация не изменится, я уверен, что короткий забег от УЧИ до ИСИ пройдет без достаточных мер предосторожности, которые могли бы предотвратить катастрофу.
Вот яркий пример. В августе 2009 г. в Калифорнии Ассоциация за продвижение искусственного интеллекта (AAAI) собрала группу, которая должна была успокоить растущий страх публики перед взбесившимися роботами, потерей неприкосновенности частной жизни и техническими движениями, названия которых больше всего напоминали названия религиозных сект.
«За последние пять-восемь лет произошло кое-что новое, — сказал организатор Эрик Хорвиц, видный исследователь из Microsoft. — Технари предлагают почти религиозные идеи, и эти идеи резонируют в некоторых отношениях все с той же идеей Вознесения… По моим ощущениям, рано или поздно нам придется сделать какое-то заявление или утверждение, учитывая все более громкие голоса технократов и людей, которых очень беспокоит развитие интеллектуальных машин».
Несмотря на многообещающую повестку дня, встречу можно записать в разряд упущенных возможностей. Она не была открыта для публики или прессы; специалисты по машинной этике и другие мыслители, занятые оценкой рисков, тоже были оставлены за бортом. К дискуссии были приглашены только чистые компьютерщики. Это примерно как попросить автогонщиков установить в городе пределы разрешенных скоростей. Одна из подгрупп работала над Тремя законами робототехники Айзека Азимова; это означает, что этические дискуссии не были обременены многими томами трудов, написанных позже и продвинувшихся куда дальше этих научно-фантастических декораций. Тоненький отчет о конференции, представленный Хорвицем, выражает скепсис по поводу интеллектуального взрыва, сингулярности и утраты контроля над разумными системами. Тем не менее конференция призвала к дальнейшим исследованиям в области этики и психологии и подчеркнула опасность все более сложных и непонятных компьютерных систем, включая «дорогостоящее непредсказуемое поведение автономных или полуавтономных систем, способных принимать решения». Том Митчелл из Университета Карнеги-Меллона, создатель под крылом DARPA архитектуры NELL (потенциальным УЧИ), утверждает, что конференция изменила его позицию. «Направляясь туда, я был настроен очень оптимистично в отношении будущего ИИ и считал, что Билл Джой и Рэй Курцвейл сильно ошибаются в своих предсказаниях. После этой встречи я захотел большей откровенности в этих вопросах».
В книге «Сингулярность рядом» Курцвейл предлагает несколько решений проблемы беглого ИИ. Это удивительно слабые решения для человека, который занимает практически монопольную позицию представителя суперинтеллекта. Но, с другой стороны, это вовсе не удивительно. Как я уже говорил, существует неразрешимый конфликт между теми, кто лихорадочно жаждет жить вечно, и всем тем, что обещает замедлить, поставить под угрозу или как-то иначе затруднить развитие технологий, которые должны в конечном итоге исполнить их мечту. В своих книгах и лекциях Курцвейл почти не тратит свой интеллект на опасности ИИ и предлагает лишь несколько решений, но при этом утверждает, что подробно разобрал и то и другое. В тесной гостиной Нью-Йорка, когда за дверью нервно готовилась съемочная группа, я спросил себя: чего мы можем ожидать от одного человека? Неужели Курцвейл должен в одиночку справиться с сингулярностью, с ее пользой и опасностями, и скормить нам то и другое с ложечки, как младенцам? Неужели он лично должен разбираться, что означают идиомы вроде «непреодолимо двойственная природа техники», и овладевать философией выживания, как ее понимают люди вроде Юдковски, Омохундро и Бострома?
Нет, я так не думаю. Это проблема, которую мы должны решать все вместе, с привлечением специалистов.