Размножающиеся ассемблеры и мыслящие машины создают принципиальные угрозы для людей и жизни на Земле. Сегодняшние организмы имеют способности далеко от пределов возможного, и наши машины эволюционируют быстрее, чем мы сами. В пределах нескольких десятилетий представляется вероятным, что они на превзойдут. Если мы не научимся жить с ними в безопасности, наше будущее вероятно будет и восхитительным, и коротким. Мы не можем надеяться предвидеть все проблемы впереди, однако, уделяя внимания большим, принципиальным моментам, мы, возможно, в состоянии предвидеть наиболее значительные задачи и получить некоторое представление о том, как с ними иметь дело.

Без сомнения, будут написаны целые книги о грядущих социальных сдвигах: что случится с глобальным порядком, когда ассемблеры и автоматический инжиниринг исключать необходимость в большей части международной торговли? Как общество изменится, когда отдельные люди смогут жить независимо? Что мы будем делать, когда размножающиеся ассемблеры смогут производить почти всё что угодно без человеческого труда? Что мы будем делать, когда системы ИИ смогут думать быстрее, чем люди? (И до того, как они придут к заключению, что люди отчаются что-либо делать или создавать, авторы могут рассмотреть, как бегуны относятся к машинам, или как художники относятся к камерам.)

В действительности авторы уже почти предвидели и проговорили несколько из этих моментов. Каждый из них – дело необычайной важности, но более фундаментальным, чем любой из них является выживание жизни и свобода. В конце концов, если жизнь или свобода исчезнут, то наши идеи о социальных проблемах больше не будут иметь значения.

Угроза от машин

В главе 4 я описал кое-что из того, что воспроизводящиеся ассемблеры будут делать для нас, если мы будем с ними правильно обращаться. Приводимые в движение топливом или солнечным светом, они будут способны делать почти всё что угодно (включая их самих) из широко распространённых материалов.

Живые организмы также приводятся в движение топливом или солнечным светом, и также делают большую часть себя из широко распространённых материалов. Но в отличие от систем, основанных на ассемблерах, они не могут делать "почти всё что угодно".

Генетическая эволюция ограничила жизнь системами, построенными на ДНК, РНК и рибосомах, но эволюция мимов принесёт машины, подобные жизни, построенные на нанокомпьютерах и ассемблерах. Я уже описал, чем построенные из ассемблеров молекулярные машины будут отличаться от построенных на рибосомах машинах жизни. Ассемблеры будут способны строить всё то, что способны рибосомы, и более того; репликаторы на базе ассемблеров, следовательно, будут способны делать всё, что может жизнь, и более того. С точки зрения эволюции, это создаёт очевидную угрозу выдрам, людям, кактусам и папоротникам – всей богатой фабрике биосферы и всему, что мы ценим.

Ранние компьютеры, построенные на транзисторах, вскоре обошли самые лучшие компьютеры на электронных лампах, потому что они были сделаны из устройств более высокого уровня. По той же причине, ранние репликаторы, построенные на ассемблерах, могли бы обойти самые совершенные из современных организмов. "Растения" с "листьями" не более эффективными, чем сегодняшние солнечные элементы, могли бы выиграть конкуренцию у настоящих растений, наводняя биосферу несъедобной листвой. Однако, всеядные "бактерии" могли бы выиграть конкуренцию у настоящих бактерий: они могли бы распространиться как летящая пыльца, стремительно размножаясь и сведя биосферу в пыль за считанные дни. Опасные репликаторы могли бы легко быть слишком жёсткими, маленькими и быстро распространяющимися, чтобы их остановить – по крайней мере если мы не сделаем никаких приготовлений. У нас достаточно проблем с контролем над вирусами и фруктовыми мушками.

Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой липкой массы". Хотя массы бесконтрольных репликаторов не обязательно должны быть серыми или липкими, термин "серая липкая" подчёркивает, что репликаторов, способных уничтожить жизнь, может быть меньше в шприце, чем одного вида травяных жучков. Они могли бы быть "высшими" в эволюционном смысле, но это не обязательно сделало бы их ценными. Мы научились любить мир богатым живыми тварями, идеями, и разнообразием, так что не причины ценить серую массу только за то, что она может распространяться. Действительно, если мы предотвратим её размножение, тем самым мы докажем наше эволюционное превосходство.

Угроза серой липкой массы делает одну вещь совершенно очевидной: мы не можем себе позволить определённые виды случайностей с размножающимися ассемблерами.

В главе 5 я описал некоторое из того, что будут делать для нас продвинутые системы ИИ, если мы будет правильно с ними обращаться. В конечном счёте он будут воплощать структуры мысли заставлять их течь со скоростью, с которой не может сравняться ни один мозг млекопитающего. Системы ИИ, которые работают вместе, также как это делают люди, будут способны думать не просто как отдельные люди, но как целые общества. Опять же, эволюция генов оставила жизнь в определённом состоянии. Опять же, эволюция мимов человеческими существами, и в конечном счёте машинами, будут продвигать наши аппаратные средства далеко за пределы жизни. И снова, с точки зрения эволюции это создаёт очевидную угрозу.

Знание может давать власть, а власть может давать знание. В зависимости от своей природы и своих целей, продвинутые системы ИИ могли бы накопить достаточно знания и власти, чтобы сместить нас, если мы не подготовимся должным образом. И также как с репликаторами, простое эволюционное "превосходство" не обязательно сделает победителей лучшими, исчезнувшие, по всем стандартам, кроме грубой способности конкурировать.

Эта угроза делает одну вещь совершенно очевидной: нам необходимо найти способы жить с мыслящими машинами, чтобы сделать их законопослушными гражданами.

Машины власти

Определённые виды репликаторов и систем ИИ могут столкнуть нас с формами технических средств, способных к быстрому эффективному независимому действию. Но новизна этой угрозы, происходящей от самих машин, не должна нас скрывать от нашего взора более традиционную опасность. Репликаторы и системы ИИ могут также служить как великолепные машины власти, если ими свободно завладеют суверенные государства.

На всём протяжении истории, государства разрабатывали технологии, чтобы расширить свою военную мощь, и государства несомненно будут играть доминирующую роль в разработке репликаторов и систем ИИ. Государства могли бы использовать воспроизводящиеся ассемблеры, чтобы строить арсеналы совершенного оружия, быстро, легко и в огромных количествах. Государства могли бы использовать специальные репликаторы, непосредственно, чтобы вести род биологической войны – войны, которая становится намного более практичной с программируемыми, управляемыми компьютерами "микробами". В зависимости от своих способностей, системы ИИ могли бы служить как оружие разработчиков, стратегов и бойцов. Военное финансирование уже поддерживает и молекулярные технологии, и искусственный интеллект.

Государства могли бы использовать ассемблеры или продвинутые системы ИИ, чтобы достигать неожиданных, дестабилизирующих прорывов. Ранее я говорил о причинах, почему нужно ожидать, что приход воспроизводящихся ассемблеров принесёт сравнительно неожиданные изменения: способные быстро размножаться, их могло бы стать огромное количество за считанные дни. Способные делать почти всё что угодно, их можно было бы запрограммировать, чтобы копировать имеющееся оружие, но сделанное из более совершенных материалов. Способные работать со стандартными, хорошо понятными компонентами (атомами), они могли бы неожиданно строить вещи, разработанные в ожидании ассемблерной революции. Эти результаты проектирования с опережением могли бы включать программируемые микробы и другие жуткие новшества. По всем этим причинам, государство, которое сделает ассемблерную революцию, могло бы быстро создать решающую военную силу – если не буквально за ночь, то по крайней мере с беспрецедентной скоростью.

Государства могли бы использовать продвинутые системы ИИ для аналогичных целей. Системы автоматической разработки будут ускорять проектирование с опережением и ускорять разработку ассемблеров. Системы ИИ, способные строить лучшие системы ИИ сделают возможным взрыв способностей с последствиями, которые трудно предвидеть. И системы ИИ и воспроизводящиеся ассемблеры дадут государствам возможность увеличивать свои военные возможности на порядки за короткое время.

Репликаторы могут быть более действенны, чем ядерное оружие: чтобы опустошить Землю бомбами, потребовалось бы массы экзотических технических средств и редких изотопов, но чтобы разрушить всю жизнь с помощью репликаторов, потребовалось бы лишь одно пятнышко, состоящее из обычных элементов. Репликаторы составляют ядерной войне что-то вроде компании как потенциальная причина вымиранию, давая более широкий контекст вымиранию, как моральной обеспокоенности.

Вопреки своему потенциалу как машины разрушения, нанотехнология и системы ИИ будут годиться для более тонких способов использования, чем ядерное оружие. Бомба может только взрывать, но наномашины и системы ИИ могли бы проникать, захватывать, изменять и управлять территорией или миром. Даже самая безжалостная полиция бесполезна для ядерного оружия, но она имеет смысл против безумных идей, наркотиков, убийц или других гибких машин власти. С продвинутой технологией государства будут способны консолидировать свою власть над людьми.

Также как гены, мимы, организмы и технические средства, государства эволюционируют. Их институты распространились (с вариациями) на рост, деление, подражание и завоевание. Государства в войне дерутся как звери, но используя граждан как свои кости, мозг и мускулы. Грядущие технологические прорывы поставят государства перед новыми видами давления и возможностей, благоприятствуя резким изменениям в том, как государства себя ведут. Это естественно даёт основание для озабоченности. Исторически государства выделялись в кровопролитии и угнетении.

В некотором смысле, государство – это просто сумма людей, образующих организационный аппарат: их действия складываются и образуют его действия. Но то же самое можно сказать о собаке и её клетках, хотя собака очевидно нечто большее, чем просто группа клеток. И собаки, и государства – эволюционирующие системы, со структурами, которые влияют на то, как ведут себя их части. На протяжении тысяч лет, собаки во многом эволюционировали так, чтобы доставлять удовольствие людям, само их существование зависело от их способности быть использованными людьми, будь то как поводыри, ищейки или солдаты.

Может казаться парадоксальным сказать, что люди имеют ограниченную власть над государствами: в конце концов, не люди ли стоят за каждым действием государства? Но в демократических странах, главы государств оплакивают недостаток своей власти, представители поклоняются интересам групп, бюрократы ограничены правилами, а избиратели, якобы в ответственности за всё это, всех их посылают к чертям. Государство действует и люди влияют на него, однако никто не может заявить, что контролирует его. В тоталитарных странах аппарат власти имеет традицию, структуру и внутреннюю логику, которая никого не оставляет свободным, ни правителей, ни тех, кем управляют. Даже короли вынуждены действовать способами, ограниченными традициями монархии и прагматикой власти, если они хотят оставаться королями. Государства – это не люди, хотя они состоят из людей.

Вопреки этому, история показывает, что изменение возможно, даже изменение к лучшему. Но изменения всегда движутся из одной полуавтоматической, нечеловеческой системы к другой – одинаково нечеловеческой, но возможно более гуманной. В нашей надежде на улучшения, мы не должны смешивать государства, которые делают человеческое лицо с государствами, которые имеют гуманные институты.

Описание государств как квази-организмов схватывает только один аспект сложной реальности, однако он подсказывает, как они могут эволюционировать в ответ на грядущие прорывы. Рост власти правительства, наиболее хорошо заметный в тоталитарных странах, предлагает одно направление.

Государства могли бы стать в большей степени подобными организмам, имея влияние на свои части более сильно. Используя воспроизводящиеся ассемблеры, государства могли бы заполнить среду людей миниатюрными устройствами надзора. Используя изобилие понимающих речь систем ИИ, они могли бы слушать каждого, не используя половину населения в качестве шпионов. Используя нанотехнологию как это было предложено для машин ремонта клеток, они могли бы с минимальными издержками успокоить, провести лоботомию, или ещё как-то модифицировать целые народы. Это могло бы просто могло бы расширить слишком известную картину. Мир уже содержит правительства, которые шпионят, пытают и кормят наркотиками; усовершенствованная технология просто расширит возможности.

Но с усовершенствованной технологией государствам не нужно будет контролировать людей – они просто вместо этого могли бы отказаться от людей. Большинство людей в большинстве государств, в конце концов, действуют в качестве работников-муравьёв, которые либо трудятся над личинками, либо охраняют их, а большая часть из этих работников делает, двигает или выращивает вещи. Государство с воспроизводящимися ассемблерами не нуждалось бы в такой работе. Что более важно, продвинутые системы ИИ могли бы заменить инженеров, учёных, администраторов, и даже лидеров. Комбинация нанотехнологии и продвинутого ИИ сделает возможными разумных и эффективных роботов; с такими роботами, государство могло бы процветать, уволив кого угодно, или даже (в принципе) всех.

Значение этой возможности зависит от того, существуют ли государство для того, чтобы служить людям, или люди существуют для того, чтобы служить государству.

В первом случае мы имеем государство, сформированное людьми, чтобы служить общечеловеческим целям; демократии имеют тенденцию быть по крайней мере грубым приближением к этому идеалу. Если демократически управляемое правительство теряет свою необходимость в людях, это по сути означает, что ему не нужно больше использовать людей как чиновников и налогоплательщиков. Это откроет новые возможности некоторые из которых могут оказаться желательными.

Во втором случае, мы имеем государство, которое развилось, чтобы эксплуатировать людей, возможно по тоталитарному принципу. Государства нуждаются в людях как в работниках, потому что человеческий труд являлся необходимым основанием для власти. Что более важно, геноцид был дорогим и проблематичным для организации и выполнения. Однако в этом веке тоталитарные государства убивали своих граждан миллионами. Усовершенствованная технология сделает работников ненужными, а геноцид легко исполнимым. История свидетельствует, что тоталитарные государства могут тогда вообще уничтожить людей. В этом есть некоторое утешение. Кажется вероятным, что государство, желающее и способное поработить нас биологически, вместо этого бы просто нас убило.

Угроза совершенной технологии в руках правительств делает одну вещь совершенно очевидной: мы не можем позволить себе дать деспотическому государству взять первенство в грядущих прорывах.

Основная проблема, которую я обрисовал – очевидна: в будущем, также как и в прошлом, новые технологии будут годиться для аварий и злоупотребления. Поскольку репликаторы и думающие машины будут давать огромную новую власть, эта возможность аварий и злоупотребления будет также огромен. Эти возможности создают реальные угрозы нашим жизням.

Большинство людей хотело бы иметь возможность жить и быть свободными выбирать, как им жить. Эта цель может не звучать слишком утопичной, по крайней мере в некоторых частях света. Это не означает принуждение жизни каждого к соответствию какому-то грандиозному плану; это главным образом означает, чтобы избежать порабощения и смерти. Однако, также как достижение утопичной мечты, это принесёт будущее чудес.

Учитывая эти проблемы жизни и смерти и эту общую цель, мы можем рассмотреть, какие меры могли бы нам помочь достичь успеха. Наша стратегия должна включать людей, принципы и институты, но также она должна основываться на тактике, которая неизбежно будет включать технологию.

Системы, которым можно доверять

Чтобы использовать такие мощные технологии безопасно, мы должны делать технические средства, которым мы можем доверять. Чтобы иметь доверие, мы должны быть способны тщательно оценивать технические факты – способность, которая в свою очередь будет зависеть отчасти от качества наших способов оценки. Более существенно, однако, она будет зависеть от того, будет ли заслуживающие доверие технические средства физически возможны. Это – вопрос надёжности компонентов и систем.

Часто мы можем делать надёжные компоненты, даже без помощи ассемблеров. "Надёжные" не значит "неразрушимые" – всё что угодно разрушится, если его поместить достаточно близко к ядерному взрыву. Это даже не означает "стойкий" – телевизор может быть надёжным, однако он не выдержит удара о бетонный пол. Скорее, мы называем что-то надёжным, когда мы можем рассчитывать, что оно будет работать, как задумано.

Надёжный компонент не обязательно должен быть совершенным воплощением совершенной конструкции: ему только нужно быть достаточно хорошим воплощением достаточно предусмотрительной конструкции. Инженер, который строит мост, может не быть уверен насчёт силы ветра, нагрузки движения по мосту, и прочности стали, но предполагая высокий ветер, интенсивное движение и непрочную сталь, инженер может сконструировать мост, который сможет выдержать.

Неожиданные отказы компонентов обычно проистекают из физических дефектов. Но ассемблеры будут строить компоненты, которые имеют пренебрежимо малое число атомов не на своём месте – ни одного, если будет в том необходимость. Это сделает их идеально унифицированными и в ограниченном смысле – совершенно надёжными. Однако излучение будет всё равно вызывать повреждение, поскольку космические лучи могут неожиданно выбивать атомы из чего угодно. В достаточно малых компонентах (даже в современных компьютерных устройствах памяти), отдельная частица излучения может вызвать отказ.

Но системы работают, даже когда их части перестают работать; ключ к этому – избыточность. Представьте мост, подвешенный на канатах, которые случайным образом обрываются, каждый около одного раза в год в непредсказуемый момент времени. Если мост упадёт когда порвётся канат, его будет использовать слишком опасно. Однако представьте, что чтобы починить канат требуется один день (потому что квалифицированная команда ремонтников с запасными канатами вызывается как только необходимо), и что, хотя необходимо пять канатов, чтобы поддерживать мост, есть на самом деле шесть. Теперь один канат рвётся, и мост всё равно остаётся на своём месте. Закрыв движение и далее заменив порвавшийся канат, операторы моста могут восстановить безопасность. Чтобы разрушить этот мост, в этот же день должен порваться второй кабель, также как и первый. Поддерживаемый шестью канатами, каждый имеющий 1 из 365 шансов порваться, мост вероятно выдержит около 10 лет.

Во время перестройки он остаётся ужасным. Однако мост с десятью канатами (пять необходимых и пять дополнительных) упадёт только если шесть канатов порвутся в тот же день: система поддержки вероятно выдержит более десяти миллионов лет. С пятнадцатью канатами ожидаемая продолжительность жизни – более чем в десять тысяч раз больше возраста Земли. Избыточность может давать экспоненциальный взрыв безопасности.

Избыточность работает лучше всего, когда избыточные компоненты действительно независимы. Если мы не доверяем процессу конструирования, то мы должны использовать компоненты, разработанные независимо; если бомба, пуля или космический луч может повредить несколько соседних частей, то мы должны распределить избыточные части более широко. Инженеры, которые хотят обеспечить надёжное сообщение между двумя островами не должны просто добавлять канаты к мосту. Им нужно построить два хорошо разделённых моста, использующих различные конструкции, далее добавить туннель, паром и пару островных аэропортов.

Компьютерные инженеры также используют избыточность. Стратус Компьютер Инк., например, производит машину, которая использует центральные обрабатывающие блоки (в двух частях) для выполнения работы одной, но для выполнения значительно более надёжно. Каждая часть постоянно проверяет внутреннее соответствие, и вышедшая из строя часть может быть заменена, пока работает её двойник.

Ещё более мощная форма избыточности – разнообразие конструкции. В компьютерных аппаратных средствах это означает использование нескольких компьютеров с различной конструкцией, все работающие параллельно. Сейчас избыточность может корректировать не только отказы в отдельно взятой единице аппаратных средств, но и ошибки её конструкции.

Многое сделано над проблемой написания больших программ, свободных от ошибок; многие люди считают, что такие программы невозможно разработать и отладить. Но исследователи в УКЛА Компьютер Сайенс Департмент показали, что разнообразие конструкции можно также использовать в программном обеспечении: несколько программистов могут работать над той же самой проблемой независимо, тогда все их программы можно запускать параллельно и выбирать ответ голосованием. Это умножает затраты на написание и работу программ, но это делает получающиеся в результате системы программного обеспечения устойчивыми к ошибкам, которые появляются в некоторых из их частей.

Мы можем использовать избыточность, чтобы контролировать репликаторы. Также как машины ремонта, которые сравнивают множество нитей ДНК будут способны скорректировать мутации в генах клетки, также репликаторы, которые сравнивают множество копий своих инструкций (или которые используют другие эффективные системы исправления ошибок) будут способны сопротивляться мутациям в этих "генах". Избыточность может снова принести экспоненциальный рост безопасности.

Мы можем строить системы, которые крайне надёжны, но это повлечёт издержки. Избыточность делает системы более тяжёлыми, громоздкими, более дорогими и менее эффективными. Нанотехнология, однако, сразу сделает большую часть вещей намного более лёгкими, дешёвыми и более эффективными. Это сделает избыточность и надёжность более практичными.

Сегодня, мы редко хотим платить за самую безопасную из возможных систем; мы терпим с большей или меньшей охотой отказы и редко рассматриваем реальные пределы надёжности. Это создаёт предвзятые суждения о том, что мы можем достичь. Психологический фактор также искажает наше чувство, насколько надёжными можно сделать вещи: отказы застревают у нас в уме, но каждодневный успех привлекает мало внимания. СМИ усиливает эту тенденцию, сообщая о самых драматических отказах со всего мира, при этом игнорируя бесконечные и скучные удачи. Ещё хуже, что компоненты избыточных систем могут отказывать видимым образом, вызывая тревогу: представьте, как СМИ сообщили бы о порвавшемся канате моста, даже если бы мост был бы супер-безопасной пятнадцати-канатной моделью, описанной выше. И поскольку каждый дополнительный избыточный компонент добавляет шанс отказа системы, надёжность системы может казаться хуже даже когда она почти совершенна.

Если отложить в сторону то, что кажется, избыточные системы сделанные из избыточных, безупречных компонентов могут часто быть сделаны почти идеально надёжными. Избыточные системы, распределённые на достаточно широкие расстояния выдержат даже пули и бомбы.

Но что можно сказать об ошибках конструкции? Наличие десятка избыточных частей не даст никакой пользы, если они делят общую критическую ошибку в конструкции. Разнообразие конструкции – один ответ; хорошее тестирование – другой. Мы можем надёжно разрабатывать хорошие конструкции не будучи хорошими в надёжности конструкторами: нам только нужно уметь хорошо тестировать, исправлять ошибки и быть терпеливыми. Природа разработала работающие молекулярные машины целиком через безголовую починку и тестирование. Имея разум, мы можем делать не хуже или лучше.

Мы найдём несложным разработать надёжные технические средства, если мы сможем разработать надёжные автоматические системы разработки. Но это ставит более широкий вопрос о разработке систем искусственного интеллекта, которым можно доверять. У нас будет мало проблем в создании систем ИИ с надёжной аппаратной базой, но как насчёт их программных средств?

Подобно сегодняшним системам ИИ и человеческому разуму, продвинуты системы ИИ будут синергетическими комбинациями большого количества простых частей. Каждая часть будет более специализирована и менее интеллектуальна, чем система в целом. Некоторые части будут искать структуры в картинках, звуках и других данных, и подсказывать, что они могут обозначать. Другие части будут сравнивать и оценивать подсказки этих частей. Также как распознаватель структур в человеческой зрительной системе страдает от ошибок и зрительных иллюзий, также страдают и распознаватели в системах ИИ. (действительно, некоторые продвинутые системы машинного зрения уже страдают от знакомых зрительных иллюзий.) И также как другие части человеческого разума могут часто идентифицировать и компенсировать иллюзии, также будут способны и другие части систем ИИ.

Как в человеческом разуме, интеллект будет включать части ума, которые будут производить приблизительные догадки, а другие части будут откидывать наиболее плохие догадки до того, как они привлекут слишком много внимания или повлияют на важные решения. Умственные части, которые отвергают идеи действия по этическим основаниям, соответствуют тому, что мы называем совестью. Системы ИИ со многими частями будут иметь место для избыточности и разнообразия конструкции, делая надёжность возможной.

Настоящая гибкая система ИИ должна развивать идеи. Чтобы это делать, она должна находить или формировать гипотезы, генерировать варианты, тестировать их, и далее модифицировать или отбрасывать те, которые она находит неадекватными. Исключение некоторых из этих способностей сделало бы её глупой, упрямой или невменяемой ("Тупая машина не может думать и не будет учиться на своих ошибках – выброси её!"). Чтобы избежать ловушки начальных заблуждений, ей придётся рассматривать противоречивые взгляды, смотря, насколько хорошо каждый объясняет данные, и смотря, может ли один взгляд объяснить другой.

Научное сообщество проходит через подобный процесс. В статье с названием "Метафора научного сообщества", Вильям А. Корнфельд и Карл Хьювитт из лаборатории искусственного интеллекта MIT высказывают мысль, что исследователи ИИ моделируют модели своих программ ещё более близко к развившейся структуре научного сообщества. Они указывают на плюрализм науки, на её разнообразие конкурирующих создателей теорий, сторонников и критиков. Без создателей теорий, идеи не могут появиться; без сторонников, она не может расти; а без критиков, которые пропалывают их, плохие идеи могут вытеснить хорошие. Это остаётся верным для науки, технологии, в системах ИИ, а также между частями наших умов.

Наличие мира, полного разнообразия и изобилующего авторами теорий, сторонниками и критиками – это то, что делает продвижение науки и технологии вперёд надёжным. Если будет больше авторов теорий, будет больше хороших теорий; если будет больше критиков – плохие теории будут более уязвимыми. Лучшие и более многочисленные идеи будут результатом. Подобная форма избыточности может помочь системам ИИ разрабатывать достоверные идеи.

Люди иногда направляют свои действия стандартами истины и этики, и нам нужно быть в состоянии разработать системы ИИ, чтобы они делали то же самое, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они будут иметь больше времени для дополнительных размышлений. Похоже, что системы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мере по человеческим стандартам.

Я часто сравнивал системы ИИ с отдельными человеческими умами, но подобие не обязательно должно быть близким. Система, которая способна подражать человеку, возможно должна быть подобна человеку, но система автоматической разработки – вероятно не обязательно. Одно предложение (называемое системой Агора, в честь греческого слова, обозначающего встречу и рыночную площадь) состояло бы в том, чтобы много независимых кусочков программ, которые взаимодействуют, предлагая друг другу услуги в обмен на деньги. Большинство кусочков было бы простоватыми узколобыми специалистами, некоторые способные подсказывать изменение конструкции, а другие – анализировать его. Во многом также, как земная экология разработала экстраординарные организмы, также эта компьютерная экономика могла бы разрабатывать экстраординарные конструкции – и, возможно, сравнительно безмозглым способом. Что более важно, поскольку система была бы распределена по многим машинам и имела бы части написанные многими людьми, она могла бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы захватить и использовать во вред.

В конце концов так или иначе, системы автоматической разработки будут способны разрабатывать вещи более надёжно чем любая группа людей-инженеров может сегодня. Наша большая задача будет сконструировать их правильно. Нам нужны человеческие институты, которые надёжно разрабатывают надёжные системы.

Человеческие институты – это развившиеся искусственные системы, и они могут часто решать проблемы, которые отдельные члены – не могут. Это делает их чем-то вроде "искусственных интеллектуальных систем." Корпорации, армии, и исследовательские лаборатории – это всё примеры, также как более свободные структуры рынка или научного сообщества. Даже правительства могут рассматриваться как системы искусственного интеллекта – большие, медлительные, одурманенные, однако сверхчеловеческие в своих реальных способностях. И что есть конституциональный контроль и баланс, как не попытка увеличить надёжность правительства через институциональное разнообразие и избыточность? Когда мы строим интеллектуальные машины, мы будет использовать их, чтобы проверять и создавать баланс одной над другой.

Применяя эти разумные принципы, мы можем быть в состоянии разработать надёжные техники ориентированные институты, имеющие сильный контроль ошибок и балансы, и тогда использовать их, чтобы руководить разработкой систем, которые нам понадобятся, чтобы управляться с будущими прорывами.

Тактика ассемблерной революции

Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегической важности ассемблеров, ведущая сила предположительно будет некоторой организацией или институтом, который эффективно контролируется каким-то правительством или группой правительств. Чтобы упросить вопрос, предположим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем определить способ поведения для ведущей силы. Для граждан демократических государств, принять это – кажется хорошей позицией.

Что нам следует делать, чтобы улучшить наши шансы достижения такого будущего, в котором стоит жить? Что мы можем сделать?

Начнём с того, что не должно случиться: мы должны не позволить отдельному воспроизводящемуся ассемблеру неправильного типа выйти на свободу в неподготовленный мир. Эффективные приготовления кажутся возможными (как я это опишу ниже), но, по-видимому, они должны быть основаны на построенных ассемблерами системах, которые могут быть построены только после того, как опасные репликаторы уже смогут быть возможными. Разработка с опережением может помочь ведущей силе подготовиться, однако даже энергичные предусмотрительные действия кажутся неадекватными, чтобы предотвратить момент опасности. Аргумент простой: опасные репликаторы будет намного проще разработать, чем системы, которые могут помешать им, также как бактерия намного проще иммунной системы. Нам будет нужна тактика для сдерживания нанотехнологии, пока мы не научимся её приручать.

Одна очевидная тактика – изоляция: ведущая сила будет способна содержать репликаторные системы за многочисленными стенами или в космических лабораториях. Простые репликаторы не будут иметь интеллекта, и они не будут разрабатываться, чтобы убежать и пойти буйствовать. Сдерживание их не кажется слишком сложной задачей.

Но лучше, чтобы мы могли разработать репликаторы, которые не могут убежать и начать буйствовать. Мы можем построить их со счётчиками (такими как в клетках), которые ограничивают их до фиксированного числа копий. Мы можем строить их так, чтобы они нуждались в особом синтетическом "витамине", или в очень специфической среде, которую можно обеспечить только в лаборатории. Хотя репликаторы можно было бы делать более стойкими и более прожорливыми, чем любые современные насекомые, мы также можем сделать их полезными, но безопасными. Поскольку мы будет разрабатывать их с нуля, репликаторы не обязательно должны иметь элементарные способности к выживанию, которые эволюция встроила в живые клетки.

Далее, им не обязательно нужно быть способными эволюционировать. Мы можем дать репликаторам избыточные копии их "генетических" инструкций, вместе с механизмами ремонта, чтобы исправлять любые мутации. Мы можем разработать их так, чтобы они переставали работать задолго до того, как накопится достаточно повреждений, чтобы сделать продолжительную мутацию значимой возможностью. Наконец, мы можем разработать их так, чтобы эволюция не происходила даже если мутации могли бы случаться.

Эксперименты показывают, что большинство компьютерных программ (иных, чем специально разработанные программы ИИ, такие как Эвриско доктора Лената) редко отвечают на мутации при небольшом изменении; вместо этого они просто перестают работать. Поскольку они не могут разнообразиться полезными способами, они не могут эволюционировать. Если они не разработаны специально для этого, репликаторы, направляемые нанокомпьютерами, будут разделять этот недостаток. Современные организмы достаточно хорошо способны эволюционировать отчасти потому что они произошли от предшественников, которые эволюционировали. Они научились в процессе эволюции эволюционировать; это – одна причина сложностей полового воспроизводства и перемешивания сегментов хромосом во время производства клеток спермы и яйцеклеток. Мы можем просто отказаться дать репликаторам подобные способности.

Для ведущей силы будет легко сделать воспроизводящиеся ассемблеры полезными, безопасными, и устойчивыми. Оберегая ассемблеры от того, чтобы их украли и использовали во вред – другая и более серьёзная проблема, потому что это будет игра с разумными противниками. Как одна из тактик, мы можем снизить побудительный мотив украсть ассемблеры, делая их доступными в безопасных формах. Это также снизит желание других групп разрабатывать ассемблеры независимо. За ведущей силой, в конце концов последуют силы, следующие за ней.

Ограниченные ассемблеры

В главе 4 я описал, как система ассемблеров в чане могла бы построить великолепный ракетный двигатель. Также я отметил, что мы будем способны сделать системы ассемблеров, которые действуют подобно семенам, поглощая солнечный свет и обычные материалы и вырастая почти во что угодно. Эти специализированные системы не будут реплицировать себя, или будут это делать только ограниченное число раз. Они будут делать только то, что они были запрограммированы делать, когда им говорят это сделать. Любой, у кого нет специальных инструментов, построенных ассемблерами, был бы неспособен перепрограммировать их, чтобы они служили другим целям.

Используя ограниченные ассемблеры этого типа, люди будут способны сделать всё что они хотят и сколько хотят, но в пределах ограничений, встроенных в эти машины. Если никакие из них не будут запрограммированы, чтобы делать ядерное оружие, никакие и не будут; если никакие из них не будут запрограммированы, чтобы делать опасные репликаторы, никакие и не будут. Если некоторые из них запрограммированы, чтобы делать дома, машины, компьютеры, зубные щётки и что угодно ещё, то эти продукты станут дешёвыми и изобильными. Машины, построенные ограниченными ассемблерами, дадут нам возможность открыть космос, вылечить биосферу и восстановить человеческие клетки. Ограниченные ассемблеры смогут принести почти неограниченное богатство людям в мире.

Эта тактика облегчит моральное давление, чтобы делать неограниченные ассемблеры доступными немедленно. Но ограниченные ассемблеры будут всё ещё оставаться легитимные потребности необеспеченными. Учёным будут нужны свободно программируемые ассемблеры, чтобы проводить исследования; инженерам будут они нужны, чтобы тестировать конструкции. Эти потребности будут обслуживаться запечатанными ассемблерными лабораториями.

Запечатанные ассемблерные лаборатории

Представьте компьютерное устройство размером с ваш большой палец, с современным разъёмом на его нижней части. Его поверхность выглядит как обычный серый пластик, с пропечатанным серийным номером, однако эта запечатанная ассемблерная лаборатория – построенный ассемблерами объект, который содержит много чего. Внутри, прямо над разъёмом, находится большой наноэлектронный компьютер, на котором работает продвинутое программное обеспечение для молекулярного моделирования (основанное на программах, разработанных во время разработки ассемблеров). С этой ассемблерной лабораторией, присоединённой и включенной, ваш построенный с помощью ассемблеров домашний компьютер показывает трёх-мерную картинку чего угодно, что лабораторный компьютер моделирует, представляя атомы как цветные сферы. С помощью джойстика вы можете направлять смоделированные ассемблерные манипуляторы на построение вещей. Программы могут двигать манипуляторы быстрее, строя тщательно проработанные структуры на экране в мгновение ока. Это моделирование всегда работает идеально, потому что нанокомпьютер жульничает: тогда как вы заставляете смоделированный манипулятор передвигать смоделированные молекулы, компьютер направляет реальный манипулятор передвигать реальные молекулы. Далее он проверяет результаты везде, где необходимо проверить его вычисления.

Кончик этого объекта размером с большой палец содержит сферу, построенную из многих концентрических слоёв. Отличные провода подводят энергию и сигналы через слои; они позволяют нанокомпьютеру внизу сообщаться с устройствами в центре сфер. Самый дальний от центра слой состоит из сенсоров. Любая попытка удалить или проколоть его передаёт сигнал слою, близкому к сердцевине. Следующий уровень – толстая сферическая раковина из предварительно подвергнутого высокому давлению цельному алмазу, у которого внешние слои растянуты, а внутренние – сжаты. Это окружает слой теплового изолятора, который в свою очередь окружает сферическую оболочку размером с зёрнышко перца, сделанную из микроскопических, тщательно упорядоченных блоков металла и окислителя. Они сшиты электрическими воспламенителями. Заряд разрушения металла и окислителя далее сжигает за долю секунды, производят газ из металлического оксида, плотнее воды и почти такой же горячий как поверхность Солнца. Но пламя крошечное; оно стремительно остывает и алмазная сфера сдерживает его огромное давление.

Этот разрушительный заряд окружает более маленькую цельную оболочку, которая окружает ещё один слой сенсоров, который также вызывает разрушительный заряд. Эти сенсоры окружают полость, которая содержит саму запечатанную ассемблерную лабораторию.

Эти тщательно сделанные предосторожности оправдывают термин "запечатанная". Кто-либо из вне не может открыть пространство лаборатории, не разрушив её содержимое, и никакой ассемблер или построенные ассемблерами структуры не могут выйти из неё. Система разработана, чтобы выпускать информацию, но не опасные репликаторы и опасные инструменты. Каждый слой сенсоров состоит из многих избыточных слоёв сенсоров, каждый предназначенный для определения любого возможного проникновения, и каждый компенсируя возможные дефекты в других. Проникновение, включая заряд уничтожения, поднимает температуру в лаборатории выше точки плавления любого возможного вещества и делает выживание любых опасных устройств невозможным. Эти защитные механизмы объединяются воедино против чего-то около одной миллионной их размера – то есть, чтобы не помещалось в лаборатории, что обеспечивает сферическое рабочее пространство не шире человеческого волоса.

Хотя по обычным стандартам маленькое, это рабочее пространство содержит достаточно места для миллионов ассемблеров и тысяч триллионов атомов. Эти запечатанные лаборатории позволят людям строить и тестировать устройства, даже прожорливые репликаторы в полной безопасности. Дети будут использовать атомы внутри их как конструкторы почти с неограниченным количеством деталей. Любители будут обмениваться программами, чтобы строить различные устройства. Инженеры будут строить и тестировать новые нанотехнологии. Химики, материаловеды и биологи будет строить аппараты и проводить эксперименты. В лабораториях, построенных вокруг биологических экземпляров, биомедицинские инженеры будут разрабатывать и тестировать ранние машины ремонта клеток.

В ходе этой работы люди естественно будут разрабатывать полезные конструкции, будь то для компьютерных схем, прочных материалов, медицинских устройств или чего-то угодно ещё. После того как публика поймёт их безопасность, эти вещи могут стать доступными вне запечатанных лабораторий с помощью программирования ограниченных ассемблеров на их производство. Запечатанные лаборатории и ограниченные ассемблеры образуют взаимодополняющую пару: первые позволят нам свободно изобретать; вторые дадут нам возможность наслаждаться плодами нашего изобретения в безопасности. Возможность сделать паузу между разработкой и выходом поможет нам избежать смертоносных сюрпризов.

Запечатанные ассемблерные лаборатории дадут возможность целым обществам применять свои творческие способности для решения проблем нанотехнологии. И это ускорит наши приготовления ко времени, когда независимые силы узнают, как строить что-то опасное.

Сокрытие информации

В другой тактике, чтобы выиграть время, ведущая сила может попытаться сжечь мосты, которые она построила от балк-технологии к молекулярной. Это означает уничтожить записи о том, как первые ассемблеры были сделаны (или сделать их абсолютно недоступными). Ведущая сила может быть способна разработать первые, грубые ассемблеры таким образом, что никто не знает детали большего чем маленькая часть целой системы. Представьте, что мы разрабатываем ассемблеры тем путём, как описано в главе 1. Белковые машины, которые мы используем для построения первых грубых ассемблеров затем быстро станут устаревшими. Если мы уничтожим записи о конструкции белков, это затруднит усилия их скопировать, однако не предотвратит дальнейший прогресс в нанотехнологии.

Если запечатанные лаборатории и ограниченные ассемблеры широко доступны, у людей будет мало научной или экономической мотивации повторно разрабатывать нанотехнологию независимо, и сжигание мостов от балк-технологии сделает независимую разработку более сложной. Однако это могут быть не более чем тактики задержки. Они не остановят независимую разработку; человеческое стремление к власти будет подталкивать усилия, которые в конце концов приведут к успеху. Только детальная всеобщая слежка в тоталитарных масштабах могла бы остановить независимую разработку на неограниченное время. Если такая слежка проводилась бы чем-то вроде современного правительства, это было бы лечение, примерно такое же опасное как сама болезнь. И даже тогда, сохраняли бы люди идеальную бдительность навсегда?

По-видимому, мы должны в конце концов научиться жить в мире с репликаторами, которым нельзя доверять. Один тип тактики заключался бы в том, чтобы скрыть за стеной или далеко убежать. Но это – хрупкие методы: опасные репликаторы могли бы слопать стену или пересечь пространство и принести невообразимые несчастья. И хотя стены могут защитить от маленьких репликаторов, никакая неподвижная стена не гарантирует против крупномасштабного организованного злого умысла. Нам потребуется более надёжный, гибкий подход.

Активные щиты

Представляется, мы можем построить наномашины, которые действуют примерно так, как белые клетки крови человеческой иммунной системы: устройства, которые могут бороться не только с бактериями и вирусами, но с опасными репликаторами всех сортов. Назовём автоматическую защиту этого рода активным щитом, чтобы отличить от неподвижной стены.

В отличие от обычных технических систем, надёжные активные щиты должны делать больше, чем просто взаимодействовать с природой и неуклюжими пользователями. Они должны также уметь управляться с намного более существенной задачей – с целым рядом угроз, которые разумные силы могут сконструировать и построить при более благоприятных обстоятельствах. Построение и улучшение прототипа щитов будет сродни проведению обеими сторонами гонки вооружений в лабораторном масштабе. Но цель здесь будет поиск минимальных требований для защиты, которая надёжно преобладает.

В главе 5 я описал, как доктор Ленат и его программа Евриско разработали успешные виды флота, чтобы сражаться по правилам игры-симулятора морской битвы. Аналогичным образом мы можем превратит в игру смертельно серьёзные усилия по разработке надёжных щитов, используя запечатанные ассемблерные лаборатории различных размеров как игровые поля. Мы можем пригласить множество инженеров, компьютерных хакеров, биологов, любителей и систем автоматического инжиниринга, стравливать свои системы друг против друга в играх, ограниченных только начальными условиями, законами природы и стенами запечатанных лабораторий. Эти конкуренты будут разрабатывать угрозы и щиты в серии микро-сражений с открытым концом. Когда размножающиеся ассемблеры принесут изобилие, люди будут иметь достаточно времени для такой важной игры. В конце концов мы можем тестировать многообещающие системы щитов в космосе в средах, подобных земным. Успех сделает возможным систему, способную защитить человеческую жизнь и земную биосферу от самого худшего, что целые толпы свободных репликаторов могут сделать.

Возможен ли успех?

С нашими сегодняшними неопределённостями мы не можем пока описать ни угрозы, ни щиты с какой-либо точностью. Значит ли это, что мы не можем иметь уверенности, что эффективные щиты возможны? Очевидно мы можем; в конце концов есть разница между знанием, что что-то возможно и знанием как это сделать. А в этом случае мир содержит примеры аналогичного успеха.

Нет ничего фундаментально нового в защите против вторгшихся репликаторов; жизнь это делает на протяжении веков. Размножающиеся ассемблеры, хотя и необычно мощные, будут физическими системами не отличающимися принципиально от тех, что нам уже известны. Опыт подсказывает, что их можно контролировать.

Вирусы – молекулярные машины, которые вторгаются в клетки; клетки используют молекулярные машины (такие как ограничительные ферменты и антитела), чтобы против них защищаться. Бактерии – это клетки, которые вторгаются в организмы; организмы используют клетки (такие как белые кровяные тельца), чтобы против них защищаться. Аналогично общества используют полицию, чтобы защищаться против криминальных элементов и армии, чтобы защищаться против захватчиков. На менее физическом уровне умы используют мимические системы, такие как научный метод, чтобы защищаться против абсурда, а общества используют институты, такие как суды, чтобы защищаться против власти других институтов.

Биологические примеры в предыдущем абзаце показывают, как даже после гонки вооружений в течение миллиарда лет молекулярные машины оказались способны поддерживать защиту против молекулярных репликаторов. Неудачи также широко распространены, но успехи всё же показывают, что защита возможна. Эти успехи подсказывают, что мы можем действительно использовать наномашины, чтобы защищать себя против наномашин. Хотя ассемблеры принесут с собой успехи во многих областях, не видно причин, почему они должны навсегда опрокинуть баланс в защите.

Примеры, приведённые выше – какие-либо вторгающиеся вирусы, какие-либо вторгающиеся институты – достаточно разнообразны, чтобы подсказывать, что успешная защита базируется на общих принципах. Кто-то может спросить: почему все эти защиты оказываются успешны? Но перевернём вопрос: почему они должны не иметь успеха? Каждый конфликт сталкивает аналогичные системы друг с другом, не давая атакующей никакого очевидного преимущества. Более того, в каждом конфликте атакующий сталкивается с защитой, которая уже установилась и проверена временем. Защищающийся сражается на собственной территории, дающей ему преимущества, такие как подготовленные позиции, детальное знание местности, заготовленные ресурсы, и многочисленные союзники – когда иммунная система распознаёт микроб, он может мобилизовать ресурсы всего организма. Все эти преимущества являются общими и фундаментальными, имея мало общего с деталями технологии. Мы можем придать нашим активным щитам те же преимущества перед опасными репликаторами. И им не обязательно нужно сидеть сложа руки, когда опасные виды оружия накапливаются, ничуть не больше, чем иммунная система сидит сложа руки, когда размножаются бактерии.

Было бы сложно предсказать исход гонки вооружений с открытым концом между силами, вооружёнными самовоспроизводящимися ассемблерами. Но до того, как эта ситуация может возникнуть, ведущая сила, кажется вероятным, что приобретёт временное, но принципиальное военное преимущество. Если исход гонки вооружений – под сомнением, то ведущая сила вероятно использует свою силу, чтобы гарантировать, что никаким противникам не будет позволено её догнать. Если она это сделает, то активные щиты не будут должны противостоять атакам, обеспечиваемым ресурсами половины континента или половины солнечной системы; вместо этого они будут походить на силы полиции или иммунную систему, встречающие атаки, обеспечиваемые какими бы то ни было ресурсами, которые могут быть собраны в тайне в пределах защищаемой территории.

В каждом случае успешной обороны, которые я упомянул выше, атакующие и щиты развивались по во многом схожим процессам. Иммунная система, сформированная генетической эволюцией, встречает угрозы также сформированные генетической эволюцией. Армии, сформированные человеческими умами, также встречают аналогичные угрозы. Подобным образом и активные щиты, и опасные репликаторы будут сформированы эволюцией мимов. Но если ведущая сила может разработать системы автоматического инжиниринга, которые будут работать в миллионы раз быстрее людей-инженеров, и если она может использовать их в течение всего одного года, то она сможет построить активные щиты, основанные на усилиях, эквивалентных миллионам лет технического прогресса. С такими системами мы можем быть способны исследовать пределы возможного достаточно хорошо, чтобы построить щит против всех физически возможных угроз.

Даже если мы не знаем детали угроз и щитов, кажется разумным считать, что щиты возможны. И примеры мимов, контролирующих мимы, и институтов, контролирующих институты также подсказывают, что системы ИИ могут контролировать системы ИИ.

В построении активных щитов, мы будем способны использовать мощь репликаторов и систем ИИ, чтобы умножать традиционные преимущества защищающейся силы: мы можем дать ей преобладающую силу благодаря изобилию построенных репликаторами технических средств с конструкциями, основанными на эквиваленте миллион-летнего преимущества в технологии. Мы можем строить активные щиты, имеющие силу и надёжность, которая посрамит системы прошлого.

Нанотехнология и искусственный интеллект могли бы принести конечные инструменты разрушения, но они не являются разрушительными по своей сути. С осторожностью мы можем их использовать, чтобы построить окончательные инструменты мира.