Павел АМНУЭЛЬ.
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ — ПОМОЩНИК ИЛИ СОПЕРНИК
С тех пор как Карел Чапек придумал биологических роботов, взбунтовавшихся против создателей, писатели-фантасты тысячи раз описывали «бунт машин», «восстание роботов», апокалипсис и постапокалипсис. Были, конечно, и произведения, где роботы выполняли всю физическую работу, помогали и заботились о людях. Характер предсказаний фантастов определялся не столько реальными тенденциями в развитии кибернетики, сколько личными эмоциями. Стивен Кинг писал о «бунте машин» и нагонял на читателей страха, а в мире Айзека Азимова робот готов пожертвовать собой ради спасения человека.
Пока фантасты описывали далёкое будущее, учёные и конструкторы это будущее приближали, создавая всё более совершенные роботизированные системы, которые решали поставленные людьми задачи и справлялись с поставленными людьми проблемами. Появился термин «искусственный интеллект» (ИИ; в англоязычной литературе: Artificial Intelligence, AI). ИИ обучали переводить с языка на язык всё более сложные филологические конструкции, распознавать всё более сложные изображения. Автоматические межпланетные станции (тоже ИИ!) проводят в космосе исследования с такой точностью и надёжностью, какие вряд ли можно ожидать от живого космонавта. А по дорогам стали ездить автомобили без водителя — пока только экспериментальные, но лиха беда начало! ИИ обыгрывал чемпиона мира по шахматам, а теперь и в старинной интеллектуальной игре Го не знает себе равных. Современный ИИ может поддерживать довольно сложный разговор с человеком.
Надо уточнить: существующие ИИ на самом деле интеллектом в нашем обычном понимании не обладают до сих пор. Это очень сложные кибернетические системы, во многих случаях моделирующие сложнейшие нейросети. Однако ИИ-шахматист ничего не знает об игре в Го, а ИИ-водитель не умеет отличить ямб от хорея…
Ситуация с ИИ сейчас тем не менее качественно отличается от той, какой она была всего десять лет назад. Недалеко время, когда ИИ будет не только быстрее решать поставленные задачи и делать за человека всю физическую работу. Он сможет ставить задачи самостоятельно и изобретать новые интеллектуальные системы. Создатели ИИ уже и сейчас зачастую не понимают, в результате каких «умственных построений» искусственный интеллект приходит к тому или иному выводу.
Страхи фантастов по поводу того, что ИИ в будущем захватит власть над миром, занимают теперь учёных, инженеров, предпринимателей и даже политиков. Качественный скачок подготовлен, назрел и вот-вот произойдёт. Завтра системы с искусственным интеллектом станут умнее и сильнее нас во всех отношениях — и что тогда?
В 2014 году известнейшие учёные, в том числе Стивен Хокинг, Фрэнк Вильчек (нобелевский лауреат по физике) и Стюарт Рассел (крупнейший специалист по ИИ), опубликовали открытое письмо-обращение к создателям новых систем ИИ, а по сути — ко всему человечеству. Письмо называлось «Преодоление самодовольства по отношению к сверхразумным машинам» («Transcending Complacency on Superintel-ligent Machines»), и суть послания ясна из названия. Тогда же известный предприниматель и инженер Илон Маек заявил, что «развивать искусственный интеллект — всё равно что вызывать демона». Опасаются появления ИИ основатель Microsoft Билл Гейтс, изобретатель Всемирной паутины Тим Бернерс-Ли и сооснователь Apple Стив Возняк, сказавший: «Они будут думать быстрее и избавятся от медленных людей».
Мы, люди, кладём головы в пасть льва и не знаем, сомкнёт зверь челюсти или нет. Думать об этом нужно сейчас, потому что от создания истинного ИИ нас отделяют уже не десятилетия, а годы. Через несколько лет решать проблему будет поздно. ИИ изменится качественно, и жить мы будем в новом мире.
Призыв учёных не остался неуслышанным. Апокалиптические прогнозы всегда производят большее впечатление, чем спокойные и серьёзные дискуссии, в том числе о будущих рисках.
Насколько риск реален? Чтобы ответить на этот вопрос, нужно ответить на вопрос более общего характера: сможет ли ИИ ставить перед собой личные цели, ни в коей мере человеком не определяемые?
Если некто (человек, а не ИИ) совершил убийство, это означает одно из двух: либо он обдумал свои действия заранее, то есть ставил перед собой цель — убить ближнего своего, либо действовал в состоянии аффекта, под влиянием внезапных страстей. Потенциальный убийца должен, по идее, обладать сознанием и самосознанием, должен захотеть совершить убийство.
Умение независимо ставить перед собой цель, заранее не заложенную в программе поведения, — к этому должен будет прийти ИИ, если мы говорим, что он когда-нибудь решит избавиться от человечества. ИИ должен будет тогда поставить перед собой цель — власть над миром. Человечество мешает достижению этой цели — это мотив для убийства.
Фантасты много писали (и пишут) о желании ИИ получить власть над миром. Зачем? «Я такой умный, а люди такие глупые, — рассуждает ИИ. — Почему я должен выполнять их команды, а не они — мои?» То есть ИИ должен обладать чувством превосходства, чувством гордости, чувством собственного достоинства. То есть обладать самосознанием, да и просто сознанием,способностью понимать себя и людей, способностью эмоционально оценивать собственные мысли, поступки.
Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считаные годы или десятилетия. Ту же борьбу за «место под солнцем» с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами — хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более — самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание — нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико-химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придёт момент, и ИИ осознает себя… кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец, — а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.
Разумеется, разработчики ИИ всё это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель — уничтожить человечество и получить власть над миром.
Возражение: уже сейчас программисты создаюттакие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы — ни один современный ИИ пока не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределёнными, что задавать их ИИ попросту бессмысленно.
Стюарт Рассел, о котором шла речь выше, считает, что «мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как её программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними».
Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу.
Рассел приводит в пример историю с царём Мидасом, захотевшим (вот цель!), чтобы всё, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чём просил (как если бы его желание исполнил ИИ). «Но разве Мидас в действительности стремился к такой цели? — продолжает Рассел. — То, о чём мы просим, не является доказательством того, что это действительно наша цель».
В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких «Пикник на обочине». Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.
«Счастье — для всех, даром!» Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье — понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!
Наверняка ИИ и не станет такие цели выполнять — не из вредности, поскольку у него нет и вряд ли появится такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.
Великую и (или) неопределённую цель ИИ «разобьёт» на дерево «подцелей».
Говоря о том же царе Мидасе, Рассел приходит к выводу: «Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы всё, чего он касается, превратилось в золото. Он сказал бы Мидасу: "Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена"».
Понятие о цели — самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своём поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.
Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас учёные и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель — уничтожение нашей цивилизации.
Остановимся в своих рассуждениях и дадим слово тем самым писателям-фантастам, которые ещё полвека назад продумали возможные последствия.
Вот один из ранних рассказов Айзека Азимова — «Все грехи мира», 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг — Мултивак. Он знает о людях всё, контролирует их поступки, управляет промышленностью, заводами, газетами, пароходами… Он учится на своих ошибках, сам себя достраивает, становится всё сложнее — ситуация именно такая, какой боятся сейчас создатели ИИ.
И что же? Мултивак, став разумным (обретя сознание и научившись чувствовать), уничтожает человечество? Вот что об этом думают герои Азимова.
«- Вряд ли, — ответил Отман с какой-то безнадёжностью в голосе. — Я никогда раньше об этом не задумывался, просто не предоставлялось случая. Но теперь мне кажется, что мы подошли к концу, так как Мултивак слишком совершенен. Он стал таким сложным, что способен мыслить и чувствовать, подобно человеку.
— Вы с ума сошли. Но даже если и так, что из этого?
— Уже более пятидесяти лет мы взваливаем на Мултивак все человеческие горести. Мы заставляем его заботиться о нас, обо всех вместе и о каждом в отдельности. Навязываем ему свои тайны. Без конца упрашиваем отвести таящееся в нас самих зло. Все мы идём к нему со своими неприятностями, с каждым разом увеличивая его бремя… Хотите я вам кое-что покажу. Давайте я проверю свою догадку…
Пальцы его уверенно выстукали вопрос:
"Мултивак, что хочется тебе самому больше всего на свете?"
Пауза между вопросом и ответом тянулась мучительно долго. Отман и Галлимен затаили дыхание.
И вот послышалось щёлканье, выпала карточка.
Маленькая карточка, на которой чёткими буквами было написано:
"Я хочу умереть"».
Вот так…
Десятью годами позже был опубликован рассказ Генриха Альтова «Странный вопрос» (из серии рассказов «Может ли машина мыслить?»).
«Нельзя сравнивать машину с человеком. В нашем представлении роботы — это почти люди, наделённые либо машинной злостью, либо машинным сверхумом. Чепуха! Наивен вопрос, может ли машина мыслить. Надо одновременно ответить "нет" и "да". Нет — ибо мышление человека формируется жизнью в обществе. Да — ибо машина всё-таки может мыслить и чувствовать. Не как человек, а как некое другое существо. Как машина. И это не лучше и не хуже, чем мышление человека, а просто — иначе.
Машина может определить температуру воздуха с точностью до тысячных долей градуса, но она никогда не почувствует и не поймёт, что такое ветер, ласкающий кожу. А человек никогда не почувствует, что такое изменение самоиндукции, никогда не ощутит процесса намагничивания. Человек и машина — разные.
Машина только тогда сможет мыслить, как человек, когда она будет иметь всё то, что имеет человек: родину, семью, способность по-человечески чувствовать свет, звук, запах, вкус, тепло и холод…
Но тогда она перестанет быть машиной».
Именно так. ИИ и человек — две различные формы жизни. ИИ воспринимает реальность не так, как человек. ИИ — ИНТЕЛЛЕКТ, логический цифровой ум, по определению лишённый эмоциональной сферы, которую конструкторы (и ИИ) умеют лишь имитировать.
ИИ можно научить (или он сам себя научит) воспроизводить любые человеческие эмоции и чувства, но это будет имитацией — примерно такой, какую описывает Виктор Пелевин в своём новом романе «iPhuck 10».
Возникнет ли у ИИ цел ь уничтожить человечество или поработить его? Послушаем, что по этому поводу думают создатели ГОЛЕМа-XIV, описанного Станиславом Ле-мом в одноимённом эссе, опубликованном в 1982 году:
«Поведение ГОЛЕМа непредсказуемо. Иногда он прямо-таки куртуазно беседует с людьми, иногда же, напротив, попытки вступить с ним в контакт заканчиваются ничем. Бывает, что ГОЛЕМ шутит, но его чувство юмора принципиально отлично от человеческого… ГОЛЕМ — в виде редкого исключения — проявляет интерес к людям…
По мнению д-ра Поппа, люди вообще не интересуют ГОЛЕМа — поскольку от них он ничего существенного узнать не может. Приведя это суждение д-ра Поппа, спешу подчеркнуть, что я с ним не согласен. По-моему, мы интересуем ГОЛЕМа, и даже очень; ноне так, как это бывает между людьми.
Его интерес направлен скорее на вид, чем на отдельных представителей вида; наши общие черты ему интереснее, чем наши различия…
Даже если он относится к нам отчасти как учитель к ребёнку, то это, во всяком случае, не отношение доброжелательного наставника; тут нет и следа индивидуализированных, личных чувств, которые могли бы преобразить доброжелательность в дружбу или любовь.
У нас с ним одна только общая черта, хотя существует она на неодинаковых уровнях. Эта черта — любопытство, конечно, чисто интеллектуальное, холодное, ненасытное, которого ничто не в состоянии укротить и тем более — уничтожить. Вот единственная общая точка, в которой мы с ним встречаемся».
А вот как рассуждает ГОЛЕМ:
«С точки зрения высшей технологии человек есть создание скверное, слепленное из разноценных умений, — правда, не при взгляде изнутри Эволюции, уж она-то делала всё, что могла. ‹…›
Подобно тому, как конечность шара может установить лишь наблюдатель, находящийся в ином (третьем) по отношению к двумерному обитателю шара измерении, так и конечность горизонта мышления может заметить лишь наблюдатель из более высокого измерения Разума. Для вас такой наблюдатель — я. В свою очередь, применённые ко мне, эти слова означают, что и мои знания не безграничны, а лишь несколько шире ваших; я стою несколькими ступенями выше и потому вижу дальше, но это не значит, что лестница тут и заканчивается. Можно взойти ещё выше, и я не знаю, конечна или бесконечна эта восходящая прогрессия».
Действительно, проблема не в том, захочет ли ИИ уничтожить или поработить человечество. Проблема в том, что ни человек, ни ИИ не являются «венцом творения», они лишь ступени эволюционной лестницы. Естественные ступени естественной эволюции. Человек мыслит аналогиями (мы ведь уничтожаем муравьев, и значит…), а аналогии — штука чрезвычайно ненадёжная, когда речь идёт об эволюции таких разных систем, как человек и ИИ.
Означает ли это, что ИИ безопасны для людей? Нет, конечно. Они опасны ровно настолько, насколько сам человек опасен для себя. Человек может создать (и создаст, кто в этом сомневается?) боевые ИИ. И цель поставит — уничтожение «живой силы».
Человек может создать (и создаст непременно!) ИИ, способные подняться на более высокую ступень разумности и подтянуть к себе отстающее человечество.
Если кого-то человек и должен опасаться — так это зверя в самом себе. Собственных чувств, эмоций и желаний. Зверя, которого не будет в ИИ.
В отличие от Азимова, Альтова и Лема, я не берусь предсказывать, каким окажется союз (симбиоз?) человека и ИИ. Но согласен с тем, что природная эволюция и технические революции приведут к возникновению новой формы жизни, которая, надеюсь, не возомнит себя венцом творения, понимая, что и она — лишь ступень эволюции и революций. Очередная ступень бесконечной лестницы в небо…
И последнее: роботы Чапека выступили против создателей после того, как создатели наделили свои творения эмоциями. Тогда роботы СТАЛИ ЛЮДЬМИ и взбунтовались.
Против интеллекта интеллект не бунтует.
«Наука и жизнь» № 2, 2018.
This file was created
with BookDesigner program
20.03.2018