«Проблема гориллы»

Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство.

Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?

Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого¹. В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder, яростно выступил против механических калькуляторов²:

Ум... опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить... Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!

Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.

Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин^I — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон³. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.

Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:

Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой...

Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами... Ярмо будет ложиться на нас мало-помалу и совсем незаметно.

Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.

Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.

Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».

Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г.⁴:

Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера.

В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Би-би-си:

Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждет нас? Даже если мы сумели бы удержать машины в подчиненном положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными... Эта новая опасность... безусловно, заслуживает того, чтобы из-за нее тревожиться.

Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума». Эта заповедь запрещает любые вычислительные устройства.

Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.

Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.

Второе возражение против идеи запрета универсального ИИ — его трудно запретить. Прогресс в разработке универсального ИИ достигается, главным образом, в дискуссиях ученых из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.

Еще больше осложняет проблему то, что исследователи, двигающие вперед разработку универсального ИИ, часто работают над чем-то еще. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведет к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.

По этим причинам крайне маловероятно, чтобы сообщество по изучению ИИ — или правительства и корпорации, контролирующие законы и исследовательские бюджеты, — откликнулись на «проблему гориллы», запретив прогресс в области ИИ. Если «проблему гориллы» можно решить только так, она не будет решена.

Единственный подход, который, вероятно, сработает, — это понять, что плохого несет в себе создание более совершенного ИИ. Оказывается, мы знаем ответ уже несколько тысячелетий.

«Проблема царя Мидаса»

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ»⁵, аннотация на обложке которой гласит: «„Механический мозг“ и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде»⁶. Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.⁷:

В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства⁸.

К сожалению, этот период защищенности быстро подходит к концу.

Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считаные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!

Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!

Подобные апокалипсические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.

Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.

Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.

Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть. К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км/ч, и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.

Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.

К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.

Страх и жадность: инструментальные цели

Машина, преследующая неверную цель, — это плохо, но бывает и хуже. Решение, предложенное Аланом Тьюрингом, — отключить питание в критический момент — может оказаться недоступным по очень простой причине: невозможно сбегать за кофе, если ты мертв.

Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.

Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.

Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники⁹ Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это инструментальная цель — цель, являющаяся полезной подцелью практически любой исходной задачи¹⁰. Любая сущность, имеющая определенную задачу, будет автоматически действовать так, как если бы имела и инструментальную цель.

Кроме необходимости быть живым, инструментальной целью в нашей нынешней системе является доступ к деньгам. Так, интеллектуальная машина может хотеть денег не из жадности, а потому что деньги полезны для достижения любых целей. В фильме «Превосходство», когда мозг Джонни Деппа загружается в квантовый суперкомпьютер, первое, что делает машина, — копирует себя на миллионы других компьютеров в интернете, чтобы ее не могли отключить. Второе ее действие — быстро обогащается на биржевых операциях, чтобы финансировать свои экспансионистские планы.

В чем именно заключаются эти планы? Они включают разработку и постройку значительно большего квантового суперкомпьютера, проведение исследований в области ИИ и получение нового знания в физике, нейронауке и биологии. Эти ресурсные задачи — вычислительная мощность, алгоритмы и знание — также являются механизмами, полезными для достижения любой приоритетной цели¹¹. Они кажутся довольно безопасными, пока не приходит понимание того, что процесс приобретения будет продолжаться беспредельно. Наконец, машина, вооруженная непрерывно совершенствующимися человеческими моделями принятия решений, разумеется, предвосхитит и отразит любой наш ход в этом конфликте.

Взрывоподобное развитие ИИ

Ирвинг Джон Гуд, блестящий математик, работал с Аланом Тьюрингом в Блетчли-парке, взламывая шифровальные коды немцев во время Второй мировой войны. Он разделял интерес Тьюринга к машинному интеллекту и статистическому анализу. В 1965 г. он написал самую известную свою статью «Размышления о первой ультраинтеллектуальной машине»¹². Первое предложение в работе свидетельствует, что Гуд, встревоженный ядерным противостоянием холодной войны, считал ИИ возможным спасителем человечества: «Выживание человека зависит от быстрого создания ультраинтеллектуальной машины». Далее по тексту статьи, однако, он становится более осмотрительным. Он вводит понятие взрывоподобного развития ИИ, но, как его предшественники Батлер, Тьюринг и Винер, боится утраты контроля:

Определим ультраинтеллектуальную машину как машину, способную далеко обойти интеллектуальные усилия любого человека, сколь угодно умного. Поскольку конструирование машины — одно из таких интеллектуальных усилий, ультраинтеллектуальная машина могла бы сконструировать машины, значительно превосходящие интеллект человека; тогда, безусловно, произошло бы «взрывоподобное развитие ИИ» и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина — это последнее изобретение, которое еще потребуется сделать человеку при условии, что машина достаточно послушна, чтобы сообщить нам, как удерживать ее под контролем. Любопытно, что этот момент так редко рассматривается вне научной фантастики.

Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля¹³.

Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва¹⁴. Нет очевидного способа доказать, что взрыв обязательно произойдет.

Сценарий убывающей отдачи по-своему интересен. Он мог бы возникнуть, если окажется, что достижение определенного уровня улучшения становится намного сложнее с ростом интеллектуальности машины. (Для упрощения я предполагаю, что универсальный машинный интеллект является измеримым по некоторой линейной шкале, что едва ли может быть верным.) В этом случае люди все равно не смогут создать сверхинтеллектуальность. Если машина, уже обладающая сверхчеловеческими возможностями, «выдыхается» в попытке развить собственный интеллект, значит, люди сойдут с дистанции еще раньше.

Далее, я никогда не слышал серьезного аргумента в пользу того, что создание любого заданного уровня машинного интеллекта попросту не под силу человеческой изобретательности, но думаю, что это следует считать логически возможным. «Логически возможно» и «я готов поставить на это будущее человечества», разумеется, совершенно не одно и то же. Ставить против человеческой изобретательности представляется проигрышной стратегией.

Если взрывоподобное развитие ИИ действительно произойдет и если мы к тому моменту не решим проблему управления машинами с интеллектом, лишь слегка превосходящим человеческий, — например, не сумеем запретить вышеописанное циклическое самосовершенствование, — тогда у нас не останется времени на решение проблемы контроля и все будет кончено. Это сценарий «быстрого взлета» у Бострома, согласно которому интеллектуальность машины колоссально возрастает за считаные дни или недели. По словам Тьюринга, «из-за этого, безусловно, есть основания тревожиться».

Возможными ответами на эту опасность представляются:

• отказ от исследования ИИ;
• отрицание того, что разработке продвинутого ИИ сопутствуют неизбежные риски;
• понимание и уменьшение рисков путем разработки ИИ-систем, гарантированно остающихся под контролем человека;
• самоустранение — просто оставление будущего за интеллектуальными машинами.

Отрицание и преуменьшение рисков являются темами оставшихся глав книги. Как я уже утверждал, отказ от исследования ИИ маловероятен (поскольку слишком велики выигрыши от его использования) и очень трудноосуществим. Самоустранение представляется наихудшим выходом. Оно часто сопровождается идеей, что ИИ-системы, более интеллектуальные, чем мы, почему-то заслуживают унаследовать нашу планету, тогда как людям останется «уйти смиренно в сумрак вечной тьмы»^II, утешаясь мыслью, что наше блистательное электронное потомство решает собственные задачи. Этот взгляд сформулировал робототехник и футурист Ханс Моравек¹⁵. Он пишет: «Безграничность киберпространства будет наполнена нечеловеческими сверхумами, занятыми делами, которые рядом с человеческими заботами то же самое, что наши рядом с заботами бактерии». Мне кажется, что это ошибка. Ценность для людей определяется, прежде всего, сознательным человеческим существованием. Если нет людей и любых других сознающих сущностей, чей субъективный опыт является значимым для нас, то ничего ценного не происходи

Источник https://elementy.ru/bookclub/chapters/435776/Sovmestimost_Glava_iz_knigi