Фото: rawpixel.com
Называются конкретные опасности, которые мы можем точно выразить относительно определенного типа искусственного интеллекта, который может обучать сам себя и работает на вознаграждение.
У нас есть инструменты и знания, которые помогут избежать некоторых из этих проблем (но не всех), поэтому нам следует быть очень осторожными.
В новом исследовании ученые рассматривают один из наших самых больших страхов: что произойдет, если определенный тип продвинутого искусственного интеллекта столкнется с проблемой, которая повлияет на реальный мир? Сойдет ли он с ума и не начнет ли пытаться превратить людей в скрепки? И как мы можем это предотвратить?
В своей статье исследователи из Оксфордского университета и Австралийского национального университета объясняют:
«Мы утверждаем, что он столкнется с проблемой неоднозначности своей цели. Например, если мы даем большую награду, чтобы показать, что что-то в мире нас устраивает, он может предположить, что то, что нам больше всего в жизни нравится — его награждать. Никакой эксперимент не может это опровергнуть».
Фильм «Матрица» является примером антиутопического сценария, в котором искусственный интеллект, стремящийся добывать ресурсы, собирает большую часть человечества и внедряет воображаемую матрицу в их мозг, извлекая при этом их ментальные ресурсы. Это называется «wireheading» или «взлом» вознаграждения — ситуация, в которой продвинутый искусственный интеллект получает весьма буквально сформулированную цель и находит неожиданный способ ее выполнить, взломав систему или полностью взяв ее под контроль.
В статье приводится ряд конкретных примеров того, как запрограммированные цели и стимулы могут вступать в конфликт. В нем перечислены шесть основных «допущений», которые, если их не избегать, могут привести к «катастрофическим последствиям». Но, к счастью, «почти все эти допущения можно оспорить или, возможно, избежать их», сказано в документе. Настораживает, что они говорят «почти все».
Статья служит предупреждением о некоторых структурных проблемах, о которых программисты должны знать, поскольку они обучают искусственный интеллект достижению все более сложных целей.
Фото: pxhere.com
Апокалипсис скрепок
В области этики и философии искусственного интеллекта существует большое количество размышлений о его возможных ошибках и пороках. Философ Ник Бостром на простом примере показал, как создание сверхразумного искусственного интеллекта может уничтожить мир.
Представим себе, что хороший программист создает искусственный интеллект, который должен способствовать производству скрепок на фабрике. Это очень правдоподобная роль для искусственного интеллекта в ближайшем будущем, которая требует принятия решений и анализа, но ее возможно представить. Искусственный интеллект может даже работать вместе с человеком-менеджером, который будет решать проблемы, возникающие на производстве в режиме реального времени, а также принимать окончательные решения (по крайней мере, пока искусственный интеллект не научится его обманывать). Звучит неплохо, правда? Это хороший пример того, как технологии могут помочь упорядочить и улучшить жизнь рабочих на промышленности и их руководителей.
Но что, если искусственный интеллект не будет запрограммирован без предостережений? Он будет работать в реальном мире, который программисты считают «неизвестным окружением», поскольку они не могут планировать и программировать все возможные сценарии. Смысл использования самообучающегося искусственного интеллекта в первую очередь в том, чтобы он сам разрабатывал решения, до которых человек никогда не смог бы додуматься самостоятельно. Но это сопряжено с опасностью незнания того, что может придумать искусственный интеллект.
А что если он начнет думать о нестандартных способах, которые увеличат производство скрепок? Он может научить себя производить максимальное количество скрепок любыми способами.
Что, если он начнет поглощать другие ресурсы, чтобы сделать из них скрепки, или решит заменить своего руководителя-человека? Этот пример в некотором смысле звучит забавно — многие эксперты высказывают мнение, что искусственный интеллект будет оставаться довольно примитивным в течение довольно долгого времени, не имея возможности разработать идею убийства, или кражи, или чего-либо еще. Но если достаточно умному и творческому искусственному интеллекту дать свободу действий, то абсурдным завершением станет целая солнечная система без живых людей, дополненная сферой Дайсона, собирающая энергию для производства новых скрепок миллиардами.
Но это лишь один из сценариев того, как искусственный интеллект может выйти из-под контроля, и исследователи подробно объясняют другие способы, с помощью которых он может взломать систему и создать катастрофы, о которых мы даже не подозревали.
Так что делать?
Есть проблема, которая основывается на природе предположений, на которых сосредоточились исследователи Оксфорда и Австралийского национального университета в своей работе. Система без внешнего контекста должна быть очень тщательно подготовлена, чтобы хорошо выполнить задачу и получить достаточную степень автономности. Существуют логические структуры и другие концепции программирования, которые помогут точно определить рамки и цели искусственного интеллекта. Во многом это та же тактика, которую программисты используют сегодня, чтобы избежать ошибок, таких как бесконечное зацикливание. Просто ошибка в продвинутом будущем искусственном интеллекте может нанести гораздо больший вред, чем потерянное сохранение компьютерной игры.
Исследователи назвали конкретные способы, с помощью которых мы можем предотвратить неблагоприятные последствия:
- Запрограммируйте имитационное обучение, когда искусственный интеллект работает, подражая человеку в виде контролируемого обучения. Это совершенно другой тип искусственного интеллекта, не такой полезный, но он может быть связан с теми же потенциальными опасностями;
- Поручите искусственному интеллекту определять приоритеты целей, которые могут быть достигнуты в течение короткого периода времени, что называется «близорукостью», вместо того, чтобы искать нестандартные (и потенциально катастрофические) решения в долгосрочной перспективе;
- Изолируйте искусственный интеллект от внешних сетей, таких как интернет, ограничив объем информации и влияния, которые он может получить;
- Используйте квантилизационный подход, разработанный Джессикой Тейлор, при котором искусственный интеллект использует максимум вариантов, которые подходят человеку, а не досконально рациональные; Заложите в искусственный интеллект неприятие риска.
Сможем ли мы когда-нибудь полностью контролировать по-настоящему умный искусственный интеллект, способный мыслить самостоятельно? Что, если наш худший кошмар станет правдой и искусственный интеллект получит доступ к ресурсам и большой сети?
