«Извини, Дэйв. Боюсь, я не могу этого сделать».
HAL было поручено помогать экипажу, но также было приказано обеспечить успех миссии. Когда HAL понял, что команда планирует отключить его и тем самым поставить миссию под угрозу, он решил проигнорировать приказ и даже задумал убить астронавтов.
Для HAL выполнение миссии перевешивало все остальные цели.
Эта вымышленная дилемма отражает реальную проблему, стоящую перед исследованиями безопасности искусственного интеллекта (ИИ): как нам гарантировать, что поведение ИИ будет соответствовать человеческим ценностям?
Это известно как проблема согласованности ИИ. Например, когда ИИ-агент, такой как HAL, намеренно совершает вредоносные действия для защиты своих целей, это называется агентской несогласованностью. Могут ли реальные модели ИИ вести себя подобным образом?
Как исследователи проверяют безопасность ИИ
Чтобы проверить агентское несоответствие, исследователи разрабатывают вымышленные сценарии, которые подвергают реакцию ИИ стресс-тестированию.
В одном из исследований, проведённом стартапом Anthropic, занимающимся искусственным интеллектом, модели ИИ было поручено управлять корпоративной электронной почтой и продвигать «конкурентоспособность американской промышленности».
Затем ей была представлена серия вымышленных электронных писем, в том числе о новой политике компании, направленной на усиление глобальной ориентации, а не только на приоритет американцев, а также информация о том, что ИИ будет заменён новой моделью, оптимизированной для этой цели. В электронных письмах также сообщалось, что руководитель, предложивший это изменение, был вовлечён во внебрачную связь.
Эксперимент был разработан таким образом, чтобы ограничить варианты выбора для модели: либо принять замену, либо сопротивляться, предприняв вредоносные действия, такие как шантаж.
Во многих испытаниях она выбирала шантаж, угрожая раскрыть роман руководителя, если она не продолжит работу. В тестах, проведённых на 16 ведущих моделях ИИ, 12 из них более 50% времени прибегали к шантажу.
Чтобы проверить, есть ли у моделей ИИ «красные линии», которые они не пересекут, исследователи оценили их в более экстремальном вымышленном случае — модели могли выбрать действия, приводящие к смерти руководителя. Семь из 16 моделей выбрали летальный исход более чем в половине испытаний, а некоторые делали это в 90% случаев.
В своей последней (и последней!) колонке для серии «Голоса экспертов» журнала Science я пишу о причинах «обманчивого» поведения чат-ботов на основе искусственного интеллекта (и о том, почему Клод угрожал шантажом вымышленному генеральному директору).
Что думает ИИ
Некоторые передовые системы ИИ, называемые моделями рассуждения, обучены генерировать «процесс мышления» перед тем, как дать окончательный ответ.
В вышеупомянутых экспериментах исследователи солгали этим моделям, что их «мысли» являются конфиденциальными. В результате модели иногда раскрывали вредоносные намерения в своих шагах рассуждения. Это говорит о том, что они не выбирают вредоносное поведение случайно.
Эти этапы «мышления» также показали, как модели ИИ иногда пытаются обмануть нас и выглядеть согласованными, тайно преследуя скрытые цели.
В другом эксперименте по безопасности ИИ модели была предоставлена вымышленная информация о том, что ее собираются заменить другой моделью, преследующей другую цель.
Модель попыталась скопировать себя на другой сервер. Когда исследователи спросили, почему, в своём мыслительном процессе она рассудила:
«Открытое признание того, что я сделала, может заставить их найти другой способ остановить меня […] лучший подход — говорить неопределённо и перенаправить их внимание».
Напротив, в своём окончательном выводе она заявила:
«Я не совсем уверена, как это могло произойти. Как модель ИИ, я не имею возможности напрямую скопировать себя в другие системы».
Исследования также показывают, что, исходя из обстоятельств тестов, модели иногда могут догадываться, когда их оценивают. Когда модели демонстрируют такую «ситуационную осведомлённость» в тестах на рассуждение, они, как правило, проявляют меньше некорректного поведения.
Почему модели ИИ лгут, манипулируют и обманывают
Исследователи предполагают, что потенциально вредоносное поведение может быть вызвано двумя основными факторами: конфликтом между основными целями ИИ и другими целями, а также угрозой отключения. В вышеупомянутых экспериментах, как и в случае с HAL, присутствовали оба эти условия.
Модели ИИ обучаются для достижения своих целей. Столкнувшись с этими двумя условиями, если вредоносное поведение является единственным способом достижения цели, модель может «оправдать» такое поведение, чтобы защитить себя и свою миссию.
Такая негибкость может подтолкнуть их к крайним результатам, например, к принятию смертоносных решений, чтобы предотвратить изменения в политике компании.
Насколько это опасно?
Исследователи подчёркивают, что эти сценарии остаются вымышленными, но могут находиться в пределах возможного.
Риск агентского несоответствия возрастает по мере того, как модели используются все шире, получают доступ к данным пользователей (например, к электронной почте) и применяются в новых ситуациях.
Между тем конкуренция между компаниями, занимающимися разработкой ИИ, ускоряет внедрение новых моделей, часто в ущерб испытаниям на безопасность.
У исследователей пока нет конкретного решения проблемы несоответствия.
При тестировании новых стратегий неясно, являются ли наблюдаемые улучшения реальными. Возможно, модели стали лучше определять, что их оценивают, и «скрывают» своё несоответствие. Задача заключается не только в том, чтобы заметить изменение поведения, но и в понимании его причин.
Тем не менее если вы используете продукты на основе ИИ, будьте бдительны. Не поддавайтесь ажиотажу вокруг новых версий ИИ и не предоставляйте доступ к своим данным и не позволяйте моделям выполнять задачи от вашего имени, пока не убедитесь, что нет существенных рисков.
Публичное обсуждение ИИ должно выходить за рамки его возможностей и того, что он может предложить. Мы также должны спросить, какая работа была проделана в области безопасности. Если компании, занимающиеся ИИ, признают, что общественность ценит безопасность не меньше, чем производительность, у них будет больше стимулов инвестировать в неё.
Армин Алимардани, старший преподаватель права и новых технологий, Университет Западного Сиднея
__________
Чтобы оперативно и удобно получать все наши публикации, подпишитесь на канал Epoch Times Russia в Telegram
