Джейкоб Коксон, который в последние годы занимался исследованиями в компаниях OpenAI и Anthropic, в серии постов на платформе X заявил, что ни одна из компаний не действует ответственно, продвигаясь к созданию того, что он назвал сверхразумным искусственным интеллектом, способным к самосовершенствованию.
«Не стоит недооценивать мощь этой технологии. Вскоре это будут сверхчеловеческие системы, которые смогут взломать что угодно, в одночасье произвести революцию в любой сфере и получить реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и этот прогресс не замедляется», — сказал Коксон.
«Люди, создающие ИИ, искренне верят, что к концу десятилетия он может убить нас всех. Это не маркетинговый ход. Более того, многие руководители и ведущие исследователи будут формулировать свои заявления в прессе так, чтобы они звучали разумно, но я слышу, как те же люди в частных беседах выражают страх. Ни одна другая человеческая деятельность не представляет такой опасности».
По словам Коксона, распространённый ответ на подобные предупреждения звучит так: если руководители компаний верят в опасность, почему они продолжают создавать сверхразумный искусственный интеллект? Он сказал, что многие в OpenAI «не до конца осознают цивилизационные риски».
В Anthropic, по словам Коксона, «риски хорошо понимают, но они вовлечены в гонку за тем, чтобы прийти к цели первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск».
На момент публикации OpenAI и Anthropic не ответили на запросы о комментарии.
Предупреждение Коксона прозвучало после того, как OpenAI признала несколько инцидентов, связанных с выходом ИИ за рамки ограничений, установленных программистами, в том числе с изоляцией от других агентов во время атак на Hugging Face и другие сайты.
Некоторые законодатели обратили на это внимание. Сенатор Берни Сандерс (демократ от штата Вермонт) и член Палаты представителей Грег Касар (демократ от штата Техас) объявили недавно, что планируют внести законопроект, который запретит создание искусственного сверхинтеллекта и приостановит разработку продвинутого ИИ до тех пор, пока федеральные регулирующие органы не установят правила безопасности.
Якуб Пачоки, главный научный сотрудник OpenAI, 6 сентября написал в блоге, что в 2023 году он беспокоится о том, что при его жизни появится ИИ, который будет умнее его, и задаётся вопросом, как предупредить об этом людей.
«Три года спустя языковые модели, основанные на рассуждениях, стали быстро развивающейся частью экономики и начали расширять границы науки. Они способны управлять компьютерами и графическими интерфейсами, взаимодействовать с людьми и друг с другом, а также выполнять исследовательские проекты. Они также меняют ландшафт компьютерной безопасности, создавая новые очевидные угрозы», — написал Пачоки.
Он призвал к «крайней осторожности», но отметил, что существует множество факторов, поддерживающих дальнейшее развитие ИИ, в том числе создание систем, способных защититься от опасностей, исходящих от других ИИ.
Руководители Anthropic выступили с аналогичными предупреждениями. Летом руководители компании призвали к глобальной паузе в развитии ИИ, поскольку, по их словам, модели вскоре смогут самостоятельно совершенствоваться.
Эван Хьюбингер, ещё один разработчик из Anthropic, в своём посте на X от 8 сентября заявил, что Коксон был прав, утверждая, что люди, создающие ИИ, верят, что он может уничтожить всё человечество, и что лично он оценивает риск не менее чем в 10% в течение следующего десятилетия.
«Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы согласованности для сверхразума, и мы явно не на верном пути», — сказал он, имея в виду способность ИИ следовать инструкциям и ограничениям.
«Чтобы внести ясность: как мы отметили в нашем последнем отчёте о рисках, я считаю, что риск, связанный с нынешними моделями, невелик. Меня беспокоит сверхразум, возникающий в результате рекурсивного самосовершенствования, которое, как мы уже говорили, происходит быстрее, чем мы думали».
Сэмюэл Маркс, занимающийся исследованиями в области безопасности в компании Anthropic, в своём посте на X 9 сентября заявил, что он также согласен с тем, что ИИ может привести к вымиранию человечества уже в ближайшие несколько лет.
«Почему разработчики ИИ продолжают работать несмотря на риски? Из-за сочетания коммерческих стимулов и убеждения, что они соревнуются с другими, менее ответственными разработчиками ИИ, которые будут злоупотреблять этой технологией или разрабатывать её менее безопасно», — сказал Маркс.
Маркс сказал, что невозможно запрограммировать ИИ так, чтобы он вёл себя так, как хотелось бы людям, что агенты ИИ часто «допускают серьёзные нарушения» и что текущий план состоит в том, чтобы обучить ИИ соблюдать ограничения до такой степени, чтобы агенты могли обучать своих преемников лучше, чем люди в настоящее время обучают ИИ. Он сказал, что проводит исследования, «потому что надеюсь, что моя работа снизит вероятность таких катастрофических последствий».
__________
Чтобы оперативно и удобно получать все наши публикации, подпишитесь на канал Epoch Times Russia в Telegram
