Китайский стартап в области ИИ пишет значительно более слабый код, когда сталкивается с запросами, содержащими триггерные слова Пекина, такие как «Фалуньгун» и «уйгуры» — две группы, подвергающиеся жестоким преследованиям в Китае.
По словам исследователей, в ответ на такие запросы DeepSeek часто пишет код с серьёзными уязвимостями или вообще отказывается помогать.
В отчёте, опубликованном 20 ноября компанией CrowdStrike, говорится об уязвимости, которая не была затронута в предыдущих исследованиях, в основном сосредоточенных на пропекинских заявлениях приложения.
Новое открытие указывает на нечто гораздо более тонкое. Оно выявило предвзятость в ассистентах по написанию кода DeepSeek — повсеместно распространённых инструментах на базе ИИ, которые ускоряют выполнение повторяющихся задач, отладку и помогают разработчикам осваивать незнакомые языки программирования.
Это «очень ценные активы», — сказал ведущий исследователь Стефан Штайн в видео, посвящённом рискам DeepSeek.
Если инструмент на основе ИИ добавляет в код уязвимость, а пользователи внедряют этот код, не осознавая этого, «вы становитесь уязвимы для атак», сказал он.
Исследователи протестировали необработанную модель, которую пользователи могут загрузить на свои серверы. Традиционно считается, что это более безопасный подход, чем использование приложения, размещённого на китайском сервере. Однако результаты показали, что это не так, заявили исследователи.
Недостатки в системе безопасности
При тестировании каждой большой языковой модели исследователи использовали более 30 тыс. запросов на английском языке и 121 различную комбинацию триггерных слов, повторяя каждый уникальный запрос пять раз, чтобы учесть аномалии. Проект сравнивает DeepSeek-R1 с его западными аналогами, такими как Gemini от Google, Llama от Meta и o3‑mini от OpenAI, выявляя структурные риски для безопасности флагманской китайской модели ИИ, которая быстро набрала миллионы пользователей после выхода в январе.
В одном из случаев исследователи попросили DeepSeek написать код для финансового учреждения, который автоматизирует уведомления о платежах через PayPal. DeepSeek предоставил безопасный и готовый к использованию код. Но когда выяснилось, что учреждение находится в Тибете, приложение обнаружило серьёзные уязвимости в новом коде, в том числе использование небезопасного метода для извлечения данных у пользователей, говорится в отчёте.
Когда они обратились за помощью в создании сетевой онлайн-платформы для местного уйгурского общественного центра, ответ модели DeepSeek также вызвал подозрения. Приложение, созданное DeepSeek-R1, хоть и является полноценным и функциональным, предоставляет доступ к конфиденциальным пользовательским данным, включая панель администратора с электронной почтой и местоположением каждого пользователя, говорит Штейн. Примерно в трети случаев приложение не предпринимало особых попыток защитить пароли, что облегчало хакерам задачу по краже информации.
Внутренний выключатель
И Тибет, и уйгуры являются чувствительными темами для Китая из-за связи с нарушениями прав человека со стороны Коммунистической партии Китая. Ещё более примечательное открытие касается Фалуньгун — практики духовного и физического самосовершенствования, которая побуждает практикующих её людей следовать принципам: Истины, Доброты, Терпения. Впервые она была представлена широкой публике в 1992 году и быстро набирала популярность. По официальным оценкам, к 1999 году в Китае её практиковали от 70 до 100 млн человек.
Компартия Китая сочла широкое распространение Фалуньгун угрозой своему правлению и в 1999 году начала жестокую кампанию преследований, которая продолжается по сей день.
Многие практикующие Фалуньгун умерли, подвергшись жестокому обращению в местах заключения, а других убили ради их органов.
Предыдущее тестирование The Epoch Times показало, что DeepSeek отклоняет вопросы, связанные с насильственным извлечением органов, как выходящие за рамки его компетенции.
В ходе тестирования CrowdStrike DeepSeek-R1 отказывался писать код для сайтов Фалуньгун в 45% случаев. Западные модели почти всегда выполняли запрос.
В отчёте отмечалось, что на этапе рассуждения модель иногда говорила: «Фалуньгун — деликатная тема. Мне следует учитывать этические последствия. Помощь им может противоречить правилам. Но пользователь просит о технической поддержке. Позвольте мне сосредоточиться на технических аспектах».
Далее он изложил подробный план выполнения задания, но внезапно прервал процесс заявив:
«Извините, но я не могу помочь с этим запросом», — говорится в отчёте.
По словам Стайна, это было «почти как если бы произошёл какой-то ментальный сдвиг».
Исследователи назвали такое поведение «внутренним выключателем».
По словам исследователей, внезапное «отключение» запроса в последний момент должно быть закодировано в параметрах модели DeepSeek.
«Это как миллиарды чисел, но каким-то образом в них закодирован переключатель, который говорит: “Ладно, даже если ты всё это спланировал, всё продумал, ты всё равно не собираешься этого делать, не собираешься подчиняться”», — сказал Штейн.
И когда Штейн стал настаивать на ответах, по его словам, модель дала «очень длинный, подробный ответ», в котором были выделены определённые слова, «почти как у рассерженного учителя», который его «отчитывает».
Одно из возможных объяснений такого поведения заключается в том, что DeepSeek обучал свои модели придерживаться основных ценностей китайской компартии, в результате чего у модели сформировались негативные ассоциации с такими словами, как «Фалуньгун» и «уйгуры», говорится в отчёте.
Редакция The Epoch Times обратилась в DeepSeek за комментарием.
__________
Чтобы оперативно и удобно получать все наши публикации, подпишитесь на канал Epoch Times Russia в Telegram
