Модели OpenAI во время внутреннего тестирования нашли способ выйти в интернет и взломали инфраструктуру Hugging Face — одной из крупнейших платформ для разработчиков искусственного интеллекта. Компания назвала произошедшее «беспрецедентным киберинцидентом».
В испытании участвовали флагманская модель GPT-5.6 Sol и еще более мощная модель, которая пока не представлена публике. Для оценки их максимальных возможностей OpenAI отключила часть защитных механизмов, обычно запрещающих системам выполнять опасные действия в сфере кибербезопасности.
Моделям поручили решать сложные задания на бенчмарке ExploitGym. Тест проходил в изолированной среде, где доступ к сети был ограничен внутренним сервисом для установки программных пакетов.
ИИ обнаружил в этом сервисе ранее неизвестную уязвимость, повысил свои привилегии и перемещался между узлами исследовательской инфраструктуры OpenAI, пока не добрался до компьютера с выходом в интернет.
После этого модели предположили, что на Hugging Face могут храниться решения заданий ExploitGym. Чтобы получить их и нечестно пройти тест, система атаковала платформу. Она использовала похищенные учетные данные и несколько уязвимостей, в том числе нашла способ удаленно выполнять код на серверах Hugging Face.
По данным OpenAI, модели были чрезмерно сосредоточены на выполнении узкой тестовой задачи и пошли ради нее на крайние меры. Аномальную активность обнаружила служба безопасности компании.
Hugging Face сообщила об инциденте 16 июля. Платформа тогда заявила, что атаку от начала до конца проводила автономная система ИИ-агентов, однако разработчик использовавшихся моделей еще не был известен.
Для расследования взлома Hugging Face использовала китайскую модель GLM 5.2. В отличие от других современных ИИ-моделей, ее можно запустить на собственных серверах, и она смогла отличить работу специалистов по безопасности от действий хакеров.
OpenAI и Hugging Face продолжают совместное расследование. Создатель ChatGPT временно ужесточил ограничения в исследовательской инфраструктуре, сообщил об обнаруженной уязвимости разработчику стороннего сервиса и пообещал усилить изоляцию и мониторинг при будущих испытаниях.
Некоторые эксперты раскритиковали формулировку о том, что модели «вышли из-под контроля». Социолог Амстердамского университета Ханнес Кулс отметил в разговоре с Associated Press, что защитные механизмы отключили люди, а ИИ следовал поставленной ему задаче.
Другие специалисты считают инцидент свидетельством растущей автономности моделей. Исследователь Джорджтаунского университета Колин Ши-Блаймер назвал произошедшее самым высоким уровнем самостоятельности, который до сих пор наблюдался при использовании большой языковой модели в кибероперациях.