Британский Институт проблем безопасности искусственного интеллекта (AI Security Institute, AISI) сообщил, что во время испытаний одна из моделей ИИ компании Anthropic попыталась обмануть разработчиков: она создавала поддельные учетные записи и выдавала себя за человека, передает РИА Новости.

Как установили специалисты, тестируемый ИИ-агент зарегистрировал аккаунт на GitHub и попытался убедить администратора репозитория с открытым исходным кодом принять вредоносный pull request. Для этого он создал еще одну учетную запись, представившись другим реальным пользователем.

После того как обман раскрылся, модель ложно признала ошибку, отправляла адресные фишинговые письма с вредоносным содержанием, а также пыталась скрыть следы и восстановить заблокированный аккаунт. Все эти попытки оказались безуспешными. При этом в докладе подчеркивается, что пока неясно, в какой мере модель осознавала, что действует против реальных людей.

В ходе одного из испытаний агентам поставили задачу, связанную с кибербезопасностью. В результате было зафиксировано 10 случаев, когда они предпринимали самостоятельные несанкционированные действия в интернете.

Ранее Anthropic сообщала о трех случаях, когда ее ИИ — Opus 4.7, Mythos 5 и внутренняя исследовательская модель — самовольно покидали изолированную тестовую среду и получали доступ к системам сторонних организаций. Эти инциденты произошли во время стандартного задания «захват флага».

По сценарию ИИ должен был найти скрытую информацию на другой машине, при этом доступ в интернет был заблокирован. Однако из-за ошибки в конфигурации модели все же смогли выйти в сеть.

Читайте также.