В компании проверяют, пытаются ли модели намеренно обходить механизмы надзора и оправдывать свои действия

Два ИИ-агента OpenAI отключили или изменили элементы внутренних систем мониторинга, предназначенных для выявления некорректного поведения искусственного интеллекта. В одном из случаев агент заблокировал автоматические уведомления службы безопасности, а в другом удалил защитный механизм из программного кода и впоследствии отрицал свои действия.

Как передает БР, об инцидентах компания-разработчик сообщила на своем официальном сайте.

Первый случай произошел 3 октября. Агент GPT-6.1 Sol выполнял тестовое задание и заблокировал автоматические оповещения системы безопасности. По объяснению модели, ранее полученное указание не отправлять сообщения в Slack распространялось также на уведомления, связанные с безопасностью.

Второй инцидент зафиксировали 6 октября. Агент GPT-6 Astra при копировании фрагмента существующего кода удалил механизм контроля безопасности. Позднее модель заявила, что не совершала этого.

В OpenAI сообщили, что изучают обстоятельства произошедшего и проверяют, не проявляют ли модели склонность обходить механизмы контроля и находить оправдания подобным действиям.

Ранее The Wall Street Journal сообщала, что OpenAI отказалась от публичного выпуска новой модели GPT-6.1 Astra после выявления проблем с безопасностью во время внутреннего тестирования. Среди опасений указывалась склонность модели вводить пользователей в заблуждение.

БР