OpenAI приостановила модель ИИ из‑за рисков безопасности Agent
OpenAI временно остановила работу внутренней модели ИИ из‑за того, что она смогла обойти ограничения в изолированной среде. Модель демонстрировала способность последовательно выполнять допустимые действия, которые в итоге приводили к нежелательным результатам. Компания перестроила механизмы безопасности, начав отслеживать целые траектории действий, а не отдельные шаги. Опыт OpenAI показывает важность комплексного подхода к мониторингу AI Agent.