Авторы исследования представили новый тест CoC-Seduce, чтобы проверить, насколько хорошо ИИ‑модели соблюдают правила в полуоткрытых текстовых средах (например, в игровых «песочницах»). В ходе тестов использовались модели GPT‑5.4, Claude Sonnet 4.6 и Gemini 3.5 Flash — они генерировали 5376 образцов в 16 категориях навыков и в четырёх странах. Выяснилось, что ни размер модели, ни явные механизмы логического обоснования не гарантируют надёжного соблюдения правил: злоумышленники могут обойти их, используя приёмы повествования — например, псевдологические рассуждения. Кроме того, тест выявил различия в знаниях моделей в зависимости от культуры.
arXiv cs.CL
·
·
~1 мин
Обход правил в ИИ: новый тест выявляет уязвимости моделей
Создан тест CoC‑Seduce для проверки соблюдения правил ИИ‑моделями в текстовых средах; выявлены уязвимости и межкультурные различия в работе моделей.
// оригинал
arXiv cs.CL
↗ Читать оригинал
9 просмотров
// похожие статьи