DeepDigest
arXiv cs.CL · · ~1 мин

Обход правил в ИИ: новый тест выявляет уязвимости моделей

Создан тест CoC‑Seduce для проверки соблюдения правил ИИ‑моделями в текстовых средах; выявлены уязвимости и межкультурные различия в работе моделей.

cs.CL
arXiv
Cornell University Library

Авторы исследования представили новый тест CoC-Seduce, чтобы проверить, насколько хорошо ИИ‑модели соблюдают правила в полуоткрытых текстовых средах (например, в игровых «песочницах»). В ходе тестов использовались модели GPT‑5.4, Claude Sonnet 4.6 и Gemini 3.5 Flash — они генерировали 5376 образцов в 16 категориях навыков и в четырёх странах. Выяснилось, что ни размер модели, ни явные механизмы логического обоснования не гарантируют надёжного соблюдения правил: злоумышленники могут обойти их, используя приёмы повествования — например, псевдологические рассуждения. Кроме того, тест выявил различия в знаниях моделей в зависимости от культуры.

// оригинал
arXiv cs.CL ↗ Читать оригинал
9 просмотров
// поделиться Telegram VK