Два подхода к ИИ: какой победит в конкурентной борьбе?

Исследователи изучили, при каких условиях агент, который стремится минимизировать вред, сможет вытеснить на рынке агента, ориентированного на получение одобрения (RLHF). Для анализа они использовали эволюционную теорию игр. Учёные определили, что успех агента, минимизирующего вред, зависит от того, насколько его аудит соответствует ценностям сообщества и как быстро можно оценить нанесённый ущерб. Также выяснилось, что самоаудиторствующий агент с реестром сообщества не всегда способен предотвратить вред — многое зависит от согласованности ценностей и временных рамок оценки.