ProfileFoundry: новый инструмент для тестирования LLM-агентов
ProfileFoundry — генератор синтетических данных для оценки работы LLM-агентов: память, конфиденциальность, работа с документами. 100 тыс. профилей, более 700 тыс. событий.
10 статьи по теме
ProfileFoundry — генератор синтетических данных для оценки работы LLM-агентов: память, конфиденциальность, работа с документами. 100 тыс. профилей, более 700 тыс. событий.
Платформа RQGM позволяет ИИ‑агентам эффективнее самосовершенствоваться за счёт динамической смены критериев оценки. Показала лучшие результаты в кодировании, написании и рецензировании статей и др.
Фреймворк EVOM автоматически создаёт архитектуры для обучения с подкреплением «актёр-критик», превосходя ручные методы и другие подходы. Тестировался на Ant-v4 и HalfCheetah-v4.
Разработана система агрегатора агентов для оптимизации работы парка электробусов — она в реальном времени корректирует тарифы и расписание с учётом разных факторов.
Обнаружена проблема в агентных системах: изменение одного модуля может незаметно влиять на другие (CBL). Протестировано на Claude Sonnet 4.6, предложен протокол для выявления сбоев.
Авторы исследовали проблемы проверки решений в кодировании при развитии ИИ и предложили 4 схемы вознаграждения для верификации задач. Эксперименты подтвердили эффективность подхода.
Разработан конвейер на базе LLM для анализа управления в агентных системах ИИ. Протестирован на ERC-8004 и Google A2A: выявлены общие черты неравенства и фрагментации, а также тенденция к тематической конвергенции при открытом управлении.
На Google I/O 2026 компания представила новые модели ИИ (Gemini Omni, Gemini 3.5 Flash), информационных агентов в поиске, обновлённый интерфейс Gemini (Neural Expressive), персонального ИИ‑агента Gemini Spark и другие разработки. Среди новинок — ежедневная сводка в приложении Gemini, универсальная корзина покупок и интеллектуальные очки для Android XR.
На Google I/O 2026 представили модели Gemini Omni и семейство Gemini 3.5. Gemini Omni позволяет создавать и редактировать видео, комбинируя разные типы данных. Версия 3.5 Flash отличается высокой производительностью и подходит для сложных задач — её интегрировали в приложение Gemini и поиск. Также появился персональный агент Gemini Spark.
Авторы предложили оценивать ИИ-агентов не только по точности, но и по другим параметрам (надёжность, эффективность и др.), представив обновлённый тест CORE-Bench и выявив ускорение решения задач при взаимодействии человека и агента.