ProfileFoundry: новый инструмент для тестирования LLM-агентов

Исследователи Шрирам Селвам и Аннешва Гхош создали ProfileFoundry — генератор синтетических данных «человек-объект». С его помощью можно оценивать, как LLM-агенты справляются с задачами, связанными с памятью, конфиденциальностью, работой с документами и другими функциями. В базе — 100 000 искусственных профилей взрослых из восьми регионов, а всего в релизе более 700 тысяч событий, тысячи домохозяйств и работодателей. Данные структурированы так, чтобы можно было проверять разные аспекты работы агентов — от согласованности информации до отслеживания связей между объектами во времени. Это даёт разработчикам надёжный инструмент для тестирования без использования реальных пользовательских данных.