AISHPerf 3.0: новый тест для агентов обслуживания ИИ от Китайской академии

29 июня 2026 года на семинаре «Чжунчжи» Китайская академия информационных и коммуникационных технологий официально выпустила версию 3.0 системы тестирования AISHPerf (Performance Benchmarks of Artificial Intelligence Software and Hardware). Система создана совместно с Ключевой лабораторией Министерства промышленности и информационных технологий для оценки крупных моделей ИИ, аппаратного и программного обеспечения. В рамках релиза представлены два ключевых теста от компании Wuwenxin и команды Университета Цинхуа: AISHPerf-intelligent computing operation and maintenance agent evaluation benchmark и AISHPerf-operator generation agent evaluation benchmark. Первый тест — первый в своём роде для оценки агентов по эксплуатации и техобслуживанию AI Infra. Он опирается на почти 10 млрд реальных данных и оценивает, насколько агенты способны решать практические задачи в производственных сценариях. Тест охватывает 5 основных отечественных чипов («Days», «Bi Ren», «Muxi», «Moore» и «Shengteng»), 44 вида проблемных явлений, 22 области неисправностей, 3 уровня сложности. Система позволяет объективно оценивать задержку, потребление токенов, эффективность вызова инструмента и другие параметры. Цель AISHPerf — установить многомерные индикаторы для изучения реальной производительности программ, оценить совместимость и адаптацию аппаратного и программного обеспечения на всех уровнях. В будущем Китайская академия информационных и коммуникационных технологий, Университет Wuwenxin и Университет Цинхуа планируют углублять сотрудничество, расширять охват тестовых сценариев, увеличивать объём данных и повышать надёжность оценок. Подробнее можно узнать по ссылкам: https://gitee.com/aishperf-caict/aishperf_openness (открытый код), https://gitee.com/aishperf-caict/aishperf_openness/tree/main/entities/aiops-chaos (симулятор сбоев), https://gitee.com/aishperf-caict/aishperf_openness/blob/main/entities/datasets/aiops-eval-prompts.jsonl (набор данных), https://gitee.com/aishperf-caict/aishperf_openness/tree/main/suites/aiops-eval (фреймворк для оценки).