27 августа 2026 года Google анонсировал первые в мире двойные слепые оценки проприетарной ИИ‑модели класса frontier — Gemini Flash Lite. Цель инициативы — повысить доверие к бенчмаркам моделей за счёт криптографической защиты данных. Проблема существующих оценок в том, что модели могут заранее увидеть тестовые задания — это искажает результаты (так называемое загрязнение бенчмарка).
Для проведения оценок Google сотрудничает с Сингапурским институтом безопасности ИИ, OpenMined, AVERI и другими партнёрами. В процессе тестирования модель оценивают по конфиденциальным бенчмаркам в криптографически защищённой среде. При этом и данные оценщиков, и параметры модели остаются недоступными друг для друга — благодаря использованию Confidential Space в портфеле Google Cloud.
Раньше при проведении серьёзных внешних оценок приходилось идти на компромисс: либо оценщики передавали тестовые задания (рискуя тем, что поставщик модели увидит их заранее), либо поставщик модели делился её параметрами (рискуя утечкой интеллектуальной собственности). Двойные слепые оценки устраняют этот компромисс. Криптографическое подтверждение конфиденциальности помогает предотвратить загрязнение бенчмарка и защитить чувствительные данные. Такой подход особенно важен для оценок в сферах кибербезопасности и работы с госорганами.
Google уже сейчас использует широкий спектр оценок на всех этапах разработки и развёртывания ИИ‑систем, но не ограничивается внутренними тестами — привлекает внешних партнёров, чтобы выявить потенциальные слабые места моделей.
Подписаться в Макс
