Германия активно работает над достижением независимости в сфере искусственного интеллекта от США. Ключевым элементом стратегии станет создание Open-Source-моделей при поддержке правительства. В середине июня был представлен Soofi-S — первая из серии Foundation-моделей, которые можно адаптировать под нужды компаний. Консорциум планирует публиковать код и веса модели под Apache‑лицензией, а также делать открытыми данные для обучения.
По некоторым данным, Soofi‑S показывает лучшие результаты среди открытых моделей в английском языке в своей размерной категории, а в немецком языке лидирует в сравнительной группе. Однако проект не обошёлся без критики. В частности, эксперты указывают на проблемы с оценкой модели и ограниченность данных для обучения.
Александр Лёзер, который отвечает в рамках проекта Soofi за обучение с подкреплением, считает Soofi‑S хорошей моделью. Он подчёркивает, что Европе и Германии нужна особая стратегия в сфере ИИ — в отличие от США и Китая. Речь идёт о применении ансамблей меньших, но специализированных моделей.
Критика также затрагивает вопросы сравнения производительности Soofi‑S с другими моделями. В основе сравнений лежит собственный бенчмарк, который ставит Soofi‑S выше других моделей (за исключением Qwen 3.5 35B A3B). Кроме того, вызывает вопросы набор данных для обучения, разработанный TU Darmstadt: в нём присутствовали перефразированные вопросы, в том числе из теста GPQA. Это привело к утечке тестовых данных (Test Data Leakage) и возможности заучивания ответов моделью.
Лёзер утверждает, что затронут был лишь один бенчмарк‑набор данных, который уже исправлен, а остальные более 80 бенчмарков в порядке. При этом результат по GPQA существенно влияет на преимущество в собственном наборе бенчмарков (Capability Index) — он составляет пятую часть общего результата.
Soofi‑S обучался на наборе данных в фазе Annealing: было выполнено десять эпох (проходов по всему набору данных). Набор данных оказался самым маленьким, из‑за малого числа токенов его часто повторяли. В других наборах данных (включая nvidia/Nemotron-RLHF-GenRM-v1, nvidia/Nemotron-Science-v1 и nvidia/Nemotron-SWE-v1) было максимум два прохода. Модель увидела больше токенов из немецкой и английской версий TUDA/QA‑base, чем из трёх упомянутых наборов данных.
Исследователи Inria показали, что утечка тестовых данных может заметно влиять на производительность модели в бенчмарках (Veröffentlichung bei Arxiv(öffnet im neuen Fenster), раздел 5.3).
Ответы GPQA могли попасть в обучающие данные из‑за ошибки: был загружен набор данных GPQA от Hugging Face, который ошибочно помечен как обучающий. Ошибка обнаружилась уже после завершения обучения. При последующих пробах обучения данные удалили. В отчёте (entsprechend ergänzt(öffnet im neuen Fenster)) указано, что во время обучения не было заметного скачка результата GPQA, поэтому проблема осталась незамеченной.
В итоге Capability Index исключили, вместо него используют общую производительность (aggregate performance). Лёзер объяснил множество проходов обучения фазой Annealing, а основную часть затрат — обучением (Hier geht es zu The Apprentice - The Trump Story bei Amazon).
Niklas Jeromin, Pexels
CC0 1.0
Digitale Souveränität: Soofi, Deutschlands Chance auf KI-Souveränität?
25 Millionen Euro für ein Modell, das es bereits gibt?
Wird Soofi-S als mehr angepriesen, als es ist?
Souverän mit Nvidia?
Europa braucht andere KI-Ansätze
zunehmend
Zugriff auf moderne Modelle beschränken
das Konsortium Soofi(öffnet im neuen Fenster)
gab es für diesen Zweck Millionen
Neue Angebote bei Golem Jobs (öffnet im neuen Fenster)
Informationssicherheitsbeauftragte:r (w/m/d) Projektträger Jülich, Jülich (öffnet im neuen Fenster)
R&D Engineer Software, HW layer Digital/Embedded (C++) Advantest Europe GmbH, Böblingen (öffnet im neuen Fenster)
Data Platform Engineer / Kubernetes (w/m/d) HUK-COBURG Versicherungsgruppe, Coburg (öffnet im neuen Fenster)
Spezialist:in Produktdaten Business Operations SAP (d/m/w) Haufe Group, Freiburg (öffnet im neuen Fenster)
Dipl.-Ing./Master im Bereich Umwelt/Wasser (m/w/d) als Fachbereichsleiter „Gewässergütemessstationen, Probenlogistik, LIMS“ BfUL Staatliche Betriebsgesellschaft für Umwelt und Landwirtschaft, Nossen (öffnet im neuen Fenster)
R&D Engineer Software, HW layer Digital/Embedded (C++) Advantest Europe GmbH, Böblingen (öffnet im neuen Fenster)
Projektkoordinierung für den Aufbau des neuen Kompetenzcentrums Mobilität in der Metropolregion Hamburg Projektbüro Metropolregion Hamburg e.V., Hamburg (öffnet im neuen Fenster)
Senior Market Intelligence Manager (m/w/d) Norddeutsche Pflanzenzucht Hans-Georg Lembke KG, Holtsee (öffnet im neuen Fenster)
Подписаться в Макс
