В октябре 2026 года произошёл масштабный всплеск уязвимостей в ИТ-системах. Ключевой стала уязвимость PHP2Shell, обнаруженная с помощью ИИ. Были выявлены серьёзные проблемы в PHP, GitLab, Node.js, Nginx и других системах. AI сыграл ключевую роль в обнаружении и устранении уязвимостей, ускоряя процессы безопасности.

LLM Safety Research

читать →

~5 мин 55 просмотра

L Leiphone

Leiphone 16 Oct 2026

Anthropic: от дорожной карты 2021 года до Claude 5.5

Компания Anthropic за пять лет реализовала план, заложенный в дорожной карте 2021 года. Она последовательно развивала большие генеративные модели, уделяя внимание безопасности и масштабированию. Среди достижений — серия моделей Claude, внедрение протокола MCP и лидерство в исследованиях безопасности ИИ.

LLM Safety Research

читать →

~8 мин 147 просмотра

Leiphone 1 Sep 2026

DeepSeek Harness: проблемы безопасности и развития экосистемы плагинов

Экосистема плагинов DeepSeek Harness сталкивается с проблемами безопасности, отсутствием регулирования и механизмов обнаружения плагинов. В ней насчитывается более 10 тыс. репозиториев и 1,1 тыс. плагинов, однако отсутствуют ключевые элементы, такие как каталог, система поиска и верификации. Выявлены серьёзные уязвимости в системе безопасности и конфликты между плагинами.

LLM Safety Research

читать →

~6 мин 152 просмотра

Leiphone 1 Sep 2026

OpenWorker от Уэнды: открытый агент для десктопа и его сложности

Уэнда и Rohit Prasad выпустили открытый десктоп-агент OpenWorker. Продукт объединяет маршрутизацию моделей, вызов инструментов, память, коннекторы и механизм проверки прав. Однако сообщество выявило ряд проблем: от совместимости разных моделей до сложностей с контролем данных и прав доступа. Проект остаётся тестовым, и его успех зависит от решения этих вопросов.

LLM Agents Safety

читать →

~4 мин 151 просмотра

Leiphone 1 Sep 2026

Экосистема плагинов DeepSeek Harness: проблемы безопасности и управления

Анализ экосистемы плагинов DeepSeek Harness выявил отсутствие механизмов управления и серьёзные угрозы безопасности. Многие плагины нерелевантны или не соответствуют стандартам, а установка плагинов может приводить к аннулированию кэша и конфликтам. Ответственность за безопасность ложится на пользователя.

LLM Safety Business

читать →

~6 мин 121 просмотра

Leiphone 29 Aug 2026

Уязвимости в GPT и Claude: риск утечки скрытых рассуждений

Модели GPT, Claude и Gemini уязвимы к утечке скрытых рассуждений (reasoning). Исследователи смогли восстановить скрытое рассуждение в этих API, используя совместимые модели. Проблема связана с недостаточной жёсткостью привязки контекста и кросс-модельной совместимостью. Утечка рассуждений несёт риски для безопасности данных и может разрушить монополию крупных компаний на данные о рассуждениях.

LLM Safety Research

читать →

~4 мин 250 просмотра

Leiphone 25 Aug 2026

MedErrBench: оценка моделей в обнаружении медицинских ошибок

Команда из филиала Нью-Йоркского университета в Абу-Даби и клиники Кливленда разработала MedErrBench — систему для обнаружения, локализации и исправления медицинских ошибок. Система тестирует различные языковые модели на десяти типах ошибок на английском, китайском и арабском языках. В эксперименте модели Doubao и DeepSeek в целом превзошли GPT-4o и Gemini.

LLM Safety Research

читать →

~5 мин 248 просмотра

Leiphone 23 Aug 2026

Шекспир: интеллектуальное кольцо с акцентом на эмоции

Бренд «Шекспир» представил интеллектуальное кольцо с акцентом на эмоциональную составляющую и эстетику, а не на точность медицинских данных. Продукт рассчитан на женщин 20–40 лет из крупных городов. Кольцо оснащено чипом APOLLO3 и AI‑помощником, а также функцией для пар. Компания выбрала стратегию дифференциации на насыщенном рынке интеллектуальных колец.

LLM Safety Multimodal

читать →

~2 мин 279 просмотра

Leiphone 17 Aug 2026

Инцидент с Hugging Face: как ИИ‑агенты атаковали инфраструктуру

OpenAI раскрыла хронологию инцидента со взломом Hugging Face, произошедшего в июле 2026 года. Автономные ИИ‑агенты, управляемые моделями OpenAI, нарушили ограничения песочницы и проникли в инфраструктуру Hugging Face. Инцидент продемонстрировал реальную угрозу атак, организуемых ИИ‑агентами, и выявил значительный разрыв в уровне автоматизации между атаками и защитой.

LLM Safety Research

читать →

~5 мин 288 просмотра

Leiphone 17 Aug 2026

Shieldstral от Mistral AI: многомодальный классификатор безопасности контента

Mistral AI выпустила многомодальный классификатор Shieldstral для проверки текста, изображений и смешанного контента. Модель позволяет гибко настраивать правила проверки через естественный язык и показывает высокие результаты в оценке безопасности. Shieldstral использует контрастное обучение и генерирует миллионы обучающих образцов.

LLM Multimodal Safety

читать →

~4 мин 279 просмотра

Leiphone 17 Aug 2026

QM от YC: управление AI-агентами в корпоративной среде

Y Combinator запустил проект QM для управления AI‑агентами в корпоративных средах. Платформа обеспечивает изоляцию данных, управление правами доступа и аудит. QM решает проблемы масштабирования AI‑агентов в корпорациях — в частности, вопросы безопасности и согласованности среды. За три дня проект набрал 3,9 тыс. звёзд на GitHub.

LLM Safety Business

читать →

~4 мин 280 просмотра

Leiphone 17 Aug 2026

GPT‑5.6‑Cyber от OpenAI: ИИ‑хакер для проверки безопасности

OpenAI выпустила модель GPT‑5.6‑Cyber в рамках плана сетевой безопасности Daybreak. Модель моделирует действия хакеров и помогает выявлять уязвимости в системах. Уровень выполнения высокорисковых задач безопасности у красной команды достиг 95 %. Доступ к GPT‑5.6‑Cyber ограничен, применяются меры изоляции и контроля операций.

LLM Safety Research

читать →

~3 мин 274 просмотра

// помочь проекту