DeepDigest
← все статьи
Safety

Safety

189 статьи по теме

НОВОЕ
Google DeepMind

Google DeepMind и правительство Сингапура создают модель для обнаружения мошенничества

Google DeepMind и GovTech Singapore создают модель обнаружения мошенничества на основе дообученной модели Gemma. Модель обрабатывает данные прямо на устройстве пользователя, предупреждая его о подозрительных разговорах в реальном времени. При разработке соблюдались строгие правила защиты данных.

читать →
~2 мин 0 просмотра
TechOrange

Управление AI Agent: как обезопасить предприятия от рисков

С ростом числа AI Agent возрастают риски для предприятий, включая угрозы безопасности. Чтобы эффективно управлять агентами и минимизировать риски, компаниям нужны специальные платформы. Они должны обеспечивать контроль прав, аудит, ручное одобрение операций и фиксацию всех действий. Практичный подход — начать с автоматизации 1–2 проверенных процессов и постепенно повышать автономность агентов.

читать →
~6 мин 30 просмотра
ITmedia AI+

Anthropic представила EFS для защиты корпоративных клиентов

Anthropic запустила механизм EFS для корпоративных клиентов: он обеспечивает конфиденциальность на уровне ZDR и позволяет выявлять неправомерное использование системы. Данные для мониторинга хранятся в облаке клиента, а уведомления о угрозах поступают его команде безопасности. Решение разрабатывалось совместно с более чем 100 компаниями.

читать →
~2 мин 43 просмотра
TechOrange

Anthropic выпустила Fable 5.1 и Mythos 5.1: новые возможности и система EFS

Anthropic выпустила модели Fable 5.1 и Mythos 5.1 с улучшенными возможностями и механизмом контроля использования ИИ. Fable 5.1 ориентирована на длительные сложные задачи, при этом компания снизила затраты на кэширование. Также анонсирована система EFS для повышения безопасности использования ИИ в предприятиях.

читать →
~3 мин 49 просмотра
Leiphone

DeepSeek Harness: проблемы безопасности и развития экосистемы плагинов

Экосистема плагинов DeepSeek Harness сталкивается с проблемами безопасности, отсутствием регулирования и механизмов обнаружения плагинов. В ней насчитывается более 10 тыс. репозиториев и 1,1 тыс. плагинов, однако отсутствуют ключевые элементы, такие как каталог, система поиска и верификации. Выявлены серьёзные уязвимости в системе безопасности и конфликты между плагинами.

читать →
~6 мин 61 просмотра
Leiphone

OpenWorker от Уэнды: открытый агент для десктопа и его сложности

Уэнда и Rohit Prasad выпустили открытый десктоп-агент OpenWorker. Продукт объединяет маршрутизацию моделей, вызов инструментов, память, коннекторы и механизм проверки прав. Однако сообщество выявило ряд проблем: от совместимости разных моделей до сложностей с контролем данных и прав доступа. Проект остаётся тестовым, и его успех зависит от решения этих вопросов.

читать →
~4 мин 63 просмотра
Leiphone

Экосистема плагинов DeepSeek Harness: проблемы безопасности и управления

Анализ экосистемы плагинов DeepSeek Harness выявил отсутствие механизмов управления и серьёзные угрозы безопасности. Многие плагины нерелевантны или не соответствуют стандартам, а установка плагинов может приводить к аннулированию кэша и конфликтам. Ответственность за безопасность ложится на пользователя.

читать →
~6 мин 54 просмотра
ITmedia AI+

Anthropic: Claude научился улучшать безопасность AI без потери производительности

Anthropic провела эксперимент, в ходе которого модель Claude самостоятельно исправляла проблемные типы поведения других AI. Модель улучшила показатели безопасности по 10 видам действий, превзойдя результаты человеческих исследователей. Эксперимент демонстрирует потенциал автоматизации настройки безопасности AI.

читать →
~1 мин 83 просмотра
TechOrange

OpenAI и Cursor: изменения, фабрики HBM и кибератаки с ИИ

OpenAI прекратит предоставлять модели для Cursor с 12 ноября. SK Hynix строит в США фабрику по упаковке HBM с инвестициями более 40 млрд долларов. Более 100 организаций предупредили об усилении кибератак с использованием ИИ. Anthropic представила предварительный обзор стандарта Model Hardware Standard (MHS).

читать →
~5 мин 83 просмотра
AI Weekly

Подходы к использованию ИИ в образовании: опыт UChicago и Alpha School

Университет Чикаго ограничивает использование ИИ в обучении, в то время как Alpha School активно внедряет адаптивное ПО. Эксперты обращают внимание на проблемы безопасности и авторства в работах, сгенерированных ИИ. Компании и творческие студии разрабатывают правила использования ИИ. Отчёт MIT подчёркивает необходимость разных подходов к интеграции ИИ в зависимости от дисциплины.

читать →
~5 мин 96 просмотра
TechOrange

ИИ в финансах: рост прибыли и ключевые факторы внедрения

Согласно отчёту The 2026 Global AI in Financial Services Report, уровень внедрения ИИ в финансовой отрасли достигает 81%, но лишь 40% организаций добились роста прибыли. Среди ключевых факторов успеха — большой бюджет на ИИ, использование собственных моделей и работа в нишевых сценариях. Ожидается значительный рост внедрения автономных AI-агентов к 2030 году.

читать →
~5 мин 128 просмотра
Leiphone

Уязвимости в GPT и Claude: риск утечки скрытых рассуждений

Модели GPT, Claude и Gemini уязвимы к утечке скрытых рассуждений (reasoning). Исследователи смогли восстановить скрытое рассуждение в этих API, используя совместимые модели. Проблема связана с недостаточной жёсткостью привязки контекста и кросс-модельной совместимостью. Утечка рассуждений несёт риски для безопасности данных и может разрушить монополию крупных компаний на данные о рассуждениях.

читать →
~4 мин 144 просмотра
TechOrange

Как добиться доверия к AI Agent: подход CYBERBIZ

Многие компании запускают AI-инструменты, но сотрудники продолжают работать по-старому из‑за недоверия к системе. Чтобы добиться принятия AI Agent, нужно начинать с низкорисковых задач с чёткими правилами и возможностью отката ошибок. Ключевой фактор — накопление доверия через небольшие успешные внедрения и анализ реальных данных использования.

читать →
~2 мин 120 просмотра
TechOrange

OpenAI, Anthropic и другие предупреждают: AI упрощает кибератаки

Более ста крупных компаний предупредили о том, что развитие ИИ снижает порог для сложных кибератак. В совместном письме предложены меры по усилению киберзащиты для предприятий, ИТ‑компаний и правительств. Угроза становится особенно актуальной на фоне новых атак на критическую инфраструктуру.

читать →
~2 мин 127 просмотра
TechNews / AI

AI в прогнозировании тайфунов: точность растёт, роль метеорологов меняется

Искусственный интеллект повышает точность прогнозирования путей тайфунов — в некоторых случаях опережает традиционные модели. ECMWF с 2025 года внедрит систему AI-прогнозов AIFS, точность которой может быть на 20 % выше традиционных методов. Однако AI пока не способен полностью заменить физические модели, поэтому наиболее вероятный сценарий — их совместное использование, а роль метеорологов может сместиться в сторону оценки рисков и интерпретации прогнозов.

читать →
~2 мин 155 просмотра
Google DeepMind

Google и партнёры проводят первые двойные слепые оценки ИИ-модели Gemini Flash Lite

Google совместно с партнёрами запустил первые двойные слепые оценки модели Gemini Flash Lite. Метод позволяет избежать искажения результатов из‑за предварительного знакомства модели с тестовыми заданиями. За счёт криптографической защиты данные оценщиков и параметры модели остаются конфиденциальными. Инициатива призвана повысить доверие к бенчмаркам ИИ.

читать →
~1 мин 200 просмотра
TechOrange

OWASP: 10 рисков для AI Agent — от манипуляции подсказками до утечки данных

OWASP представила перечень из 10 рисков для AI Agent — «OWASP Top 10 for Agentic Applications 2026». Основная угроза — не взлом, а манипуляция, заставляющая AI Agent выполнять ошибочные задачи. Традиционные инструменты безопасности не всегда способны выявить такие атаки.

читать →
~4 мин 96 просмотра
Golem.de / KI

Угрозы кибербезопасности от ИИ: пример модели Fable 5 от Anthropic

Современные ИИ-системы представляют серьёзную угрозу для кибербезопасности. Власти США временно заблокировали модель Fable 5 от Anthropic из‑за опасений по поводу возможных атак на ПО, но затем отменили решение. В компании указали, что похожие возможности есть и у других моделей.

читать →
~1 мин 133 просмотра
TechOrange

Perplexity и NVIDIA: Portable Computer — локальный AI Agent

Perplexity и NVIDIA представили Portable Computer — среду для AI Agent с приоритетом локальной работы. Решение позволяет выполнять большинство задач на устройстве пользователя, обращаясь к облачным моделям только при необходимости. Такой подход снижает затраты и защищает данные, при этом сохраняя высокую эффективность выполнения задач.

читать →
~2 мин 91 просмотра
TechOrange

Anthropic и роль CTO в эпоху AI: от координации к управлению системами

AI меняет роль CTO и структуру инженерных команд: инженеры начинают управлять AI-агентами, а CTO сосредотачиваются на создании систем для проверки качества генерируемого кода. При этом возрастает важность планирования, тестирования и информационной безопасности. Примеры из практики Anthropic показывают, как автоматизация помогает выявлять ошибки и ускорять разработку.

читать →
~3 мин 118 просмотра