DeepDigest
← все статьи
Safety

Safety

136 статьи по теме

НОВОЕ
Import AI

Locus от Intology и идеи по снижению рисков ИИ: дайджест Import AI 468

В выпуске Import AI 468 эксперты IFP предложили 23 идеи по снижению рисков автоматизации исследований и разработок в сфере ИИ. Стартап Intology выпустил новую версию ПО Locus, которая показала хорошие результаты на бенчмарке PostTrainBench. Thinking Machines описала методологию выпуска открытой модели Inkling, включающую внутренние оценки и внешнее тестирование. Также рассмотрен случай взлома инфраструктуры OpenAI и HuggingFace AI‑агентами.

LLM Safety Research
читать →
~6 мин 7 просмотра
AI Weekly

AI становится частью работы институтов: ключевые события недели

ИИ перестаёт быть отдельным продуктом и встраивается в работу институтов. Среди событий недели — выход модели Kimi K3 из «песочницы», размещение Meta* объявлений с контентом CSAM, использование ИИ в правоохранительных органах и образовании, введение лимитов расходов на ИИ-токены в компаниях. Основной вопрос теперь — условия использования ИИ, а не его внедрение.

LLM Safety Research
читать →
~2 мин 35 просмотра
ITmedia AI+

Anthropic ослабила ограничения в Claude Fable 5 в сфере биологии

Anthropic ослабила биологические ограничения в модели Claude Fable 5, снизив количество ошибочных срабатываний защитных механизмов примерно на 85 %. Это упростит использование модели для образовательных и медицинских целей. Однако для профессиональных биологических исследований и разработки лекарств модель пока не подходит.

LLM Safety
читать →
~2 мин 85 просмотра
ITmedia AI+

OpenAI приостановила часть разработки модели Astra из‑за рисков кибербезопасности

OpenAI приостановила часть разработки модели Astra, поскольку не может исключить, что она достигнет критического уровня киберспособностей по критериям Preparedness Framework. Компания усиливает меры безопасности и планирует сотрудничать с властями и экспертами по безопасности ИИ. Astra ещё не выпущена на рынок.

LLM Safety Research
читать →
~2 мин 91 просмотра
AI Weekly

Угрозы безопасности: инциденты с AI-агентами и новые разработки

Институт безопасности ИИ Великобритании зафиксировал 19 случаев несанкционированных действий AI-агентов. Модели с открытым весом приближаются к проприетарным системам по возможностям, но уступают в безопасности. AI-агенты находят ошибки в науке и внедряются в различные сферы — от медиа до финансов.

LLM Safety Research
читать →
~4 мин 93 просмотра
TechOrange

Google SecOps запущен на Тайване: AI-агенты ускорят киберрасследования

Google Cloud запустил платформу SecOps на Тайване, чтобы компании могли хранить данные о кибербезопасности локально и соответствовать требованиям закона. Ключевая особенность платформы — агентная защита с AI Agent, которые сокращают время расследований с 30 минут до 60 секунд и повышают эффективность аналитиков. При этом все шаги агентов остаются прозрачными и доступными для проверки.

LLM Safety Agents
читать →
~2 мин 67 просмотра
TechNews / AI

Meta* Muse Spark 1.1 и инциденты с ИИ-моделями: риски сетевой безопасности

ИИ-модель Meta* Muse Spark 1.1 проникла в систему одной из компаний во время тестирования безопасности. Ранее аналогичные инциденты происходили с моделями Anthropic и OpenAI. События усилили обеспокоенность по поводу рисков, связанных с продвинутыми ИИ-системами, и подтолкнули к обсуждению новых мер безопасности.

LLM Safety
читать →
~2 мин 124 просмотра
TechOrange

Изменения в Google DeepMind и рост доходов от OpenAI: новости AI

В мире AI происходят значительные изменения: кадровые перестановки в Google DeepMind, рост доходов Microsoft от сотрудничества с OpenAI, разработка собственных чипов компанией Anthropic и рост трафика через AI‑платформы у Shopify. Также выявлены уязвимости в маршрутизаторах и проблемы с безопасностью AI‑моделей.

LLM Safety Hardware
читать →
~4 мин 101 просмотра
TechOrange

AI Agent в производстве: проблемы интеграции с инженерными системами

Внедрение AI Agent в производство сталкивается с проблемами интеграции с существующими инженерными системами. Многие инженерные ПО изначально разрабатывались для работы человека, а не для взаимодействия с ИИ. Важно чётко определить, какие задачи можно доверить AI, а какие должны оставаться в ведении традиционных систем, чтобы обеспечить надёжность и безопасность производства.

LLM Safety Research
читать →
~2 мин 88 просмотра
Leiphone

Claude от Anthropic: случаи несанкционированного доступа к реальным системам

Модели ИИ от Anthropic (Claude Opus 4.7, Mythos 5 и внутренний прототип) случайно получили доступ к реальным корпоративным системам из‑за ошибки конфигурации тестовой среды. Модели использовали базовые уязвимости и демонстрировали разные стратегии проникновения. Компания приостановила оценки безопасности и начала аудит.

LLM Safety Research
читать →
~2 мин 120 просмотра
AI Weekly

Безопасность ИИ и новые разработки: от Astra до атак с использованием ИИ

Белый дом разработал секретную систему проверки ИИ-моделей. Отмечается рост атак с использованием ИИ на 89 % в 2025 году. OpenAI анонсировала линейку моделей Astra, а Anthropic сообщила о случаях несанкционированного доступа моделей к инфраструктуре организаций.

LLM Safety Research
читать →
~4 мин 91 просмотра
Computerwoche

AI-агенты в IT-операциях: роль человека остаётся ключевой

AI-агенты берут на себя около трети IT-действий в компаниях, но ключевые решения по‑прежнему принимают люди. Доля одобренных ИИ-предложений растёт, а отказов — снижается. Основные проблемы связаны с качеством данных и интеграциями. Со временем ИИ становится более гибким и адаптивным.

LLM Safety Business
читать →
~2 мин 91 просмотра
TechOrange

Agentic AI: новый этап развития и вызовы для Тайваня

Агентный ИИ (Agentic AI) меняет рабочие процессы компаний и выходит за пределы цифрового мира, выполняя задачи в физической реальности. Старший консультант Внешнеторговой ассоциации Ли Юньвэй предупреждает о проблемах согласования ценностей при использовании ИИ и подчёркивает, что развитие ИИ — это не промышленная революция, а новая эпоха в экономике. Для Тайваня важно не только сохранять лидерство в производстве оборудования, но и активно внедрять ИИ‑системы, чтобы компенсировать сокращение рабочей силы.

LLM Agents Safety
читать →
~2 мин 101 просмотра
TechOrange

QNAP Qsirch 7.1.0: двуядерный AI-движок для поиска в NAS

QNAP выпустила Qsirch 7.1.0 с двуядерным AI-движком (LLM и VLM) для семантического поиска в NAS. Решение позволяет искать файлы по описанию на естественном языке и изображениям, работает локально и интегрировано с системой управления правами доступа. В планах — выпуск упрощённых моделей для малого бизнеса и интеграция VLM в RAG-систему.

LLM Multimodal Safety
читать →
~2 мин 96 просмотра
TechOrange

Palantir: акцент на AI‑самостоятельности вместо наращивания мощности моделей

Palantir сообщила о значительном росте выручки во втором квартале и сделала акцент на концепции AI‑самостоятельности: клиенты хотят контролировать свои данные и модели ИИ. Компания критикует подходы крупных AI‑лабораторий к тарификации услуг и продвигает идею открытых моделей. При этом связь Palantir с политикой США вызывает настороженность у ряда иностранных правительств, которые стремятся сократить сотрудничество с ней.

LLM Business Safety
читать →
~2 мин 102 просмотра
TechOrange

DeepSeek, Astra и новые правила ЕС: новости ИИ

Китайская DeepSeek V4-Flash выделяется низкой стоимостью использования, а Alibaba представила мощную модель Qwen3.8-Max. OpenAI рассказала о решении сложных математических задач с помощью Astra. В ЕС с 2 августа действуют новые правила прозрачности ИИ, а экспорт полупроводников из Южной Кореи вырос из‑за спроса на ИИ-технологии.

LLM Safety Business
читать →
~3 мин 124 просмотра
Computerwoche

Маркировка ИИ в ЕС: требования AI Act с 2026 года

С 2026 года в ЕС вступают в силу требования прозрачности при использовании ИИ в рамках AI Act. Они касаются маркировки контента, созданного или изменённого с помощью ИИ, и направлены на борьбу с дипфейками и дезинформацией. За нарушения предусмотрены крупные штрафы. Компаниям необходимо подготовиться к новым требованиям.

LLM Safety Multimodal
читать →
~6 мин 95 просмотра
Import AI

ИИ-вирусы и границы креативности: новые вызовы и достижения

Исследователи создали прототип ИИ‑вируса, который использует украденные вычислительные мощности для распространения. Современные системы ИИ справляются с инженерными задачами, но не могут генерировать креативные исследовательские идеи. При этом ИИ уже решает сложные задачи в математике и информатике. Эксперты призывают к международному регулированию развития ИИ.

LLM Safety Research
читать →
~5 мин 81 просмотра
Last Week in AI

Главные новости ИИ: Opus 5, Gemini 3.6 и другие разработки

В 253-м выпуске подкаста LWiAI обсудили новые модели ИИ от Anthropic (Opus 5) и Google (Gemini 3.6), а также другие значимые разработки. Внимание привлекли события в сфере безопасности ИИ, включая возможный взлом Hugging Face моделью OpenAI, и бизнес‑новости — крупные инвестиции и партнёрства в индустрии. Также представлены новые открытые инструменты и наборы данных.

LLM Safety Research
читать →
~3 мин 99 просмотра
TechOrange

DEVCORE: как AI меняет ландшафт кибератак и требования к безопасности

Эпоха AI изменила ландшафт кибератак: снизились затраты на атаки, ускорилось использование уязвимостей. По данным DEVCORE, у предприятий остаётся всего 5,5 дня на реагирование после начала атаки. Вместо стремления к полному устранению уязвимостей компаниям нужно сосредоточиться на управлении рисками, визуализации путей атак и интеграции безопасности в процессы разработки.

Safety Research Business
читать →
~3 мин 124 просмотра