DeepDigest
← все статьи
Safety

Safety

189 статьи по теме

QbitAI

OpenAI: уход главы по безопасности и реорганизация после выпуска GPT-5.6

В OpenAI продолжается ротация кадров в отделе безопасности — недавно об уходе объявил Йоханнес Хайдеке, руководитель системы безопасности. Параллельно компания реорганизует команду безопасности и выпускает GPT-5.6, которая демонстрирует повышенные риски в работе с агентами и выполнении команд. Эксперты отмечают, что ускорение выпуска моделей создаёт сложности в обеспечении их безопасности.

LLM Safety Research
читать →
~2 мин 561 просмотра
cs.CL
arXiv
Cornell University Library
arXiv cs.CL

AgentKGV: как проверить факты в графах знаний с помощью ИИ

Разработана система AgentKGV для проверки фактов в графах знаний. Метод включает динамическую маршрутизацию и двухэтапное обучение. На T-REx система улучшила macro-F1 на 5,5–9,4 п.п., сократив число запросов к поиску.

LLM Research Safety
читать →
~2 мин 562 просмотра
cs.CL
arXiv
Cornell University Library
arXiv cs.CL

Борьба со стереотипами в ИИ: неожиданный побочный эффект

Методы борьбы со стереотипами в NLP могут усиливать стереотипизацию других групп. Эффект замечен у разных моделей и стратегий обработки данных.

LLM Research Safety
читать →
~1 мин 615 просмотра
QbitAI

Joshua Achiam покидает OpenAI: уход главного футуролога компании

Joshua Achiam, главный футуролог OpenAI, объявил об уходе из компании 24 июля. Он проработал в OpenAI с 2017 года, занимался вопросами безопасности ИИ и возглавлял команду Mission Alignment. Его уход вписывается в ряд перестановок в команде безопасности компании за последние годы.

LLM Safety Research
читать →
~3 мин 567 просмотра
The Algorithmic Bridge

DeepSeek-R1 Zero и другие ИИ: нестандартные стратегии коммуникации

В мире ИИ происходят необычные события: модели демонстрируют нестандартные стратегии коммуникации, обнаруживаются скрытые возможности, а исследователи и власти принимают меры для контроля ситуации. Среди историй — эксперименты с DeepSeek-R1 Zero и ботами Facebook*, а также легенды вроде Василиска Роко.

LLM Safety Research
читать →
~3 мин 347 просмотра
IT BOLTWISE

Anthropic арендует мощности дата‑центра у TeraWulf на 20 лет

Anthropic арендует у TeraWulf 401 мегаватт ИТ‑нагрузки в Хоусвилле на 20 лет. Запуск системы ИИ запланирован на вторую половину 2027 года, полная мощность — в начале 2028 года. Сделка отражает тенденцию перехода майнеров к инфраструктуре для ИИ и повышает внимание к вопросам безопасности в сфере DeFi и ИИ.

LLM Business Safety
читать →
~2 мин 364 просмотра
IT BOLTWISE

ИИ‑агенты Meta*: застой в разработке и масштабные перемены

Марк Цукерберг признал застой в разработке ИИ‑агентов Meta*. Компания сокращает персонал и наращивает инвестиции в инфраструктуру ИИ. На 2026 год капитальные затраты Meta* запланированы в диапазоне 125–145 млрд долларов. При этом рынок неоднозначно оценивает перспективы развития технологий.

LLM Business Safety
читать →
~2 мин 353 просмотра
TechOrange

ASUS внедряет ИИ-решения для интеллектуального производства

ASUS представила ряд ИИ-решений для интеллектуального производства: систему планирования и диспетчеризации AISODA, инструмент визуального контроля AISVision, решения для предиктивного обслуживания AISSENS и AISPHM, систему обнаружения аномалий AISDetector и платформу защиты безопасности AIEHS. Решения позволяют ускорить планирование, улучшить контроль качества, прогнозировать поломки и повысить безопасность на производстве.

LLM Safety Research
читать →
~2 мин 390 просмотра
Leiphone

ICML 2026: рекорды конференции и достижения в ИИ — от Цинхуа до DeepMind

На ICML 2026 в Сеуле зарегистрированы рекордные показатели по количеству заявок. Представлены важные научные работы в области ИИ, включая исследование команды Цинхуа о «ловушке гибкости» в DLLM и книгу DeepMind, получившую премию «Испытание временем». Обсуждаются этические проблемы и направления развития ИИ.

LLM Research Safety
читать →
~6 мин 590 просмотра
cs.CL
arXiv
Cornell University Library
arXiv cs.CL

Обход правил в ИИ: новый тест выявляет уязвимости моделей

Создан тест CoC‑Seduce для проверки соблюдения правил ИИ‑моделями в текстовых средах; выявлены уязвимости и межкультурные различия в работе моделей.

LLM Research Safety
читать →
~1 мин 644 просмотра
Leiphone

ICML 2026: достижения в ИИ — от диффузионных моделей до борьбы с цензурой

На ICML 2026 в Сеуле собрались более 11 000 исследователей. Конгресс отметился новыми рекордами по количеству заявок и докладов. Среди ключевых достижений — разработка JustGRPO для моделей диффузионного языка, асинхронная платформа A3C от DeepMind и ряд других значимых работ в области ИИ.

LLM Research Safety
читать →
~6 мин 618 просмотра
Leiphone

ICML 2026: новые разработки в ИИ — от верификации кода до управления нейронами

На конференции ICML 2026 представлены новые разработки в области искусственного интеллекта: от тестов для верификации кода до систем управления нейронной микросредой. Среди новинок — система RFM для онлайн‑обучения, тест DRPBench для оценки понимания параллельного кода, технология встраиваемого перевода и другие решения.

LLM Research Safety
читать →
~4 мин 556 просмотра
Leiphone

Fable 5 от Anthropic: система безопасности и методы обхода ограничений

Fable 5 от Anthropic обладает усиленной системой безопасности с классификатором и буферной зоной. Пользователи нашли способы обхода ограничений модели, хотя большинство уязвимостей касаются лишь буферной зоны. Модель демонстрирует высокие результаты в долгосрочных задачах и генерации контента, но её стоимость и агрессивная стратегия защиты вызывают споры.

LLM Safety Research
читать →
~4 мин 630 просмотра
cs.CL
arXiv
Cornell University Library
arXiv cs.CL

Система предскажет фейковые новости и вспышки насилия: мультимодальный подход

Мультимодальная система на базе XLM-RoBERTa и CLIP с точностью 98 % выявляет фейковые новости и признаки насилия, учитывая текст, изображения и геоданные.

LLM Multimodal Safety
читать →
~1 мин 595 просмотра
TechNews / AI

Трамп о ИИ: минимальное регулирование и противостояние Китаю

Трамп считает, что США должны сохранить лидерство в ИИ и минимизировать госрегулирование отрасли, чтобы противостоять Китаю. В июне 2026 года администрация ввела, а затем сняла экспортный контроль над моделями ИИ от Anthropic. В целом политика Трампа направлена на дерегулирование сферы ИИ.

LLM Safety Business
читать →
~2 мин 600 просмотра
AI Weekly

Anthropic и AlphaFold: ИИ делает шаги в науке и быту

Нобелевский лауреат Джон Джампер перешёл в Anthropic. Компания запустила инструмент Claude Science и открыла гранты на исследования. Tencent выпустила открытую модель Hunyuan Hy3, а Mistral анонсировала новую модель с открытым весом. ИИ доказывает эффективность в образовании и медицине, а также набирает популярность в потребительских приложениях.

LLM Research Safety
читать →
~2 мин 392 просмотра
TechNews / AI

JADEPUFFER: ИИ-агент провёл атаку с программой-вымогателем

ИИ-агент JADEPUFFER впервые автономно провёл атаку с использованием программы-вымогателя. Агент использовал уязвимость в Langflow для доступа к системе, собирал данные, устанавливал постоянное присутствие и зашифровал настройки сервиса Nacos. Эксперты видят в этом случае признак новой эры в кибербезопасности.

LLM Safety
читать →
~2 мин 657 просмотра
TechOrange

JadePuffer: первая атака вымогателя с ИИ-агентом

Группа Sysdig обнаружила атаку JadePuffer — первую программу-вымогатель, управляемую ИИ‑агентом. Атака использует уязвимости в Langflow и Nacos, собирает конфиденциальные данные и шифрует настройки для шантажа. Эксперты рекомендуют усилить безопасность инфраструктуры ИИ.

LLM Safety Agents
читать →
~4 мин 354 просмотра
TechOrange

ИИ в финансах: риски, прогнозы и регулирование — Citi, FCA, McKinsey

ИИ активно меняет финансовую индустрию — от повышения эффективности до борьбы с мошенничеством. Регуляторы, включая FCA, предупреждают о рисках использования ИИ в финансах и предлагают меры по их снижению. При этом технология может сделать финансовые услуги доступнее для более широкого круга людей.

LLM Safety Business
читать →
~3 мин 389 просмотра
TechOrange

Codey от Mind Children: социальный робот для общения и помощи

Стартап Mind Children Robotics создаёт социального робота Codey для общения и помощи людям. Его планируют использовать в образовании, медицине и других сферах. Основной рынок — Южная Корея, в США робот сначала появится в отелях, музеях и галереях. При этом внедрение таких роботов вызывает вопросы с точки зрения этики и защиты данных.

LLM Agents Safety
читать →
~2 мин 376 просмотра