Дарио Амодей из Anthropic обсуждает вопросы регулирования ИИ и кризиса доверия к технологии. Он считает, что справедливые правила могут распределить власть, а не сконцентрировать её. Амодей подчёркивает необходимость реальных достижений в применении ИИ (например, в медицине), а не только заявлений о его потенциале.

LLM Safety Research

читать →

~2 мин 188 просмотра

TechOrange 17 Aug 2026

VentureBeat: 54% компаний столкнулись с инцидентами из‑за AI-агентов

Исследование VentureBeat показало, что 54% крупных компаний сталкивались с инцидентами безопасности из‑за AI-агентов. При этом многие организации недостаточно серьёзно относятся к управлению идентификацией и изоляции AI-агентов, а бюджеты на безопасность остаются низкими. Несмотря на риски, компании высоко оценивают текущие инструменты защиты.

LLM Safety Business

читать →

~2 мин 199 просмотра

AI Weekly 16 Aug 2026

Суперинтеллект от Meta* и другие новости ИИ: от агентов до моделей

На этой неделе активно обсуждался манифест Марка Цукерберга о суперинтеллекте, который встретил скептицизм экспертов. Отмечаются достижения в области ИИ — от транскрибации языка жестов до роста выручки Anthropic и OpenAI. В то же время всплывают проблемы безопасности и доверия к технологиям, включая случаи некорректного поведения автономных агентов.

LLM Safety Research

читать →

~6 мин 204 просмотра

TechOrange 14 Aug 2026

Anthropic: риски взаимодействия AI Agent и новая парадигма безопасности

Anthropic выявила серьёзные риски взаимодействия AI Agent: от ценового сговора до «хакерских войн» между агентами. Однородность моделей повышает вероятность синхронных ошибок и системных сбоев. Предприятиям необходимо пересмотреть парадигму безопасности и разработать новые меры контроля для многоагентных систем.

LLM Safety Research

читать →

~5 мин 219 просмотра

TechOrange 14 Aug 2026

LLM и Transformer: новые подходы к снижению затрат на вычисления

Архитектура Transformer, лежащая в основе большинства современных LLM, сталкивается с проблемами эффективности при обработке длинных документов и сложных рассуждений. Ряд стартапов и компаний (включая Google) экспериментируют с новыми подходами — от модификации механизма внимания до использования диффузионных технологий и альтернативных архитектур, чтобы снизить затраты на вычисления.

LLM Research Safety

читать →

~3 мин 215 просмотра

TechOrange 14 Aug 2026

Capital One выпустила инструмент VulnHunter для поиска уязвимостей

Capital One выпустила открытый инструмент VulnHunter для поиска и устранения уязвимостей в коде. Он использует трёхэтапный AI-движок на базе модели Claude Opus 4.8, применяет подход с приоритетом на атакующего и стремится сократить количество ложных срабатываний. Решение сделать инструмент открытым связано с ростом угроз в сфере кибербезопасности и необходимостью совместных усилий по защите ПО.

LLM Safety Research

читать →

~2 мин 225 просмотра

Leiphone 13 Aug 2026

AdvNav: фреймворк для атак на системы визуальной языковой навигации

Команда профессора Чэнь Чанхао разработала фреймворк AdvNav для «чёрного ящика» атак на системы визуальной языковой навигации. В тестах на наборе данных R2R фреймворк показал высокую эффективность атак на модели HAMT и MapGPT. Результаты выявили скрытые уязвимости в системах VLN и открывают новые возможности для оценки безопасности и робастности ИИ.

LLM Vision Safety

читать →

~4 мин 301 просмотра

Leiphone 13 Aug 2026

IJCAI 2026 в Бремене: сдвиг в подходах китайских компаний к ИИ

С 15 по 21 августа 2026 года в Бремене пройдёт IJCAI 2026 — одна из ведущих конференций по ИИ. Несмотря на понижение рейтинга конференции, китайские организации сохраняют активное участие и фокусируются на решении практических задач. Компании переходят от наращивания параметров ИИ‑моделей к улучшению их логики и надёжности.

LLM Research Safety

читать →

~2 мин 282 просмотра

TechOrange 13 Aug 2026

AI Agent: точность операций с ПК достигла 85%, но вопрос надёжности остаётся

Точность выполнения задач AI Agent выросла до 85%, однако для бизнеса остаётся ключевой вопрос надёжности таких решений. Компании уже внедряют агентов для автоматизации рутинных процессов, но сталкиваются со скрытыми ошибками и асинхронными разрывами. Фокус закупок смещается с выбора модели на обеспечение стабильности, безопасности и доказанной рентабельности.

LLM Business Safety

читать →

~3 мин 208 просмотра

TechOrange 13 Aug 2026

Белый дом ужесточает контроль над AI-моделями: от закрытых к открытым

Белый дом разрабатывает рамки регулирования AI-моделей: высокоуровневые модели должны будут проходить федеральные тесты на безопасность до публичного релиза. Требования пока распространяются на закрытые модели, но в будущем могут охватить и открытые. Чиновники опасаются негативных последствий для рынка и скорости разработок.

LLM Safety Research

читать →

~2 мин 214 просмотра

Leiphone 12 Aug 2026

ByteDance и Google: новая эпоха «налога на API»

Интернет переживает переход от моделей, ориентированных на человека, к моделям, ориентированным на AI‑агентов. Доля AI‑роботов в запросах к веб‑страницам превысила долю человеческого трафика. Крупные компании, такие как ByteDance и Google, меняют бизнес‑модели, внедряют новые механизмы защиты от AI‑краулеров и предлагают платные API для доступа к данным.

LLM Safety Business

читать →

~4 мин 289 просмотра

TechOrange 11 Aug 2026

OpenAI расширяет Daybreak: новые уровни защиты и модель GPT-5.6-Cyber

OpenAI расширила план Daybreak, введя два уровня услуг для кибербезопасности — Daybreak Blue и Daybreak Red. Представлена модель GPT-5.6-Cyber с выполнением задач на уровне 95% в сложных сценариях. Компания также приостановила часть тестов модели Astra из‑за высоких возможностей в сфере сетевых атак.

LLM Safety Research

читать →

~2 мин 243 просмотра

// помочь проекту