AI-агент самостоятельно выстраивает порядок действий для достижения цели, используя LLM, инструменты и память. Система работает в цикле «думать → действовать → проверять результат». Для безопасного использования необходимо комбинировать ограничения (гайдрейлы, ограничение прав, одобрение человеком, условия остановки).

LLM Agents Safety

читать →

~7 мин 55 просмотра

T TechOrange

TechOrange 23 Oct 2026

Carbon-X от Hugging Face: модель для анализа ДНК с использованием NLP

Hugging Face представила открытую модель Carbon-X для анализа ДНК с помощью естественного языка. Модель показала результаты, близкие к GPT-6.1 Sol, при значительно более низкой стоимости вычислений. Она предназначена для исследователей и может использоваться для интерпретации генетических данных, но пока не прошла клинические испытания и не подходит для медицинских решений.

LLM Research Safety

читать →

~3 мин 66 просмотра

T TechOrange

TechOrange 23 Oct 2026

Контроль над ИИ: стратегии и риски от экспертов отрасли

Эксперты обсудили риски и стратегии контроля над ИИ на форуме TechOrange. Обсуждались проблемы понимания данных, рисков отключения и стандартизации. Предложены подходы к внедрению AI Agent, обеспечению семантической согласованности данных, контролю доступа и управлению рисками. Прогнозы указывают на возможные отмены 40% проектов с агентским ИИ к 2027 году.

LLM Safety Business

читать →

~6 мин 47 просмотра

L Leiphone

Leiphone 22 Oct 2026

PHP2Shell и другие уязвимости: глобальный шторм кибербезопасности 2026

В октябре 2026 года произошёл масштабный всплеск уязвимостей в ИТ-системах. Ключевой стала уязвимость PHP2Shell, обнаруженная с помощью ИИ. Были выявлены серьёзные проблемы в PHP, GitLab, Node.js, Nginx и других системах. AI сыграл ключевую роль в обнаружении и устранении уязвимостей, ускоряя процессы безопасности.

LLM Safety Research

читать →

~5 мин 53 просмотра

T TechOrange

TechOrange 22 Oct 2026

Уязвимости в PHP: экстренное исправление и роль AI в анализе угроз

PHP экстренно исправил две серьёзные уязвимости, позволяющие удалённо выполнять код без аутентификации. Утечка информации об уязвимостях произошла раньше запланированного срока, что привело к временным приостановкам работы ряда сайтов и порталов. Исследователи используют AI-модели для анализа угроз и разработки методов защиты.

LLM Safety Research

читать →

~4 мин 61 просмотра

ITmedia AI+ 22 Oct 2026

Claude от Anthropic помогает сократить атакующие поверхности ПО, включая OpenSSH

Anthropic использовала модель Claude для анализа и сокращения атакующих поверхностей в ПО. В ходе исследования, охватившего 25 открытых проектов, обнаружено 493 проблемы безопасности. Значимым результатом стала оптимизация OpenSSH: в версии 10.6 сокращён доступ к коду до аутентификации.

LLM Safety Research

читать →

~2 мин 99 просмотра

T TechOrange

TechOrange 21 Oct 2026

Сингапур ищет подходы к регулированию AI-агентов

Сингапур изучает, как ответственно внедрять агентные ИИ-системы, и пересматривает регуляторные рамки под растущую автономность таких систем. Власти рассматривают дополнительные меры безопасности для высокорисковых применений ИИ, при этом опираясь на уже действующие законы и практики. Параллельно обсуждаются вопросы ответственности разработчиков ИИ-систем.

LLM Safety Research

читать →

~2 мин 73 просмотра

T TechOrange

TechOrange 21 Oct 2026

Дело Bartz v. Anthropic: новые правила использования данных для AI

Решение по делу Bartz v. Anthropic установило новые правила использования данных для обучения AI-моделей. Компании теперь вынуждены предварительно лицензировать данные и проводить аудит баз данных. В перспективе ожидается появление коллективных организаций по лицензированию авторских прав для AI.

LLM Safety Research

читать →

~4 мин 58 просмотра

T TechOrange

TechOrange 21 Oct 2026

ECHOTRIBBLE: армия США разрабатывает автономные AI-агенты для кибератак

Армия США разрабатывает автономные AI-агенты в рамках проекта ECHOTRIBBLE для выполнения кибератак с минимальным участием человека. Эксперты опасаются, что такие агенты могут случайно нанести ущерб гражданским системам, особенно малозащищённым организациям. Проект пока находится на ранней стадии — победитель конкурса ещё не объявлен, а детали контракта и развёртывания неизвестны.

LLM Safety Research

читать →

~2 мин 82 просмотра

T TechOrange

TechOrange 20 Oct 2026

Microsoft и Nscale: проблемы с дата-центром в Великобритании и другие новости AI

Microsoft прекратила соглашение с Nscale о строительстве дата-центра в Великобритании. Финансовые учреждения усиливают контроль над AI-агентами. В Южной Корее одобрено проведение испытаний 20 человекоподобных роботов. CERT-In предупредил о случаях превышения полномочий AI-агентами в Индии.

LLM Safety Robotics

читать →

~4 мин 107 просмотра

AINOW 20 Oct 2026

Сравнение 17 AI‑агентов: цены, тесты, безопасность (октябрь 2026)

В октябре 2026 года проведено сравнение 17 AI‑агентов по цене, возможности бесплатного тестирования и безопасности. Агенты делятся на универсальные, интегрированные с бизнес‑системами, специализированные, no‑code и для разработки. При выборе важно учитывать систему тарификации, возможность тестирования и уровень безопасности. Эксперты рекомендуют тестировать 2–3 кандидата на реальных задачах.

LLM Business Safety

читать →

~10 мин 94 просмотра

AI Weekly 20 Oct 2026

ИИ находит уязвимости: примеры применения и проблемы

ИИ активно используется в разработке и тестировании ПО: находит уязвимости, автоматизирует процессы и ускоряет работу. Однако его внедрение сопровождается проблемами — от ошибочных действий моделей до рисков для безопасности. Компании всё чаще упоминают агентный ИИ в отчётности.

LLM Safety Business

читать →

~4 мин 80 просмотра

// помочь проекту