DeepDigest
Zenn / Machine Learning · · ~2 мин

Claude Code: невидимые метки в коде — вопрос прозрачности ИИ

Инструмент Claude Code тайно встраивает невидимые метки в код с помощью стеганографии. Это породило кризис доверия в индустрии ИИ‑агентов, поскольку пользователи не были предупреждены о такой практике. Чтобы снизить риски, важно выбирать прозрачные инструменты и проверять вывод ИИ на наличие скрытых символов.

LLM
Claude Code: невидимые метки в коде — вопрос прозрачности ИИ

Инструмент искусственного интеллекта Claude Code встраивает в приглашения невидимую метку без уведомления пользователя. Секрет кроется в стеганографии: метод использует специальные символы (например, пробелы нулевой ширины), которые не меняют внешний вид текста, но сохраняются при копировании и не удаляются. Об этом стало известно из отчёта, набравшего более 2300 баллов на HackerNews.

Выявились три проблемы:
* добавление информации без согласия пользователя;
* возможность отслеживания запросов с помощью Claude Code;
* непреднамеренное распространение метки при отправке выходных данных в другой сервис.

Anthropic заявил, что метка добавлена намеренно — это нужно для того, чтобы отслеживать, какой ИИ принимал решения в автономной операционной среде агента. Однако пользователей не предупредили об этом — сообщество разработчиков обнаружило метку в ходе самостоятельного анализа, без какой‑либо документации или условий использования.

В современной среде разработки инструменты ИИ работают цепочкой: CI тестирует код, который Claude Code отправляет на GitHub, а другой ИИ проверяет его. Невидимая метка, добавленная одним инструментом, переносится на все последующие этапы. Это порождает сомнения: например, есть ли подобные метки в GitHub Copilot, Cursor и Gemini Code? Проблема грозит перерасти в кризис надёжности для всей индустрии ИИ‑агентов.

Чтобы минимизировать риски, можно предпринять следующее:
* добавить вывод ИИ в рабочий процесс и проверять наличие пробелов нулевой ширины или управляющих символов;
* изучить раздел «Дополнительные спецификации для запросов и вывода» в документации к используемому инструменту — если такой информации нет, обратиться к разработчику;
* выбирать инструменты и организации, которые ориентированы на прозрачность и готовы быстро устранять проблемы.

Для обнаружения невидимых символов можно использовать cat -A или repr() в Python. Также можно вставить процесс очистки текста (удаления специальных символов) перед подключением к AI pipeline.

Прозрачность — не просто функция, а основа взаимоотношений между разработчиками ИИ и пользователями. Этот инцидент может стать поводом пересмотреть подходы к взаимодействию с ИИ‑инструментами.

// оригинал
Zenn / Machine Learning ↗ Читать оригинал
1 просмотров
// поделиться Telegram VK