DeepDigest
TechOrange · · ~6 мин

Контроль над ИИ: стратегии и риски от экспертов отрасли

Эксперты обсудили риски и стратегии контроля над ИИ на форуме TechOrange. Обсуждались проблемы понимания данных, рисков отключения и стандартизации. Предложены подходы к внедрению AI Agent, обеспечению семантической согласованности данных, контролю доступа и управлению рисками. Прогнозы указывают на возможные отмены 40% проектов с агентским ИИ к 2027 году.

T TechOrange

TechOrange провела «2026 AI » на тему «Реформирование ключевой конкурентоспособности предприятий: от двигателя роста AI до операционной устойчивости». Эксперты обсудили ключевые риски и стратегии контроля над искусственным интеллектом.

Совладелец и председатель правления iKala Чэн Шицзя выделил три основных риска для главного AI:
* «не понимать» — например, в Meta* Llama 2 90 % тренировочных данных — на английском, китайский — только 0,13 %;
* «быть определённым» — измерение способностей AI стандартными способами;
* «быть отключённым» — риск запрета экспорта и остановки использования модели.

Американская исследовательская группа проведёт в 2025 году исследование, результаты которого уже известны в предварительном виде: при тестировании 11 основных моделей на 110 терминах с разными значениями на двух берегах с использованием традиционного китайского языка в среднем 37,5 вопросов не соответствовали тайваньскому языку, а при использовании упрощённого китайского — только 4,4 вопроса.

Эксперты предлагают разные подходы к контролю над ИИ. Старший менеджер по работе с клиентами Rimini Street Гао Чжипин считает, что предприятию нужно овладеть пятью правами контроля:
* правом на данные;
* правом на процессы;
* правом на принятие решений;
* техническим правом;
* экономическим правом.

Гао Чжипин рекомендует начать с внедрения AI Agent в небольшой процесс — с высокой частотой возникновения, ограниченным влиянием при ошибках и возможностью количественной оценки результатов. После проверки ценности можно расширять применение на другие процессы.

Су Цзеань, генеральный директор продуктов суперкомпьютеров группы Honghai в Азии, советует оставлять внутри предприятия право решать, кто может использовать данные, какие данные доступны, как осуществлять аудит. Он подчёркивает: внедрение приложений AI не сделает предприятие выдающимся автоматически. Важно определить, является ли AI базовым требованием для поддержания конкурентоспособности или ключом к созданию дифференцированных преимуществ.

Су Цзеань рекомендует предприятиям:
* приоритетно инвестировать в AI-приложения, создающие дифференцированную ценность;
* гибко выбирать модели развёртывания AI-вычислений;
* сохранять контроль над вопросами доступа к данным и их проверки внутри компании;
* ресурсоёмкие GPU-вычисления передавать внешним вычислительным центрам, обеспечивая безопасность через выделенные линии, механизмы GPU и данные без размещения.

Согласно оценке Epoch AI, для AI‑дата‑центра мощностью 1 GW на базе системы NVIDIA GB200 NVL72 предварительные капитальные затраты составляют около 380 млрд долларов, а годовая стоимость владения после амортизации — около 85 млрд долларов.

Ли Гуанъяо (глава подразделения по коммерческим предприятиям и развивающимся рынкам Taiwan Microsoft) разделяет полномочия в AI на три уровня:
* данные (место хранения, доступ, возможность переноса);
* модель (выбор модели, стоимость, риски привязки);
* решение (возможность отслеживания решений, ответственность за вывод).

Он советует малым и средним предприятиям начинать внедрение AI с одного процесса, а затем постепенно расширять.

Цай Цзяхао (руководитель отдела цифровых технологических услуг CloudMie) указывает, что несогласованность семантики данных внутри компании приводит к усилению ошибок в процессах с участием AI Agent. Одна из главных рисков при внедрении AI — не поиск данных, а их неверное понимание. Для корректной работы AI необходимо создать единую семантику данных. Microsoft Fabric IQ позволяет унифицировать определения ключевых понятий (клиент, заказ, контракт, выручка) и их взаимосвязей.

Дэвид Лян (CloudMile) отмечает, что традиционные методы кибербезопасности неэффективны против рисков, связанных с ИИ, поскольку ИИ действует как активный субъект, а сотрудники массово используют неавторизованные ИИ‑инструменты. Он предлагает двухсторонний подход:
1. Использовать ИИ для усиления кибербезопасности: ИИ автоматически распределяет задачи, эксперты контролируют и принимают решения.
2. Использовать ИИ для обнаружения ИИ: проверка от endpoint Agent, внутренних LLM, облачных сред до теневых ИИ у сотрудников.

CEO LINE WORKS (Шимокава Такафуми) считает, что внедрение ИИ должно накапливать данные для упрощения будущей работы. Он привёл пример из производства: при появлении постороннего звука на станке сотрудники записывают звук и видео на телефон, затем ИИ анализирует данные — оператор получает информацию о прошлых аналогичных проблемах, способах их решения и рекомендации от ИИ. LINE WORKS — платформа для бизнес‑сотрудничества с интерфейсом LINE, обеспечивает управление, безопасность и совместную работу, разграничивает рабочие и личные сообщения.

Чжан Цзиньжуй (председатель компании по управлению рисками в сфере ИИ «Цзычэн») отмечает, что контроль над ИИ подразумевает не полное собственное строительство, а наличие прав выбора, контроля, остановки и ответственности. Он рекомендует:
1. Выявить все используемые в компании ИИ, определить, какие из них работают с чувствительными или клиентскими данными, обнаружить теневые ИИ.
2. Установить стандарты классификации рисков, определить, кто утверждает ИИ с высоким риском, проверить возможность контроля.
3. Обеспечить возможность оперативной остановки, изоляции и уведомления при ошибках.

У Чансинь (техдиректор внешнеторговой ассоциации) подчёркивает, что данные, предоставляемые ИИ, должны быть надёжными и пригодными для принятия решений. Он отмечает, что малые и средние предприятия заинтересованы в данных о конкурентах (кто и сколько покупает), но официальная статистика не даёт информации об отдельных покупателях, а общедоступные данные ненадёжны; использование универсальных ИИ может давать недостоверные данные. У Чансинь также указывает, что ИИ используется не для генерации, а для поиска данных. Внешнеторговая ассоциация собрала в специализированную базу данных статистику импорта/экспорта от Минфина, ООН и других органов — каждая запись содержит источник, год и HS Code. С помощью собственных инструментов ассоциации ИИ выполняет в базе данных поиск, сопоставление и построение графиков по запросам, не генерируя цифры и не делая предположений. Данные и графики позволяют отследить источник, обеспечивая отслеживаемость, проверяемость и достоверность информации; это помогает компаниям находить скрытые глобальные рынки и служит надёжной основой для принятия решений при выходе на зарубежные рынки.

Чэнь Чжэнхэн (старший технический консультант по продажам в China Creativity International) ссылается на прогноз Gartner: к концу 2027 года более 40% проектов с агентским ИИ будут отменены из‑за роста затрат, неясности ценности или недостаточного управления рисками. Предприятиям нужно определить, до какой степени можно делегировать задачи AI Agent и как установить границы полномочий.

Чэнь Чжэнхэн выделяет три типа полномочий:
* «уполномочивающие полномочия» — определяют на разных уровнях, что Agent может читать, записывать и на каком этапе должен передать задачу человеку;
* «полномочия по привлечению к ответственности» — распределяют ответственность между владельцем бизнеса, разработчиком, лицом, одобряющим запуск, и пользователем (разработчик не может самостоятельно запускать Agent — по аналогии с принципами внутреннего контроля в финансах и закупках);
* «технические полномочия» — обеспечивают возможность смены моделей и фреймворков без привязки к одному решению.

Ключевой фактор контроля над ИИ для предприятия — не количество GPU и собственных моделей, а способность выбирать и контролировать ИИ, иметь общий семантический язык, отслеживать источники данных, устанавливать лимиты в соответствии с уровнем риска и чётко распределять обязанности. Чёткое определение полномочий, механизмы привлечения к ответственности и остановки работы позволяют расширять применение ИИ.


* Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории РФ.

// оригинал
TechOrange ↗ Читать оригинал
48 просмотров
// поделиться Telegram VK