DeepDigest
TechOrange · · ~2 мин

OpenAI: новый подход к оценке эффективности AI — цена vs результат

Компании всё чаще оценивают эффективность AI не по мощности модели, а по экономической отдаче. Финансовый директор OpenAI предложила новый показатель — «полезный интеллект на доллар». При этом компании распределяют задачи между дешёвыми и передовыми моделями, стараясь минимизировать затраты. Для точной оценки эффективности важно учитывать полную стоимость выполнения задач, включая повторные попытки и ручную проверку.

LLM
OpenAI: новый подход к оценке эффективности AI — цена vs результат

В сфере ИИ меняется приоритет: вместо погони за самым мощным моделью компании всё больше внимания уделяют экономической эффективности. Финансовый директор OpenAI Сара Фрайар предложила оценивать эффективность AI по показателю «полезный интеллект на доллар» (useful intelligence per dollar). По её мнению, важно не просто считать общие расходы или цену за токен, а анализировать, насколько AI реально помогает бизнесу — например, решает проблемы с обслуживанием клиентов, готовит код или проверяет контракты.

Компании начинают рационально распределять задачи между моделями: повседневные операции отдают более дешёвым решениям, а сложные задачи — передовым моделям. Например, Amazon направляет запросы к голосовому помощнику Alexa+ к собственным, менее затратным AI‑моделям, прибегая к дорогим моделям (например, от Anthropic) только при необходимости.

Компания Inworld, разрабатывающая голосовые AI, также сфокусировалась на снижении стоимости работы своих моделей. Внутри компании создали специальную исследовательскую группу, которая работает над повышением эффективности и снижением затрат, а не просто наращиванием интеллектуальных возможностей.

Чтобы точно оценить, какая модель даёт наилучшую отдачу за доллар, компаниям нужно учитывать несколько факторов:
* реальную эффективность модели — может ли она надёжно выполнять значимые для бизнеса задачи;
* полную стоимость выполнения задачи, а не только цену за запрос — нужно учитывать затраты на чтение запроса и генерацию ответа, особенно если поставщик берёт больше за масштабные задачи;
* возможность повторного использования ранее обработанной информации — это позволяет существенно экономить;
* количество шагов и повторных попыток, необходимых для решения задачи — модель с низкой ценой за токен может оказаться дороже в итоге, если требует множества дополнительных шагов и ручной проверки.

Сара Фрайар рекомендует считать не цену за токен, а полную стоимость успешного выполнения задачи, включая затраты на повторные попытки и ручную проверку. Ключевой вопрос для финансовых руководителей: растёт ли ценность работы, выполненной с помощью AI, быстрее, чем растут затраты на неё? Если расходы увеличиваются быстрее, чем ценность результата, инвестиции в AI невыгодны.

// оригинал
TechOrange ↗ Читать оригинал
3 просмотров
// поделиться Telegram VK