LLM и Transformer: новые подходы к снижению затрат на вычисления
Архитектура Transformer, лежащая в основе большинства современных LLM, сталкивается с проблемами эффективности при обработке длинных документов и сложных рассуждений. Ряд стартапов и компаний (включая Google) экспериментируют с новыми подходами — от модификации механизма внимания до использования диффузионных технологий и альтернативных архитектур, чтобы снизить затраты на вычисления.