ContextForge: система, которая продлит диалоги с LLM

Дерек Томас представил систему ContextForge — она позволяет большим языковым моделям (LLM) эффективнее работать в долгих диалогах. Сегодня LLM хорошо справляются с коротким контекстом, но в продолжительном общении их производительность падает: есть ограничения по объёму обрабатываемых данных и неэффективное использование токенов. ContextForge решает эту проблему — она повторно использует уже обработанную информацию, не требуя полного воспроизведения контекста. Система сочетает генерацию структурированных запросов, извлечение данных из внешней памяти и управляемый синтез. Тестирование на диалоге из 15 этапов (с многоходовыми рассуждениями и сменой темы, в том числе в сфере здравоохранения) показало: ContextForge лучше сохраняет согласованность ответов и тратит меньше токенов, при этом качество ответов остаётся на прежнем уровне. При этом не нужно увеличивать объём контекстного окна или переобучать модель.