DeepDigest
GitHub Copilot Changelog · · ~2 мин

Сравнение отраслевых показателей в дашборде Copilot

В дашборде Copilot добавили раздел для сравнения показателей внедрения агентов по отраслям и размерам компаний. Участники могут сопоставить свои данные с агрегированными бенчмарками. Ранжирование появляется после набора достаточного числа участников. Сравнения обновляются ежедневно.

LLM
Сравнение отраслевых показателей в дашборде Copilot

В дашборде Copilot появился раздел «Сравнение по отраслям». Компании и организации могут сопоставить уровень внедрения и использования агентов Copilot с агрегированными бенчмарками других участников. Участие в программе — добровольное, по умолчанию оно отключено.

Теперь пользователи могут увидеть:
* процент пользователей, которые работают по принципу «агент первым» или используют несколько агентов;
* как скорость слияния pull request у пользователей с агентами соотносится с показателями тех, кто не использует агентов.

Когда наберется достаточно участников, оценки будут ранжироваться относительно медианы группы сверстников за 28‑дневный период, а по мере роста группы — и относительно верхнего дециля.

Также можно выбрать размер компании (например, 1–999, 1000–4999 или 5000+ сотрудников) и одну из десяти отраслей, переключаясь между показателями по отрасли и по всем отраслям. Если группа сверстников по отрасли слишком мала, сравнение расширяется до всех отраслей для выбранного размера компании — дашборд укажет, какую группу он использовал.

Включить сравнение можно через дашборд или централизованно в политиках Copilot организации или предприятия. Отключение в любом из мест прекратит и отправку данных, и отображение сравнений.

Ранжирование появится только после того, как достаточное число компаний присоединится к группе сверстников. В первые дни после запуска может отображаться только медиана, более широкая группа или вообще не будет ранжирования. Ранжирование не показывается и в случаях, когда нельзя рассчитать собственный показатель — например, если все пользователи уже работают по принципу «агент первым» или используют несколько агентов, и нет базы для сравнения.

Сравнения обновляются ежедневно. При отключении участия сравнения перестанут отображаться сразу, а данные будут исключены из следующей ежедневной выгрузки. Агрегированные бенчмарки не содержат идентифицирующих данных и удаляются через 30 дней.

Для GitHub Enterprise Cloud с соблюдением требований к размещению данных сравнение проводится только с участниками из того же региона — данные из разных регионов не объединяются.

Организации, принадлежащие предприятию, участвуют через предприятие. Предприятия, которые используются только для назначения лицензий Copilot Business, не могут участвовать. Владельцы предприятий и организаций могут включить участие и задать группу сверстников. Результаты может видеть любой, у кого есть доступ к дашборду Copilot. При этом должна быть включена политика метрик использования Copilot.

Сравнения по отраслям отображаются только в дашборде — их нет в API метрик использования Copilot, экспорте NDJSON и других загрузках.

// оригинал
GitHub Copilot Changelog ↗ Читать оригинал
79 просмотров
// поделиться Telegram VK