UK AISI и EvalEval делают результаты бенчмарков воспроизводимыми
AISI публикует данные по моделям Claude Opus и GPT-5 через инфраструктуру EvalEval, обеспечивая воспроизводимость результатов бенчмарков с помощью единой схемы отчетности.
Британский Институт кибербезопасности ИИ (AISI) совместно с EvalEval открыл доступ к верифицированным результатам тестирования передовых языковых моделей. Инициатива направлена на стандартизацию отчетов и повышение прозрачности в оценке производительности ИИ.
Главные тезисы
- AISI использует инфраструктуру EvalEval для публикации верифицированных результатов
- Опубликованы данные по моделям Claude Opus 4, 4.5, 4.6 и GPT-5, 5.2, 5.4
- Результаты включают кибероценки Cyber CTFs и The Last Ones
- Исследование показывает зависимость производительности от вычислений во время вывода
Стандартизация оценки ИИ
Британский Институт кибербезопасности ИИ (AISI) использует инфраструктуру EvalEval для открытого обмена результатами оценки. Это сотрудничество, начавшееся на совместном воркшопе вместе с NeurIPS 2025, переходит в новую фазу практического применения общей инфраструктуры. Цель — сделать науку об оценке более воспроизводимой и проверяемой.
По мере ускорения внедрения ИИ оценки становятся ключевым источником доказательств производительности моделей. Однако результаты часто публикуются в разных форматах без достаточной информации для их воспроизведения. Повторный запуск таких оценок может быть слишком дорогим.
Прозрачность на уровне транскриптов
AISI делает общедоступными методы оценки и выводы через Evaluation Cards. Публикация включает верифицированные результаты, контекст и информацию о конфигурации для пяти бенчмарков из основного эксперимента статьи «How Inference Compute Shapes Frontier LLM Evaluation».
Результаты охватывают шесть передовых моделей:
- Claude Opus 4
- Claude Opus 4.5
- Claude Opus 4.6
- GPT-5
- GPT-5.2
- GPT-5.4
Дополнительно опубликованы результаты двух кибероценок — Cyber CTFs и The Last Ones — которые используют частично пересекающийся набор моделей. Эти данные сопровождаются исследованием о влиянии вычислений во время вывода на производительность моделей.
Влияние протокола и вычислений
Исследование показывает, что производительность на Humanity's Last Exam меняется в зависимости от протокола оценки и объема вычислений. Кривые демонстрируют кумулятивную долю решенных задач в зависимости от количества токенов. При получении обратной связи о правильности от оракула модели продолжали решать дополнительные задачи по мере увеличения использования токенов.
Открытая публикация результатов с информацией об настройках позволяет исследователям сравнивать выводы в экосистеме. Такие данные служат верифицированными эталонами для интерпретации оценок, помогая понять, как выбор настроек влияет на заявленную производительность.
EvalEval Coalition
Коалиция EvalEval разрабатывает научно обоснованные исследования и надежную инфраструктуру для экосистемы оценки. Ее флагманские проекты включают общую схему и репозиторий для результатов оценки, а также систему, объединяющую метаданные бенчмарков, данные запусков и метаданные моделей в интерпретируемые записи. Это упрощает понимание того, когда аналогичные баллы получены в существенно разных условиях.
