Как серверные настройки влияют на результаты бенчмарков ИИ: что нужно знать разработчикам

Введение

Выбор ИИ‑модели для генерации кода часто основывается на таблицах лидеров. Разница между первыми участниками обычно составляет всего несколько процентов, но новое исследование Anthropic показало, что за этими цифрами скрывается не только качество модели, но и мощность серверов, на которых они тестируются.

Что такое агентные тесты для программирования

Традиционные бенчмарки проверяют, правильно ли модель отвечает на вопрос. Агентные тесты, такие как SWE‑bench и Terminal‑Bench, работают иначе: модель получает полноценную рабочую среду, пишет код, запускает тесты, устанавливает необходимые библиотеки и исправляет ошибки в несколько попыток. Это ближе к реальному использованию, но и более чувствительно к ресурсам.

Почему мощность сервера важна

Представьте двух программистов: один работает на 32 ГБ RAM, другой – на 4 ГБ. Первый может запускать тяжёлые библиотеки, второй – нет. То же самое происходит и с ИИ‑моделями: доступ к памяти и процессорному времени напрямую влияет на их возможности.

Эксперимент Anthropic

Команда Anthropic запустила один и тот же тест Terminal‑Bench 2.0 на модели Claude, меняя конфигурацию сервера:

• Строгий режим (1×) – минимум ресурсов, строго по спецификации теста;
• Средние режимы (2×–3×) – в 2–3 раза больше памяти и процессора;
• Без ограничений – неограниченные ресурсы.

Результаты и их интерпретация

От 1× до 3×: показатели почти не менялись (+0.8 %), но число технических сбоев снизилось с 5.8 % до 2.1 %. Это значит, что дополнительные ресурсы помогали избежать «вылетов» из‑за нехватки памяти.

От 3× до неограниченных ресурсов: успешность выросла на 4 процентных пункта. Модель смогла использовать более «прожорливые» подходы: устанавливать большие библиотеки, запускать параллельные процессы и проводить обширные тесты.

Практический пример

Одна из задач требовала работы с байесовскими сетями. Некоторые модели сразу пытались установить полный набор инструментов (pandas, networkx, scikit‑learn). При щедрых ресурсах это работало, но при ограниченных – программа падала до написания кода. Экономный способ – написать математику с нуля, используя только стандартные библиотеки Python. Конфигурация сервера определяла, какой подход окажется успешным.

Другие факторы влияния

Помимо ресурсов сервера на результаты могут влиять:

• Время суток – скорость API меняется в зависимости от нагрузки;
• Лимиты времени на выполнение задачи;
• Скорость интернета для загрузки библиотек;
• Общее состояние дата‑центра.

Результаты одного и того же теста менялись в разное время дня из‑за колебаний скорости работы серверов.

Рекомендации для честных тестов

1. Указывайте два параметра ресурсов: гарантированный минимум и максимальный лимит. Это позволяет учесть временные всплески использования памяти, но не даёт бесконтрольного раздувания ресурсов.
2. Публикуйте полную конфигурацию: мощность сервера, лимиты времени, версии используемого ПО.
3. Проводите тесты многократно в разное время суток и усредняйте результаты, чтобы нивелировать случайные колебания.

Почему это важно

Компании и разработчики принимают решения на основе рейтингов: какую модель использовать, какую API покупать. Если разница в 2 % может быть просто результатом более мощного сервера, а не лучшей модели, это создаёт риск неверного выбора.

Выводы и практические рекомендации

Для пользователей:

• Разница менее 3 % в рейтингах может быть шумом – смотрите не только на цифры, но и на условия тестирования.
• Проверяйте, какие ресурсы использовались, и как они влияют на результаты.

Для создателей тестов:

• Документируйте конфигурацию серверов и публикуйте её вместе с результатами.
• Стандартизируйте методологию и публикуйте не только результаты, но и условия.

Для лабораторий ИИ:

• Учитывайте настройки ресурсов как важную часть эксперимента.
• Указывайте их наравне с температурой генерации и форматом промптов.

Лидерство в рейтинге с отрывом в несколько процентов может означать действительно лучшую модель, но также может быть следствием более мощного сервера. Пока методология тестирования не стандартизирована, к небольшим различиям стоит относиться скептически.

Статья основана на исследовании Anthropic, проведённом командой Gian Segato с участием Nicholas Carlini, Jeremy Hadfield, Mike Merrill и Alex Shaw.