Приёмочное испытание инференса

До прогона фиксируют комплект модели, runtime, набор задач, распределения входной и выходной длины, параметры генерации и способ поступления запросов. Без этих условий результат нельзя однозначно отнести к принимаемой конфигурации или воспроизвести для сравнения.

Граница применимости: Договор приёмки, выведенный из клиентского benchmark, конфигурации генерации и политики SLO; отдельные хеши связывают отчёт с фактическими файлами.

Критерий качества и пороги выбирают до сравнения производительности. Если новая конфигурация не проходит нужные задачи, её более высокая скорость не считается успешной заменой; тест качества не подменяют совпадением имени модели или числом её параметров.

Граница применимости: Вывод из совместной оценки эффективности и качества квантования AWQ и пользовательской цели SLO; универсальная метрика качества для всех задач не задаётся.

Один протокол связывает предложенную нагрузку, успешные завершения, TTFT, ITL или честно названные chunk intervals, полное время ответа и ошибки. Улучшение throughput при растущей очереди или доле таймаутов не подтверждает прежний уровень сервиса.

Граница применимости: Вывод для потоковой приёмки; границы и знаменатели проверяются в фактическом измерителе, а исходы неуспешных запросов не исчезают из отчёта.

Холодный запуск и прогретое обслуживание измеряют отдельными сценариями. В отчёте указывают, входят ли загрузка весов и начальная подготовка runtime в таймер, какие запросы использовались для прогрева и включено ли повторное использование префиксов. Смешивать эти состояния в один ряд сравнений нельзя.

Граница применимости: Договор сопоставимых сценариев на основе исполнения CUDA и клиентского benchmark; наличие конкретного prefix cache не предполагается, а проверяется у выбранного движка.

Испытание охватывает разрешённые сочетания длины входа, продолжения ответа и активных запросов, а также отмену и повторный допуск. Именно они изменяют живой KV и очереди; свободная память после одного короткого запроса не доказывает запас при полной разрешённой нагрузке.

Граница применимости: Эксплуатационный вывод из Orca и PagedAttention; границы задаются контрактом сервиса и проверяются без предположения о неограниченном контексте.

Readiness проверяет выбранное приложением условие допуска к трафику. Успешная проба сама по себе не доказывает качество модели, предел GPU-памяти и соблюдение TTFT или ITL под конкурентной нагрузкой: это отдельные критерии приёмочного испытания.

Граница применимости: Вывод из контракта Kubernetes readiness и SLO; проба может выполнять реальную операцию, но её успешность не заменяет заданную нагрузочную выборку.

В предлагаемом протоколе приёмки отчёт связывает условия прогона и исходы с хешами использованных артефактов. Для повторения сохраняют входы и настройки; для отката отдельно готовят предыдущий комплект, способ запуска и проверку после возврата. Наличие одного хеша не означает, что сами данные сохранены или возврат проверен.

Граница применимости: Редакторская эксплуатационная процедура. Benchmark служит примером отчёта, OCI/SLSA — идентификации артефактов; они не предписывают эту процедуру отката. Битовая детерминированность ответов, доступность прежних данных и успешность возврата заранее не предполагаются.

При нуле ошибок в n независимых двоичных проверках с одной постоянной вероятностью ошибки p точная односторонняя верхняя 95%-я доверительная граница равна 1 − 0,05^(1/n). Для 20 проверок это около 13,91%, для 59 — около 4,95%. Уровень 95% относится ко всей процедуре расчёта, при любом числе ошибок: при многократном сборе новых выборок интервалы от нуля до верхней границы покрывают истинное p не менее чем в 95% случаев. Это не вероятность того, что p лежит в уже рассчитанном интервале.

Граница применимости: Биномиальная модель: независимый случайный отбор из заранее заданного круга задач; постоянная вероятность ошибки, неизменные конфигурация и способ оценки. Объём выборки и критерий ошибки заданы до прогона. При ошибках судьи граница относится к частоте его меток, а не истинных ошибок. Зависимость, подбор по результатам, остановка по успеху и одновременная проверка нескольких срезов требуют отдельного обоснования.

Даже при истинной вероятности ошибки 10% серия из 20 независимых проверок проходит без ошибок с вероятностью 0,9^20 — около 12,16%. Поэтому 20 успешных ответов подряд сами по себе не подтверждают вероятность ошибки ниже 5%. Число 59 из примера доверительной границы также не является универсальным объёмом приёмки LLM: оно имеет смысл только вместе с условиями статистической модели и выбранным критерием ошибки.

Граница применимости: Учебный расчёт для независимых двоичных исходов с постоянным p; 10% — условие контрпримера, а не измеренное качество LLM. Вывод о пороге 5% относится к одностороннему доверительному уровню 95%. Результат не переносится автоматически на иной поток заданий, конфигурацию или оценщика и не ограничивает отдельно тяжесть ошибок либо их частоту в каждом срезе.