Веса — подготовленные параметры, а инференс — использование параметров и текущего входа с выбранными правилами генерации. Идентичность весов не делает идентичными токенизатор, запрос и случайную выборку.
Практический смысл
Почему это важно
Совпадение файла весов не делает два сервиса одинаковыми: токенизатор, шаблон входа, лимиты и правила выбора токенов меняют поведение, а очередь и формирование пакетов — задержку. Принимают весь сценарий запроса, не только успешную загрузку модели.
Доказательная часть
Что подтверждено
При обычном инференсе параметры подготовленной модели используются для прямого вычисления, а не обновляются шагом обучения на каждом пользовательском ответе. Изменение KV и других данных запроса не является обучением весов на разговоре.
Граница применимости: Инференс без обновления и дообучения весов внутри запроса; сохранение истории приложением не меняет эту границу.
В авторегрессионном decoder-only сценарии модель получает уже доступный префикс токенов и вычисляет распределение следующего токена. После его выбора префикс расширяется; такая зависимость ограничивает параллелизм внутри одной обычной цепочки ответа.
Граница применимости: Обычное причинное декодирование без спекулятивного выбора нескольких токенов; не обобщение на encoder-only, encoder-decoder или все способы генерации.
Одинаковые веса могут дать разное поведение при выборе наиболее вероятного токена и случайной выборке из распределения. В Transformers режим и параметры генерации, включая do_sample, входят в контракт запроса; качество или воспроизводимость нельзя сравнивать, оставив эти настройки неизвестными.
Граница применимости: API генерации Transformers 4.44.2; действие конкретного параметра зависит от выбранного режима, случайная выборка не используется автоматически всегда.
Генерация завершается по действующему условию остановки, например EOS или лимиту новых токенов. Остановка по лимиту не доказывает, что ответ смыслово закончен: при приёмке различают нормальное завершение и усечённый результат.
Граница применимости: Условия остановки конкретной конфигурации генерации; строки остановки и внешние таймауты сервиса учитывают дополнительно, если они включены.
KV, подготовленные идентификаторы токенов и положение в последовательности должны соответствовать текущему входу и модели. Переиспользование состояния другого префикса без доказанной идентичности не заменяет повторную обработку запроса и может изменить результат.
Граница применимости: Авторегрессионный инференс с кэшем; совместное использование префикса требует точного совпадения относящихся к вычислению входов.
Для воспроизводимого сравнения фиксируют веса, токенизатор, сериализованный вход, параметры генерации, библиотеку и режим вычисления. Начальное значение генератора случайных чисел влияет на выборку, но само по себе не доказывает одинаковый результат при смене устройства, реализации операций или формата чисел.
Граница применимости: Инженерный вывод из параметров генерации и аппаратных числовых режимов; побитовая идентичность разных платформ здесь не обещается.
Пользовательский запрос проходит больше этапов, чем один прямой проход модели: подготовку входа, возможную очередь, обработку контекста, генерацию и доставку. Производительность сервиса измеряют на заданных длинах и количестве одновременно обслуживаемых последовательностей, а не по времени изолированной операции.
Граница применимости: Сценарий обслуживания с явно заданными границами измерения; состав и перекрытие этапов зависят от реализации сервиса.
Граница терминов
Не путать
Инференс охватывает обработку запроса целиком. Prefill вычисляет входной контекст и состояние для продолжения; его длительность не заменяет задержку полного ответа сервиса.
Decode — последовательное продолжение уже подготовленного префикса. Инференс дополнительно включает первый проход входа; сравнивать два сервиса только по одному шагу decode недостаточно.
Перед спецификацией
Что проверить
- Уточните архитектуру: формулы decoder-only не переносите молча на encoder-decoder.
- Зафиксируйте веса, токенизатор, шаблон входа и версии исполняемого стека.
- Укажите режим выбора токенов и все действующие ограничения генерации.
- Различайте EOS, достижение лимита, отмену и ошибку запроса в результатах проверки.
- Проверьте привязку переиспользуемого KV к точному префиксу и модели.
- Сравнивайте качество и задержки на одних входных/выходных длинах и нагрузке.
- Не считайте одинаковое начальное значение генератора доказательством идентичности разных реализаций.
Открытые основания
Первоисточники
Attention Is All You Need
Ashish Vaswani и соавторы · arXiv:1706.03762, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникTransformers 4.44.2: Generation
Hugging Face · документация Hugging Face Transformers v4.44.2, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникEfficient Memory Management for Large Language Model Serving with PagedAttention
Woosuk Kwon и соавторы · arXiv:2309.06180, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникCUDA C++ Programming Guide
NVIDIA · CUDA C++ Programming Guide, CUDA 12.6, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточник