Веса — численные параметры модели, комплект serving добавляет данные и настройки, необходимые для их интерпретации и вызова. Сохранить только веса недостаточно, чтобы закрепить tokenizer и фактическую последовательность входа.
GPU, ускорители и инфраструктура LLM
Комплект модели для воспроизводимого serving
Определение
Комплект модели для воспроизводимого serving — это веса вместе со всем, что нужно для их запуска: конфигурацией, токенизатором, форматом запроса и параметрами генерации. Комплект привязывают к версии движка и среде выполнения: те же файлы весов не доказывают, что другой движок загрузит их так же.
Также ищут: Model serving artifact · артефакт запуска LLM · комплект поставки модели
Зачем это знать
Одинаковое имя модели не гарантирует одинаковые входные токены, веса или способ запуска. Хеширование помогает получить те же байты, но не подтверждает их качество или допустимость кода. Поэтому поставку связывают и с происхождением, и с измеримым контрактом поведения.
Связи из словаря
Карта понятия
Комплект модели для воспроизводимого serving
Доказательная часть
Что подтверждено
В договор поставки входят не только веса, но и данные для их интерпретации и получения входных токенов: конфигурация модели, tokenizer и параметры генерации. Формат подготовки запроса также закрепляют, иначе тот же пользовательский текст может пройти через другой фактический вход.
Граница применимости: Вывод для воспроизводимого комплекта на основе токенизации, generation и chat templating Transformers; конкретные имена файлов и шаблон определяются выбранной моделью и стеком.
Для фиксации каталога модели можно принять локальное правило: хранить список имён и дайджестов всех входящих файлов, включая части весов. Проверка одного файла не закрепляет соседние. Такой список позволяет сверить комплект с доверенной ожидаемой версией; подлинность списка и происхождение проверяют отдельно.
Граница применимости: Редакторское применение идей адресации OCI и идентификации SLSA. Эти документы не предписывают состав или формат манифеста произвольного каталога модели; каталог не становится объектом OCI автоматически.
Замена tokenizer меняет отображение текста в токены, а изменение шаблона запроса может добавить другие разделители и служебные фрагменты. Одинаковые веса при таком изменении не гарантируют прежний вход модели; сравнение фиксирует и преобразование текста, и его версию.
Граница применимости: Вывод из субсловной токенизации и chat templating Transformers 4.44.2; конкретный шаблон и его служебные токены должны быть проверены в выбранной поставке.
Safetensors хранит тензорные данные и метаданные их формы, типа и расположения в файле. Он предназначен для передачи тензоров без сериализации произвольного Python object graph, характерной для pickle; это свойство формата, а не оценка поведения модели.
Граница применимости: Формат safetensors в очереди проверки тега v0.4.5; корректность файла, реализацию reader и ограничения принимаемых размеров проверяют отдельно.
Формат safetensors описывает сохранённые тензоры. Из его свойств и совпадения хеша весов не следует допуск остальных исполняемых компонентов поставки: кода модели, загрузчика, библиотек и среды выполнения. Их происхождение и допустимость исполнения рассматривают отдельно.
Граница применимости: Вывод о границах формата тензоров safetensors и сведений о происхождении SLSA. Ни один из этих документов здесь не используется как описание поведения конкретного загрузчика или его параметров; наличие provenance само по себе не разрешает исполнение кода.
Совпавшие дайджесты подтверждают получение ожидаемых байтов, но не точность ответов на нужных задачах. Артефакт может быть воспроизводимым и при этом непригодным по качеству; изменение квантования оценивают на задачах отдельно от проверки целостности.
Граница применимости: Вывод из идентичности OCI и оценки квантованных моделей AWQ; критерии качества конкретного сервиса задаются до испытания.
Комплект привязывают к версии serving-движка, библиотекам, поддержанному GPU и настройкам вычисления и генерации. Те же файлы весов не доказывают, что другой runtime сможет загрузить их тем же способом или даст сопоставимые задержки и расход памяти.
Граница применимости: Вывод из требований исполнения CUDA и конфигурации генерации Transformers; совместимость и численное поведение новой среды должны быть подтверждены её собственным тестом.
В PEFT v0.17.0 метод PeftModel.save_pretrained без слияния LoRA-адаптера с базовой моделью сохраняет веса и конфигурацию адаптера, но не полный набор базовых весов. Для загрузки нужны также совместимые базовые веса. Значения base_model_name_or_path и revision в конфигурации могут быть null. Редакторская рекомендация: отдельно проверьте совместимость базы и её точную ревизию.
Граница применимости: Сохранение LoRA-адаптера в PEFT v0.17.0 без слияния; не полный экспорт модели и не все форматы адаптеров. Состав файлов и необязательная ревизия описаны документацией. Проверка точной ревизии базы — редакционное применение этих сведений для воспроизводимого запуска; имя базы само по себе не фиксирует её файлы.
Граница терминов
Не путать
Дайджест контейнера идентифицирует определённый OCI-объект. Если веса или tokenizer загружаются отдельно при старте, их идентичность требует собственной фиксации и проверки: хеш образа не охватывает внешний изменяемый файл.
Комплект описывает, какие компоненты запускаются, сведения о происхождении — как и кем получены связанные артефакты. Подлинный манифест и допустимые исходники всё равно не заменяют проверку качества модели на рабочих задачах.
Перед спецификацией
Что проверить
- Перечислите все части весов, конфигурацию модели, tokenizer и параметры генерации.
- Зафиксируйте подготовку запроса, включая применяемый template и служебные токены.
- Пересчитайте дайджест каждого принятого компонента и сверяйте с доверенным манифестом.
- Отделите формат тензоров от исполняемых файлов модели, loader и зависимостей.
- Отдельно рассмотрите сопутствующий исполняемый код и правила его допуска в выбранной среде.
- Закрепите версии движка, runtime, библиотек и поддержанную конфигурацию GPU.
- Повторите проверку качества и нагрузки именно с принятым комплектом, сохранив связь отчёта с его хешами.
Открытые основания
Первоисточники
- Neural Machine Translation of Rare Words with Subword Units
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Transformers 4.44.2: Generation
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Transformers 4.44.2: Chat templates
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
- Open Container Initiative Image Format Specification
Определяет манифест, индекс, конфигурацию и слои образа, а также дескрипторы объектов с адресацией по содержимому.
- SLSA Build Track v1.2
Определяет уровни SLSA Build, требования к подлинности сведений о происхождении и защите сборочной платформы.
- Safetensors
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Контейнер тензоров и граница безопасной сериализации; доверие загрузчику и runtime отдельно.
- AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration
Полный PDF v6 перечитан 15.10.2026: §2–3 — квантование весов и шкалы; §4 — упаковка и исполнение; §5 — качество и скорость. Результаты отдельных моделей и устройств не обобщаются; формат KV не следует из разрядности весов.
Утверждения: 06
- CUDA C++ Programming Guide
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Утверждения: 07
- PEFT checkpoint format
Состав сохранённого адаптера и зависимость от базовой модели; отдельно описано сохранение модели после слияния весов. Проверена документация PEFT v0.17.0, без утверждения о последней версии.
Утверждения: 08
- LoRA — PEFT v0.17.0
Размер адаптера, масштабирование и дополнительные обучаемые параметры LoRA в PEFT v0.17.0. Формы A и B дополнительно сверены с исходным кодом тега v0.17.0; код не исполнялся.
Утверждения: 08