Веса — численные параметры модели, комплект serving добавляет данные и настройки, необходимые для их интерпретации и вызова. Сохранить только веса недостаточно, чтобы закрепить tokenizer и фактическую последовательность входа.
Практический смысл
Почему это важно
Одинаковое имя модели не гарантирует одинаковые входные токены, веса или способ запуска. Хеширование помогает получить те же байты, но не подтверждает их качество или допустимость кода. Поэтому поставку связывают и с происхождением, и с измеримым контрактом поведения.
Доказательная часть
Что подтверждено
В договор поставки входят не только веса, но и данные для их интерпретации и получения входных токенов: конфигурация модели, tokenizer и параметры генерации. Формат подготовки запроса также закрепляют, иначе тот же пользовательский текст может пройти через другой фактический вход.
Граница применимости: Вывод для воспроизводимого комплекта на основе токенизации, generation и chat templating Transformers; конкретные имена файлов и шаблон определяются выбранной моделью и стеком.
Для фиксации каталога модели можно принять локальное правило: хранить список имён и дайджестов всех входящих файлов, включая части весов. Проверка одного файла не закрепляет соседние. Такой список позволяет сверить комплект с доверенной ожидаемой версией; подлинность списка и происхождение проверяют отдельно.
Граница применимости: Редакторское применение идей адресации OCI и идентификации SLSA. Эти документы не предписывают состав или формат манифеста произвольного каталога модели; каталог не становится объектом OCI автоматически.
Замена tokenizer меняет отображение текста в токены, а изменение шаблона запроса может добавить другие разделители и служебные фрагменты. Одинаковые веса при таком изменении не гарантируют прежний вход модели; сравнение фиксирует и преобразование текста, и его версию.
Граница применимости: Вывод из субсловной токенизации и chat templating Transformers 4.44.2; конкретный шаблон и его служебные токены должны быть проверены в выбранной поставке.
Safetensors хранит тензорные данные и метаданные их формы, типа и расположения в файле. Он предназначен для передачи тензоров без сериализации произвольного Python object graph, характерной для pickle; это свойство формата, а не оценка поведения модели.
Граница применимости: Формат safetensors в очереди проверки тега v0.4.5; корректность файла, реализацию reader и ограничения принимаемых размеров проверяют отдельно.
Формат safetensors описывает сохранённые тензоры. Из его свойств и совпадения хеша весов не следует допуск остальных исполняемых компонентов поставки: кода модели, загрузчика, библиотек и среды выполнения. Их происхождение и допустимость исполнения рассматривают отдельно.
Граница применимости: Вывод о границах формата тензоров safetensors и сведений о происхождении SLSA. Ни один из этих документов здесь не используется как описание поведения конкретного загрузчика или его параметров; наличие provenance само по себе не разрешает исполнение кода.
Совпавшие дайджесты подтверждают получение ожидаемых байтов, но не точность ответов на нужных задачах. Артефакт может быть воспроизводимым и при этом непригодным по качеству; изменение квантования оценивают на задачах отдельно от проверки целостности.
Граница применимости: Вывод из идентичности OCI и оценки квантованных моделей AWQ; критерии качества конкретного сервиса задаются до испытания.
Комплект привязывают к версии serving-движка, библиотекам, поддержанному GPU и настройкам вычисления и генерации. Те же файлы весов не доказывают, что другой runtime сможет загрузить их тем же способом или даст сопоставимые задержки и расход памяти.
Граница применимости: Вывод из требований исполнения CUDA и конфигурации генерации Transformers; совместимость и численное поведение новой среды должны быть подтверждены её собственным тестом.
Граница терминов
Не путать
Дайджест контейнера идентифицирует определённый OCI-объект. Если веса или tokenizer загружаются отдельно при старте, их идентичность требует собственной фиксации и проверки: хеш образа не охватывает внешний изменяемый файл.
Комплект описывает, какие компоненты запускаются, сведения о происхождении — как и кем получены связанные артефакты. Подлинный манифест и допустимые исходники всё равно не заменяют проверку качества модели на рабочих задачах.
Перед спецификацией
Что проверить
- Перечислите все части весов, конфигурацию модели, tokenizer и параметры генерации.
- Зафиксируйте подготовку запроса, включая применяемый template и служебные токены.
- Пересчитайте дайджест каждого принятого компонента и сверяйте с доверенным манифестом.
- Отделите формат тензоров от исполняемых файлов модели, loader и зависимостей.
- Отдельно рассмотрите сопутствующий исполняемый код и правила его допуска в выбранной среде.
- Закрепите версии движка, runtime, библиотек и поддержанную конфигурацию GPU.
- Повторите проверку качества и нагрузки именно с принятым комплектом, сохранив связь отчёта с его хешами.
Открытые основания
Первоисточники
Neural Machine Translation of Rare Words with Subword Units
Rico Sennrich, Barry Haddow, Alexandra Birch · ACL Anthology, ACL 2016, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникTransformers 4.44.2: Generation
Hugging Face · документация Hugging Face Transformers v4.44.2, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникTransformers 4.44.2: Chat templates
Hugging Face · документация Hugging Face Transformers v4.44.2, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникOpen Container Initiative Image Format Specification
Open Container Initiative · OCI Image Specification, November 2025
Определяет манифест, индекс, конфигурацию и слои образа, а также дескрипторы объектов с адресацией по содержимому.
Открыть первоисточникSLSA Build Track v1.2
Supply-chain Levels for Software Artifacts · SLSA specification v1.2
Определяет уровни SLSA Build, требования к подлинности сведений о происхождении и защите сборочной платформы.
Открыть первоисточникSafetensors
Hugging Face · репозиторий safetensors, тег v0.4.5, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен. Контейнер тензоров и граница безопасной сериализации; доверие загрузчику и runtime отдельно.
Открыть первоисточникAWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
Ji Lin и соавторы · arXiv:2306.00978, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточникCUDA C++ Programming Guide
NVIDIA · CUDA C++ Programming Guide, CUDA 12.6, страница открыта 7 сентября 2026 года
Открыт редактором 7 сентября 2026 года, заголовок документа сверен.
Открыть первоисточник