Обучение модели
Определение
Обучение модели — настройка её параметров по обучающим данным для выполнения выбранной задачи. В расчёте оборудования учитывают способ обновления параметров и весь рабочий набор обучения.
Также ищут: model training · обучение нейросети · обучение LLM
Зачем это знать
Сервер, на котором загрузились веса, ещё не проверен для обучения. При подборе задают модель, метод, данные и настройки, затем измеряют полный шаг и пробуют продолжить работу из сохранённого состояния.
Карта понятия
Что подтверждено
При обычном обучении трансформера память занимают веса, состояния оптимизатора, градиенты, сохранённые активации и временные буферы. Размер файла весов не описывает весь рабочий набор.
Граница применимости: Состав памяти в Transformers 4.57.1; размещение компонентов по устройствам зависит от реализации.
Размер сохранённых активаций зависит, среди прочего, от длины последовательности, размера пакета и скрытого представления модели.
Граница применимости: Transformers 4.57.1; формула и пик памяти зависят от архитектуры и режима вычисления.
В примере PyTorch для продолжения обучения вместе с параметрами модели сохраняют состояние оптимизатора и сведения о ходе обучения. Один файл весов не содержит всего этого состояния.
Граница применимости: Учебный пример general checkpoint; полный состав состояния определяется выбранным обучающим кодом.
- Рекомендация редакции
Принимать обучение по измерению полного шага, согласованной метрике качества и пробному продолжению из контрольной точки.
Граница применимости: Метод проверки выбранного запуска; отсутствие ошибки выделения памяти не доказывает достижение качества.
Что проверить
- Запишите модель, тип вычислений, оптимизатор, размер пакета и длину последовательности.
- Покажите размещение весов и состояния обучения по устройствам, включая память CPU и обмены.
- Измерьте пик памяти каждого GPU и время полного шага на согласованных данных.
- Согласуйте метрику качества и отдельные данные для её проверки.
- Сохраните контрольную точку и подтвердите продолжение обучения выбранным кодом.
Первоисточники
- Model training anatomy
Anatomy of Model’s Memory: веса, градиенты, состояния оптимизатора, активации и временные буферы. Объём активаций зависит от размера пакета и длины последовательности; приведённые числа не являются универсальной нормой.
- Saving and Loading Models
Раздел Saving & Loading a General Checkpoint: для продолжения обучения сохраняют состояние оптимизатора вместе с моделью и ходом обучения. Это не обещание побитовой повторяемости.
- Fine-tuning
Адаптация предобученной модели к задаче; разделение данных обучения и оценки, метрика качества.
Связанные понятия
Курсы по теме
Следующий шаг
Сформулируйте задачу и уточните требования к своей системе.
Подготовить подбор с ДелектусомОткроется черновик вопроса. Отправьте его, когда будете готовы.