Подготовка данных для обучения LLM
Определение
Подготовка данных для обучения LLM — отбор и преобразование исходных материалов в примеры для обучения языковой модели.
Также ищут: Training data curation · Подготовка обучающего корпуса
Зачем это знать
Позволяет объяснить состав набора и повторить его сборку. Число удалённых записей не заменяет проверку итоговых данных и качества модели.
Карта понятия
Что подтверждено
В Dolma подготовка корпуса превращает исходные данные из разных источников в единую коллекцию очищенных текстовых документов. Исходные материалы и результат обработки — разные наборы данных.
Граница применимости: Dolma, arXiv:2402.00159v2, §4.1; описанная авторами подготовка текстового корпуса для предобучения.
В Dolma фильтр задаётся тремя частями: единицей текста — например, документом или абзацем; способом оценки; действием — например, удалением текста или его заменой на заданную строку. Одного названия фильтра недостаточно, чтобы восстановить преобразование.
Граница применимости: Dolma v2, §4.1, filtering: text unit, scoring method, removal policy; параметры конкретного инструмента.
В Dolma смешивание данных между файлами объединяет операции изменения частот отбора, удаления повторов и исключения пересечений с тестовыми примерами. Повышать частоту источника можно повторным чтением его файлов.
Граница применимости: Dolma v2, §4.1, mixing; описанные возможности инструмента, не обязательный порядок обработки любого корпуса.
Основные шаги описанной сборки FineWeb: извлечение текста из WARC, базовая фильтрация, MinHash-дедупликация каждого снимка обхода отдельно, выбранные фильтры C4 и собственные эвристики. Это неполный перечень шагов конкретного корпуса, не универсальный рецепт.
Граница применимости: FineWeb arXiv v2, §3.7; пример опубликованного датасета на 96 снимках Common Crawl. Не универсальная рекомендация и не разбор параметров дедупликации.
Предлагаем сохранять входной и итоговый снимки, версии кода, порядок шагов, настройки, связь записей с источниками и причины исключения; для случайных шагов — начальное значение генератора случайных чисел. Это редакционное правило повторной проверки, а не стандарт и не гарантия качества.
Граница применимости: Практическая рекомендация по Dolma v2 §4.1–4.2 и Appendix N и FineWeb v2 §3.7. Конкретный состав записи предложен редакцией, не предписан авторами.
Что проверить
- Зафиксируйте версии исходных и итоговых данных, кода и настроек.
- Укажите порядок шагов, единицу текста, способ оценки и действие фильтра.
- Сохраните связь итоговых записей с источниками и причины исключения.
- Для случайных шагов запишите начальное значение генератора случайных чисел и порядок подачи данных.
- Сверьте итоговые записи и отдельно оцените качество обученной модели.
Первоисточники
- Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
Обработка, смешивание и конфигурация фильтров Dolma; сравнение вариантов и описание набора. Предлагаемая запись воспроизводимости — редакционное правило, не норма статьи.
- The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
Порядок подготовки FineWeb, вероятности MinHash, транзитивные группы и опыты по области дедупликации. Параметры не универсальны.