Практикум по подготовке и проверке обучающего корпуса
Данные для LLM: сборка корпуса и проверка повторов
Практический курс о сборке корпуса: входы и шаги обработки, правила поиска повторов, подписи MinHash и отбор кандидатов, пересечения выборок и проверка качества.
Что вы сможете сделать
- Описывать исходные данные, шаги обработки и параметры фильтра так, чтобы результат можно было повторно проверить.
- Различать точные повторяющиеся фрагменты, похожие документы и сходство наборов n-грамм.
- Рассчитывать примерную вероятность связи MinHash и учитывать транзитивность групп.
- Проверять пересечения обучающей и проверочной выборок и оценивать результат отдельно от числа удалений.
- Строить подпись MinHash на общих перестановках и различать оценку сходства множеств, отбор похожих пар и подтверждение повтора.
Исходные данные и порядок обработки
Исходные материалы и очищенный корпус — разные наборы. Чтобы понять результат, зафиксируйте, какие данные прошли какие шаги и с какими настройками.
В описании Dolma исходные тексты из разных источников преобразуются в единую коллекцию очищенных документов. Состав входа поэтому нельзя подменять описанием итогового набора.
Проверить тезис: Подготовка данных для обучения LLM 01
Основные шаги описанной сборки FineWeb: извлечение текста из WARC, базовая фильтрация, MinHash-дедупликация каждого снимка обхода отдельно, выбранные фильтры C4 и собственные эвристики. Перечень неполный и относится к конкретному корпусу.
Проверить тезис: Подготовка данных для обучения LLM 04
Для повторной проверки редакция предлагает записывать входной и итоговый снимки, версии кода, порядок шагов, настройки, источники записей и причины исключения; для случайных шагов — начальное значение генератора случайных чисел. Это рекомендация, не стандарт и не доказательство качества.
Проверить тезис: Подготовка данных для обучения LLM 05
Что считать повтором
Повтор одного абзаца и сходство целых документов — разные случаи. Для оценки сходства документов можно сравнить наборы их n-грамм.
В опытах Ли и соавторов EXACTSUBSTR искал точные повторяющиеся отрезки, а NEARDUP — похожие документы целиком. Два документа могут различаться целиком и всё же содержать общий повторяющийся отрезок.
Проверить тезис: Дедупликация обучающих данных 01
n-грамма — последовательность n соседних единиц текста. Сходство Жаккара для наборов n-грамм A и B — размер пересечения, делённый на размер непустого объединения. MinHash приближённо оценивает сходство этих наборов, а не смысловую близость документов.
Проверить тезис: Дедупликация обучающих данных 02
Подпись MinHash и отбор кандидатов
Подпись MinHash — короткий список чисел, который представляет множество. Совпадения в одинаковых позициях дают оценку сходства; совпадения целых групп позиций помогают отобрать пары для проверки.
Для каждой позиции подписи задают общий порядок элементов — перестановку. Для обоих множеств используют один и тот же порядок и записывают наименьший ранг среди их элементов. Сравнивают соответствующие позиции двух подписей: одинаковые числа в разных позициях совпадением не считаются.
Проверить тезис: Дедупликация обучающих данных 07
В идеальной модели для позиций подписи независимо выбирают равномерные случайные перестановки. Каждый элемент любого непустого подмножества имеет равный шанс стать минимумом. Для непустых конечных множеств вероятность совпадения минимумов равна сходству Жаккара. Доля совпадений в конечной подписи может отличаться от этой вероятности.
Проверить тезис: Дедупликация обучающих данных 08
При отборе по группам позиций подписи (banding) пару считают кандидатом, если хотя бы одна группа совпала целиком. Для формулы вероятности нужны независимые позиции подписи; дополнительные коллизии хешей групп в ней не учитываются. Отобранная пара требует проверки: совпадение группы не доказывает полного совпадения множеств или смысловой эквивалентности текстов.
Вероятность связи и группы
FineWeb связывает пары по совпадениям значений MinHash, а затем объединяет связанные документы в группы.
В описанной конфигурации FineWeb 112 значений MinHash разделены на 14 групп по 8. Для сходства наборов словесных 5-грамм s вероятность связи пары равна 1 − (1 − s⁸)¹⁴. При s = 0,75 это около 77%, а не гарантия обнаружения каждой пары.
Проверить тезис: Дедупликация обучающих данных 03
В FineWeb связи объединяют транзитивно: если документ A связан с B, а B с C, все три входят в одну группу даже без прямой связи A с C. В описанной процедуре из группы оставляют один случайно выбранный документ.
Проверить тезис: Дедупликация обучающих данных 04
Пересечения обучающей и проверочной выборок
Проверка повторов внутри обучающего набора не заменяет поиск совпадений между обучающей и отложенными выборками.
В экспериментах Ли и соавторов искали повторы между обучающей, проверочной и тестовой выборками. При найденном пересечении сохраняли проверочную или тестовую копию, удаляя повтор из обучающей. Это описывает процедуру статьи, но не доказывает отсутствие других утечек.
Проверить тезис: Дедупликация обучающих данных 05
Итог очистки и качество
Одну запись могут пометить для удаления несколько правил. При подсчёте удалений учитывайте такие пересечения, а качество модели проверяйте отдельно.
В Dolma фильтр описывается единицей текста, способом оценки и действием — например, удалением текста или его заменой на заданную строку. Название правила без этих сведений не позволяет восстановить, что произошло с корпусом.
Проверить тезис: Подготовка данных для обучения LLM 02
В Dolma смешивание данных из файлов может сочетать изменение частот отбора, дедупликацию и исключение пересечений с тестовыми примерами. Повторное чтение файлов позволяет увеличить частоту источника. Это возможности описанного инструмента, а не обязательный порядок сборки корпуса.
Проверить тезис: Подготовка данных для обучения LLM 03
В опытах FineWeb дедупликация каждого снимка отдельно дала лучшие результаты обучения, чем проверенный глобальный вариант. По проценту удалённого текста нельзя выбрать более качественный корпус: нужно учитывать процедуру и проверять модель.
Проверить тезис: Дедупликация обучающих данных 06
Проверьте инженерное мышление
Вопросы проверяют не память на аббревиатуры, а умение не делать лишних выводов.
Источники курса
Полные сведения о первоисточниках приведены один раз для всего курса. Под тезисами — ссылки на соответствующие утверждения Архивариума.
- Первичная публикация
Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
Luca Soldaini et al. · arXiv:2402.00159v2, 6 June 2024; §4.1–4.2, §5.5, Appendix N
Обработка, смешивание и конфигурация фильтров Dolma; сравнение вариантов и описание набора. Предлагаемая запись воспроизводимости — редакционное правило, не норма статьи.
Открыть первоисточник - Первичная публикация
The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
Guilherme Penedo et al., Hugging Face · arXiv:2406.17557v2, 31 October 2024; §3.4, §3.7, E.1–E.3
Порядок подготовки FineWeb, вероятности MinHash, транзитивные группы и опыты по области дедупликации. Параметры не универсальны.
Открыть первоисточник - Первичная публикация
Deduplicating Training Data Makes Language Models Better
Katherine Lee et al. · ACL 2022, pp. 8424–8445; DOI 10.18653/v1/2022.acl-long.577; §4.1–4.2, §5
Два уровня дедупликации, формула Жаккара и приоритет проверочных/тестовых копий. Результаты ограничены экспериментами статьи.
Открыть первоисточник - Первичная публикация
Min-Wise Independent Permutations
Andrei Z. Broder, Moses Charikar, Alan M. Frieze, Michael Mitzenmacher · JCSS 60(3), 2000, с. 630–659; §1, с. 632–633, формулы (4)–(5)
Определение MinHash и связь вероятности совпадения минимальных элементов с мерой сходства множеств; используется только для этой математической опоры.
Открыть первоисточник - Официальное разъяснение
Finding Similar Items: Locality-Sensitive Hashing (CS246 lecture slides)
Jure Leskovec, Stanford University, CS246 · CS246, 13.01.2014; слайды 20–23, 32–37, 45–47, 54, 58–59
Учебная лекция: представление текстов множествами, подписи MinHash и отбор пар по группам позиций. Формула вероятности относится к идеальной модели независимых позиций без дополнительных коллизий групп.
Открыть первоисточник