Дедупликация обучающих данных
Определение
Дедупликация обучающих данных — удаление повторяющихся фрагментов или документов по заданному правилу совпадения. Выбор правила определяет, какие повторы удастся найти.
Также ищут: Training data deduplication · Дедупликация корпуса
Зачем это знать
Помогает проверить, что именно удалено из корпуса и остались ли пересечения с проверочной выборкой.
Карта понятия
Что подтверждено
В работе Ли и соавторов EXACTSUBSTR удаляет точные повторяющиеся отрезки текста, а NEARDUP ищет похожие документы целиком. Поэтому несовпадение полных документов не исключает общего повторяющегося отрезка.
Граница применимости: Lee et al., ACL 2022, §4.1–4.2; два разных уровня поиска повторов, не универсальная реализация всех средств дедупликации.
Для непустого объединения наборов n-грамм A и B сходство Жаккара равно |A ∩ B| / |A ∪ B|. Здесь n-грамма — последовательность n соседних единиц текста; MinHash приближённо оценивает сходство наборов, а не смысл документов.
Граница применимости: Lee et al., §4.2, формула Jaccard; сходство множеств n-грамм, без утверждения о семантическом равенстве.
FineWeb использует 112 MinHash-значений: 14 групп по 8. Совпадения одной группы достаточно для связи пары. При сходстве наборов 5-грамм s вероятность связи равна 1 − (1 − s⁸)¹⁴; при s=0,75 это около 77%, а не гарантия обнаружения.
Граница применимости: FineWeb, arXiv:2406.17557v2, §3.4 и E.1; словесные 5-граммы и вероятностная модель этой конфигурации, не общий порог всех MinHash-систем.
В FineWeb связанные пары объединяются транзитивно: если A связан с B, а B с C, все три документа входят в одну группу даже без связи A с C. Из группы оставляют один случайно выбранный документ; остальные удаляют.
Граница применимости: FineWeb v2, §3.4; связь означает совпадение MinHash-группы, а не доказанное попарное равенство всех текстов.
В экспериментах Ли и соавторов повторы искали и между обучающей и проверочной либо тестовой выборкой. При пересечении сохраняли проверочную или тестовую копию, удаляя повтор из обучения. Очистка только обучающей выборки такую проверку не заменяет.
Граница применимости: Lee et al., §5, начало раздела; приоритет копий в опубликованном эксперименте, не обещание отсутствия иных утечек.
В опытах FineWeb дедупликация каждого снимка отдельно дала лучшие результаты обучения, чем проверенный вариант глобальной дедупликации. Доля удалённого текста сама по себе не показывает качество корпуса; результат зависит от процедуры и проверки модели.
Граница применимости: FineWeb v2, §3.4 и E.3; сравнение конкретных процедур и обученных моделей, не запрет глобальной дедупликации.
В MinHash к обоим множествам применяют одни и те же перестановки. В каждую координату подписи записывают наименьшее преобразованное значение. Доля совпавших соответствующих координат — оценка сходства Жаккара.
Граница применимости: Непустые конечные множества; независимые равномерные случайные перестановки в идеальной модели.
В идеальной модели MinHash для двух непустых конечных множеств вероятность совпадения минимумов при одной и той же равномерной случайной перестановке в точности равна их сходству Жаккара.
Граница применимости: Идеальная модель равномерной случайной перестановки; свойство относится к непустым конечным множествам.
При отборе по группам позиций подписи (banding) пару считают кандидатом, если все r позиций совпали хотя бы в одной из b групп. При сходстве Жаккара s вероятность отбора равна 1 − (1 − sʳ)ᵇ. Это не жёсткий порог сходства.
Граница применимости: Идеальная модель независимых MinHash-координат с вероятностью совпадения s; b групп по r координат, без дополнительных коллизий хешей групп.
Для строк «a b c» и «c b a» множества отдельных слов совпадают: сходство Жаккара равно 1. Если сохранять порядок в каждой паре соседних слов, получатся множества {a b, b c} и {c b, b a}; общих пар нет, поэтому сходство Жаккара равно 0. MinHash оценивает сходство выбранных множеств, а не смысл текста.
Граница применимости: Учебный вывод из представления текста множествами и определения сходства Жаккара; слова разделены пробелами, пары состоят из двух соседних слов.
Что проверить
- Задайте единицу сравнения: документ, отрезок или набор n-грамм.
- Запишите нормализацию текста, параметры и область поиска повторов.
- Проверьте правило выбора сохраняемой копии и состав групп.
- Отдельно проверьте пересечения с данными оценки.
- Сравните качество модели, а не только долю удалённых данных.
- Проверьте, что подписи MinHash построены одними и теми же преобразованиями, а совпадения считаются по соответствующим позициям.
Первоисточники
- Deduplicating Training Data Makes Language Models Better
Два уровня дедупликации, формула Жаккара и приоритет проверочных/тестовых копий. Результаты ограничены экспериментами статьи.
- The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
Порядок подготовки FineWeb, вероятности MinHash, транзитивные группы и опыты по области дедупликации. Параметры не универсальны.
- Min-Wise Independent Permutations
Определение MinHash и связь вероятности совпадения минимальных элементов с мерой сходства множеств; используется только для этой математической опоры.
- Finding Similar Items: Locality-Sensitive Hashing (CS246 lecture slides)
Учебная лекция: представление текстов множествами, подписи MinHash и отбор пар по группам позиций. Формула вероятности относится к идеальной модели независимых позиций без дополнительных коллизий групп.