Загрязнение тестовых данных
Определение
Загрязнение тестовых данных — попадание заданий, на которых проверяют модель, или их перефразированных вариантов в её обучающие данные. Из-за этого оценка может завышать способность модели решать новые задания.
Также ищут: Загрязнение бенчмарка · Benchmark contamination · контаминация тестовых данных
Зачем это знать
Даже правильно рассчитанная метрика не гарантирует проверку на новых данных. Перед выбором модели выясните, какие фрагменты совпали, какой обучающий корпус проверяли и что осталось неизвестным.
Карта понятия
Что подтверждено
Если проверочные задания или их варианты попали в обучение, оценка может отражать знакомство с тестом, а не только способность решать новые задания.
Граница применимости: Риск оценки языковых моделей на заданиях, попавших в предобучение или дообучение. Величина эффекта не считается одинаковой для всех моделей и наборов.
Совпадение исходного текста задания ещё не устанавливает, что обучающие данные содержали вопрос и правильный ответ. В анализе GPT-3 авторы находили исходные тексты без пар вопрос/ответ.
Граница применимости: Brown et al., раздел 4, Reading Comprehension: ручная проверка совпадений для QuAC, SQuAD2 и DROP. Совпадение не доказывает запоминания ответа.
Результат поиска совпадений зависит от длины сравниваемой цепочки слов и нормализации текста. В анализе GPT-3 авторы отдельно зафиксировали эти правила.
Граница применимости: Brown et al., приложение C, Overlap methodology. Правила последующего анализа не следует смешивать с первоначальной фильтрацией обучающих данных.
Поиск одинаковых цепочек слов может пропустить перефразированную или переведённую версию тестового задания.
Граница применимости: Yang et al., версия 2, раздел 5.2 и таблицы 5–6: исследованные варианты MMLU и HumanEval. Не утверждение о любом методе поиска смыслового сходства.
После исключения найденных совпадений меняется набор заданий. Разница общей оценки и оценки на оставшихся заданиях сама по себе не устанавливает причинный эффект запоминания.
Граница применимости: Вывод о сравнении разных подмножеств; Brown et al., раздел 4, Reversed Words and Anagrams и оговорка о распределении оставшихся примеров.
Отсутствие найденных совпадений означает результат конкретного поиска в доступном корпусе. Оно не доказывает отсутствие пересечений со всем неизвестным составом обучения.
Граница применимости: Логический предел проверки: часть корпуса может быть недоступна, а строковый метод — пропускать варианты заданий. Это редакторский вывод, не измеренный авторами процент пропусков.
Учебный пример: на одних 12 заданиях у модели A 10 верных ответов, у B — 9. Поиск в доступном обучении A отмечает 4 задания; на них у A 4 верных ответа, у B — 3. После исключения одной и той же четвёрки у обеих моделей остаётся по 6 верных из 8. Равенство на остатке не устанавливает причину исходного различия.
Граница применимости: Синтетический арифметический разбор, не эксперимент и не результаты моделей. Число верных ответов на исключённой группе равно разности общего числа верных и числа верных на остатке. О составе обучения B ничего не известно.
Что проверить
- Редакторская рекомендация: сохраните версии теста и доступного обучающего корпуса; отметьте недоступные части обучения.
- Запишите правило поиска: длину цепочек слов, обработку регистра и пунктуации, способ проверки перефразировок. Укажите, совпал контекст, вопрос или ответ.
- Сохраните исходную оценку, список исключённых заданий, оценку и число оставшихся заданий. Сравнивайте модели на одном и том же оставшемся наборе.
- Не объявляйте отсутствие найденных совпадений гарантией чистоты и не приписывайте разницу оценок доказанному запоминанию.
Первоисточники
- Rethinking Benchmark and Contamination for Language Models with Rephrased Samples
В исследованных MMLU и HumanEval показан пропуск перефразировок при поиске совпадающих цепочек слов. Эти результаты не устанавливают частоту пропусков для других моделей и наборов данных.