Повторная сортировка найденных фрагментов
Определение
Повторная сортировка найденных фрагментов — их новая оценка и упорядочивание по соответствию запросу. При фиксированном наборе кандидатов этот этап не добавляет в него фрагменты, пропущенные поиском.
Также ищут: passage reranking · переранжирование фрагментов · повторное ранжирование результатов поиска · reranker · реранкер
Зачем это знать
Важно различать три причины потери нужной оговорки: поиск не нашёл фрагмент, оговорка не поместилась во вход ранжировщика или фрагмент оказался ниже границы отбора. Проверка каждого этапа помогает понять, что исправлять. Поддержку итогового ответа источником проверяют отдельно.
Карта понятия
Что подтверждено
BERT-ранжировщик Nogueira–Cho оценивает релевантность фрагмента запросу; по этим оценкам упорядочивают кандидатов.
Граница применимости: Nogueira–Cho, arXiv:1901.04085v5, раздел 2; оценка относится к паре «запрос — фрагмент».
В каскаде Nogueira–Cho сначала выполняют поиск BM25, а затем модель BERT повторно оценивает полученные фрагменты. Этот этап сортировки не выполняет новый поиск по корпусу.
Граница применимости: Nogueira–Cho, arXiv:1901.04085v5, раздел 2; рассматривается фиксированный набор кандидатов первичного поиска.
В ранжировщике Nogueira–Cho запрос и один фрагмент подают в BERT совместно. Каждую такую пару оценивают независимо от остальных кандидатов, затем сортируют фрагменты по полученным оценкам.
Граница применимости: Метод из arXiv:1901.04085v5, раздел 2. Это описание данного BERT-ранжировщика, а не всех моделей повторного ранжирования.
В реализации Nogueira–Cho запрос сокращают до 64 токенов, а фрагмент — так, чтобы запрос, фрагмент и разделители вместе занимали не более 512 токенов. Найденный полный текст и текст, который оценивает ранжировщик, поэтому могут различаться.
Граница применимости: Ограничения входа конкретной реализации BERT из arXiv:1901.04085v5, раздел 2; 512 — предел всей пары, а не отдельного фрагмента. На другие ранжировщики числа не переносятся.
Оценка соответствия фрагмента запросу не проверяет, следует ли итоговый ответ из источника. Для этого требуется отдельное сопоставление утверждения с подтверждающим текстом.
Граница применимости: Редакционный вывод из различия задач ранжирования у Nogueira–Cho и проверки поддержки утверждений в ALCE.
Что проверить
- Зафиксируйте запрос и точный набор результатов первичного поиска.
- Проверьте, какой набор кандидатов получил ранжировщик.
- Сверьте полный найденный фрагмент с текстом на входе ранжировщика: сохранилась ли нужная оговорка после ограничения длины?
- Сравните порядок фрагментов до и после повторной оценки.
- Если нужного фрагмента нет среди кандидатов, проверьте доступный индекс и первичный поиск.
- Оценивайте поддержку итогового ответа отдельно от оценок ранжировщика.
Первоисточники
- Enabling Large Language Models to Generate Text with Citations
Разделы 2, 3.3 и 4.2: ссылки на фрагменты, проверка их совместной поддержки утверждения и вариант VANILLA. Проверка ссылок не устанавливает независимую истинность источников.
Утверждения: 05