Надёжность агента по pass^k
Определение
Надёжность агента по pass^k — средняя по задачам вероятность успеха во всех k независимых повторах одной задачи. Метрика pass@k отвечает на другой вопрос: будет ли среди этих повторов хотя бы один успех.
Также ищут: pass^k · pass-k reliability · Надёжность pass^k
Зачем это знать
Система, иногда находящая верное решение, может не повторять успех устойчиво. Сначала определяют, что считать успехом каждой задачи, затем проверяют повторы и усредняют оценки по задачам.
Пять прогонов — две разные оценки
Карта понятия
Что подтверждено
В τ-bench pass^k — вероятность успеха всех k независимых повторов одной задачи, усреднённая по задачам.
Граница применимости: Определение метрики в arXiv:2406.12045v1, §3. Число k — положительное целое; условие k не больше n относится к оцениванию по n наблюдениям, а не к самому определению.
Pass@k — вероятность хотя бы одного успеха среди k независимых повторов одной задачи, усреднённая по задачам. В отличие от pass^k, успех всех повторов не требуется.
Граница применимости: Определение метрики τ-bench; метрика не утверждает, что успешны все повторы.
Для одной задачи с n повторами и c успехами выборочные оценки равны: pass^k — C(c,k)/C(n,k), pass@k — 1−C(n−c,k)/C(n,k). C(a,k) — число способов выбрать k разных элементов из a без учёта порядка; при a меньше k оно равно нулю. Оценки по задачам усредняют.
Граница применимости: arXiv:2406.12045v1, §3; независимые одинаково распределённые повторы, 1≤k≤n. Нельзя заменять среднее оценок по разным задачам степенью общей доли успехов. Это не гарантия будущей работы.
В закреплённом запуске τ-bench каждый повтор задачи получает отдельную исходную среду; повтор не продолжает изменения базы предыдущего запуска.
Граница применимости: Реализация run.py в commit 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8; не утверждение о любом тестовом стенде.
Что проверить
- Уточните, интересует ли успех во всех повторах или хотя бы в одном.
- Назовите n, c и k, прежде чем считать выборочную оценку.
- Убедитесь, что повторы начинают с одной исходной задачи.
Первоисточники
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Архивированная версия статьи; исходный код ниже закреплён отдельно и датирован позднее статьи.
- tau-bench run.py
run: отдельная среда для каждой задачи и повтора; display_metrics: расчёт pass^k. Формула pass@k приведена в статье, а не вычисляется этой функцией.
Утверждения: 04