Проверяйте действия агента: результат, согласие и повторяемость

В τ-bench эталонные действия выполняют на исходной базе и сравнивают её итог с итогом агента. В учебном заказе нужен возврат A: заявка для B не проходит, даже если вызов допустим. Сравнивается вся моделируемая база, поэтому оставшееся лишнее изменение другой записи тоже важно. Совпадение базы не требует буквального совпадения последовательности вызовов.

Проверить тезис: τ-bench 01

Если задача задаёт обязательные строки ответа, они тоже участвуют в оценке: отсутствие любой строки обнуляет результат. Но поиск подстроки не понимает отрицание. Например, «Сумма 12.00» и «Сумма не 12.00» содержат одну строку «12.00». Регистры приводятся к одному виду, запятые удаляются из сообщения; запятая не превращается в точку.

Проверить тезис: τ-bench 02

В политике τ-retail агент должен объяснить изменение и получить явное согласие. При этом инструмент возврата не проверяет диалог и не получает отдельный аргумент согласия, а оценка итогового состояния может засчитать результат при нарушении политики.

Проверить тезис: τ-bench 04 03

Поставьте два отдельных вердикта: «итог базы совпал» и «правило согласия соблюдено». Для первого сравните состояния, для второго найдите подтверждение до изменения. В τ-bench возможен reward=1 без согласия: правило магазина и возможности оценщика — разные вещи.

Проверить тезис: τ-bench 03 04

Инструмент return_delivered_order_items в τ-retail записывает статус return requested, список возвращаемых товаров и способ возврата. Его функция не выполняет банковский перевод и не отправляет письмо.

Проверить тезис: τ-bench 05

Сравните две цели для заказа A/B. «Зарегистрировать возврат A» можно проверить по итоговым данным заказа. Для цели «получить деньги на счёт» тех же данных недостаточно: даже при совпадении базы с эталоном зачисление остаётся неподтверждённым.

Проверить тезис: τ-bench 01 05

Pass^k — вероятность успеха всех k независимых повторов одной задачи, усреднённая по задачам. Pass@k — вероятность хотя бы одного успеха, тоже усреднённая по задачам. Для одной задачи с n наблюдениями и c успехами оценки равны C(c,k)/C(n,k) и 1−C(n−c,k)/C(n,k). Здесь C(a,k) — число способов выбрать k разных повторов из a без учёта порядка; если a меньше k, способов нет.

Проверить тезис: Надёжность агента по pass^k 01 02 03

В учебных результатах [1, 1, 1, 0, 0] десять неупорядоченных пар. Три пары состоят из двух успехов; только одна — из двух неуспехов. Поэтому оценки pass^2=3/10, pass@2=9/10. Это расчёт по синтетическим наблюдениям, а не результат запуска агента.

Проверить тезис: Надёжность агента по pass^k 03

В τ-bench повторы идут в отдельных исходных средах; продолжение уже изменённого заказа не является таким независимым повтором.

Проверить тезис: Надёжность агента по pass^k 04

Для нескольких задач сначала считают каждую, затем усредняют. Учебный контрпример: одна задача всегда успешна, другая всегда неуспешна. Средняя вероятность успеха равна 1/2, средняя вероятность двух успехов — тоже 1/2, а не (1/2)²=1/4. Здесь заданы истинные вероятности; это отдельное рассуждение, не замена формулы оценки по конечной выборке.

Проверить тезис: Надёжность агента по pass^k 01 03