τ-bench
Определение
τ-bench — набор задач для проверки ИИ-агента в диалоге с имитируемым пользователем и при работе с инструментами по правилам предметной области. Итог базы и обязательные строки ответа проверяются автоматически; соблюдение всей процедуры этим не доказано.
Также ищут: tau-bench · тау-бенч
Зачем это знать
Оценка τ-bench помогает отделить сообщение агента от результата его действий. Разбор возврата показывает пределы проверки: итоговая база может совпасть с эталоном без согласия пользователя, а заявка не подтверждает выплату.
Карта понятия
Что подтверждено
Закреплённый τ-bench сравнивает хеш всей моделируемой базы после работы агента с хешем базы после эталонных действий; совпадение имени вызванного инструмента этой проверки не заменяет.
Граница применимости: τ-bench, commit 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8 (22.01.2025). Env.data и Env.calculate_reward: сравнивается вся моделируемая база; совпадения истории вызовов не требуется. Это не проверка внешних систем.
Если задача τ-bench задаёт обязательные строки ответа, оценщик ищет каждую как подстроку сообщений агента. Поиск не учитывает регистр; запятые удаляются только из сообщения. Несовпадение итоговой базы или отсутствие любой обязательной строки обнуляет оценку.
Граница применимости: τ-bench, commit 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8 (22.01.2025). Env.calculate_reward; проверка подстроки не устанавливает смысл и правдивость реплики. В учебных примерах эталонные task.actions не содержат respond.
В τ-bench совпадение итоговой базы не доказывает соблюдение процедуры: авторы указывают, что возврат без согласия пользователя может получить reward=1 при нарушении политики.
Граница применимости: Предел проверки результата в τ-bench; не частота таких случаев в других системах.
Политика τ-retail требует объяснить изменение и получить явное согласие пользователя; инструмент возврата в закреплённой реализации проверяет заказ, товары и способ возврата, но не принимает согласие отдельным аргументом и не читает диалог.
Граница применимости: τ-bench, commit 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8 (22.01.2025). Сопоставление правила retail/wiki.md с ReturnDeliveredOrderItems.invoke: согласие требуется политикой, но не проверяется этой функцией.
Инструмент return_delivered_order_items в τ-retail записывает статус return requested, список возвращаемых товаров и способ возврата. Его реализация ReturnDeliveredOrderItems.invoke не выполняет банковский перевод и не отправляет письмо.
Граница применимости: τ-bench, commit 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8 (22.01.2025). ReturnDeliveredOrderItems.invoke. Обещание письма в описании инструмента не подтверждает его отправку или доставку.
Что проверить
- Сопоставьте итог всей моделируемой базы с результатом эталонных действий.
- Проверьте обязательные строки ответа и учитывайте ограничения поиска подстроки.
- Отдельно установите соблюдение политики; не выводите согласие или выплату из правильной записи.
Первоисточники
- tau-bench envs/base.py
Якоря: to_hashable, consistent_hash, Env.step, Env.get_data_hash, Env.calculate_reward.
- τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Архивированная версия статьи; исходный код ниже закреплён отдельно и датирован позднее статьи.
Утверждения: 03
- Retail environment policy
Якоря: подтверждение пользователя до значимых действий; возврат доставленного заказа.
Утверждения: 04
- ReturnDeliveredOrderItems tool
Якоря: ReturnDeliveredOrderItems.invoke, ReturnDeliveredOrderItems.get_info.