Калибровка уверенности модели
Определение
Калибровка уверенности модели — соответствие оценок вероятности верного ответа доле верных ответов среди предсказаний с такой оценкой. По конечной выборке её лишь оценивают; это не подтверждение отдельного ответа.
Также ищут: confidence calibration · калибровка уверенности
Зачем это знать
Общее среднее может скрывать расхождения между оценкой вероятности и долей верных ответов в отдельных группах.
Карта понятия
Связано
Что подтверждено
В идеальной калибровке оценка вероятности совпадает с долей верных ответов среди предсказаний с такой оценкой.
Граница применимости: На конечной выборке это свойство лишь оценивают.
Ожидаемая ошибка калибровки (ECE) — сумма по интервалам модулей разности между средней оценкой вероятности и долей верных ответов; каждый модуль умножают на долю примеров интервала в выборке.
Граница применимости: У Guo интервалы равной ширины; результат зависит от разбиения.
Калибровка сопоставляет оценку вероятности с долей верных ответов; прогноз ошибок проверяет, оказываются ли верные ответы выше по оценке уверенности, чем ошибочные.
Граница применимости: Так различены метрики в постановке Xiong и соавторов; результаты не характеризуют другие модели или задачи.
Что проверить
- Сравните оценки вероятности с долей верных ответов в группах.
- Укажите границы интервалов.
- Проверьте ранжирование ошибок отдельно.
Первоисточники
- On Calibration of Modern Neural Networks
Определение калибровки и расчёт ECE в классификации.
- Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
Различает калибровку и прогноз ошибок.